Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Résumé Technique : Génération d'Images Avancée via l'Optimisation de Prompt Négatif et le Guidage par Classificateur Latent

Énoncé du Problème
Bien que les modèles de diffusion comme Stable Diffusion aient révolutionné la génération de texte-vers-image, ils souffrent fréquemment d'artefacts visuels, de dérive sémantique et d'un défaut d'adhérence stricte à l'intention de l'utilisateur. Les solutions existantes traitent souvent l'ingénierie de prompt négatif et le guidage par classificateur comme des défis distincts. Ce document propose un cadre unifié pour optimiser simultanément les prompts négatifs et guider le processus de diffusion par une évaluation dans l'espace latent afin d'atténuer ces problèmes.

Méthodologie
Le système proposé intègre trois modules de base dans un pipeline modulaire, implémenté via une application Streamlit :

1. Optimisation du Prompt Négatif : Les auteurs modélisent la génération de prompts négatifs comme une tâche de langage conditionnelle. Ils affinent un modèle Seq2Seq pré-entraîné (T5-base) sur des paires prompt–prompt négatif en utilisant une approche de Fine-Tuning Supervisé (SFT) avec un objectif d'entropie croisée. Lors de l'inférence, un algorithme de recherche en faisceau (beam search) génère dynamiquement des prompts négatifs optimisés ($p^-$) pour supprimer les caractéristiques indésirables.

2. Moteur de Diffusion : Le système utilise un pipeline Stable Diffusion avec un ordonnanceur DDIM pour un échantillonnage déterministe. L'UNet prédit le bruit basé sur les plongements textuels d'entrée (dérivés du prompt positif $p^+$ et du prompt négatif généré $p^-$) pour mettre à jour la représentation latente $z_t$.

3. Guidage par Classificateur Latent : Un « ImprovedLatentCNN RNN Classifier » évalue les états latents intermédiaires pendant les étapes de diffusion. Cette architecture hybride se compose de :

   • Un encodeur CNN qui extrait les caractéristiques spatiales de vecteurs latents à 4 canaux.
   • Un GRU bidirectionnel qui agrège ces caractéristiques sur une séquence d'étapes.
   • Un MLP qui produit un logit pour déterminer une probabilité d'acceptation ($s_t$).

   Le système emploie un mécanisme de « retour en arrière » (rollback) : si le score de confiance du classificateur pour une mise à jour latente tombe en dessous d'un seuil ($\tau = 0,5$) et que la limite de retour ($R=5$) n'est pas atteinte, le système revient au dernier état latent accepté, écartant ainsi les mises à jour de faible qualité.

Contributions Clés

• Génération Automatisée de Prompts Négatifs : L'introduction d'un LLM Seq2Seq affiné pour générer automatiquement des prompts négatifs efficaces, remplaçant la création manuelle laborieuse.
• Cadre de Double Guidage : Une intégration novatrice de l'optimisation de prompt négatif avec un classificateur hybride CNN–RNN qui guide dynamiquement les étapes de diffusion en effectuant un retour en arrière des mises à jour latentes indésirables.
• Implémentation Open-Source : La publication du système en tant que projet open-source avec une interface Streamlit conviviale pour la démonstration et l'expérimentation.

Résultats Expérimentaux
Le document présente des évaluations empiriques sur un ensemble de données de séquences latentes synthétiques (200 échantillons étiquetés représentant des séquences de 10 étapes) :

• Performance du Classificateur : L'« ImprovedLatentCNN RNN Classifier » a démontré de faibles performances sur l'ensemble de test non utilisé. Il a atteint une précision de 0,400 et un AUC ROC de 0,4261, ce qui est inférieur au seuil de 0,5 pour un choix aléatoire. Des tests statistiques (tests t appariés) ont confirmé que ce modèle est significativement moins performant qu'une base Vanilla CNN (AUC 0,4511) et d'autres références comme la régression logistique et le SVM.
• Revendications Qualitatives : Malgré les limites quantitatives du classificateur, les auteurs affirment que le cadre de double guidage, lorsqu'il est appliqué, réduit les artefacts visuels et améliore la fidélité sémantique par rapport aux techniques de diffusion de base. Des exemples visuels (Figures 1–3) illustrent la capacité du système à générer des prompts négatifs optimisés (ex: « déformé, flou, mauvaise anatomie ») pour un prompt décrivant un cerf dans une forêt brumeuse.

Signification et Limites
Le document positionne ce travail comme une direction prometteuse pour une génération texte-vers-image plus contrôlable et sémantiquement alignée. Les auteurs soulignent que l'architecture modulaire permet un entraînement indépendant et des études d'ablation faciles.

Cependant, les auteurs sont notablement modestes concernant l'efficacité du classificateur. Ils reconnaissent explicitement que les métriques du classificateur (AUC < 0,5) indiquent qu'il est moins performant qu'un choix aléatoire sur l'ensemble de données actuel, suggérant une marge de progression importante. La conclusion stipule que les travaux futurs devront se concentrer sur l'amélioration du module classificateur par une refonte architecturale, une régularisation avancée ou des données étiquetées de meilleure qualité. Le document ne prétend pas que le système actuel est à l'état de l'art pour toutes les métriques, mais établit plutôt un cadre pour l'intégration de ces deux mécanismes de guidage, avec la compréhension que la composante de guidage latent nécessite un développement supplémentaire.