All-in-One Conditioning for Text-to-Image Synthesis

Résumé Technique : All-in-One Conditioning for Text-to-Image Synthesis

1. Problématique (Le Problème)

Malgré les progrès spectaculaires des modèles de synthèse d'images à partir de texte (Text-to-Image), ces derniers peinent encore à interpréter fidèlement les prompts complexes. Les défis majeurs identifiés sont :

• Le manque de fidélité sémantique : Les modèles oublient souvent des objets ou des attributs spécifiés.
• La confusion des attributs (Attribute Binding) : Les couleurs ou propriétés d'un objet sont parfois appliquées au mauvais objet (ex: un chat bleu et un chien rouge deviennent un chat rouge et un chien bleu).
• L'incapacité spatiale et structurelle : Les relations spatiales (au-dessus, à gauche de) et les notions de taille ou de quantité sont souvent mal représentées.
• La rigidité des méthodes existantes : Les approches actuelles utilisent souvent des cartes de mise en page (layout maps) prédéfinies qui limitent la diversité et le naturel des compositions.

2. Méthodologie (L'Approche)

Les auteurs proposent une approche de conditionnement "zero-shot" basée sur des graphes de scène (scene graphs). Au lieu d'imposer des contraintes rigides, ils utilisent un mécanisme de guidage "souple" (soft guidance) lors de l'inférence.

Le cœur de la méthode est le Conditionneur ASQL (Attribute-Size-Quantity-Location), qui fonctionne en deux étapes principales :

A. Génération du guidage via un LLM léger :
Le système utilise un modèle de langage (LLM) de petite taille (comme Phi-3) pour transformer le texte brut en un graphe de scène structuré. Ce graphe est ensuite enrichi pour extraire quatre types d'informations :

1. Attributs (A) : Couleurs, textures, etc.
2. Taille (S) : Ordre relatif de grandeur des objets.
3. Quantité (Q) : Nombre d'instances d'un objet.
4. Localisation (L) : Positions spatiales relatives et absolues.

Pour améliorer la précision, ils introduisent un "Grid Guidance Enhancement" qui utilise le Fuzzy Clustering (regroupement flou) pour assigner des zones de la grille à chaque entité, tout en injectant la quantité d'objets en divisant les régions en sous-régions.

B. Optimisation de la diffusion au moment de l'inférence :
Au lieu de réentraîner le modèle de diffusion, les auteurs appliquent une optimisation lors de l'inférence en utilisant une nouvelle fonction de perte appelée $\mathcal{L}_{ASQL}$. Cette perte est une combinaison pondérée de quatre composantes :

• $\mathcal{L}_{att}$ (Perte d'attribut) : Utilise l'entropie croisée binaire (BCE) pour s'assurer que les cartes d'attention des attributs correspondent aux bonnes entités.
• $\mathcal{L}_{size}$ (Perte de taille) : Contrôle la somme des cartes d'attention pour respecter l'ordre de grandeur des objets.
• $\mathcal{L}_{loc}^{cross}$ et $\mathcal{L}_{loc}^{self}$ (Pertes de localisation) : Utilisent la perte de Dice (2D et 3D) pour aligner les cartes d'attention sur les zones de la grille prédites par le LLM.

3. Contributions Clés

• Pipeline Zero-Shot Robuste : Une méthode qui ne nécessite aucun entraînement supplémentaire des modèles de diffusion pré-entraînés (comme Stable Diffusion ou PixArt-$\alpha$).
• Conditionnement ASQL : Un cadre complet qui traite simultanément les attributs, la taille, la quantité et la position.
• Guidage par Graphe de Scène et Logique Floue : L'utilisation de la logique floue pour créer des masques de région "souples" permet des interactions d'objets plus naturelles et moins rigides que les masques de mise en page classiques.
• Utilisation de LLM légers : Démontre que des modèles compacts peuvent fournir un guidage spatial et structurel de haute qualité.

4. Résultats

Les auteurs ont testé leur méthode sur trois benchmarks standards : HRS, T2I-CompBench et GenEval.

• Performance de pointe (SOTA) : La méthode surpasse les modèles de référence (comme Attend-and-Excite ou EBAMA) sur la plupart des métriques.
• Améliorations notables :
  • Une augmentation massive de la précision de la position (jusqu'à +29% sur GenEval).
  • Une meilleure gestion des couleurs et des attributs.
  • Une meilleure cohérence spatiale et de taille.
• Qualité visuelle : Les résultats qualitatifs montrent une bien meilleure capacité à lier les couleurs aux bons objets et à respecter les relations spatiales complexes (ex: "un chat sous une banane sur une chaise").

5. Signification et Portée

Ce travail est significatif car il propose une solution efficace en termes de calcul (pas de fine-tuning coûteux) pour résoudre l'un des problèmes les plus persistants de la génération d'images : la compréhension compositionnelle. En transformant le texte en une structure logique (graphe de scène) puis en un guidage probabiliste (pertes de Dice et attention), les auteurs comblent le fossé entre la compréhension sémantique du langage et la représentation visuelle spatiale.