ADAPT: Attention Driven Adaptive Prompt Scheduling and InTerpolating Orthogonal Complements for Rare Concepts Generation

Each language version is independently generated for its own context, not a direct translation.

🎨 Le Problème : L'Artiste qui rêve trop

Imaginez que vous avez un artiste génial, capable de peindre n'importe quoi à partir d'une description. C'est ce qu'on appelle un modèle de diffusion (comme Stable Diffusion). Il est excellent pour peindre des "chats", des "voitures" ou des "arbres".

Mais si vous lui demandez de peindre quelque chose de très bizarre et rare, comme "Un caméléon en pyjama qui lit un journal" ou "Un crocodile à damiers noirs et blancs", l'artiste a du mal. Pourquoi ? Parce qu'il n'a jamais vu ça dans ses livres d'entraînement. Il va souvent oublier le pyjama, ou confondre le caméléon avec un lézard normal.

Une méthode précédente, appelée R2F, essayait de résoudre ce problème en demandant à un super-intelligence artificielle (GPT-4o) de lui donner des indices étape par étape. Mais c'était comme donner des instructions à un artiste un peu distrait : parfois, l'IA changeait d'avis sur ce qu'elle voulait dire, et le résultat final était imprévisible ou raté.

💡 La Solution : ADAPT (Le Chef d'Orchestre Intuitif)

Les chercheurs de l'Université Hanyang ont créé ADAPT. Au lieu de demander à une IA de "deviner" quand changer d'instructions, ADAPT écoute directement ce que l'artiste est en train de faire en temps réel.

Voici comment cela fonctionne, avec trois astuces principales :

1. Le Radar de l'Attention (APS) : "Regarde où il peint !"

Imaginez que l'artiste a un projecteur sur son tableau. Quand il peint un "crocodile", le projecteur brille fort sur la forme du crocodile.

L'ancienne méthode disait : "Arrête de peindre le crocodile après 10 secondes, peu importe si c'est fini ou non."
ADAPT utilise un radar. Il regarde où le projecteur brille le plus. Tant que le mot "crocodile" n'est pas bien ancré dans l'image (le projecteur ne brille pas assez), ADAPT continue de donner l'instruction "crocodile". Dès que le projecteur se stabilise (l'image est claire), ADAPT dit : "Ok, c'est bon, passons à la prochaine partie de la description."
Résultat : Plus de gaspillage, plus d'oubli. Chaque élément rare est peint au moment exact où l'artiste est prêt à le recevoir.

2. Le Mélange Parfait (PEM) : "La recette secrète"

Parfois, l'artiste confond le "crocodile" avec un "animal normal".

L'ancienne méthode changeait brutalement d'instruction, comme si on coupait le courant.
ADAPT utilise une technique mathématique élégante (appelée projection orthogonale). Imaginez que vous avez une recette de base (l'animal normal) et une touche spéciale (le motif à damiers). ADAPT ne jette pas la recette de base ; il ajoute la touche spéciale exactement dans la direction où elle est nécessaire, sans gâcher le reste.
Résultat : L'image garde sa cohérence (c'est bien un animal) tout en intégrant parfaitement l'attribut rare (les damiers) sans que ça semble collé.

3. Le Zoom sur les Détails (LSM) : "Le pinceau fin"

Certains détails sont très spécifiques, comme "fait d'acier" ou "avec une moustache".

ADAPT a un outil spécial pour ces détails. Il identifie le mot clé (ex: "acier") et l'injecte directement dans la couche profonde de la peinture, comme un pinceau très fin qui ajoute la texture métallique sans effacer le dessin du clown.
Résultat : Les textures et les matériaux rares ressortent avec une précision incroyable.

🏆 Pourquoi c'est génial ?

En résumé, ADAPT est comme un chef d'orchestre qui ne regarde pas une partition rigide, mais qui écoute les musiciens en direct.

Il ne force pas les choses.
Il s'adapte au rythme de la création.
Il s'assure que chaque détail bizarre (le caméléon en pyjama) est bien là, bien dessiné, et qu'il ne disparaît pas au milieu du tableau.

Les tests montrent que cette méthode est bien meilleure que les précédentes pour créer des images complexes et rares, le tout sans avoir besoin de réentraîner l'artiste (c'est gratuit et rapide !). C'est comme donner à un peintre un nouveau regard, instantanément.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La génération d'images par des modèles de diffusion (Text-to-Image) à partir de concepts compositionnels rares (par exemple, "un requin poilu" ou "une voiture en forme de banane") reste un défi majeur. Ces concepts sont souvent sous-représentés ou absents des données d'entraînement, ce qui entraîne une mauvaise alignement texte-image.

L'approche récente R2F (Rare-to-Frequent) tente de résoudre ce problème en utilisant un Grand Modèle de Langage (LLM, comme GPT-4o) pour mapper les concepts rares vers des concepts fréquents et planifier un calendrier de prompts (prompt scheduling). Cependant, R2F présente deux limitations critiques :

Variance inhérente : La dépendance à la stochasticité des LLMs (GPT-4o) pour générer les prompts auxiliaires et déterminer les niveaux de détails visuels introduit une incohérence dans les résultats.
Guidage sous-optimal : Le passage itératif entre les embeddings de texte rares et fréquents, basé sur des points d'arrêt fixes et heuristiques, ne s'aligne pas avec la progression sémantique réelle de la génération au niveau des tokens, conduisant à un contrôle imprécis.

2. Méthodologie : Le Framework ADAPT

Les auteurs proposent ADAPT, un cadre sans entraînement (training-free) conçu pour planifier de manière déterministe et aligner sémantiquement les calendriers de prompts. ADAPT repose sur trois composants principaux intégrés dans l'architecture des transformateurs de diffusion multimodaux (MM-DiT, comme Stable Diffusion 3) :

A. Planification Adaptative des Prompts (Adaptive Prompt Scheduling - APS)

Au lieu d'utiliser des points d'arrêt fixes déterminés par un LLM, l'APS utilise les scores d'attention spatiale pour déterminer dynamiquement le moment optimal pour basculer d'un concept fréquent à un concept rare.

Mécanisme : Le système surveille la convergence des scores d'attention pour chaque token du prompt cible. Les tokens différenciant les concepts rares (ex: "grenouille" vs "animal") convergent généralement plus lentement.
Stratégie : L'algorithme calcule les $k$ meilleurs scores d'attention. Lorsqu'un seuil de convergence ( $\tau_s$ ) est atteint pour les concepts les plus saturés, le prompt progressif est mis à jour pour remplacer le concept fréquent correspondant par sa version rare. Cela garantit que le modèle a suffisamment "appris" la forme générale avant d'introduire les détails rares.

B. Manipulation des Embeddings Poolés (Pooled Embedding Manipulation - PEM)

Pour améliorer le guidage sémantique sans basculer itérativement les embeddings, l'ADAPT fusionne les informations des prompts fréquents et rares.

Projection Orthogonale : L'embedding textuel poolé du concept rare est projeté sur le complément orthogonal de l'embedding du concept fréquent. Cela extrait une direction de vecteur qui isole les sémantiques spécifiques au concept rare, en éliminant le bruit du concept de base.
Interpolation Adaptative : Une interpolation linéaire est effectuée entre l'embedding fréquent et la composante rare. La force de cette interpolation est pondérée dynamiquement en fonction de la similarité cosinus entre les deux embeddings (mesurant la nouveauté sémantique), évitant ainsi de supprimer les attributs de base ou de ne pas assez accentuer le concept rare.

C. Manipulation de l'Espace Latent (Latent Space Manipulation - LSM)

Pour les cas où la différence sémantique entre les concepts est trop grande (ex: "humanoïde métallique" vs "clown en acier"), la PEM seule peut être insuffisante.

Extraction d'Attributs : L'approche extrait spécifiquement le texte des attributs rares (ex: "en acier").
Guidage Directionnel : Un vecteur de guidage orthogonal est calculé à partir de l'embedding de l'attribut et injecté directement dans les couches d'attention du modèle latent. Cela permet un contrôle directionnel fin et désenchevêtré (disentangled) des attributs spécifiques, indépendamment du sujet principal.

3. Contributions Clés

Élimination de la dépendance au LLM pour le calendrier : L'APS remplace les heuristiques stochastiques de GPT-4o par une détermination déterministe basée sur l'attention, assurant une reproductibilité et une cohérence accrues.
Guidage Sémantique Désenchevêtré : La combinaison de PEM (via projection orthogonale) et de LSM permet de contrôler précisément les attributs rares sans dégrader la fidélité de l'objet principal.
Alignement Token-Niveau : La méthode s'adapte à la dynamique de génération réelle du modèle (convergence de l'attention) plutôt que de suivre un plan rigide, améliorant ainsi l'alignement sémantique global.

4. Résultats Expérimentaux

Les auteurs ont évalué ADAPT sur le benchmark RareBench, qui mesure la capacité à générer des concepts rares.

Performance Quantitative : Sur l'échelle d'alignement texte-image (évaluée par GPT-4o), ADAPT surpasse significativement l'état de l'art, y compris R2F.
- Gain moyen global : +7.4 points par rapport à R2F (83.1 vs 75.7).
- Améliorations notables dans les catégories complexes : Relation Multi-Objets (+16.2) et Forme d'Objet Unique (+9.4).
Qualité Visuelle : Les scores esthétiques (LAION-Aesthetic, PickScore, ImageReward) montrent que ADAPT améliore la cohérence sémantique et la préférence humaine sans sacrifier la qualité visuelle de l'image.
Études d'Ablation :
- L'utilisation de l'APS seule améliore déjà la performance, confirmant l'importance de l'adaptation temporelle.
- L'ajout de PEM et LSM apporte des gains supplémentaires, prouvant que le guidage directionnel est crucial pour les attributs complexes.
- L'étude des stratégies d'agrégation des scores d'attention montre que l'approche token-à-token est supérieure aux moyennes globales.

5. Signification et Impact

ADAPT représente une avancée significative dans la génération d'images pour des concepts rares. En passant d'une approche heuristique et stochastique (dépendante des LLM) à une approche déterministe et guidée par l'attention, le framework offre :

Une fiabilité accrue pour les applications nécessitant une cohérence stricte.
Une précision sémantique supérieure, permettant de visualiser des concepts abstraits ou très spécifiques avec une grande fidélité.
Une méthode sans entraînement (zero-shot) applicable aux architectures de diffusion modernes (comme SD3 et FLUX), rendant la technologie accessible sans coût de calcul pour le fine-tuning.

En résumé, ADAPT établit un nouveau paradigme pour la génération de concepts rares en alignant dynamiquement le processus de débruitage avec la saturation sémantique des tokens, garantissant ainsi que les détails rares sont intégrés au bon moment et avec la bonne intensité.