Résumé Technique : Briser le Verrouillage par la Modulation de la Représentation

Problématique

Les modèles récents de génération de texte en image (T2I), particulièrement ceux exploitant des architectures Transformer à grande échelle et des objectifs de flux (flow-based), ont atteint un alignement texte-image et un photoréalisme remarquables. Cependant, ces modèles souffrent fréquemment d'un problème de « l'effondrement de la diversité » (diversity collapse) : lors de la génération de plusieurs images à partir d'un même prompt, les résultats convergent vers des compositions, des mises en page et des motifs stylistiques excessivement similaires. Cette homogénéité limite l'utilité des modèles génératifs pour les tâches nécessitant une large exploration de candidats ou la construction de jeux de données synthétiques.

Les méthodes existantes pour améliorer la diversité se divisent généralement en deux catégories : la diversification par lot (ex: Particle Guidance, OSCAR) et la manipulation de trajectoire individuelle (ex: CADS). Bien qu'efficaces dans une certaine mesure, ces approches imposent souvent des coûts de calcul et de mémoire importants en raison de l'optimisation auxiliaire, de la génération parallèle de candidats ou des interactions entre échantillons. De plus, les causes mécanistes fondamentales de l'effondrement de la diversité au sein des représentations internes du modèle restent largement inexplorées, les travaux antérieurs se concentrant principalement sur des heuristiques d'inférence plutôt que sur l'analyse des causes racines.

Méthodologie : DAVE

Les auteurs proposent DAVE (DC Attenuation for diVersity Enhancement), une intervention au niveau de la représentation, sans réentraînement, conçue pour briser le « verrouillage » (lock-in) des trajectoires génératives.

Analyse de la Cause Racine

À travers une analyse des caractéristiques Transformer intermédiaires, les auteurs identifient que la moyenne spatiale à fréquence nulle (composante DC) des représentations cachées converge rapidement entre différentes graines (seeds) aléatoires durant les premières étapes de la génération.

• Observation : Dans les premières étapes de débruitage (régime de bruit élevé), la composante DC présente une similitude cosinus élevée entre les graines et une faible variance, représentant plus de 50 % de l'énergie totale de la représentation.
• Mécanisme : Ce phénomène, nommé « dérive précoce de la composante DC » (early DC drift), est attribué au biais spectral des réseaux de neurones (qui privilégient les signaux basse fréquence) combiné à la nature des objectifs de correspondance de flux (flow-matching) sous haute incertitude. Le modèle prédit l'espérance mathématique des données conditionnée par le texte, ce qui fait que la composante DC s'aligne sur une moyenne globale invariante par rapport à la graine. Cet alignement précoce établit une ancre structurelle qui restreint la capacité des graines de bruit initiales à induire une variation suffisante dans la mise en page globale et la sémantique grossière.

L'intervention DAVE

Pour atténuer ce verrouillage, DAVE atténue sélectivement la composante DC durant la phase générative précoce.

• Opération : Pour une représentation cachée $h^{(\ell)}_t$ au bloc Transformer $\ell$ et à l'instant $t$, la composante DC $\mu^{(\ell)}_t$ est calculée comme la moyenne spatiale à travers les tokens visuels. La représentation est ensuite modifiée comme suit :
  $$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$$
  où $\alpha \in (0, 1)$ est un paramètre d'intensité d'atténuation.
• Contraintes : L'intervention est appliquée uniquement à des blocs Transformer spécifiques ($\ell \in \mathcal{L}$) identifiés comme présentant une forte convergence de la composante DC entre les graines, et uniquement durant les premiers instants ($t < \tau$).
• Implémentation : DAVE ne nécessite aucun réentraînement, aucun changement dans le pipeline d'échantillonnage, et aucune mémoire supplémentaire pour les banques de caractéristiques. Il fonctionne comme une modification chirurgicale des sorties intermédiaires avant qu'elles ne soient transmises aux blocs suivants.

Contributions Clés

1. Insight Mécaniste : L'article identifie la convergence rapide de la composante DC lors des étapes de génération précoces comme le principal goulot d'étranglement de la variation au niveau de la graine, fournissant une explication théorique et empirique du verrouillage de trajectoire.
2. Algorithme DAVE : Une méthode légère, sans réentraînement, qui atténue la composante DC pour déverrouiller la diversité générative sans compromettre l'alignement sémantique ou la qualité visuelle.
3. Efficacité : Contrairement aux méthodes basées sur l'interaction qui évoluent de manière quadratique avec la taille du lot ($O(TB^2)$), DAVE maintient une complexité linéaire ($O(TB)$) avec un surcoût négligeable, ce qui le rend scalable pour les modèles modernes de grande taille.
4. Robustesse : La méthode s'avère robuste à travers différentes architectures de modèles (Stable Diffusion 3/3.5, FLUX.1-dev, SANA1.5) et des complexités de prompts variées, le pool de blocs cibles $\mathcal{L}$ étant largement indépendant du jeu de données.

Résultats Expérimentaux

Les auteurs ont évalué DAVE sur les benchmarks ImageNet et MS-COCO en utilisant des métriques pour la qualité visuelle (FID, Précision, Densité), la diversité (Recall, Coverage, Vendi Score) et l'alignement texte-image (Score CLIP).

• Gains de Diversité : DAVE améliore systématiquement les métriques de diversité (Recall, Vendi Score) sur tous les modèles testés, surpassant l'échantillonneur original et rivalisant favorablement avec des méthodes de pointe comme CADS et SPARKE.
• Préservation de la Qualité : Contrairement à certaines bases qui sacrifient la fidélité au profit de la diversité (ex: CADS montrant une dégradation des scores CLIP sur certains modèles), DAVE maintient une qualité d'image et un alignement textuel compétitifs.
• Performance In-Batch : Dans les contextes de génération explicite par lot, DAVE atteint une similitude de caractéristiques plus faible et une distance perceptuelle plus élevée par rapport à des méthodes comme Particle Guidance et SPELL, tout en engendrant des coûts de calcul nettement inférieurs.
• Modèles Distillés : La méthode est compatible avec les modèles distillés (ex: SD3.5-Large-Turbo), améliorant la diversité même dans des régimes d'échantillonnage simplifiés.
• Études d'Ablation :
  • Seuil Temporel ($\tau$) : Intervenir dans les 15 à 20 % des premières étapes produit une diversité optimale sans perte de qualité.
  • Intensité d'Atténuation ($\alpha$) : Des valeurs comprises entre 0,2 et 0,5 équilibrent la variation structurelle et la cohérence sémantique.
  • Sélection des Blocs : La méthode est robuste au choix spécifique des blocs au sein du pool de haute convergence identifié $\mathcal{L}$.

Signification et Revendications

L'article affirme que DAVE offre un cadre pratique et scalable pour traiter le problème critique de la diversité limitée dans les modèles T2I basés sur le flux. En ciblant la cause racine du verrouillage de trajectoire — l'homogénéisation précoce de la composante DC — la méthode réussit à élargir le champ génératif des modèles pré-entraînés.

Les auteurs soulignent que DAVE offre un compromis diversité-fidélité favorable sans les charges de calcul des solutions existantes. Il sert d'intervention « chirurgicale » qui préserve le pipeline d'échantillonnage tout en permettant à la stochasticité du bruit initial de piloter des variations structurelles significatives. Ce travail suggère que la compréhension et la modulation de la dynamique des représentations internes constituent une voie viable pour améliorer les capacités génératives sans nécessre de réentraînement ou de procédures d'optimisation complexes.