Résumé Technique : TAG : Guidance d'Amplification Tangentielle pour un Échantillonnage Résistant aux Hallucinations

1. Énoncé du Problème

Les modèles de diffusion ont atteint des performances de pointe dans la génération d'images, mais souffrent fréquemment d'hallucinations, définies comme des incohérences sémantiques ou des violations de la distribution des données (par exemple, des impossibilités anatomiques comme des doigts supplémentaires, ou des objets mélangés). Des recherches récentes suggèrent que ces erreurs proviennent d'une interpolation de modes, où les trajectoires d'échantillonnage traversent des vallées de faible densité entre des modes distincts de la distribution des données, entraînant des mismatches d'attributs et des incohérences structurelles.

Les méthodes de guidance existantes au moment de l'inférence, telles que la Guidance Sans Classifieur (CFG) et ses variantes, reposent généralement sur une mise à l'échelle résiduelle entre les branches conditionnelle et non conditionnelle. Bien qu'efficaces, ces méthodes sont largement inconscientes de la géométrie ; elles appliquent une amplification scalaire unique au résidu sans tenir compte de la structure directionnelle locale de la distribution des données. Cela peut déformer involontairement la trajectoire de débruitage, provoquant une dérive hors-variété ou un lissage excessif. De plus, de nombreuses solutions existantes nécessitent des signaux externes, des modifications architecturales ou des évaluations de débruitage supplémentaires, ajoutant une surcharge computationnelle significative.

2. Méthodologie : Guidance d'Amplification Tangentielle (TAG)

Les auteurs proposent la Guidance d'Amplification Tangentielle (TAG), une méthode de guidance sans entraînement, agnostique de l'architecture et plug-and-play, qui opère purement sur les signaux de trajectoire. TAG est fondée sur la décomposition géométrique de l'étape de mise à jour d'échantillonnage.

Concept Central

S'appuyant sur l'identité de Tweedie et le théorème de l'anneau gaussien, les auteurs observent que la région de haute probabilité d'une distribution corrompue réside sur une fine coque sphérique (une variété de données bruitée, $M_k$). La mise à jour d'échantillonnage peut être décomposée en :

1. Composante Radiale (Normale) : Déplace l'état le long du rayon, dictée par le calendrier de bruit.
2. Composante Tangentielle : Déplace l'état le long de la variété, en préservant le rayon tout en affinant la structure sémantique.

Les auteurs émettent l'hypothèse que la composante tangentielle porte des informations structurelles et sémantiques riches, tandis que la composante normale est largement du bruit non structuré. Amplifier la composante tangentielle oriente la trajectoire vers des régions de plus haute densité de la variété de données sans altérer la progression radiale.

Algorithme

Étant donné un incrément de solveur de base $\Delta_{k+1}$ (par exemple, issu de DDIM) à l'étape de temps $k+1$ :

1. Projection : La mise à jour est décomposée en utilisant des projecteurs sur la direction radiale ($P_{M_{k+1}}$) et la direction tangentielle orthogonale ($P^\perp_{M_{k+1}}$) par rapport à l'état courant $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. Amplification : La composante tangentielle est amplifiée par un facteur $\eta \ge 1$, tandis que la composante radiale reste inchangée.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

Justification Théorique

L'article fournit une analyse de Taylor du premier ordre montrant que l'amplification de la composante tangentielle augmente de manière monotone le gain de vraisemblance logarithmique du premier ordre. Plus précisément, le Théorème 4.1 prouve qu'augmenter $\eta$ conduit la trajectoire d'échantillonnage vers des régions de densité de modèle plus élevée, réduisant ainsi les artefacts hors-variété (hallucinations) tout en préservant l'étalonnage radial requis pour un débruitage approprié.

Extension à la CFG

Pour la Guidance Sans Classifieur, les auteurs abordent l'incohérence entre les prédictions conditionnelles et non conditionnelles. Ils proposent d'aligner la prédiction conditionnelle avec le résidu tangentiel (la différence entre les scores conditionnels et non conditionnels projetés sur l'espace tangent). Cette réconciliation réduit le mismatch qui dégrade souvent la qualité de génération dans la CFG standard.

3. Contributions Clés

• Insight Géométrique : L'article établit un lien concret entre la géométrie intrinsèque de la fonction de score et la qualité de l'échantillon, prouvant que l'amplification des composantes tangentielles oriente l'échantillonnage vers la variété intra-distribution.
• Algorithme TAG : Introduction d'un algorithme théoriquement fondé, léger en calcul et agnostique de l'architecture qui réalise ce principe géométrique. Il ne nécessite aucun réentraînement, aucune évaluation de réseau supplémentaire et aucun changement architectural.
• Compatibilité Plug-and-Play : TAG est conçue pour s'intégrer de manière transparente aux solveurs existants et aux méthodes de guidance (par exemple, PAG, SEG, SSG) en tant qu'étape de post-traitement sur le vecteur de mise à jour.

4. Résultats Expérimentaux

Les auteurs ont évalué TAG sur diverses architectures de base Stable Diffusion (v1.5, v2.1, XL, 3) et des modèles modernes (Qwen-Image, Wan2.2 vidéo) en utilisant le jeu de données COCO 2014 et T2I-CompBench.

• Améliorations Quantitatives :
  • Génération Non Conditionnelle : TAG a constamment amélioré le FID (par exemple, SD v1.5 : 58,41 $\to$ 46,20) et le CMMD sur toutes les architectures de base sans augmenter le nombre d'évaluations de fonctions (NFE).
  • Génération Conditionnelle : TAG a amélioré la fidélité des échantillons et l'alignement avec l'invite (ImageReward, CLIP-Score) sur SD v1.5, v2.1, XL et 3.
  • Réduction des Hallucinations : Sur T2I-CompBench (sous-ensembles Spatial et Complex), TAG a amélioré les métriques de fidélité compositionnelle, indiquant une réduction des hallucinations structurelles (par exemple, un placement incorrect d'objets ou des relations erronées) plutôt que de simples changements de style perceptuel.
  • Génération Vidéo : Appliqué à Wan2.2, TAG a amélioré le degré de dynamique, la qualité d'imagerie et la cohérence temporelle, réduisant les artefacts structurels dans des scènes complexes.
• Efficacité :
  • TAG ajoute une surcharge computationnelle négligeable (environ +9,4 % de latence) par rapport aux bases, car elle ne fait intervenir que des projections vectorielles légères.
  • À l'inverse, des méthodes comme PAG (Guidance par Attention Perturbée) doublent presque la latence (+112,8 %) en raison d'évaluations supplémentaires de UNet.
• Compatibilité : L'empilement de TAG sur des méthodes de guidance existantes (PAG, SEG, SSG) a produit des améliorations supplémentaires du FID et des scores de préférence humaine, démontrant son orthogonalité par rapport aux guidages basés sur le résidu.

5. Signification et Revendications

L'article revendique que TAG offre une vue géométrique des hallucinations, les identifiant comme un échec à rester sur la variété des données lors de l'interpolation de modes. En isolant et en amplifiant la composante tangentielle de la mise à jour, TAG corrige efficacement la trajectoire d'échantillonnage vers des régions de haute densité.

Les auteurs soulignent que TAG est un raffinement complémentaire plutôt qu'un remplacement des solveurs existants. Elle améliore la qualité des échantillons et réduit les hallucinations avec un coût computationnel minimal, la rendant adaptée à l'intégration dans des pipelines existants. L'article note modestement que, bien que l'analyse théorique établisse un gain de vraisemblance locale du premier ordre, elle ne caractérise pas entièrement le comportement de la trajectoire inverse sur l'ensemble du processus d'échantillonnage. Des travaux futurs sont suggérés pour explorer un ajustement adaptatif et des estimations de géométrie de variété locale plus complexes.