Résumé Technique : Amélioration de la Guidance Sans Classificateur pour l'Appariement de Flux par Projection sur Variété

Énoncé du Problème

La Guidance Sans Classificateur (CFG) est le mécanisme dominant pour la génération contrôlée dans les modèles de diffusion et à base de flux, orientant l'échantillonnage vers des conditions désirées via une extrapolation linéaire entre des prédictions inconditionnelles et conditionnelles. Malgré son succès empirique, la CFG standard repose sur une extrapolation linéaire heuristique contrôlée par un paramètre d'échelle de guidance scalaire $w$. Cette approche présente un compromis bien connu : de petites valeurs de $w$ produisent un alignement conditionnel faible, tandis que de grandes valeurs entraînent souvent une saturation excessive, des artefacts et une perte de diversité.

Le choix de $w$ est hautement sensible et dépendant du modèle, nécessitant généralement un réglage ad hoc. De plus, les améliorations existantes manquent souvent d'une fondation théorique rigoureuse, notamment concernant :

1. La fonction objectif que l'extrapolation CFG standard approxime dans l'appariement de flux.
2. L'existence et la définition d'une échelle de guidance mathématiquement optimale.
3. Le mécanisme théorique expliquant pourquoi la réduction de l'« écart de prédiction » (la divergence entre les sorties conditionnelles et inconditionnelles) améliore la qualité et la robustesse de la génération.

Les méthodes actuelles sont souvent centrées sur la diffusion, s'appuyant sur des propriétés de calendrier de bruit qui ne se transfèrent pas directement à l'appariement de flux, où l'échantillonnage suit une Équation Différentielle Ordinaire (EDO) en temps continu définie par un champ de vitesse.

Méthodologie

Les auteurs réinterprètent l'échantillonnage CFG à travers le prisme de l'optimisation, comblant le fossé entre l'extrapolation heuristique et l'optimisation sous contraintes.

1. Interprétation de la CFG basée sur l'Optimisation

L'article démontre que le champ de vitesse conditionnel idéal dans l'appariement de flux correspond au gradient d'une séquence de fonctions de distance lissées. Plus précisément, le champ de vitesse guide les variables latentes vers un ensemble d'images cibles mis à l'échelle.

• Fondement Théorique : Les auteurs définissent des fonctions de distance quadratique lissées vers l'ensemble d'images conditionnel $K_y$ et l'ensemble inconditionnel $K_\emptyset$. Ils prouvent que les champs de vitesse idéaux $v^*_{t,y}$ et $v^*_{t,\emptyset}$ sont les gradients de ces fonctions de distance (moins un terme de régularisation).
• Optimisation par Homotopie : Le processus d'échantillonnage est reformulé comme un problème d'optimisation par homotopie, où l'objectif est de minimiser la distance vers la variété cible. Il est démontré que la CFG standard est une approximation du gradient de cette fonction objectif.
• Décomposition de l'Erreur : L'erreur d'approximation de la CFG est décomposée en une erreur intrinsèque du modèle et un terme proportionnel à $(w^* - w)^2 \times \text{Écart de Prédiction}^2$. Cela révèle que la sensibilité à l'échelle de guidance est régie par l'ampleur de l'écart de prédiction. Par conséquent, éliminer l'écart de prédiction est théoriquement plus efficace que de rechercher une $w$ optimale.

2. CFG-MP : Échantillonnage par Projection sur Variété

Pour atténuer l'écart de prédiction, les auteurs proposent CFG-MP, qui impose une contrainte de variété $M_t = \{z \mid v_\theta(t, z, y) = v_\theta(t, z, \emptyset)\}$.

• Formulation : La mise à jour d'échantillonnage est reformulée comme une étape de Descente de Gradient Projeté (PGD). Au lieu d'une simple étape d'Euler, la méthode effectue une étape de descente de gradient suivie d'une projection sur la variété $M_t$.
• Implémentation : Puisque la projection sur $M_t$ n'a pas de solution sous forme fermée, les auteurs mettent en œuvre un schéma de descente de gradient incrémental. Ils approximent la projection idéale en utilisant le réseau entraîné $v_\theta$ et effectuent des mises à jour séquentielles : d'abord une étape basée sur la vitesse inconditionnelle, puis une étape basée sur la vitesse conditionnelle. Ce processus itératif réduit efficacement l'écart de prédiction durant l'échantillonnage sans réentraîner le modèle.

3. CFG-MP+ : Accélération d'Anderson

Pour remédier à la surcharge computationnelle de la projection itérative, les auteurs intègrent l'Accélération d'Anderson (AA) dans la phase de projection sur variété, aboutissant à CFG-MP+.

• Mécanisme : L'étape de projection est traitée comme une itération de point fixe. L'AA accélère la convergence en calculant la prochaine itérée comme une extrapolation linéaire des évaluations passées, minimisant la norme du résidu au sens des moindres carrés.
• Efficacité : Cette approche améliore considérablement la vitesse de convergence et la stabilité sans nécessiter d'évaluations supplémentaires du modèle au-delà de celles requises pour les étapes de projection standard.

Contributions Clés

1. Interprétation basée sur l'Optimisation : L'article fournit une interprétation principielle de la CFG, montrant que le champ de vitesse conditionnel correspond au gradient d'une fonction objectif de distance régularisée. Cela permet la définition formelle d'une échelle de guidance optimale comme le minimiseur de l'erreur d'approximation.
2. Analyse Théorique de la Sensibilité : Les auteurs dérivent une décomposition de l'erreur reliant explicitement la sensibilité de l'échelle de guidance à l'écart de prédiction. Cela offre une justification théorique expliquant pourquoi la réduction de la divergence entre les prédictions conditionnelles et inconditionnelles améliore la robustesse.
3. Algorithme CFG-MP : Une nouvelle méthode d'échantillonnage sans entraînement qui formule l'échantillonnage conditionnel comme un problème d'optimisation sous contraintes. Elle utilise un schéma de descente de gradient incrémental pour projeter itérativement la trajectoire d'échantillonnage sur une variété où l'écart de prédiction est minimisé.
4. Accélération CFG-MP+ : L'intégration de l'Accélération d'Anderson pour stabiliser et accélérer le processus de projection sur variété, élargissant considérablement la région de stabilité pratique de la méthode itérative.

Résultats Expérimentaux

Les auteurs valident leurs méthodes sur divers benchmarks, incluant la génération d'images à partir de classes sur ImageNet (utilisant DiT-XL-2-256) et la génération d'images à partir de texte utilisant Stable Diffusion 3.5 et Flux-dev.

• Performance Quantitative :

  • ImageNet (DiT-XL-2-256) : CFG-MP et CFG-MP+ surpassent nettement la CFG vanilla et d'autres variantes (Z-sampling, Re-sampling, FSG) en termes de Fréchet Inception Distance (FID) et de Inception Score (IS). Notamment, CFG-MP+ réalise un gain de 14,78 points en IS par rapport à la base CFG(D2F) à $\omega=2.0$, contre 5,50 pour FSG.
  • Image à partir de Texte (SD3.5 & Flux-dev) : Les méthodes surpassent systématiquement les bases (CFG-0*, Rectified-CFG++) sur plusieurs métriques, y compris le score CLIP, ImageReward (IR), PickScore et HPSv2. CFG-MP+ montre une force particulière sur HPSv2 et IR, indiquant un meilleur alignement avec les préférences humaines.
  • GenEval : Les méthodes démontrent des performances supérieures dans des tâches compositionnelles fines, telles que le comptage, l'attribution de couleurs et le positionnement spatial.

• Robustesse et Stabilité :

  • Les méthodes réduisent considérablement la sensibilité de la qualité de génération à l'échelle de guidance. CFG-MP+ maintient de faibles ratios de croissance du FID même lorsque $w$ augmente, tandis que d'autres méthodes se dégradent.
  • Des études d'ablation confirment que le schéma d'Accélération d'Anderson (spécifiquement avec une taille de fenêtre $m=1$ et un amortissement $\beta=1.0$) est robuste et nécessite un réglage minimal.
  • Les résultats qualitatifs montrent des améliorations en termes de netteté, de préservation de la texture, de saturation des couleurs et d'élimination d'artefacts tels que le flou ou le lissage excessif.

Importance et Revendications

L'article revendique fournir la première analyse théorique rigoureuse de l'erreur d'approximation de la CFG à travers le prisme de l'écart de prédiction dans les modèles d'appariement de flux. En allant au-delà des interprétations heuristiques, les auteurs établissent une justification principielle pour la minimisation de l'écart de prédiction afin de préserver l'intégrité de la trajectoire d'échantillonnage.

Les méthodes proposées (CFG-MP et CFG-MP+) sont sans entraînement, ce qui signifie qu'elles peuvent être appliquées à des modèles pré-entraînés existants sans réentraînement. Elles offrent une manière systématique d'améliorer la fidélité de la génération et la robustesse face à l'échelle de guidance, répondant ainsi à une limitation critique des flux de travail actuels de génération contrôlée. Les auteurs notent que si la méthode introduit des itérations de point fixe supplémentaires (augmentant les NFEs), les gains en qualité d'échantillon et en stabilité sont substantiels. Ils suggèrent que des travaux futurs pourraient explorer le déplacement de l'atténuation de l'écart de prédiction vers la phase d'entraînement ou l'adaptation de ces techniques aux modèles de diffusion.