Résumé Technique : CFG-OEC (Guidance Sans Classificateur avec Correction d'Erreur Orthogonale)

1. Énoncé du Problème

La Guidance Sans Classificateur (CFG) est la norme de facto pour l'échantillonnage conditionnel dans les modèles de diffusion, permettant la génération d'échantillons aux propriétés souhaitées (par exemple, l'alignement avec le texte) sans nécessiter de classificateur externe. Cependant, les auteurs identifient un décalage structurel fondamental entre l'objectif d'entraînement et la procédure d'échantillonnage dans la CFG.

Durant l'entraînement, un modèle unique apprend à la fois les prédictions conditionnelles ($\epsilon_\theta(x_t | y)$) et inconditionnelles ($\epsilon_\theta(x_t)$) via un dropout stochastique de la condition. Au moment de l'échantillonnage, la CFG construit un prédicteur guidé comme une combinaison linéaire de ces deux modes appris :
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
L'article soutient que ce prédicteur guidé n'est pas une cible directe d'entraînement. Par conséquent, même si les prédictions conditionnelles et inconditionnelles individuelles sont précises, leur combinaison linéaire au moment de l'échantillonnage introduit une erreur d'échantillonnage structurelle. Cette erreur résulte de l'interaction entre les erreurs de prédiction conditionnelle et inconditionnelle, un composant qui n'est ni explicitement contrôlé ni pénalisé lors du processus d'entraînement standard.

2. Méthodologie

2.1 Décomposition de l'Erreur

Les auteurs analysent l'erreur d'échantillonnage en décomposant l'Erreur Quadratique Moyenne (MSE) du prédicteur guidé en trois composantes :

1. Erreur de Base : La somme pondérée des normes au carré des erreurs de prédiction conditionnelle et inconditionnelle. Celles-ci sont minimisées durant l'entraînement.
2. Erreur Croisée : Un terme d'interaction déterminé par le produit scalaire (alignement) des vecteurs d'erreur conditionnelle et inconditionnelle : $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

L'analyse révèle que l'erreur croisée est un composant structurel non trivial de l'erreur d'échantillonnage. Selon l'échelle de guidage $w$, ce terme peut soit augmenter l'erreur totale (par exemple, lorsque $w \in (0,1)$), soit la réduire incidemment (lorsque $w > 1$), mais dans les deux cas, il n'est pas contrôlé par l'objectif d'entraînement.

2.2 Correction d'Erreur Orthogonale (OEC)

Pour atténuer cette erreur structurelle, l'article propose CFG-OEC, qui vise à éliminer le terme d'erreur croisée en imposant l'orthogonalité entre les vecteurs d'erreur conditionnelle et inconditionnelle.

• Mécanisme Théorique : La méthode projette le vecteur d'erreur inconditionnelle $\Delta_{uc}$ sur le sous-espace orthogonal au vecteur d'erreur conditionnelle $\Delta_c$. En supprimant la composante de $\Delta_{uc}$ qui s'aligne avec $\Delta_c$, le terme d'interaction $\langle \Delta_c, \Delta_{uc} \rangle$ est réduit à zéro.
• Garantie Théorique : Puisque la projection orthogonale n'augmente pas la norme d'un vecteur, cette correction réduit l'erreur d'échantillonnage totale sans augmenter la composante d'erreur de base.

2.3 Implémentation Pratique : Proxy et Mélange Dynamique

Dans la génération d'images réelle, le bruit de vérité terrain $\epsilon^*_t$ est indisponible, rendant le calcul direct des vecteurs d'erreur impossible. Les auteurs introduisent deux mécanismes pratiques :

1. Proxy Basé sur la Prédiction : Au lieu de la vérité terrain, la méthode construit des proxies pour les cibles de bruit en utilisant une extrapolation linéaire à partir des pas de temps adjacents ($t$ et $t+1$). Plus précisément, $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$. Ces proxies servent de substituts pour estimer les tendances directionnelles locales des vecteurs d'erreur.
2. Mélange Dynamique : Pour assurer la stabilité, la méthode n'applique pas la correction aveuglément. Elle calcule la similarité cosinus ($s$) entre les vecteurs d'erreur basés sur les proxies. Si l'alignement est trop fort (indiquant une imprécision potentielle du proxy ou une instabilité), la correction est atténuée. La prédiction inconditionnelle finale est un mélange dynamique du vecteur corrigé et de la prédiction originale du modèle, pondéré par $s$.

3. Contributions Clés

• Analyse Structurelle : L'article fournit une décomposition théorique de l'erreur d'échantillonnage CFG, identifiant l'« erreur croisée » comme une limitation structurelle distincte et incontrôlée résultant du décalage entraînement-échantillonnage.
• Algorithme CFG-OEC : Une nouvelle méthode de correction au moment de l'échantillonnage qui orthogonalise les vecteurs d'erreur pour réduire le terme d'interaction, garantissant théoriquement une réduction de l'erreur d'échantillonnage.
• Construction de Proxy : Un cadre pratique pour appliquer une correction orthogonale dans des espaces de haute dimension sans accès au bruit de vérité terrain, en utilisant des prédictions de modèles extrapolées.
• Stabilisation Dynamique : Un mécanisme pour contrôler de manière adaptative la force de la correction en fonction de l'alignement des erreurs de proxy, équilibrant l'efficacité de la correction avec la stabilité.

4. Résultats Expérimentaux

Les auteurs valident CFG-OEC à travers des expériences théoriques contrôlées et des tâches de génération d'images à grande échelle.

• Environnement Contrôlé (GMM 2D) : Dans un Modèle de Mélange Gaussien 2D où la vérité terrain est accessible, les expériences confirment la décomposition théorique de l'erreur. L'erreur croisée représente environ 10 à 15 % de l'erreur de base dans les régimes de faible guidage. La correction orthogonale réduit systématiquement l'erreur d'échantillonnage totale à travers diverses échelles de guidage.
• Génération d'Images (Stable Diffusion v1.5 & XL) :
  • Métriques : Évalué sur l'ensemble de validation MSCOCO 10k utilisant le FID (fidélité de l'image) et les scores CLIP (alignement texte).
  • Performance : CFG-OEC surpasse la CFG standard et la récente base CFG++ sur plusieurs échantillonneurs (DDIM, UniPC, DPM-Solver++).
  • Régime de Faible Guidage : Les améliorations les plus significatives sont observées dans les régimes de faible guidage (par exemple, $w=0.5$), où l'erreur croisée est la plus préjudiciable.
  • Régime de Fort Guidage : La méthode reste compétitive, montrant des améliorations à la fois en FID et en CLIP à des échelles plus élevées (par exemple, $w=5.0, 7.5$), bien que certains régimes présentent un léger compromis fidélité-alignement.
  • Qualité Visuelle : Les résultats qualitatifs montrent que CFG-OEC réduit les artefacts structurels (par exemple, membres supplémentaires, texte illisible, objets mal alignés) et produit des structures plus cohérentes par rapport à CFG++.

5. Signification et Revendications

L'article affirme que CFG-OEC offre une solution pratique et théoriquement motivée à une source structurelle spécifique d'erreur dans les modèles de diffusion.

• Insight Théorique : Il déplace l'attention de la simple ajustement des échelles de guidage ou des contraintes géométriques vers la résolution de la structure d'erreur fondamentale induite par la combinaison linéaire des prédictions conditionnelles et inconditionnelles.
• Utilité Pratique : La méthode est simple à mettre en œuvre, ne nécessite aucun réentraînement du modèle de diffusion et est compatible avec les échantillonneurs et modèles existants.
• Robustesse : La stratégie de mélange dynamique garantit que la correction reste stable même lorsque les estimations de proxy sont imparfaites, la rendant adaptée au déploiement dans le monde réel.

Les auteurs concluent que, bien qu'un entraînement amélioré réduise l'ampleur des erreurs individuelles, CFG-OEC fournit un mécanisme nécessaire pour contrôler l'interaction entre ces erreurs, permettant ainsi un échantillonnage conditionnel plus stable et cohérent.