C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis

Cet article propose C²FG, une méthode d'entraînement gratuit et plug-in qui améliore la guidance sans classificateur en ajustant dynamiquement son poids via une fonction de décroissance exponentielle, fondée sur une analyse théorique rigoureuse des écarts de score au cours du processus de diffusion.

L'essentiel

Imaginez que vous êtes un sculpteur de marbre, mais au lieu de travailler sur une statue déjà existante, vous devez créer une œuvre d'art en partant d'un bloc de neige complètement flou et chaotique. C'est ce que font les modèles de diffusion génératifs (comme ceux qui créent des images à partir de texte) : ils commencent par du "bruit" (comme une tempête de neige) et le transforment progressivement en une image claire et nette.

Pour guider ce processus, les chercheurs utilisent une technique appelée CFG (Guidage sans classificateur). C'est comme si vous aviez un assistant qui vous chuchote : "Non, ce n'est pas un chat, c'est un chien !".

Cependant, il y a un problème avec la méthode actuelle : l'assistant utilise toujours le même volume de voix, du début à la fin du processus.

• Au début (quand tout est neige), l'assistant crie très fort, même si le bruit est si fort que ses conseils ne servent à rien.
• À la fin (quand la statue est presque finie), l'assistant chuchote à peine, alors que c'est le moment où il faut être le plus précis pour les détails fins.

Ce papier propose une nouvelle méthode appelée C2FG (Control Classifier-Free Guidance). Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Un volume mal réglé

Dans la méthode classique, le "volume" du guide (l'importance qu'on donne aux instructions) est fixe. C'est comme essayer de conduire une voiture en gardant le même angle de braquage, que vous soyez sur une autoroute droite ou dans un virage serré. Cela ne fonctionne pas bien.

Les chercheurs ont découvert une loi mathématique fascinante : la différence entre ce que l'assistant voit (l'image floue) et ce que vous voulez (l'image précise) change avec le temps.

• Au début, le bruit est si fort que l'assistant et vous voyez à peu près la même chose (du chaos). Il n'a pas besoin de crier.
• À la fin, quand l'image se précise, la différence entre "un chien" et "un chat" devient énorme. C'est là qu'il faut que l'assistant soit très fort et très précis.

2. La Solution : Un volume qui s'adapte (C2FG)

La méthode C2FG remplace ce volume fixe par un volume intelligent qui change tout au long du processus.

Imaginez que vous avez une manette de contrôle magique :

• Au début (le chaos) : La manette est baissée. L'assistant parle doucement. Pourquoi ? Parce que le bruit est trop fort pour que ses conseils aient de l'effet. On laisse la nature faire son travail pour structurer le chaos.
• À la fin (la précision) : La manette monte progressivement. L'assistant crie de plus en plus fort. Pourquoi ? Parce que c'est le moment critique où il faut corriger les derniers détails pour que l'image corresponde parfaitement à votre demande.

3. L'Analogie du Guide de Montagne

Prenons l'exemple d'un guide de montagne qui vous aide à descendre une pente enneigée :

• En haut de la montagne (début du processus) : Il fait une tempête de neige, vous ne voyez rien. Si le guide vous crie "Tournez à gauche !", vous ne l'entendrez pas ou vous ne pourrez pas réagir. Il vaut mieux qu'il reste calme et vous laisse glisser naturellement.
• En bas de la montagne (fin du processus) : Le temps s'éclaircit, vous voyez le chemin. Si vous vous approchez d'un ravin, le guide doit crier "STOP !" très fort et très vite pour vous sauver.

La méthode C2FG agit comme ce guide parfait : elle sait exactement quand se taire et quand crier, en suivant une courbe mathématique précise (une décroissance exponentielle) qui correspond à la nature même de la "neige" qui se transforme en image.

Pourquoi est-ce génial ?

• Pas besoin de réapprendre : C'est comme ajouter un nouveau filtre sur une caméra existante. Vous n'avez pas besoin de réentraîner tout le modèle (ce qui coûte des millions), vous changez juste la règle de gestion du volume.
• Résultats plus nets : Les images sont plus fidèles à la demande (moins de chats avec 6 pattes) et plus belles, car le guide intervient au bon moment.
• Universel : Ça marche sur n'importe quel type de modèle, qu'il génère des images de chats, de paysages ou même de vidéos.

En résumé : Ce papier dit aux robots créateurs : "Arrêtez de crier tout le temps ! Apprenez à chuchoter quand il y a du bruit, et criez fort quand il faut être précis." C'est une petite astuce mathématique qui rend la création d'images beaucoup plus intelligente et naturelle.

Résumé technique

1. Problématique

Les modèles de diffusion conditionnels modernes reposent largement sur la Guidance Sans Classifieur (Classifier-Free Guidance ou CFG) pour améliorer la qualité des échantillons générés et leur alignement avec les conditions (par exemple, des étiquettes de classe ou des descriptions textuelles).

Cependant, la mise en œuvre standard de la CFG utilise un poids de guidance fixe ($\omega$) tout au long du processus de génération. L'article identifie plusieurs limites à cette approche statique :

• Manque de fondement théorique : Les stratégies dynamiques existantes sont souvent heuristiques et basées sur des observations empiriques plutôt que sur une analyse rigoureuse de la dynamique de diffusion.
• Inadéquation temporelle : La différence entre les distributions conditionnelles et inconditionnelles n'est pas constante. Elle évolue au cours du processus de diffusion (de l'état de bruit pur vers les données). Une guidance fixe traite toutes les étapes de manière égale, ce qui peut entraîner une guidance excessive au début (perturbant la formation de la structure) ou insuffisante à la fin (réduisant la fidélité).
• Limites de performance : Les méthodes actuelles peinent à optimiser simultanément la fidélité (qualité de l'image) et la diversité, en particulier sur des modèles de pointe comme SiT ou EDM2.

2. Méthodologie : C2FG (Control Classifier-Free Guidance)

Les auteurs proposent une nouvelle méthode, C2FG, qui remplace le poids de guidance fixe par une fonction de contrôle dépendante du temps, $\omega(t)$. Cette approche repose sur une analyse théorique approfondie des écarts de scores (score discrepancy).

A. Analyse Théorique

L'article établit des bornes supérieures strictes sur la différence entre les scores (gradients du logarithme de la densité de probabilité) des distributions conditionnelles et inconditionnelles :

• Théorèmes 1 et 2 (Bornes d'erreur quadratique moyenne - MSE) : Pour les équations différentielles stochastiques (SDE) de type VP (Variance Preserving) et VE (Variance Exploding), les auteurs démontrent que l'écart entre les scores conditionnels et inconditionnels décroît de manière exponentielle à mesure que le processus de diffusion avance (vers $t \to \infty$ dans le processus direct, ou $t \to 0$ dans le processus inverse).
  • Formellement, la borne suit une décroissance de type $O(e^{-t})$.
• Théorèmes 3 et 4 (Inégalités de type Harnack) : Ces théorèmes analysent l'évolution des fonctions de densité de probabilité (PDF). Ils montrent que près de l'instant initial ($t \to 0$ dans la génération, c'est-à-dire le début du processus inverse), la diversité et l'amplitude de la PDF sont difficiles à contrôler, créant une région "critique" où l'écart entre les distributions est maximal.

Insight clé : La différence entre les scores conditionnels et inconditionnels est monotone décroissante au cours du processus de diffusion direct. Par conséquent, lors de l'échantillonnage inverse (génération), la nécessité d'une guidance forte est maximale au début (quand le bruit est élevé et les distributions divergent) et diminue exponentiellement à mesure que l'on approche de la donnée.

B. Conception de l'Algorithme

Basé sur ces résultats théoriques, C2FG introduit une fonction de poids exponentielle décroissante :

$$\omega(t) = \omega_0 \exp\left(\lambda \left(1 - \frac{t}{t_{max}}\right)\right)$$

Où :

• $t$ est le temps de diffusion.
• $\omega_0$ est la force de guidance maximale (équivalente au $\omega$ standard de CFG).
• $\lambda$ contrôle le taux de décroissance exponentielle.
• $t_{max}$ est le temps de diffusion maximal.

Avantages de la conception :

• Alignement théorique : La fonction suit la loi de décroissance exponentielle de l'écart de scores prouvée théoriquement.
• Sans entraînement (Training-free) : Aucune modification des poids du modèle n'est nécessaire. C'est un module "plug-and-play".
• Stabilité : La fonction exponentielle est continûment différentiable, évitant les instabilités numériques des fonctions par paliers.
• Orthogonalité : Elle peut être combinée avec d'autres stratégies (comme la guidance par intervalle ou l'autoguidance).

3. Contributions Clés

1. Analyse Théorique Rigoureuse : Première analyse établissant des bornes théoriques strictes sur la divergence des scores conditionnels/inconditionnels dans les modèles de diffusion, révélant la nature exponentielle de cette décroissance.
2. Méthode C2FG : Proposition d'une stratégie de guidance dynamique, sans entraînement, qui adapte la force de guidance à la dynamique intrinsèque du processus de diffusion via une fonction exponentielle.
3. Validation Expérimentale Étendue : Démonstration que C2FG améliore les performances sur une large gamme de tâches (génération d'images conditionnelles, text-to-image), d'architectures (DiT, SiT, Stable Diffusion, EDM2) et de stratégies d'échantillonnage (SDE, ODE).

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks majeurs comme ImageNet (256x256, 512x512) et MS-COCO.

• Performance sur ImageNet (DiT et SiT) :

  • C2FG bat les méthodes de l'état de l'art (SOTA) en termes de FID (Fréchet Inception Distance) et de IS (Inception Score).
  • Sur le modèle SiT-XL/2 (REPA), C2FG réduit le FID de 1.80 à 1.51 (contre 1.42 pour la guidance par intervalle seule, mais avec une meilleure stabilité globale et des gains sur d'autres métriques).
  • Même sur des modèles déjà très performants comme EDM2 combiné à l'autoguidance (FID initial de 1.04), C2FG parvient à réduire le FID à 1.03, prouvant son efficacité même dans des régimes de saturation.

• Génération Text-to-Image (MS-COCO) :

  • Amélioration du FID pour U-ViT (de 5.37 à 5.28) et du CLIP-Score pour Stable Diffusion 1.5.

• Robustesse et Généralité :

  • Les gains sont observés aussi bien avec des échantillonneurs SDE que ODE.
  • La méthode fonctionne efficacement avec un nombre réduit d'étapes d'inférence (20 ou 50 étapes), montrant une robustesse accrue.
  • Les visualisations qualitatives montrent une réduction des artefacts, une meilleure cohérence des textures et une meilleure adhérence aux conditions par rapport à la CFG fixe.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la pratique empirique et la théorie dans le domaine de la guidance des modèles de diffusion.

• Changement de paradigme : Il démontre que la guidance fixe est sous-optimale car elle ignore la dynamique temporelle de la divergence des distributions.
• Fondation pour le futur : La méthode C2FG offre un cadre théorique solide pour concevoir des stratégies de guidance adaptatives. Elle suggère que l'optimisation de la guidance doit suivre la physique du processus de diffusion lui-même.
• Applicabilité immédiate : Étant une méthode sans entraînement, elle peut être intégrée immédiatement dans n'importe quel pipeline de diffusion existant pour améliorer la qualité de génération sans coût de calcul supplémentaire significatif (hors calcul du poids dynamique).

En résumé, C2FG transforme la guidance sans classifieur d'un hyperparamètre statique en un processus dynamique et théoriquement justifié, établissant un nouvel état de l'art pour la génération conditionnelle de haute fidélité.