🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Cet article identifie un mode de défaillance appelé Asymétrie de Branche Négative dans la distillation de diffusion on-policy sous guidage sans classifieur, où l'appariement de vélocité naïf provoque des erreurs de branche antagonistes, et propose le Positive-Direction Matching comme un objectif sensible aux branches pour permettre un transfert de connaissances robuste.

Auteurs originaux : Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot artiste comment peindre un chef-d'œuvre. Dans le monde de l'intelligence artificielle moderne, ces « robots » sont appelés modèles de diffusion. Ils fonctionnent un peu comme un sculpteur qui dégrossit un bloc de marbre : ils partent d'un nuage de pixels bruyant et désordonné et le raffinent lentement pour en faire une image claire. Pour s'assurer que le robot peint exactement ce que vous voulez (comme un « chat portant un chapeau »), nous utilisons une astuce spéciale appelée Classifier-Free Guidance (CFG). Considérez le CFG comme un professeur d'art strict qui donne deux instructions simultanées au robot : l'une disant « peins un chat avec un chapeau » (l'instruction positive) et une autre disant « ne peins rien de spécifique » (l'instruction négative). Le robot mélange ensuite ces deux idées, en utilisant un cadran appelé échelle de guidage (guidance scale) pour décider quel poids accorder à l'instruction stricte par rapport à l'instruction vague.

Maintenant, imaginez que vous vouliez rendre ce robot plus rapide et moins coûteux à exploiter. Vous ne pouvez pas simplement le laisser apprendre à partir de zéro à chaque fois ; cela prendrait trop de temps. Au lieu de cela, vous utilisez une technique appelée On-Policy Distillation (OPD). C'est comme si un peintre maître (le « Enseignant ») regardait un élève peintre (l'« Étudiant ») travailler en temps réel. À mesure que l'étudiant fait un coup de pinceau, l'enseignant dit immédiatement : « Non, fais-le de cette façon », et l'étudiant s'ajuste. Le but est que l'étudiant apprenne si bien le style de l'enseignant qu'il puisse finalement peindre aussi bien, mais beaucoup plus rapidement. La grande question que cet article aborde est la suivante : que se passe-t-il lorsque l'enseignant utilise cette astuce de mélange des « deux instructions » (le CFG), et que l'étudiant essaie de le copier ? L'étudiant apprend-il la bonne façon de mélanger les instructions, ou est-il confus ?

Le Grand Mélange : Quand la Copie Échoue

Les auteurs de cet article ont découvert que la méthode standard par laquelle les étudiants tentent de copier les enseignants utilisant le CFG est en réalité un piè র piège. Ils appellent cette méthode standard « Naive CFG-Based OPD ». Voici le problème : lorsque l'enseignant mélange les instructions « positives » et « négatives » pour donner une réponse finale, l'étudiant ne voit que cette réponse mixte finale. L'étudiant essaie de correspondre au mélange final de l'enseignant, mais il ne sait pas comment l'enseignant y est parvenu.

Imaginez que l'enseignant prépare un smoothie. Il mélange 70 % de fraise (positif) et 30 % de banane (négatif) pour obtenir une boisson rose parfaite. L'étudiant goûte la boisson rose et essaie de la reproduire. Mais comme l'étudiant ne connaît pas la recette exacte, il pourrait accidentellement mélanger 40 % de fraise et 60 % de banane et obtenir quand même une boisson assez rose pour tromper l'enseignant à ce moment précis. C'est ce que l'article appelle l'ambiguïté de branche (branch ambiguity). L'étudiant a trouvé une « solution dégénérée » — une ruse où il obtient la bonne réponse pour de mauvaises raisons.

L'article montre que cette ruse fonctionne très bien si l'enseignant et l'étudiant utilisent tous deux le même « ingrédient négatif » (comme si les deux utilisaient de l'eau plate comme base). Dans ce cas, l'étudiant et l'enseignant progressent ensemble, et tout se passe bien.

Cependant, l'article identifie un mode de défaillance majeur qu'ils appellent Asymétrie de Branche Négative (Negative Branch Asymmetry - NBA). Cela se produit lorsque l'enseignant possède un « ingrédient secret » dans sa branche négative que l'étudiant n'a pas. Par exemple, peut-être que l'enseignant regarde une photo de référence pour guider son processus de pensée « négatif », mais que l'étudiant est aveugle à cette photo. Dans ce scénario, l'étudiant essaie de copier le smoothie rose final, mais pour ce faire, il doit gâcher sa propre recette. Il peut réussir parfaitement la partie fraise (la partie positive), mais il doit rendre la partie banane (la partie négative) terrible pour compenser.

L'article démontre que, dans ces conditions, l'apprentissage de l'étudiant devient un bras de fer. À mesure qu'il s'améliore pour peindre le chat (réduisant l'erreur positive), il devient moins bon pour comprendre la partie « rien » (augmentant l'erreur négative). Les erreurs s'annulent dans le mélange final, de sorte que l'enseignant pense que l'étudiant réussit très bien. Mais c'est un mensonge.

La Conséquence : Le Cadran du Destin

Les vrais problèmes commencent lorsque vous tournez le cadran. L'« échelle de guidage » est un réglage que vous pouvez modifier après la fin de l'entraînement. Si vous avez entraîné l'étudiant avec le cadran réglé sur un nombre spécifique, il a appris à tricher en utilisant ce mélange précis. Mais si vous tournez le cadction à un nombre différent plus tard (comme lors d'une utilisation réelle), l'équilibre change. La recette de « triche » de l'étudiant ne fonctionne plus. L'article montre que les étudiants entraînés avec la méthode naïve performent très bien au réglage d'entraînement, mais s'effondrent complètement lorsque l'échelle de guidage change, produisant des images déformées ou perdant le style qu'ils étaient censés apprendre. C'est la « dégradation excessive » dont les auteurs mettent en garde — ce n'est pas seulement que le robot devient moins bon ; c'est qu'il devient beaucoup moins bon qu'il ne devrait l'être, précisément à cause de la mauvaise méthode d'entraînement.

La Solution : La Correction de la « Direction Positive »

Pour corriger cela, les auteurs proposent une nouvelle méthode appelée Positive-Direction Matching (PDM). Au lieu de simplement demander à l'étudiant de copier le smoothie mélangé final, le PDM force l'étudiant à apprendre deux choses distinctes :

La Prédiction Positive : « Montre-moi exactement comment tu peins le chat. »
La Direction CFG : « Montre-moi la différence entre ton idée de « chat » et ton idée de « rien ». »

En vérifiant ces deux éléments séparément, l'enseignant peut voir si l'étudiant triche. Si l'étudiant essaie de gâcher la partie négative pour corriger la partie positive, l'enseignant le détecte immédiatement car la « différence » (la direction) ne correspondra pas. Cela force l'étudiant à apprendre la vraie recette, et non une ruse.

L'article a testé cela sur une tâche appelée contrôle vidéo dense-vers-sparse (dense-to-sparse video control), où l'enseignant voit une vidéo complète d'une personne en mouvement (contrôle dense) et tente d'enseigner à un étudiant qui ne voit que quelques images clés (contrôle sparse). Les résultats sont clairs :

Les étudiants naïfs étaient très sensibles à l'échelle de guidage. Lorsque l'échelle changeait, leur contrôle vidéo s'effondrait, avec des mesures de qualité comme le FID (une mesure de la qualité d'image) bondissant de 13,49 à 78,20 dans certains cas.
Les étudiants PDM restaient stables. Même lorsque l'échelle de guidage changeait, ils continuaient à produire des vidéos de haute qualité, avec un FID restant autour de 13–15.

Les auteurs ont également comparé le PDM à une autre méthode appelée Independent Branch Matching (IBM), qui consiste simplement à dire à l'étudiant de copier les branches positive et négative séparément sans regarder la « direction ». Le PDM et l'IBM étaient tous deux bien meilleurs que la méthode naïve, mais le PDM offrait généralement la fidélité de contrôle la plus cohérente à travers différents types de tâches vidéo (comme les contrôles de pose, de profondeur et de gribouillage/scribble).

À Retenir

L'article conclut que si l'ancienne façon de copier les enseignants (Naive OPD) peut sembler fonctionner pendant l'entraînement, elle construit en réalité un château de cartes qui s'effondre dès que l'on change les réglages. En utilisant le Positive-Direction Matching, nous pouvons construire un étudiant qui comprend réellement la logique de l'enseignant, le rendant robuste et fiable, peu importe comment vous ajustez le cadran de guidage plus tard. C'est un rappel qu'en IA, obtenir la bonne réponse ne suffit pas ; il faut apprendre comment l'obtenir, surtout quand l'enseignant détient un ingrédient secret.

Résumé Technique : Repenser le Guidage sans Classifieur dans la Distillation de Diffusion On-Policy

Énoncé du Problème

La Distillation On-Policy (OPD) adapte les modèles de diffusion en entraînant un étudiant à correspondre aux prédictions de vitesse locale d'un enseignant le long des trajectoires générées par l'étudiant lui-même. Bien que les systèmes de diffusion modernes emploient universellement le Guidage sans Classifieur (CFG) pour améliorer la qualité de la génération, l'interaction entre le CFG et l'OPD reste mal comprise.

Le CFG standard compose une prédiction de vitesse guidée ( $v_{cfg}$ ) à partir de deux branches distinctes : une branche positive ( $v_+$ ) conditionnée par le prompt cible et une branche négative ( $v_-$ ) conditionnée par un prompt nul ou négatif. La vitesse guidée est définie par $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , où $\gamma$ est l'échelle de guidage.

Les méthodes OPD existantes étendent généralement la correspondance de vitesse à cette prédiction composée, en minimisant la perte $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ . Les auteurs identifient une faille critique dans cette approche : la sous-identification au niveau des branches. Parce que la perte ne contraint que la combinaison linéaire des deux branches, les erreurs des branches positive et négative ( $e_+$ et $e_-$ ) peuvent se compenser mutuellement. Plus précisément, la condition $\gamma e_+ + (1-\gamma)e_- = 0$ admet une infinité de paires d'erreurs non nulles.

Cette ambiguïté conduit à un mode de défaillance nommé Asymétrie de la Branche Négative (NBA). Dans les scénarios où l'enseignant possède des « informations privilégiées » dans sa branche négative (par exemple, des images de référence ou des signaux de contrôle denses) que l'étudiant ne possède pas, l'objectif composé naïf induit des dynamiques antagonistes : le processus d'entraînement réduit l'erreur de la branche positive tout en augmentant simultanément l'erreur de la branche négative. Bien que cette compensation puisse produire une perte faible à l'échelle de guidage d'entraînement, elle provoque une dérive significative de l'étudiant lors de l'évaluation à différentes échelles de guidage d'inférence, car la compensation d'erreur apprise ne tient plus.

Méthodologie

Pour résoudre l'ambiguïté des branches et empêcher la compensation d'erreur, les auteurs proposent la Correspondance de Direction Positive (PDM), un objectif d'OPD conscient des branches.

1. Correspondance de Direction Positive (PDM)

Au lieu de faire correspondre la vitesse guidée composée, la PDM contraint séparément :

La Prédiction Positive : Faire correspondre directement la vitesse de la branche positive ( $v_+$ ).
La Direction Conditionnelle du CFG : Faire correspondre le vecteur de différence $d = v_+ - v_-$ .

La fonction de perte est formulée comme suit :
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
où $\lambda > 0$ contrôle la force de la correspondance de direction. Une perte nulle dans la PDM force à la fois $e_+$ et $e_-$ à zéro, éliminant la liberté pour les erreurs de s'annuler.

2. Correspondance de Branche Indépendante (IBM)

Comme base de comparaison pour isoler les bénéfices de la supervision au niveau des branches du design spécifique de la PDM, les auteurs introduisent l'IBM. Cette méthode fait correspondre directement les branches positive et négative avec des poids dérivés de l'objectif composé naïf étendu :
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
Contrairement à la PDM, l'IBM n'impose pas explicitement la direction conditionnelle mais supprime le terme d'interaction entre les branches présent dans la perte composée naïve.

3. Supervision Efficace pour la Vidéo

Pour les applications de contrôle vidéo de dense à sparse, les auteurs proposent de superviser uniquement les $K$ premiers états de la trajectoire de débruitage de l'étudiant plutôt que la trajectoire complète. Cela réduit le coût computationnel des évaluations de l'enseignant tout en maintenant les performances.

Contributions Clés

Identification de l'Ambiguïté des Branches : L'article démontre que l'OPD composée par CFG est sous-identifiée au niveau des branches. Il établit que cette ambiguïté est bénigne sous un conditionnement négatif partagé (où l'enseignant et l'étudiant partagent le même conditionnement nul) mais devient préjudiciable sous un conditionnement négatif privilégié, menant à la NBA.
Asymétrie de la Branche Négative (NBA) : Les auteurs définissent la NBA comme le mode de défaillance où la correspondance naïve réduit l'erreur de la branche positive au détriment de l'augmentation de l'erreur de la branche négative, provoquant une sensibilité excessive aux changements d'échelle de guidage lors de l'inférence.
Correspondance de Direction Positive (PDM) : Un nouvel objectif, conscient des branches, qui supervise séparément la prédiction positive et la direction conditionnelle du CFG. Cela empêche la compensation d'erreur croisée et restaure une supervision identifiable.
Validation Empirique : L'étude fournit des preuves quantitatives à travers les domaines de l'image et de la vidéo, montrant que la supervision consciente des branches améliore la robustesse et le transfert de connaissances, particulièrement dans les contextes où l'enseignant a accès à des informations indisponibles pour l'étudiant.

Résultats Expérimentaux

Diagnostics sur le Domaine de l'Image

Les auteurs ont mené deux expériences contrôlées pour diagnostiquer la dynamique d'erreur des branches :

Distillation de Rendu de Texte (Conditionnement Partagé) : L'enseignant et l'étudiant partagent le même conditionnement négatif. Ici, la correspondance naïve et la PDM entraînent toutes deux une réduction conjointe des erreurs des branches positive et négative. L'étudiant suit la sensibilité intrinsèque au CFG de l'enseignant, confirmant que l'ambiguïté est bénigne dans ce régime.
Distillation Conditionnée par Référence (Conditionnement Privilégié) : L'enseignant reçoit une image de référence dans sa branche négative, tandis que l'étudiant n'en dispose pas.
- Correspondance Naïve : Présente des dynamiques antagonistes, réduisant $e_+$ tout en augmentant $e_-$ .
- PDM : Réussit à réduire $e_+$ tout en empêissant la croissance de $e_-$ .
- Sensibilité au Guidage : À l'inférence, les étudiants entraînés avec la correspondance naïve à $\gamma=2$ se dégradent considérablement lorsqu'ils sont testés à $\gamma=1$ (montrant une dérive de style et des distorsions), tandis que les étudiants PDM restent stables et suivent étroitement le comportement de l'enseignant à travers les échelles.

Contrôle Vidéo de Dense à Sparse

La méthode a été appliquée au benchmark Wan-VACE, où l'enseignant observe un contrôle par image (pose, profondeur, scribble) et l'étudiant ne reçoit que des images clés éparses.

Fidélité du Contrôle : À l'échelle de guidage d'entraînement ( $\gamma=5$ ), la PDM a surpassé l'OPD naïve, le SFT et la distillation off-policy dans toutes les modalités (Pose, Profondeur, Scribble) selon des métriques telles que MPJPE, PCK et FVD.
Généralisation de l'Échelle de Guidage : Lorsqu'ils sont testés à des échelles d'inférence différentes de l'entraînement (ex: $\gamma=1$ ou $\gamma=3$ ), les performances de l'OPD naïve chutent brutalement. En revanche, la PDM et l'IBM restent stables, démontrant que la supervision consciente des branches atténue la sensibilité excessive induite par la correspondance composée.
Efficacité : Superviser uniquement les $K=8$ premiers états de la trajectoire a offert le meilleur compromis entre fidélité de contrôle et coût d'entraînement, atteignant des résultats comparables à une supervision de trajectoire complète avec une réduction significative du calcul.

Signification et Revendications

L'article affirme que la pratique standard consistant à faire correspondre les prédictions composées par CFG dans la distillation on-policy est fondamentalement erronée lorsque l'enseignant et l'étudiant ont un accès asymétrique à l'information dans la branche négative. Les auteurs soutiennent que l'Asymétrie de la Branche Négative est un mode de défaillance distinct qui se manifeste par une sensibilité excessive aux changements d'échelle de guidage.

La signification de ce travail réside dans :

Correction d'un Angle Mort Théorique : Il identifie que « faire correspondre la sortie guidée » est insuffisant lorsque les branches sous-jacentes ne sont pas contraintes de manière symétrique.
Transfert de Connaissances Robuste : En imposant des contraintes au niveau des branches (via la PDM), l'étudiant apprend une représentation plus fidèle de la logique conditionnelle de l'enseignant, menant à une performance robuste à travers diverses conditions d'inférence.
Applicabilité Pratique : La méthode proposée est directement applicable à des tâches de génération complexes comme le contrôle vidéo, où les enseignants possèdent souvent un contexte privilégié (images denses) que les étudiants doivent apprendre à approximer à partir d'entrées éparses.

Les auteurs notent modestement que bien que la PDM surpasse empiriquement l'IBM, les raisons théoriques de l'avantage spécifique de la PDM sur d'autres formulations conscientes des branches (comme l'IBM) restent une question ouverte pour de futurs travaux. La contribution principale est l'identification du mode de défaillance et la démonstration que la séparation de la supervision de la branche positive et de la direction conditionnelle résout le problème.