🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Dieses Paper identifiziert einen Fehlermodus namens Negative Branch Asymmetry bei der On-Policy Diffusion Distillation unter Classifier-Free Guidance, bei dem naives Velocity Matching antagonistische Branch-Fehler verursacht, und schlägt Positive-Direction Matching als einen Branch-bewussten Optimierungsansatz vor, um einen robusten Wissenstransfer zu ermöglichen.

Ursprüngliche Autoren: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter-Künstler beizubringen, ein Meisterwerk zu malen. In der Welt der modernen künstlichen Intelligenz werden diese „Roboter“ Diffusion-Modelle genannt. Sie arbeiten ein wenig wie ein Bildhauer, der an einem Marmorblock behaut: Sie beginnen mit einer verrauschten, chaotischen Wolke aus Pixeln und verfeinern sie langsam zu einem klaren Bild. Um sicherzustellen, dass der Roboter genau das malt, was Sie wollen (wie eine „Katze mit einem Hut“), verwenden wir einen speziellen Trick namens Classifier-Free Guidance (CFG). Betrachten Sie CFG als einen strengen Kunstlehrer, der dem Roboter zwei Anweisungen gleichzeitig gibt: Eine, die sagt „male eine Katze mit einem Hut“ (die positive Anweisung), und eine andere, die sagt „male nichts Spezifisches“ (die negative Anweisung). Der Roboter mischt dann diese beiden Ideen zusammen und nutzt dabei einen Regler namens Guidance Scale, um zu entscheiden, wie viel Gewicht er der strengen Anweisung im Vergleich zur vagen Anweisung beimisst.

Stellen Sie sich nun vor, Sie möchten diesen Roboter schneller und kostengünstiger machen. Man kann ihn nicht jedes Mal von Grund auf neu lernen lassen; das dauert zu lange. Stattdessen verwenden Sie eine Technik namens On-Policy Distillation (OPD). Das ist so, als würde ein Meistermaler (der „Lehrer“) einem Schüler beim Malen (dem „Schüler“) in Echtzeit zusehen. Während der Schüler einen Pinselstrich setzt, sagt der Lehrer sofort: „Nein, mach es so“, und der Schüler passt sich an. Das Ziel ist, dass der Schüler den Stil des Lehrers so gut lernt, dass er schließlich genauso gut malen kann, aber viel schneller. Die große Frage, die dieses Paper behandelt, ist: Was passiert, wenn der Lehrer diesen strengen „Zwei-Anweisungen-Mischtrick“ (CFG) anwendet und der Schüler versucht, ihn zu kopieren? Lernt der Schüler die richtige Art, die Anweisungen zu mischen, oder wird er verwirrt?

Das große Durcheinander: Wenn Kopieren schiefgeht

Die Autoren dieses Papers haben entdeckt, dass die Standardmethode, mit der Schüler versuchen, Lehrer zu kopieren, die CFG verwenden, tatsächlich eine Falle ist. Sie nennen die Standardmethode „Naive CFG-basierte OPD“. Hier ist das Problem: Wenn der Lehrer die „positive“ und die „negative“ Anweisung mischt, um eine endgültige Antwort zu geben, sieht der Schüler nur diese endgültige Mischung. Der Schüler versucht, die endgültige Mischung des Lehrers nachzubilden, aber er weiß nicht, wie der Lehrer dorthin gelangt ist.

Stellen Sie sich vor, der Lehrer bereitet einen Smoothie zu. Er mischt 70 % Erdbeere (positiv) und 30 % Banane (negativ), um ein perfektes rosa Getränk zu erhalten. Der Schüler schmeckt das rosa Getränk und versucht, es nachzubilden. Aber weil der Schüler nicht das exakte Rezept kennt, mischt er vielleicht versehentlich 40 % Erdbeere und 60 % Banane und erhält immer noch ein Getränk, das rosa genug aussieht, um den Lehrer in diesem spezifischen Moment zu täuschen. Dies ist das, was das Paper als Branch Ambiguity (Zweig-Mehrdeutigkeit) bezeichnet. Der Schüler hat eine „degenerate Lösung“ gefunden – einen Trick, bei dem er das richtige Ergebnis aus den falschen Gründen erzielt.

Das Paper zeigt, dass dieser Trick gut funktioniert, wenn der Lehrer und der Schüler exakt dieselbe „negative“ Zutat verwenden (wenn beide zum Beispiel einfaches Wasser als Basis nutzen). In diesem Fall verbessern sich der Schüler und der Lehrer gemeinsam, und alles ist bestens.

Das Paper findet jedoch einen schwerwiegenden Fehlerfall, den sie Negative Branch Asymmetry (NBA) nennen. Dies geschieht, wenn der Lehrer eine „Geheimzutat“ in seinem negativen Zweig hat, die der Schüler nicht besitzt. Zum Beispiel schaut der Lehrer vielleicht auf ein Referenzfoto, um seinen „negativen“ Denkprozess zu leiten, während der Schüler blind gegenüber diesem Foto ist. In diesem Szenario versucht der Schüler, den endgültigen rosa Smoothie zu kopieren, aber dazu muss er sein eigenes Rezept ruinieren. Er erreicht vielleicht den perfekten Erdbeerteil (den positiven Teil), muss aber den Bananenanteil (den negativen Teil) furchtbar schlecht machen, um dies zu kompensieren.

Das Paper zeigt, dass unter diesen Bedingungen das Lernen des Schülers zu einem Tauziehen wird. Während er besser darin wird, die Katze zu malen (Reduzierung des positiven Fehlers), wird er schlechter darin, das „Nichts“ zu verstehen (Erhöhung des negativen Fehlers). Die Fehler heben sich in der endgültigen Mischung gegenseitig auf, sodass der Lehrer denkt, der Schüler mache großartige Arbeit. Aber das ist eine Lüge.

Die Konsequenz: Der Regler des Verderbens

Der wahre Ärger beginnt, wenn man den Regler dreht. Die „Guidance Scale“ ist eine Einstellung, die man nach dem Training ändern kann. Wenn man den Schüler mit einer bestimmten Einstellung des Reglers trainiert hat, hat er gelernt, mit dieser spezifischen Mischung zu schummeln. Aber wenn man den Regler später auf eine andere Zahl stellt (wie bei der Anwendung in der realen Welt), verschiebt sich das Gleichgewicht. Das „Schummel-Rezept“ des Schülers funktioniert nicht mehr. Das Paper zeigt, dass Schüler, die mit der naiven Methode trainiert wurden, bei der Einstellungseinstellung zwar sehr gut abschneiden, aber völlig zusammenbrechen, wenn sich die Guidance Scale ändert, was zu verzerrten Bildern führt oder den Stil zerstört, den sie eigentlich lernen sollten. Dies ist die „exzessive Degradation“, vor der die Autoren warnen – es geht nicht nur darum, dass der Roboter schlechter wird; es geht darum, dass er viel schlechter wird, als er es sollte, eben wegen der schlechten Trainingsmethode.

Die Lösung: Der „Positive-Direction“-Fix

Um dies zu beheben, schlagen die Autoren eine neue Methode namens Positive-Direction Matching (PDM) vor. Anstatt den Schüler nur zu bitten, den endgültigen gemischten Smoothie zu kopieren, zwingt PDM den Schüler, zwei separate Dinge zu lernen:

Die Positive Prediction: „Zeig mir genau, wie du die Katze malst.“
Die CFG Direction: „Zeig mir den Unterschied zwischen deiner ‚Katze‘-Idee und deiner ‚Nichts‘-Idee.“

Indem sie diese zwei Dinge separat prüfen, kann der Lehrer sehen, ob der Schüler schummelt. Wenn der Schüler versucht, den negativen Teil zu manipulieren, um den positiven Teil zu korrigieren, ertappt ihn der Lehrer sofort, weil die „Differenz“ (die Richtung) nicht übereinstimmt. Dies zwingt den Schüler dazu, das echte Rezept zu lernen, nicht einen Trick.

Das Paper testete dies bei einer Aufgabe namens dense-to-sparse video control, bei der der Lehrer ein vollständiges Video einer sich bewegenden Person sieht (dense control) und versucht, einen Schüler zu lehren, der nur wenige Keyframes sieht (sparse control). Die Ergebnisse waren eindeutig:

Naive Schüler reagierten sehr empfindlich auf die Guidance Scale. Wenn sich die Scale änderte, brach ihre Videokontrolle zusammen, wobei Qualitätsmetriken wie FID (ein Maß für die Bildqualität) in einigen Fällen von 13,49 auf 78,20 sprangen.
PDM-Schüler blieben stabil. Selbst wenn sich die Guidance Scale änderte, produzierten sie weiterhin hochwertige Videos, wobei der FID-Wert bei etwa 13–15 blieb.

Die Autoren verglichen PDM auch mit einer anderen Methode namens Independent Branch Matching (IBM), die dem Schüler einfach sagt, er solle die positiven und negativen Zweige separat kopieren, ohne auf die „Richtung“ zu achten. Sowohl PDM als auch IBM waren viel besser als die naive Methode, aber PDM bot im Allgemeinen die konsistenteste Kontrolltreue über verschiedene Arten von Videoaufgaben hinweg (wie Pose-, Depth- und Scribble-Controls).

Das Fazit

Das Paper kommt zu dem Schluss, dass die alte Art, Lehrer zu kopieren (Naive OPD), zwar während des Trainings so aussehen mag, als würde es funktionieren, aber in Wahrheit ein Kartenhaus baut, das in sich zusammenbricht, sobald man die Einstellungen ändert. Durch die Verwendung von Positive-Direction Matching können wir einen Schüler bauen, der die Logik des Lehrers wirklich versteht, was ihn unabhängig davon robust und zuverlässig macht, wie wir den Guidance-Regler später anpassen. Es ist eine Erinnerung daran, dass es in der KI nicht ausreicht, nur die richtige Antwort zu liefern; man muss lernen, wie man zu ihr gelangt, besonders wenn der Lehrer eine Geheimzutat besitzt.

Technisches Resümee: Überdenken der Classifier-Free Guidance in On-Policy Diffusion Distillation

Problemstellung

On-Policy Distillation (OPD) passt Diffusionsmodelle an, indem ein Student darauf trainiert wird, die lokale Geschwindigkeitsvorhersage eines Lehrers entlang von Trajektorien abzugleichen, die der Student selbst generiert. Während moderne Diffusionssysteme universell Classifier-Free Guidance (CFG) einsetzen, um die Generationsqualität zu verbessern, bleibt die Wechselwirkung zwischen CFG und OPD unzureichend verstanden.

Standardmäßige CFG setzt die geführte Geschwindigkeitsvorhersage ( $v_{cfg}$ ) aus zwei separaten Zweigen zusammen: einem positiven Zweig ( $v_+$ ), der auf den Ziel-Prompt konditioniert ist, und einem negativen Zweig ( $v_-$ ), der auf einen Null- oder Negativ-Prompt konditioniert ist. Die geführte Geschwindigkeit ist definiert als $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , wobei $\gamma$ der Guidance-Skalierungsfaktor ist.

Bestehende OPD-Methoden erweitern die Geschwindigkeitsanpassung typischerweise auf diese zusammengesetzte Vorhersage, indem sie den Verlust $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ minimieren. Die Autoren identifizieren einen kritischen Fehler in diesem Ansatz: Branch-level Under-identification (Zweig-basierte Unteridentifizierbarkeit). Da der Verlust nur die Linearkombination der beiden Zweige einschränkt, können sich die Fehler des positiven und des negativen Zweigs ( $e_+$ und $e_-$ ) gegenseitig kompensieren. Speziell erlaubt die Bedingung $\gamma e_+ + (1-\gamma)e_- = 0$ unendlich viele nicht-null Fehlerpaare.

Diese Mehrdeutigkeit führt zu einem Ausfallmodus, der als Negative Branch Asymmetry (NBA) bezeichnet wird. In Szenarien, in denen der Lehrer über „privilegierte Informationen“ in seinem negativen Zweig verfügt (z. B. Referenzbilder oder dichte Kontrollsignale), die dem Studenten fehlen, induziert die naive zusammengesetzte Zielfunktion eine antagonistische Dynamik: Der Trainingsprozess reduziert den Fehler des positiven Zweigs, während er gleichzeitig den Fehler des negativen Zweigs erhöht. Obwohl diese Kompensation bei der Trainings-Guidance-Skala einen niedrigen Verlust bewirken kann, führt dies dazu, dass der Student bei der Evaluierung an unterschiedlichen Inference-Guidance-Skalen signifikant abweicht, da die gelernte Fehlerkompensation nicht mehr aufrechterhalten werden kann.

Methodik

Um die Zweig-Mehrdeutigkeit zu lösen und die Fehlerkompensation zu verhindern, schlagen die Autoren Positive–Direction Matching (PDM) vor, eine zweig-bewusste OPD-Zielfunktion.

1. Positive–Direction Matching (PDM)

Anstatt die zusammengesetzte geführte Geschwindigkeit abzugleichen, beschränkt PDM die Anpassung separat auf:

Die positive Vorhersage: Direkte Anpassung der Geschwindigkeitsvorleistung des positiven Zweigs ( $v_+$ ).
Die CFG-bedingte Richtung: Anpassung des Differenzvektors $d = v_+ - v_-$ .

Die Verlustfunktion ist formuliert als:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
wobei $\lambda > 0$ die Stärke des Richtungsabgleichs steuert. Ein Verlust von Null in PDM erzwingt, dass sowohl $e_+$ als auch $e_-$ zu Null werden, wodurch der Spielraum für die gegenseitige Kompensation der Fehler eliminiert wird.

2. Independent Branch Matching (IBM)

Als Baseline, um die Vorteile der Zweig-Ebene-Supervision gegenüber dem spezifischen Design von PDM zu isolieren, führen die Autoren IBM ein. Diese Methode gleicht die positiven und negativen Zweige direkt mit Gewichten ab, die aus der erweiterten naiven Zielfunktion abgeleitet sind:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
Im Gegensatz zu PDM erzwingt IBM nicht explizit die bedingte Richtung, entfernt jedoch den Interaktionsterm zwischen den Zweigen, der in der naiven zusammengesetzten Verlustfunktion vorhanden ist.

3. Effiziente Supervision für Video

Für Anwendungen der Dense-to-Sparse Video-Kontrolle schlagen die Autoren vor, nur die ersten $K$ Zustände der Denoising-Trajektorie des Studenten zu supervidieren, anstatt der gesamten Trajektorie. Dies reduziert die Rechenkosten für die Lehrer-Evaluierungen bei gleichzeitiger Aufrechterhaltung der Performance.

Zentrale Beiträge

Identifikation der Zweig-Mehrdeutigkeit: Das Paper zeigt auf, dass CFG-zusammengesetzte OPD auf Zweig-Ebene unteridentifiziert ist. Es stellt fest, dass diese Mehrdeutigkeit unter gemeinsamem negativen Conditioning (wo Lehrer und Student dieselbe Null-Bedingung teilen) harmlos ist, aber unter Privileged Negative Conditioning schädlich wird, was zu NBA führt.
Negative Branch Asymmetry (NBA): Die Autoren definieren NBA als den Ausfallmodus, bei dem das naive Matching den positiven Zweig-Fehler reduziert, auf Kosten einer Erhöhung des negativen Zweig-Fehlers, was eine übermäßige Sensitivität gegenüber Inference-Guidance-Skalen verursacht.
Positive–Direction Matching (PDM): Eine neuartige, zweig-bewusste Zielfunktion, die separat die positive Vorhersage und die CFG-bedingte Richtung supervidiert. Dies verhindert die Kreuz-Zweig-Fehlerkompensation und stellt eine identifizierbare Supervision wieder her.
Empirische Validierung: Die Studie liefert quantitative Belege über Bild- und Videodomänen hinweg und zeigt, dass eine zweig-bewusste Supervision die Robustheit und den Wissenstransfer verbessert, insbesondere in Szenarien, in denen der Lehrer Zugriff auf Informationen hat, die dem Studenten nicht zur Verfügung stehen.

Experimentelle Ergebnisse

Diagnostik im Bildbereich

Die Autoren führten zwei kontrollierte Experimente durch, um die Dynamik der Zweig-Fehler zu diagnostizieren:

Text-Rendering Distillation (Shared Conditioning): Sowohl der Lehrer als auch der Student teilen dieselbe negative Bedingung. Hier führen sowohl das naive Matching als auch PDM zu einer gemeinsamen Reduktion der positiven und negativen Zweig-Fehler. Der Student folgt der intrinsischen CFG-Sensitivität des Lehrers, was bestätigt, dass die Mehrdeutigkeit in diesem Regime harmlos ist.
Reference-Conditioned Distillation (Privileged Conditioning): Der Lehrer erhält ein Referenzbild in seinem negativen Zweig, während der Student dies nicht tut.
- Naives Matching: Zeigt antagonistische Dynamiken, indem es $e_+$ reduziert, während es $e_-$ erhöht.
- PDM: Reduziert erfolgreich $e_+$ , während es das Wachstum von $e_-$ verhindert.
- Guidance Sensitivity: Bei der Inference zeigen naive Studenten, die bei $\gamma=2$ trainiert wurden, eine signifikante Verschlechterung, wenn sie bei $\gamma=1$ getestet werden (Stildrift und Verzerrung), wohingegen PDM-Studenten stabil bleiben und dem Verhalten des Lehrers über verschiedene Skalen hinweg eng folgen.

Dense-to-Sparse Video Control

Die Methode wurde auf den Wan-VACE Benchmark angewendet, bei dem der Lehrer eine dichte pro-Frame Kontrolle (Pose, Tiefe, Scribble) beobachtet und der Student nur spärliche Keyframes erhält.

Kontrolltreue: Bei der Trainings-Guidance-Skala ( $\gamma=5$ ) übertraf PDM das naive OPD, SFT und Off-Policy Distillation in allen Modalitäten (Pose, Depth, Scribble) in Metriken wie MPJPE, PCK und FVD.
Generalisierung der Guidance-Skala: Beim Testen auf Inference-Skalen, die von der Trainingsskala abweichen (z. B. $\gamma=1$ oder $\gamma=3$ ), verschlechterte sich die Leistung von naivem OPD drastisch. Im Gegensatz dazu blieben PDM und IBM stabil, was zeigt, dass zweig-bewusste Supervision die durch zusammengesetztes Matching induzierte übermäßige Sensitivität mildert.
Effizienz: Die Supervision der ersten $K=8$ Zustände der Trajektorie bot das beste Verhältnis zwischen Kontrolltreue und Trainingskosten und erreichte Ergebnisse, die mit einer Full-Trajectory-Supervision vergleichbar waren, bei deutlich geringerem Rechenaufwand.

Bedeutung und Behauptungen

Das Paper behauptet, dass die gängige Praxis, CFG-zusammengesetzte Vorhersagen in der On-Policy Distillation abzugleichen, fundamental fehlerhaft ist, wenn der Lehrer und der Student einen asymmetrischen Zugang zu Informationen im negativen Zweig haben. Die Autoren argumentieren, dass Negative Branch Asymmetry ein distinkter Ausfallmodus ist, der sich als übermäßige Sensitivität gegenüber Änderungen der Guidance-Skala manifestiert.

Die Bedeutung dieser Arbeit liegt in:

Korrektur eines theoretischen Blinden Flecks: Sie identifiziert, dass „das Angleichen der geführten Ausgabe“ unzurereichend ist, wenn die zugrunde liegenden Zweige nicht symmetrisch eingeschränkt sind.
Robuster Wissenstransfer: Durch das Erzwingen von Zweig-Ebene-Constraints (via PDM) lernt der Student eine treuere Repräsentation der bedingten Logik des Lehrers, was zu einer robusten Performance unter variierenden Inference-Bedingungen führt.
Praktische Anwendbarkeit: Die vorgeschlagene Methode ist direkt anwendbar auf komplexe Generationsaufgaben wie die Video-Kontrolle, bei denen Lehrer oft privilegierten Kontext (dichte Frames) besitzen, den Studenten aber aus spärlichen Inputs lernen müssen.

Die Autoren merken bescheiden an, dass obwohl PDM empirisch besser als IBM abschneidet, die theoretischen Gründe für den spezifischen Vorteil von PDM gegenüber anderen Zweig-bewussten Formulierungen (wie IBM) eine offene Frage für zukünftige Arbeiten bleiben. Der primäre Beitrag ist die Identifikation des Ausfallmodus und der Nachweis, dass die Trennung der Supervision des positiven Zweigs und der bedingten Richtung dieses Problem löst.