🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Dit artikel identificeert een foutmodus genaamd Negative Branch Asymmetry in on-policy diffusie-distillatie onder classifier-free guidance, waarbij naïeve velocity matching antagonistische branch-fouten veroorzaakt, en stelt Positive-Direction Matching voor als een branch-bewuste doelstelling om robuuste kennisoverdracht mogelijk te maken.

Oorspronkelijke auteurs: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkunstenaar probeert te leren hoe hij een meesterwerk moet schilderen. In de wereld van moderne kunstmatige intelligentie worden deze "robots" diffusiemodellen genoemd. Ze werken een beetje zoals een beeldhouwer die stukjes wegkapt uit een blok marmer: ze beginnen met een ruisende, rommelige wolk van pixels en verfijnen deze langzaam tot een heldere afbeelding. Om ervoor te zorgen dat de robot precies schildert wat jij wilt (zoals een "kat met een hoed"), gebruiken we een speciale truc genaamd Classifier-Free Guidance (CFG). Zie CFG als een strenge kunstleraar die de robot twee instructies tegelijk geeft: één die zegt "schilder een kat met een hoed" (de positieve instructie) en een andere die zegt "schilder niets specifieks" (de negatieve instructie). De robot mengt vervolgens deze twee ideeën, waarbij hij een draaiknop gebruikt, de guidance scale, om te beslissen hoeveel gewicht hij aan de strikte instructie versus de vage instructie geeft.

Stel je nu voor dat je deze robot sneller en goedkoper wilt laten draaien. Je kunt hem niet telkens vanaf nul laten leren; dat duurt te lang. In plaats daarvan gebruik je een techniek genade On-Policy Distillation (OPD). Dit is also_k een meesterschilder (de "Teacher") die een student-schilder (de "Student") in realtime ziet werken. Terwijl de student een penseelstreek zet, zegt de meester onmiddellijk: "Nee, doe het zo," en de student past zich aan. Het doel is dat de student de stijl van de meester zo goed leert dat hij uiteindelijk net zo goed kan schilderen, maar dan veel sneller. De grote vraag waar dit artikel een antwoord op zoekt, is: Wat gebeurt er wanneer de meester die strikte "twee-instructies-mengtechniek" (CFG) gebruikt, en de student probeert die te kopiëren? Leert de student de juiste manier om de instructies te mengen, of raakt hij in de war?

De Grote Verwarring: Wanneer Kopiëren Misgaat

De auteurs van dit artikel ontdekten dat de standaardmanier waarop studenten proberen leraren te kopiëren die CFG gebruiken, eigenlijk een valstrik is. Ze noemen de standaardmethode "Naive CFG-Based OPD". Hier is het probleem: Wanneer de meester de "positieve" en "negatieve" instructies mengt om een definitief antwoord te geven, ziet de student alleen dat uiteindelijke gemengde antwoord. De student probeert het uiteindelijke mengsel van de meester te evenaren, maar weet niet hoe de meester daar gekomen is.

Stel je voor dat de meester een smoothie maakt. Ze mengen 70% aardbei (positief) en 30% banaan (negatief) om een perfect roze drankje te krijgen. De student proeft het roze drankje en probeert het te repliceren. Maar omdat de student niet precies weet wat het recept is, kan hij per ongeluk 40% aardbei en 60% banaan mengen en toch een drankje krijgen dat roze genoeg is om de meester op dat specifieke moment te misleiden. Dit is wat het artikel branch ambiguity noemt. De student heeft een "degenerate solution" gevonden—een truc waarbij hij het juiste antwoord krijgt om de verkeerde redenen.

Het artikel laat zien dat deze truc prima werkt als de meester en de student beide exact dezelfde "negatieve" ingrediënten gebruiken (zoals beide gewoon water als basis gebruiken). In dat geval verbeteren de student en de meester samen, en is alles in orde.

Echter, het artikel vindt een belangrijke foutmodus die ze Negative Branch Asymmetry (NBA) noemen. Dit gebeurt wanneer de meester een "geheim ingrediënt" heeft in hun negatieve tak dat de student niet heeft. Bijvoorbeeld, misschien kijkt de meester naar een referentiefoto om hun "negatieve" denkproces te sturen, terwijl de student blind is voor die foto. In dit scenario probeert de student het uiteindelijke roze smoothie te kopiëren, maar om dat te doen, moet hij zijn eigen recept verpesten. Hij kan het aardbei-gedeelte (het positieve deel) perfect krijgen, maar hij moet het banaan-gedeelte (het negatieve deel) verschrikkelijk maken om dit te compenseren.

Het artikel demonstreert dat onder deze omstandigheden het leren van de student een touwtrekken wordt. Naarmate ze beter worden in het schilderen van de kat (het verminderen van de positieve fout), worden ze slechter in het begrijpen van het "niets"-gedeelte (het vergroten van de negatieve fout). De fouten heffen elkaar op in de uiteindelijke mix, waardoor de meester denkt dat de student het geweldig doet. Maar dit is een leugen.

Het Gevolg: De Draaiknop van de Ondergang

De echte problemen beginnen wanneer je aan de draaiknop draait. De "guidance scale" is een instelling die je na de training kunt veranderen. Als je de student hebt getraind met de draaiknop op een specifieke waarde, heeft hij geleerd om te valsspelen met die specifieke mix. Maar als je de draaiknop later naar een andere waarde draait (bijvoorbeeld tijdens echt gebruik), verschuift de balans. Het "valsspel"-recept van de student werkt dan niet meer. Het artikel laat zien dat studenten die getraind zijn met de naïeve methode uitstekend presteren bij de trainingsinstelling, maar volledig instorten wanneer de guidance scale verandert, wat resulteert in vertekende afbeeldingen of het verlies van de stijl die ze hadden moeten leren. Dit is de "excess degradation" waar de auteurs voor waarschuwen—het is niet alleen dat de robot slechter wordt; het is dat hij veel slechter wordt dan hij zou moeten, specifiek vanwege de slechte trainingsmethode.

De Oplossing: De "Positive-Direction" Fix

Om dit op te lossen, stellen de auteurs een nieuwe methode voor genaamd Positive-Direction Matching (PDM). In plaats van de student alleen te vragen om het uiteindelijke gemengde smoothie te kopiëren, dwingt PDM de student om twee aparte dingen te leren:

De Positieve Voorspelling: "Laat me precies zien hoe je de kat schildert."
De CFG Richting: "Laat me het verschil zien tussen jouw 'kat'-idee en jouw 'niets'-idee."

Door deze twee zaken apart te controleren, kan de meester zien of de student aan het valsspelen is. Als de student probeert het negatieve deel te verpesten om het positieve deel te corrigeren, vangt de meester hem direct omdat het "verschil" (de richting) dan niet meer klopt. Dit dwingt de student om het echte recept te leren, en niet een trucje.

Het artikel testte dit op een taak genaamd dense-to-sparse video control, waarbij de meester een volledige video ziet van een bewegend persoon (dense control) en probeert een student te onderwijzen die slechts enkele keyframes ziet (sparse control). De resultaten waren duidelijk:

Naïeve studenten waren zeer gevoelig voor de guidance scale. Wanneer de scale veranderde, stort hun videocontrole in, waarbij kwaliteitsmetrieken zoals FID (een maatstaf voor beeldkwaliteit) in sommige gevallen sprongen van 13,49 naar 78,20.
PDM-studenten bleven stabiel. Zelfs wanneer de guidance scale veranderde, bleven ze hoogwaardige video's produceren, waarbij de FID rond de 13–15 bleef.

De auteurs vergeleken PDM ook met een andere methode genaamd Independent Branch Matching (IBM), die de student simpelweg vertelt om de positieve en negatieve takken afzonderlijk te kopiëren zonder naar de "richting" te kijken. Zowel PDM als IBM waren veel beter dan de naïeve methode, maar PDM bood over het algemeen de meest consistente controle-getrouwheid over verschillende soorten video-taken (zoals pose-, diepte- en scribble-controles).

De Kernboodschap

Het artikel concludeert dat hoewel de oude manier van docenten kopiëren (Naive OPD) er tijdens de training misschien goed uitziet, het eigenlijk een kaartenhuis bouwt dat instort zodra je de instellingen wijzigt. Door Positive-Direction Matching te gebruiken, kunnen we een student bouwen die de logica van de meester werkelijk begrijpt, waardoor hij robuust en betrouwbaar is, ongeacht hoe je de guidance dial later ook bijstelt. Het is een herinnering dat in AI, alleen het juiste antwoord geven niet genoeg is; je moet ook leren hoe je tot dat antwoord komt, vooral wanneer de meester een geheim ingrediënt in handen heeft.

Technische Samenvatting: Heroverweging van Classifier-Free Guidance in On-Policy Diffusion Distillation

Probleemstelling

On-Policy Distillation (OPD) past diffusiemodellen aan door een student te trainen om de lokale snelheidspredicties van een docent te matchen langs trajecten die door de student zelf worden gegenereerd. Hoewel moderne diffusiesystemen universeel gebruikmaken van Classifier-Free Guidance (CFG) om de kwaliteit van generatie te verbeteren, blijft de interactie tussen CFG en OPD slecht begrepen.

Standaard CFG componeert een geleide snelheidspredictie ( $v_{cfg}$ ) uit twee afzonderlijke takken: een positieve tak ( $v_+$ ) geconditioneerd op de doelprompt en een negatieve tak ( $v_-$ ) geconditioneerd op een nul of negatieve prompt. De geleide snelheid wordt gedefinieerd als $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , waarbij $\gamma$ de guidance scale is.

Bestaande OPD-methoden breiden snelheid-matching doorgaans uit naar deze gecomponeerde voorspelling, waarbij de loss $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ wordt geminimaliseerd. De auteurs identificeren een kritiek gebrek in deze aanpak: branch-level onderidentificatie. Omdat de loss alleen de lineaire combinatie van de twee takken beperkt, kunnen de fouten in de positieve en negatieve tak ( $e_+$ en $e_-$ ) elkaar compenseren. Specifiek laat de conditie $\gamma e_+ + (1-\gamma)e_- = 0$ oneindig veel niet-nul foutparen toe.

Deze ambiguïteit leidt tot een faalmodus genaamd Negative Branch Asymmetry (NBA). In scenario's waar de docent beschikt over "geprivilegieerde informatie" in zijn negatieve tak (bijv. referentieafbeeldingen of dichte controlesignalen) die de student mist, induceert de naïeve gecomponeerde objectieven antagonistische dynamiek: het trainingsproces vermindert de fout in de positieve tak terwijl het tegelijkertijd de fout in de negatieve tak vergroot. Hoewel deze compensatie een lage loss oplevert bij de trainings-guidance scale, zorgt dit ervoor dat de student significant afwijkt bij evaluatie op andere inference guidance scales, omdat de geleerde foutcompensatie niet langer standhoudt.

Methodologie

Om de branch-ambiguïteit op te lossen en foutcompensatie te voorkomen, stellen de auteurs Positive–Direction Matching (PDM) voor, een branch-bewuste OPD-objectief.

1. Positive–Direction Matching (PDM)

In plaats van de gecomponeerde geleide snelheid te matchen, beperkt PDM afzonderlijk:

De Positieve Voorspelling: Het direct matchen van de positieve tak-snelheid ( $v_+$ ).
De CFG Conditionele Richting: Het matchen van de verschilvector $d = v_+ - v_-$ .

De loss-functie wordt geformuleerd als:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
waarbij $\lambda > 0$ de sterkte van de richting-matching controleert. Een loss van nul in PDM dwingt zowel $e_+$ als $e_-$ naar nul, waardoor de vrijheid verdwijnt voor fouten om elkaar op te heffen.

2. Independent Branch Matching (IBM)

Als baseline om de voordelen van branch-niveau supervisie te isoleren van het specifieke ontwerp van PDM, introduceren de auteurs IBM. Deze methode matcht direct de positieve en negatieve takken met gewichten afgeleid van de uitgebreide naïeve objectief:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
In tegen tegenstelling tot PDM, dwingt IBM niet expliciet de conditionele richting af, maar verwijdert het de cross-branch interactieterm die aanwezig is in de naïeve gecomponeerde loss.

3. Efficiënte Supervisie voor Video

Voor dense-to-sparse video controle toepassingen, stellen de auteurs voor om slechts de eerste $K$ toestanden van het denoising-traject van de student te superviseren in plaats van het volledige traject. Dit vermindert de computationele kosten van docent-evaluaties terwijl de prestaties behouden blijven.

Belangrijkste Bijdragen

Identificatie van Branch Ambiguïteit: Het paper demonstreert dat CFG-gecomponeerde OPD ondergeïdentificeerd is op branch-niveau. Het stelt vast dat deze ambiguïteit onschadelijk is onder gedeelde negatieve conditionering (waar zowel de docent als de student dezelfde nul-conditie delen), maar schadelijk wordt onder geprivilegieerde negatieve conditionering, wat leidt tot NBA.
Negative Branch Asymmetry (NBA): De auteurs definiëren NBA als de faalmodus waarbij naïeve matching de positieve branch error vermindert ten koste van het vergroten van de negatieve branch error, wat leidt tot excessieve gevoeligheid voor veranderingen in de guidance scale tijdens inference.
Positive–Direction Matching (PDM): Een nieuwe, branch-bewuste objectief die afzonderlijk de positieve voorspelling en de CFG conditionele richting superviseert. Dit voorkomt cross-branch foutcompensatie en herstelt identificeerbare supervisie.
Empirische Validatie: De studie biedt kwantitatieve bewijzen over beeld- en videodomeinen, waarbij wordt aangetoond dat branch-bewuste supervisie de robuustheid en kennisoverdracht verbetert, met name in settings waar de docent toegang heeft tot informatie die de student niet heeft.

Experimentele Resultaten

Diagnostiek in het Beelddomein

De auteurs voerden twee gecontroleerde experimenten uit om de branch-error dynamiek te diagnosticeren:

Tekst-rendering Distillatie (Gedeelde Conditionering): Zowel de docent als de student delen dezelfde negatieve conditie. Hier resulteren zowel naïeve matching als PDM in een gezamenlijke reductie van de positieve en negatieve branch errors. De student volgt de intrinsieke CFG-gevoeligheid van de docent, wat bevestigt dat ambiguïteit in dit regime onschadelijk is.
Referentie-geconditioneerde Distillatie (Geprivilegieerde Conditionering): De docent ontvangt een referentieafbeelding in zijn negatieve tak, terwijl de student deze niet krijgt.
- Naïeve Matching: Vertoont antagonistische dynamiek, waarbij $e_+$ wordt verminderd terwijl $e_-$ toeneemt.
- PDM: Vermindert succesvol $e_+$ terwijl het de groei van $e_-$ voorkomt.
- Guidance Gevoeligheid: Bij inference vertonen naïeve studenten getraind bij $\gamma=2$ significante degradatie wanneer ze getest worden bij $\gamma=1$ (visueel vertoont dit stijlverschuiving en vervorming), terwijl PDM-studenten stabiel blijven en de gedragingen van de docent nauwgezet volgen over verschillende scales.

Dense-to-Sparse Video Controle

De methode werd toegepast op de Wan-VACE benchmark, waarbij een docent dichte per-frame controle observeert (pose, depth, scribble) en de student slechts sparse keyframes ontvangt.

Controlegetrouwheid: Bij de trainings-guidance scale ( $\gamma=5$ ) presteerde PDM beter dan naïeve OPD, SFT en off-policy distillatie over alle modaliteiten (Pose, Depth, Scribble) in metrieken zoals MPJPE, PCK en FVD.
Generalisatie van de Guidance Scale: Wanneer getest werd op inference scales verschillend van de training (bijv. $\gamma=1$ of $\gamma=3$ ), degradeerde de prestatie van naïeve OPD scherp. In contrast bleven PDM en IBM stabiel, wat aantoont dat branch-bewuste supervisie de excessieve gevoeligheid die door gecomponeerde matching wordt geïnduceerd, mitigeert.
Efficiëntie: Het superviseren van slechts de eerste $K=8$ toestanden van het traject bood de beste balans tussen controlegetrouwheid en trainingskosten, waarbij resultaten werden behaald die vergelijkbaar zijn met full-trajectory supervisie met aanzienlijk minder berekeningen.

Betekenis en Claims

Het paper claimt dat de standaardpraktijk van het matchen van CFG-gecomponeerde voorspellingen in on-policy distillatie fundamenteel gebrekkig is wanneer de docent en de student asymmetrische toegang hebben tot informatie in de negatieve tak. De auteurs stellen dat Negative Branch Asymmetry een onderscheidende faalmodus is die zich manifesteert als excessieve gevoeligheid voor veranderingen in de guidance scale.

De betekenis van dit werk ligt in:

Correctie van een Theoretisch Blinde Vlek: Het identificeert dat "het matchen van de geleide output" onvoldoende is wanneer de onderliggende takken niet symmetrisch beperkt zijn.
Robuuste Kennisoverdracht: Door branch-niveau restricties af te dwingen (via PDM), leert de student een trouwere representatie van de conditionele logica van de docent, wat leidt tot robuuste prestaties onder variërende inference condities.
Praktische Toepasbaarheid: De voorgestelde methode is direct toepasbaar op complexe generatietaken zoals video controle, waarbij docenten vaak geprivilegieerde context (dense frames) bezitten die studenten moeten leren benaderen vanuit sparse inputs.

De auteurs merken bescheiden op dat hoewel PDM empirisch beter presteert dan IBM, de theoretische redenen voor het specifieke voordeel van PDM boven andere branch-bewuste formuleringen (zoals IBM) een open vraag blijven voor toekomstig werk. De primaire bijdrage is de identificatie van de faalmodus en de demonstratie dat het scheiden van de supervisie van de positieve tak en de conditionele richting dit probleem oplost.