🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Questo articolo identifica una modalità di fallimento chiamata Asimmetria del Ramo Negativo nella distillazione di diffusione on-policy sotto classifier-free guidance, dove il naive velocity matching causa errori di ramo antagonisti, e propone il Positive-Direction Matching come un obiettivo consapevole dei rami per consentire un trasferimento di conoscenza robusto.

Autori originali: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Pubblicato 2026-07-28

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot artista a dipingere un capolavoro. Nel mondo dell'intelligenza artificiale moderna, questi "robot" sono chiamati modelli di diffusione. Funzionano un po' come uno scultore che scolpisce via pezzi da un blocco di marmo: partono da una nuvola di pixel rumorosa e disordinata e la raffinano lentamente in un'immagine nitida. Per assicurarti che il robot dipinga esattamente ciò che vuoi (come un "gatto con un cappello"), usiamo un trucco speciale chiamato Classifier-Free Guidance (CFG). Pensa al CFG come a un insegnante d'arte severo che dà al robot due istruzioni contemporaneamente: una che dice "dipingi un gatto con un cappello" (l'istruzione positiva) e un'altra che dice "non dipingere nulla di specifico" (l'istruzione negativa). Il robot poi mescola queste due idee insieme, usando una manopola chiamata guidance scale per decidere quanto peso dare all'istruzione rigorosa rispetto a quella vaga.

Ora, immagina di voler rendere questo robot più veloce ed economico da gestire. Non puoi semplicemente lasciarlo imparare da zero ogni volta; richiederebbe troppo tempo. Invece, usi una tecnica chiamata On-Policy Distillation (OPD). Questo è come avere un maestro pittore (l' "Insegnante") che osserva uno studente pittore (lo "Studente") mentre lavora in tempo reale. Mentre lo studente fa una pennellata, l'insegnante dice immediatamente: "No, fallo in questo modo", e lo studente si corregge. L'obiettivo è far sì che lo studente impari lo stile dell'insegnante così bene da poter, alla fine, dipingere altrettanto bene, ma molto più velocemente. La grande domanda che questo articolo affronta è: cosa succede quando l'insegnante usa quel trucco di miscelazione a "due istruzioni" rigorose (CFG), e lo studente cerca di copiarlo? Lo studente impara il modo corretto di mescolare le istruzioni, o si confonde?

Il Grande Mix-Up: Quando Copiare Va Storto

Gli autori di questo articolo hanno scoperto che il modo standard in cui gli studenti cercano di copiare gli insegnanti che usano il CFG è in realtà una trappola. Chiamano il metodo standard "Naive CFG-Based OPD". Ecco il problema: quando l'insegnante mescola le istruzioni "positive" e "negative" per dare una risposta finale, lo studente vede solo quella risposta finale mescolata. Lo studente cerca di corrispondere al mix finale dell'insegnante, ma non sa come l'insegnante ci sia arrivato.

Immagina che l'insegnante stia preparando un frullato. Mescola il 70% di fragola (positivo) e il 30% di banana (negativo) per ottenere una bevanda rosa perfetta. Lo studente assaggia la bevanda rosa e cerca di replicarla. Ma poiché lo studente non conosce la ricetta esatta, potrebbe accidentalmente mescolare il 40% di fragola e il 60% di banana e ottenere comunque una bevanda che sembra abbastanza rosa da ingannare l'insegnante in quel momento specifico. Questo è ciò che l'articolo chiama branch ambiguity (ambiguità di ramo). Lo studente ha trovato una "soluzione degenerata": un trucco con cui ottiene la risposta giusta per i motivi sbagliati.

L'articolo mostra che questo trucco funziona bene se l'insegnante e lo studente stanno usando esattamente lo stesso "ingrediente negativo" (come se entrambi usassero l'acqua semplice come base). In questo caso, lo studente e l'insegnante migliorano insieme e tutto procede per il meglio.

Tuttavia, l'articolo trova un importante modo di fallimento che chiamano Negative Branch Asymmetry (NBA). Questo accade quando l'insegnante ha un "ingrediente segreto" nel suo ramo negativo che lo studente non ha. Per esempio, l'insegnante potrebbe guardare una foto di riferimento per guidare il suo processo di pensiero "negativo", ma lo studente è cieco a quella foto. In questo scenario, lo studente cerca di copiare il frullato rosa finale, ma per farlo, deve rovinare la propria ricetta. Potrebbe rendere perfetta la parte della fragola (la parte positiva), ma deve rendere terribile la parte della banana (la parte negativa) per compensare.

L'articolo dimostra che, in queste condizioni, l'apprendimento dello studente diventa un tiro alla fune. Man mano che migliorano nel dipingere il gatto (riducendo l'errore positivo), peggiorano nel comprendere la parte del "nulla" (aumentando l'errore negativo). Gli errori si annullano a vicenda nella miscela finale, quindi l'insegnante pensa che lo studente stia andando alla grande. Ma questa è una bugia.

La Conseguenza: La Manopola del Destino

Il vero problema inizia quando si gira la manopola. La "guidance scale" è un'impostazione che puoi cambiare dopo che l'addestramento è terminato. Se hai addestrato lo studente con la manopola impostata su un numero specifico, ha imparato a barare usando quel mix specifico. Ma se giri la manopola su un numero diverso in seguito (come durante l'uso reale), l'equilibrio cambia. La ricetta "imbrogliona" dello studente non funziona più. L'articolo mostra che gli studenti addestrati con il metodo ingenuo funzionano bene all'impostazione di addestramento, ma cadono completamente a pezzi quando la scala di guida cambia, producendo immagini distorte o perdendo lo stile che dovevano imparare. Questo è l' "excess degradation" (degradazione eccessiva) di cui avvertono gli autori: non è solo che il robot diventa peggiore; è che diventa molto peggio di quanto dovrebbe, specificamente a causa del cattivo metodo di addestramento.

La Soluzione: Il Correzione della "Direzione Positiva"

Per risolvere questo problema, gli autori propongono un nuovo metodo chiamato Positive-Direction Matching (PDM). Invece di chiedere semplicemente allo studente di copiare il frullato finale mescolato, il PDM costringe lo studente a imparare due cose separate:

La Predizione Positiva: "Mostrami esattamente come dipingi il gatto."
La Direzione CFG: "Mostrami la differenza tra la tua idea di 'gatto' e la tua idea di 'nulla'."

Controllando queste due cose separatamente, l'insegnante può vedere se lo studente sta barando. Se lo studente prova a rovinare la parte negativa per sistemare la parte positiva, l'insegnante lo scopre immediatamente perché la "differenza" (la direzione) non corrisponderà. Questo costringe lo studente a imparare la ricetta vera, non un trucco.

L'articolo ha testato questo compito su una missione chiamata dense-to-sparse video control, dove l'insegnante vede un video completo di una persona in movimento (controllo denso) e cerca di insegnare a uno studente che vede solo alcuni fotogrammi chiave (controllo sparso). I risultati sono stati chiari:

Gli studenti Naive erano molto sensibili alla scala di guida. Quando la scala cambiava, il loro controllo video crollava, con metriche di qualità come l'FID (una misura della qualità dell'immagine) che passavano da 13.49 a 78.20 in alcuni casi.
Gli studenti PDM rimanevano stabili. Anche quando la scala di guida cambiava, continuavano a produrre video di alta qualità, con l'FID che rimaneva intorno a 13–15.

Gli autori hanno anche confrontato il PDM con un altro metodo chiamato Independent Branch Matching (IBM), che dice semplicemente allo studente di copiare i rami positivo e negativo separatamente senza guardare la "direzione". Sia il PDM che l'IBM sono stati molto migliori del metodo ingenuo, ma il PDM ha generalmente fornito la fedeltà di controllo più costante attraverso diversi tipi di compiti video (come i controlli di posa, profondità e schizzo).

La Conclusione

L'articolo conclude che, sebbene il vecchio modo di copiare gli insegnanti (Naive OPD) possa sembrare efficace durante l'addestramento, sta in realtà costruendo un castello di carte che crolla non appena si cambiano le impostazioni. Usando il Positive-Direction Matching, possiamo costruire uno studente che comprende davvero la logica dell'insegnante, rendendolo robusto e affidabile indipendentemente da come si modifichi la manopola della guida in seguito. È un promemoria del fatto che, nell'IA, non basta ottenere la risposta giusta; bisogna imparare come ottenerla, specialmente quando l'insegnante possiede un ingrediente segreto.

Riepilogo Tecnico: Ripensare la Classifier-Free Guidance nella Distillazione On-Policy di Diffusione

Definizione del Problema

La Distillazione On-Policy (OPD) adatta i modelli di diffusione addestrando uno studente a corrispondere alle previsioni di velocità locale di un insegnante lungo le traiettorie generate dallo studente stesso. Sebbene i moderni sistemi di diffusione utilizzino universalmente la Classifier-Free Guidance (CFG) per migliorare la qualità della generazione, l'interazione tra CFG e OPD rimane scarsamente compresa.

La CFG standard compone una previsione di velocità guidata ( $v_{cfg}$ ) da due rami separati: un ramo positivo ( $v_+$ ) condizionato dal prompt target e un ramo negativo ( $v_-$ ) condizionato da un prompt nullo o negativo. La velocità guidata è definita come $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , dove $\gamma$ è la scala di guida.

I metodi OPD esistenti tipicamente estendono il matching della velocità a questa previsione composta, minimizzando la perdita $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ . Gli autori identificano un difetto critico in questo approccio: l'identificazione incompleta a livello di ramo (branch-level under-identification). Poiché la perdita vincola solo la combinazione lineare dei due rami, gli errori del ramo positivo e del ramo negativo ( $e_+$ ed $e_-$ ) possono compensarsi a vicenda. Nello specifico, la condizione $\gamma e_+ + (1-\gamma)e_- = 0$ ammette infiniti accoppiate di errori non nulli.

Questa ambiguità porta a un modo di guasto denominato Asimmetria del Ramo Negativo (NBA - Negative Branch Asymmetry). In scenari in cui l'insegnante possiede "informazioni privilegiate" nel suo ramo negativo (ad esempio, immagini di riferimento o segnali di controllo densi) che lo studente non possiede, l'obiettivo composto ingenuo induce dinamiche antagoniste: il processo di addestramento riduce l'errore del ramo positivo e simultaneamente aumenta l'errore del ramo negativo. Sebbene tale compensazione possa produrre una perdita bassa alla scala di guida di addestramento, essa causa una deriva significativa dello studente quando viene valutato a diverse scale di guida di inferenza, poiché la compensazione dell'errore appresa non regge più.

Metodologia

Per risolvere l'ambiguità del ramo e prevenire la compensazione dell'errore, gli autori propongono il Positive–Direction Matching (PDM), un obiettivo OPD consapevole del ramo (branch-aware).

1. Positive–Direction Matching (PDM)

Invece di corrispondere alla velocità guidata composta, il PDM vincola separatamente:

La Previsione Positiva: Corrispondere direttamente alla velocità del ramo positivo ( $v_+$ ).
La Direzione Condizionale CFG: Corrispondere al vettore differenza $d = v_+ - v_-$ .

La funzione di perdita è formulata come:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
dove $\lambda > 0$ controlla la forza del matching della direzione. Una perdita zero in PDM costringe sia $e_+$ che $e_-$ a zero, eliminando la libertà degli errori di cancellarsi a vicenda.

2. Independent Branch Matching (IBM)

Come baseline per isolare i benefici della supervisione a livello di ramo rispetto al design specifico di PDM, gli autori introducono IBM. Questo metodo corrisponde direttamente ai rami positivo e negativo con pesi derivati dall'obiettivo composto ingenuo esteso:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
A differenza di PDM, IBM non impone esplicitamente la direzione condizionale, ma rimuove il termine di interazione tra i rami presente nella perdita composta ingenua.

3. Supervisione Efficiente per il Video

Per applicazioni di controllo video da denso a sparso, gli autori propongono di supervisionare solo i primi $K$ stati della traiettoria di denoising dello studente invece dell'intera traiettoria. Ciò riduce il costo computazionale delle valutazioni dell'insegnante mantenendo le prestazioni.

Contributi Chiave

Identificazione dell'Ambiguità del Ramo: Il documento dimostra che la OPD composta da CFG è sotto-identificata a livello di ramo. Stabilisce che tale ambiguità è benigna sotto condizionamento negativo condiviso (dove sia l'insegnante che lo studente condividono lo stesso condizionamento nullo), ma diventa dannosa sotto condizionamento negativo privilegiato, portando alla NBA.
Asimmetria del Ramo Negativo (NBA): Gli autori definiscono la NBA come il modo di guasto in cui il matching ingenuo riduce l'errore del ramo positivo a scapito dell'aumento dell'errore del ramo negativo, causando un'eccessiva sensibilità alle scale di guida di inferenza.
Positive–Direction Matching (PDM): Un nuovo obiettivo, consapevole del ramo, che supervisiona separatamente la previsione positiva e la direzione condizionale CFG. Ciò previene la compensazione dell'errore tra i rami e ripristina una supervisione identificabile.
Validazione Empirica: Lo studio fornisce prove quantitative in domini di immagine e video, mostrando come la supervisione consapevole del ramo migliori la robustezza e il trasferimento di conoscenza, particolarmente in scenari in cui l'insegnante ha accesso a informazioni non disponibili allo studente.

Risultati Sperimentali

Diagnostica nel Dominio dell'Immagine

Gli autori hanno condotto due esperimenti controllati per diagnosticare le dinamiche dell'errore del ramo:

Distillazione del Rendering del Testo (Condizionamento Condiviso): Sia l'insegnante che lo studente condividono lo stesso condizionamento negativo. In questo caso, il matching ingenuo e il PDM portano entrambi a una riduzione congiunta degli errori dei rami positivo e negativo. Lo studente segue la sensibilità intrinseca alla CFG dell'insegnante, confermando che l'ambiguità è benigna in questo regime.
Distillazione Condizionata da Riferimento (Condizionamento Privilegiato): L'insegnante riceve un'immagine di riferimento nel suo ramo negativo, mentre lo studente no.
- Matching Ingenuo: Mostra dinamiche antagoniste, riducendo $e_+$ mentre aumenta $e_-$ .
- PDM: Riesce a ridurre $e_+$ impedendo al contempo la crescita di $e_-$ .
- Sensibilità alla Guida: In fase di inferenza, gli studenti ingenuamente addestrati a $\gamma=2$ degradano significativamente quando testati a $\gamma=1$ (mostrando drift di stile e distorsione), mentre gli studenti PDM rimangono stabili e seguono da vicino il comportamento dell'insegnante attraverso le scale.

Controllo Video da Denso a Sparso

Il metodo è stato applicato al benchmark Wan-VACE, dove l'insegnante osserva un controllo denso per frame (posa, profondità, scribble) e lo studente riceve solo keyframe sparsi.

Fedeltà del Controllo: Alla scala di guida di addestramento ( $\gamma=5$ ), PDM ha superato la OPD ingenua, SFT e la distillazione off-policy in tutte le modalità (Pose, Depth, Scribble) in metriche come MPJPE, PCK e FVD.
Generalizzazione della Scala di Guida: Quando testato a scale di inferenza diverse da quelle di addestramento (ad esempio, $\gamma=1$ o $\gamma=3$ ), le prestazioni della OPD ingenua sono degradate bruscamente. Al contrario, PDM e IBM sono rimasti stabili, dimostrando che la supervisione consapevole del ramo mitiga l'eccessiva sensibilità indotta dal matching composto.
Efficienza: La supervisione dei soli primi $K=8$ stati della traiettoria ha fornito il miglior compromesso tra fedeltà del controllo e costo di addestramento, ottenendo risultati comparabili alla supervisione dell'intera traiettoria con una computazione significativamente ridotta.

Significato e Rivendicazioni

Il documento sostiene che la pratica standard di far corrispondere le previsioni composte dalla CFG nella distillazione on-policy è fondamentalmente errata quando l'insegnante e lo studente hanno un accesso asimmetrico alle informazioni nel ramo negativo. Gli autori argomentano che l'Asimmetria del Ramo Negativo è un modo di guasto distinto che si manifesta come un'eccessiva sensibilità ai cambiamenti della scala di guida.

Il significato di questo lavoro risiede nel:

Correggere un Punto Cieco Teorico: Identifica che "far corrispondere l'output guidato" è insufficiente quando i rami sottostanti non sono simmetricamente vincolati.
Trasferimento di Conoscenza Robusto: Imponendo vincoli a livello di ramo (tramite PDM), lo studente apprende una rappresentazione più fedele della logica condizionale dell'insegnante, portando a prestazioni robuste attraverso varie condizioni di inferenza.
Applicabilità Pratica: Il metodo proposto è direttamente applicabile a compiti di generazione complessi come il controllo video, dove gli insegnanti spesso possiedono un contesto privilegiato (frame densi) che gli studenti devono apprendere da input sparsi.

Gli autori notano con modestia che, sebbene PDM superi empiricamente IBM, le ragioni teoriche del vantaggio specifico di PDM rispetto ad altre formulazioni consapevoli del ramo (come IBM) rimangono una questione aperta per lavori futuri. Il contributo primario è l'identificazione del modo di guasto e la dimostrazione che separare la supervisione del ramo positivo e della direzione condizionale risolve il problema.