🤖 machine learning

Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging

Any-OPD introduce un nuovo framework per la distillazione on-policy eterogenea tra modelli di flow-matching latente arbitrari, collegandoli attraverso una rappresentazione visiva congelata e agnostica rispetto al modello e un adattamento continuo del livello di rumore, consentendo a uno studente da 2,5B di competere con le prestazioni di un docente da 12B dove la regressione latente tradizionale fallisce.

Autori originali: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Pubblicato 2026-08-05

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui gli artisti non dipingono solo con i pennelli, ma con la matematica. Questo è il regno della generazione di immagini tramite IA, un campo in cui i computer imparano a creare immagini da zero studiando milioni di esempi. Per farlo, i moderni modelli di IA utilizzano un trucco ingegnoso chiamato flow matching. Pensatelo come a un fiume che scorre da una cascata caotica e rumorosa (puro statico) verso un lago calmo e limpido (un'immagine perfetta). L'IA impara esattamente il percorso di quel fiume per poter guidare ogni goccia d'acqua dal rumore verso un bellissimo quadro.

Tuttavia, c'è un problema. Gli artisti di IA più potenti sono come enormi elefanti lenti nei movimenti: sono massicci, richiedono supercomputer per funzionare e impiegano un tempo infinito per generare una singola immagine. Noi vogliamo la velocità e l'efficienza di uno scoiattolo agile, ma vogliamo anche il genio artistico dell'elefante. La soluzione è la distillazione: insegnare a un modello studente piccolo e veloce come copiare il modello maestro grande e lento. Ma ecco il problema: di solito, il maestro e lo studente devono parlare la stessa lingua, usare la stessa mappa interna e seguire lo stesso orologio. Se appartengono a "famiglie" diverse di IA, potrebbero benissimo parlare dialetti differenti o vivere in fusi orari diversi. Fino ad ora, cercare di insegnare a uno scoiattolo come essere un elefante quando usano progetti completamente diversi era impossibile.

Questo articolo presenta Any-OPD, un nuovo metodo che funge da traduttore universale e da coach capace di piegare il tempo. I ricercatori hanno scoperto che non è necessario che il maestro e lo studente condividano le stesse mappe interne o gli stessi orologi per imparare l'uno dall'altro. Inveve di costringerli a confrontare le loro note interne segrete (il che sarebbe un geroglifico per l'altro), Any-OPD permette loro di confrontare le immagini finali che creano utilizzando un "critico d'arte" terzo (un modello di visione congelato chiamato DINOv2) che comprende il significato dell'immagine, non solo i pixel.

Il team ha testato questo approccio prendendo un modello studente minuscolo, da 2,5 miliardi di parametri (SD3.5-Medium), e insegnandogli a imitare un maestissimo modello da 12 miliardi di parametri (FLUX.1-dev). Questi due modelli sono completamente diversi: usano strutture interne diverse, modi diversi di gestire il rumore e programmi diversi. I metodi standard cercavano di forzare un confronto diretto tra i loro dati interni, il che causava il collasso dell'addestramento in un ammasso sfocato. Any-OPD, invece, ha eluso questo problema confrontando solo le immagini finali in uno "spazio di significato" condiviso.

I risultati sono stati sorprendenti. Il piccolo studente, dopo essere stato addestrato con Any-OPD, non è solo diventato un po' migliore; è diventato un maestro artista. Ha migliorato la sua capacità di creare immagini preferite dagli umani (misurata con un punteggio chiamato PickScore) da 0,846 a 0,884, e il suo punteggio di preferenza umana (HPSv3) è balzato da 9,12 a 10,97. In effetti, questo piccolo studente ha iniziato a competere con il suo gigante maestro da 12 miliardi di parametri, e in alcuni casi persino a superarlo, il tutto operando a una frazione delle dimensioni e dei costi.

L'articolo esclude esplicitamente l'idea che si possa semplicemente confrontare i dati interni grezzi (latenti) o i dettagli pixel per pixel delle immagini quando i modelli sono diversi. Hanno dimostrato che tentare una "regressione dei pixel" diretta tra diverse famiglie di modelli causa il fallimento totale dell'addestramento. Inveve, hanno provato che ancorando prima lo studente e poi utilizzando un sistema di corrispondenza del livello di rumore per allineare i loro passi nel tempo, è possibile trasferire con successo la conoscenza tra qualsiasi due modelli, indipendentemente da quanto siano diversi. Ciò suggerisce che in futuro non saremo costretti a utilizzare un unico gigante IA; possiamo prendere il miglior insegnante disponibile, indipendentamente da chi l'abbia costruito, e insegnare a qualsiasi piccolo modello di cui abbiamo bisogno come essere altrettanto bravo.

Sintesi Tecnica: Any-OPD

Definizione del Problema

L'attuale distillazione on-policy (OPD) per i modelli di flow-matching e diffusione si basa su un assunto di omogeneità: il docente (teacher) e lo studente (student) devono condividere lo stesso spazio latente del VAE, la stessa architettura e lo stesso schema di rumore (griglia dei timestep). Questo assunto limita la distillazione solo a coppie appartenenti alla stessa famiglia di modelli.

In pratica, gli scenari di distillazione più desiderabili sono eterogenei: un utente potrebbe voler distribuire un modello piccolo ed efficiente (ad es. SD3.5-Medium) sfruttando al contempo la qualità superiore di un docente grande e all'avanguardia proveniente da una famiglia diversa (ad es. FLUX.1-dev). La standard OPD fallisce in questo scenario a causa di due disallineamenti fondamentali:

Assenza di Spazio Condiviso: I latenti del docente sono target non validi nel sistema di coordinate dello studente. Inoltre, la regressione pixel-wise fallisce perché il raffinamento del docente è una risintesi stocastica che preserva la semantica ma ridisegna i dettagli locali; la regressione verso questa media stocastica causa il collasso dell'addestramento o un grave sfocamento (blurring).
Assenza di Orologio Condiviso: Modelli diversi utilizzano funzioni di shift del rumore distinte. Di conseguenza, indici di solver identici (numeri di step) corrispondono a livelli di rumore differenti, rendendo gli stati supervisionati tramite indici non confrontabili.

I metodi esistenti non possono supervisionare la propria traiettoria in uno studente utilizzando un docente che opera in uno spazio latente e in uno schema di rumore estranei.

Metodologia: Any-OPD

Gli autori propongono Any-OPD (Any Teacher, Any Student, On-Policy Distillation), il primo framework che consente la distillazione on-policy tra coppie arbitrarie di generatori di flow-matching latente. Il metodo disaccoppia il docente dallo studente non facendo riferimento ai parametri interni di nessuno dei due modelli, affidandosi invece a una terza rappresentazione esterna e all'allineamento dei livelli di rumore.

1. Fase di Ancoraggio (Offline)

Per affrontare il divario a livello di distribuzione, lo studente viene prima "ancorato" al manifold del docente.

Il docente genera immagini da prompt, che vengono poi ri-codificate utilizzando il VAE dello studente.
Questo proietta la distribuzione dell'output del docente nel sistema di coordinate latenti dello studente.
Lo studente viene addestrato tramite la classica perdita di flow-matching su questi target ri-codificati. Ciò assicura che lo studente impari a produrre immagini del "tipo corretto" prima di tentare il raffinamento on-policy.

2. Fase di Distillazione On-Policy

Il ciclo centrale di distillazione opera senza latenti condivisi o timestep sincronizzati:

Il Docente come Campionatore Black-Box: Il docente agisce puramente come un operatore di proiezione di rumore e denoising ( $\Pi^\sigma_T$ ). Dato un campione dello studente, il docente lo ri-introduce in rumore a un livello di rumore $\sigma$ specifico e rigenera una versione raffinata.
Corrispondenza del Livello di Rumore (Risolvere il Gap dell'Orologio): Invece di allinearsi per indice di step, il metodo si allinea per livello di rumore. Dopo che il docente ha raffinato un campione al livello di rumore $\sigma_T^k$ , il gradiente viene retropropagato solo attraverso i passi della traiettoria dello studente dove il livello di rumore $\sigma_S^j \ge \sigma_T^k$ . Ciò assicura che lo studente apprenda le correzioni rilevanti per la specifica scala di rumore del raffinamento.
Ponte nello Spazio di Rappresentazione (Risolvere il Gap dello Spazio): L'output raffinato dello studente e l'output raffinato del docente vengono decodificati in pixel utilizzando i rispettivi VAE. Queste immagini vengono poi confrontate in uno spazio di feature congelato e indipendente dal modello (specificamente, il token CLS di un DINOv2 congelato).
- La perdita è definita come $1 - \cos(f(\hat{x}_S), f(x_{ref}))$ , dove $f$ è l'estrattore congelato.
- Questo confronto globale, privo di coordinate, è invariante rispetto alla risintesi stocastica locale che impedisce la regressione pixel o latente.

Contributi Chiave

Formulazione della OPD Eterogenea: Il documento identifica e formalizza gli due ostacoli primari (mancanza di spazio condiviso e di orologio condiviso) che impediscono agli attuali metodi on-policy di funzionare tra diverse famiglie di modelli.
Il Framework Any-OPD: Una procedura di distillazione agnostica rispetto all'architettura che accoppia i modelli esclusivamente attraverso uno spazio di rappresentazione esterno congelato e allinea le traiettorie tramite la corrispondenza del livello di rumore anziché tramite gli indici del solver.
Validazione Empirica: La prima distillazione on-policy riuscita tra distinte famiglie di modelli (FLUX.1-dev $\to$ SD3.5-Medium), dimostrando che uno studente da 2.5B può avvicinarsi o superare le prestazioni del docente da 12B sulle metriche di preferenza.

Risultati Sperimentali

Gli autori istanziano Any-OPD distillando FLUX.1-dev (12B di parametri) in SD3.5-Medium (2.5B di parametri).

Guadagni di Prestazione: Lo studente distillato supera significativamente il baseline SD3.5-Medium e si avvicina o supera il docente da 12B su diverse metriche:
- PickScore: Aumentato da 0.846 (baseline) a 0.884 (superando il docente con 0.878).
- HPSv3: Aumentato da 9.12 a 10.97 (avvicinandosi al docente con 11.19).
- ImageReward: Aumentato da 0.922 a 1.116 (superando il docente con 0.971).
Risultati delle Ablazioni:
- Regressione Latente: La regressione diretta dei latenti attraverso il confine VAE causa un immediato collasso dell'addestramento.
- Perdita Pixel/MSE: Fallisce a causa della natura stocastica del raffinamento del docente.
- DINOv2 CLS: L'unico obiettivo stabile ed efficace, confermando che è necessario un allineamento semantico globale piuttosto che un allineamento locale di pixel o patch.
- Ancoraggio: Essenziale per la stabilità; iniziare la OPD senza la fase di ancoraggio produce prestazioni inferiori.
- Generalizzazione: Sostituendo il docente con Z-Image (un'altra famiglia distinta) con identici iperparametri, si ottengono miglioramenti coerenti, verificando l'intercambiabilità del metodo.

Significato e Rivendicazioni

Il documento afferma che Any-OPD rimuove le barriere strutturali che impediscono l'uso dei modelli generativi più forti disponibili come docenti per modelli più piccoli e distribuibili. Trattando il docente puramente come un campionatore e confrontando gli output in uno spazio di feature esterno e congelato, il metodo consente il trasferimento di elevate capacità di generazione attraverso architetture, VAE e schemi di rumore completamente diversi.

Gli autori sottolineano che questo disaccoppiamento rende il "più forte generatore disponibile, chiunque lo costruisca", un docente utilizzabile per "qualsiasi modello si debba distribuire", democratizzando di fatto l'accesso alla qualità di generazione allo stato dell'arte senza richiedere l'omogeneità architettonica.