Riepilogo Tecnico: Corrispondenza di Distribuzione a Tempo Continuo per la Distillazione di Diffusione in Pochi Passi

Enunciato del Problema

I modelli di diffusione e di matching del flusso hanno rivoluzionato la generazione di immagini da testo, ma soffrono di un grave collo di bottiglia computazionale dovuto ai loro processi di campionamento iterativi, che spesso richiedono da decine a centinaia di valutazioni della rete. Sebbene siano emersi paradigmi di distillazione della diffusione (ad esempio, Distillazione della Coerenza, Distillazione della Corrispondenza di Distribuzione) per accelerare questo processo, i metodi esistenti di Distillazione della Corrispondenza di Distribuzione (DMD) presentano limitazioni strutturali. Nello specifico, la DMD standard si basa su supervisione sparsa in pochi istanti di tempo discreti predefiniti per mantenere un allineamento rigoroso tra i programmi di addestramento e di inferenza. Questa formulazione discreta limitata, combinata con la natura orientata alla modalità della divergenza KL inversa, porta spesso ad artefatti visivi, output eccessivamente lisci e una perdita di dettagli fini. Di conseguenza, i metodi DMD attuali all'avanguardia richiedono frequentemente moduli ausiliari complessi, come le Reti Generative Avversariali (GAN) o modelli di ricompensa, per ripristinare la fedeltà visiva.

Metodologia: Corrispondenza di Distribuzione a Tempo Continuo (CDM)

Gli autori propongono la Corrispondenza di Distribuzione a Tempo Continuo (CDM), un framework che sposta il paradigma DMD dall'ancoraggio discreto all'ottimizzazione continua. Il metodo consiste in due principali progettazioni a tempo continuo:

1. Programma Dinamico a Tempo Continuo

A differenza della DMD tradizionale, che limita la simulazione all'indietro a un insieme fisso di ancoraggi discreti corrispondenti al programma di inferenza, la CDM impiega un programma continuo dinamico.

• Meccanismo: Ad ogni iterazione di addestramento, la lunghezza della simulazione $N$ viene campionata casualmente da una distribuzione uniforme $U\{1, N_{max}\}$. Gli istanti di tempo $t_1, \dots, t_N$ sono generati come una sequenza continua strettamente decrescente all'interno di $(0, 1]$.
• Effetto: Questo disaccoppia l'ottimizzazione dell'addestramento dal programma di inferenza fisso. Il modello studente viene addestrato su tutto lo spazio temporale continuo piuttosto che su pochi punti fissi, ricevendo segnali di gradiente da un'ampia gamma di traiettorie. L'analisi teorica suggerisce che ciò incoraggia lo studente a imparare un campo di velocità più liscio su tutto il dominio continuo, piuttosto che adattarsi eccessivamente a pochi ancoraggi discreti.

2. Allineamento Fuori-Traiettoria tramite Estrapolazione Guidata dalla Velocità

Per affrontare gli errori di troncamento numerici intrinseci alla generazione in pochi passi (dove grandi passi di integrazione causano uno spostamento delle traiettorie fuori dalla varietà ideale), la CDM introduce una nuova funzione di perdita CDM ($L_{CDM}$).

• Meccanismo: Invece di limitare la supervisione ai latenti sulla traiettoria, il metodo esegue un matching attivo fuori-traiettoria. Esso compie un passo di Eulero del primo ordine lungo il campo di velocità previsto dallo studente per estrapolare un latente fuori-traiettoria $x'_{t_i} = x_{t_i} + (t'_i - t_i)v_{t_i}$.
• Obiettivo: La perdita impone la corrispondenza di distribuzione su questi punti estrapolati. Ancorando l'obiettivo alla stima locale dei dati puliti nel punto estrapolato, il metodo crea un vincolo di auto-coerenza per il campo vettoriale dello studente. Ciò penalizza efficacemente le previsioni di velocità non valide al di fuori della traiettoria principale, mitigando l'incoerenza tra gli ancoraggi e permettendo allo studente di correggere autonomamente gli errori di integrazione.

Obiettivo di Addestramento

L'obiettivo completo di addestramento unifica tre componenti:
$$L = L_{CA} + L_{DM} + L_{CDM}$$

• $L_{CA}$ (Augmentazione CFG): Garantisce l'allineamento testo-immagine.
• $L_{DM}$ (Corrispondenza di Distribuzione): Allinea la distribuzione marginale dello studente con la distribuzione libera da CFG dell'insegnante.
• $L_{CDM}$ (Corrispondenza a Tempo Continuo): Regolarizza il campo di velocità su tutto il dominio temporale continuo tramite supervisione fuori-traiettoria.

Contributi Chiave

1. Riscontri Empirici: Gli autori rivelano che l'ancoraggio dell'addestramento a istanti di tempo discreti fissi è inutile e che la funzione di perdita di Corrispondenza di Distribuzione (DM) non è semplicemente un regolarizzatore, ma il principale motore che allinea lo studente alla distribuzione libera da CFG dell'insegnante.
2. Framework CDM: La proposta di un framework unificato che combina la pianificazione dinamica continua con un obiettivo di allineamento fuori-traiettoria guidato dalla velocità. Questo sposta l'ottimizzazione nel dominio a tempo continuo senza fare affidamento su addestramento avversario o modelli di ricompensa esterni.
3. Prestazioni all'Avanguardia: Esperimenti estesi dimostrano che la CDM raggiunge una fedeltà visiva e un'aderenza semantica superiori nella generazione in pochi passi (4 NFE) su diverse architetture (SD3-Medium e Longcat-Image), superando le linee di base esistenti come DMD2, D-DMD e Hyper-SD.

Risultati Sperimentali

Il documento valuta la CDM su SD3-Medium e Longcat-Image a una risoluzione di 1024×1024 con 4 Valutazioni della Funzione di Rete (NFE).

• Prestazioni Quantitative: Su SD3-Medium, la CDM ottiene i punteggi migliori in Estetica (6.075), DPGBench (85.26), PickScore (21.95) e HPSv3 (9.561), superando la forte linea di base D-DMD. Notevolmente, lo studente CDM a 4 NFE eguaglia o supera l'insegnante a 100 NFE su diverse metriche (ad esempio, DPGBench e HPSv3).
• Miglioramenti Qualitativi: I confronti visivi mostrano che la CDM produce texture più nitide, dettagli fini più ricchi e una migliore aderenza a prompt complessi rispetto alle linee di base, che spesso soffrono di eccessiva levigatura.
• Studi di Ablazione:
  • La rimozione di $L_{CA}$ porta al collasso strutturale.
  • La rimozione individuale di $L_{DM}$ o $L_{CDM}$ degrada rispettivamente l'aderenza al prompt o la fedeltà visiva.
  • Il ritorno a un programma di tempo fisso o l'uso di perturbazione da rumore gaussiano invece dell'estrapolazione guidata dalla velocità risultano in prestazioni inferiori, validando la necessità delle progettazioni continue e basate sulla velocità.

Significato e Affermazioni

Il documento afferma che la CDM è il primo lavoro a spostare il framework di distillazione DMD dai programmi discreti a uno spazio di ottimizzazione continuo. La sua importanza risiede nel dimostrare che una generazione in pochi passi ad alta fedeltà può essere ottenuta senza fare affidamento su obiettivi ausiliari complessi (come GAN o modelli di ricompensa) che sono tipicamente richiesti per correggere gli artefatti della distillazione a tempo discreto.

Simulando e correggendo esplicitamente le derive di troncamento verso la varietà dei dati target attraverso la supervisione continua, la CDM stabilisce nuovi risultati all'avanguardia per la generazione di immagini in 4 passi. Gli autori posizionano questo lavoro come un passo verso una distillazione della diffusione più accessibile, abilitando una generazione di alta qualità su hardware commerciale riducendo i costi di inferenza di un ordine di grandezza mantenendo al contempo la qualità visiva.