A Few-Step Generative Model on Cumulative Flow Maps

Riepilogo Tecnico: Un Modello Generativo in Poche Fasi su Mappe di Flusso Cumulative

Enunciato del Problema
I modelli generativi, inclusi i modelli di diffusione e il flow matching, sono tipicamente formulati come apprendimento di mappe di flusso istantaneo (o dinamiche istantanee) che prevedono aggiornamenti locali dello stato condizionati allo stato corrente $x(t)$. Per generare dati, questi modelli richiedono un'integrazione numerica iterativa su molti piccoli passi temporali per approssimare la mappa di flusso cumulativa—il trasporto a tempo finito che sposta campioni da una semplice distribuzione sorgente a una distribuzione di dati complessa. Questo processo di campionamento multi-step comporta costi computazionali significativi.

Sebbene recenti sforzi abbiano esplorato la generazione in poche fasi e in un singolo passo, gli approcci esistenti presentano limitazioni:

1. I metodi basati sulla distillazione richiedono spesso pipeline di addestramento complesse tra insegnante e studente.
2. I modelli di coerenza e il Mean Flow (che apprende le velocità medie) sono progettati principalmente per formulazioni specifiche (ad esempio, flow matching con previsione di $u$) e non si generalizzano naturalmente ad altri framework ampiamente utilizzati nella computer grafica, come DDIM, EDM o flow matching con previsione di $x_1$.
3. Imparare direttamente mappe cumulative a lungo raggio è impegnativo perché le controparti condizionate richieste per gli obiettivi di addestramento standard non esistono per i campi cumulativi, creando una barriera fondamentale per l'addestramento.

Metodologia: Mappe di Flusso Cumulative (CFM)
Gli autori propongono le Mappe di Flusso Cumulative (CFM), un framework unificato che collega gli aggiornamenti istantanei locali al trasporto a tempo finito tramite una parametrizzazione esplicita del campo cumulativo.

• Astrazione Unificata: Il metodo formalizza la mappa di flusso istantaneo $\psi_{t \to t+h}$ utilizzando una funzione astratta $F[m_t(x), x, t, t+h]$, dove $m_t(x)$ è il campo istantaneo (ad esempio, la velocità). Questa astrazione unifica parametrizzazioni diverse (u-FM, $x_1$-FM, DDIM, EDM).
• Parametrizzazione Cumulativa: Le CFM estendono questo concetto al trasporto a lungo raggio definendo una mappa di flusso cumulativa $\psi_{t \to r}$ come il limite della composizione di mappe istantanee. Il modello apprende un campo di parametrizzazione cumulativa $m_{t \to r}(x)$ tale che $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$. Ciò consente al modello di avanzare nel campionamento dal tempo $t$ a un tempo futuro arbitrario $r$ in un singolo passo o in pochi passi.
• Addestramento tramite Equazioni di Campo: Una sfida chiave è che un campo cumulativo condizionale $m_{t \to r}(x | X_1)$ non esiste in modo auto-coerente. Per superare ciò, gli autori derivano una riformulazione basata su equazioni di campo (Teorema 3). Esprimono il campo cumulativo in termini del campo istantaneo e delle sue derivate:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  Questa formulazione consente la costruzione di una funzione di perdita surrogata (Eq. 7) che utilizza il campo istantaneo condizionale $m_t(x | X_1)$ (che è apprendibile) per supervisionare il campo cumulativo. La perdita include termini derivativi ($\partial_t m$ e $\partial_x m$) che sono calcolati tramite prodotti vettore-Jacobiano (JVP) o approssimazioni discrete.
• Implementazione: L'approccio richiede modifiche architetturali minime. Arricchisce l'embedding temporale con un ulteriore codificatore per il tempo target $r$ e utilizza un embedding medio $(emb_t + emb_r)/2$. Non è richiesta distillazione né un aumento della capacità.

Contributi Chiave

1. Astrazione Mappa di Flusso Istantaneo-Cumulativa: Il documento formalizza le mappe di flusso cumulative come trasporti a tempo finito ottenuti componendo mappe istantanee, unificando la generazione multi-step e few-step sotto un singolo framework matematico.
2. Generalizzazione Oltre la Previsione di $u$: Le CFM generalizzano il concetto di Mean Flow a un'ampia gamma di formulazioni generative, inclusi flow matching con previsione di $u$ e $x_1$, EDM e DDIM. Ciò abilita la generazione in pochi passi in contesti dove i metodi precedenti (come il Mean Flow) non sono applicabili, come la modellazione di distribuzioni geometriche e la generazione di immagini nello spazio dei pixel.
3. Addestramento Agnostico al Modello: Derivando un obiettivo basato su equazioni di campo, il metodo consente l'apprendimento di mappe di flusso cumulative senza modifiche architetturali o distillazione, riducendo sostanzialmente i passi di campionamento nei modelli esistenti.

Risultati Sperimentali
Gli autori valutano le CFM su cinque diversi compiti di grafica, dimostrando significativi acceleramenti (da 10× a 200×) preservando o migliorando la qualità della generazione:

• Generazione di Immagini (CelebA-HQ): Utilizzando CFM-DDIM, il modello raggiunge la generazione in 1 passo e 4 passi con punteggi FID comparabili ai baseline a 128 passi, superando la distillazione di coerenza e i metodi di addestramento.
• Modellazione di Distribuzioni Geometriche: Sul compito GeoDist, CFM-EDM ottiene acceleramenti da 6× a 10× senza degradazione della Distanza di Chamfer rispetto ai baseline a 60 passi. In modo notevole, i metodi con previsione di $u$ non riescono a supportare la generazione in pochi passi in questo dominio, mentre CFM-EDM riesce.
• Previsione Congiunta delle Giunture (PDT): Applicato al dataset RigNet, CFM-DDIM riduce l'inferenza da 1000 passi a 5 passi (acceleramento 200×) mantenendo un'accuratezza di previsione delle giunture (CD-J2J, IoU, Precisione, Recall) comparabile al PDT originale a 1000 passi.
• Generazione di Schizzi Condizionati da Immagini: Sul dataset ControlSketch, CFM genera schizzi vettoriali in 1 o 4 passi (acceleramento 50×) con fedeltà (MS-SSIM, DreamSim) pari al baseline SwiftSketch a 50 passi.
• Generazione di SDF 3D: Per la ricostruzione condizionale di SDF sparsi (64 punti), CFM-$x_1$-FM ottiene acceleramenti da 6 a 16× rispetto alla Diffusione Funzionale con qualità di ricostruzione comparabile.

Significato e Affermazioni
Il documento afferma che le CFM forniscono un framework matematico generale particolarmente adatto per applicazioni di computer grafica che coinvolgono rappresentazioni di dati diverse (immagini, nuvole di punti, campi impliciti) e formulazioni generative. Il suo significato principale risiede in:

• Disaccoppiamento dell'Efficienza dall'Architettura: Raggiunge un'accelerazione drastica dell'inferenza (fino a 200×) modificando esclusivamente l'obiettivo di addestramento e gli embedding temporali, senza richiedere distillazione o rivoluzioni architetturali.
• Framework Unificante: Colma il divario tra dinamiche istantanee e trasporto a lungo raggio, offrendo una soluzione principiale per la generazione in pochi passi attraverso modelli in cui i precedenti approcci basati su "velocità media" fallivano.
• Praticità: Il metodo è agnostico al modello e può essere applicato a modelli pre-addestrati multi-step per accelerarli, o utilizzato per addestrare nuovi modelli few-step da zero.

Gli autori sostengono che, sebbene le CFM siano applicabili a un'ampia gamma di modelli, la loro valutazione attuale è limitata a cinque applicazioni e quattro formulazioni rappresentative, lasciando l'estensione a dataset su larga scala (ad esempio, ImageNet) come lavoro futuro.