🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

Il documento introduce MeanFlowNFT, un nuovo framework che adatta il metodo di Reinforcement Learning a processo diretto DiffusionNFT ai generatori MeanFlow costruendo un predittore di velocità istantanea indotto, abilitando così un'efficiente ottimizzazione della ricompensa che preserva il campionamento rapido in pochi step pur superando significativamente gli esistenti modelli ottimizzati tramite RL a pochi step e persino a più step nella generazione di immagini e video.

Autori originali: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot artista a dipingere il quadro di una "auto elegante che percorre una strada cyberpunk illuminata dai neon". Nel mondo dell'intelligenza artificiale, i migliori artisti attuali usano una tecnica chiamata diffusione o flow. Pensa a questo come a uno scultore che scolpisce un blocco di marmo. Partono da un pezzo di pietra grezzo e rumoroso (statico casuale) e apportano piccoli, attenti aggiustamenti passo dopo volta per rivelare la statua finale. Il problema è che questo processo è lento. Per ottenere un'immagine davvero buona, il robot potrebbe dover compiere 50 o anche 100 piccoli passi, controllando il proprio lavoro dopo ogni singolo colpo. È come attraversare una stanza facendo passi da un centimetro alla volta; ci arriverai, ma ci vuole un'eternità.

Per rendere questo processo più veloce, gli scienziati hanno recentemente inventato un nuovo trucco chiamato MeanFlow. Invece di fare piccoli passi, il robot impara a prevedere la "velocità media" che deve percorrere su un intero tratto di tempo. È come se il robot imparasse a fare grandi, sicuri balzi attraverso la stanza invece di trascinare i piedi. Questo gli permette di creare immagini di alta qualità in pochissimi passaggi. Tuttavia, c'è un problema: questi robot veloci sono difficili da insegnare ciò che agli esseri umani piace. Di solito, per insegnare a un'IA a essere più creativa o a seguire meglio le regole, usiamo un metodo chiamato Reinforcement Learning (RL). Ma i migliori metodi RL che abbiamo in questo momento sono stati progettati per i robot lenti, quelli passo dopo passo, non per quelli veloci che fanno balzi. Cercare di insegnare al robot veloce con le lezioni destinate al robot lento è come cercare di insegnare a un ghepardo a correre dandogli istruzioni pensate per una tartaruga; la matematica semplicemente non coincide.

È qui che entra in gioco il nuovo articolo, MeanFlowNFT. I ricercatori si sono posti una domanda semplice ma complicata: Possiamo insegnare al nostro robot veloce, che fa balzi, a essere ancora migliore usando gli stessi metodi RL efficienti che usiamo per quelli lenti, senza rallentarlo?

La risposta è un sì fragoroso, ed ecco come ci sono riusciti. Il team ha capito che, anche se il robot è addestrato a prevedere la "velocità media" (per fare quei grandi balzi), esiste un legame matematico nascosto tra quella velocità media e la "velocità istantanea" (la velocità in un singolo istante infinitesimo) di cui hanno bisogno i vecchi metodi RL. Hanno costruito un ponte ingegnoso chiamato predittore di velocità istantanea indotta. Pensa a questo come a: il cervello del robot è addestrato a pianificare un lungo viaggio in auto (la velocità media). I ricercatori hanno creato un "traduttore" speciale che guarda quel piano di viaggio e capisce istantaneamente quanto segnerebbe il tachimetro dell'auto in ogni secondo specifico (la velocità istantanea).

Hanno poi usato questo traduttore per insegnare al robot utilizzando il vecchio, efficiente metodo RL. Il robot impara dal feedback (ricompense) basandosi sulle letture del tachimetro del traduttore, ma una volta terminata la lezione, il robot torna a usare il suo cervello originale di "velocità media" per generare immagini. Ciò significa che il robot diventa più intelligente e più in linea con le preferenze umane senza perdere la sua super-velocità.

I risultati sono impressionanti. Quando hanno testato questo metodo su generatori di immagini (come Stable Diffusion 3.5-Medium) e generatori di video (come Wan2.1), il nuovo modello MeanFlowNFT ha costantemente superato i precedenti modelli veloci più avanzati. Infatti, nella generazione di immagini, ha superato altri modelli di alto livello in 6 degli 8 diversi parametri di qualità. Ancora più sorprendente, nella generazione di video, un modello MeanFlowNFT a 4 step ha ottenuto un punteggio di 84.33 in un test di qualità chiamato VBench. Questo è superiore a un modello molto più lento a 50 step (LongCat-Video RL) che ha ottenuto solo 82.57.

L'articolo dimostra che questo metodo non funziona solo in teoria; funziona nella pratica. Usando questo trucco del "traduttore", sono riusciti a mantenere il processo di addestramento veloce ed efficiente (senza dover calcolare probabilità complesse) pur ottenendo i benefici dell'avanzato reinforcement learning. Il robot impara a fare balzi migliori, creando immagini e video più belli e accurati in una frazione del tempo che impiegava prima. È un po' come insegnare a un ghepardo a correre più velocemente non facendolo camminare, ma fornendogli una mappa migliore del terreno in modo che sappia esattamente dove posare le sue grandi zampe.

Riepilogo Tecnico: MeanFlowNFT

1. Definizione del Problema

I modelli di diffusione e di Flow Matching si sono affermati come i paradigmi dominanti per la generazione di immagini e video di alta qualità. Tuttavia, la loro dipendenza dall'integrazione delle velocità istantanee su molti passi sequenziali comporta tempi di inferenza lenti. MeanFlow affronta questo collo di bottiglia prevedendo la velocità media su un intervallo di tempo, consentendo una generazione di alta qualità in pochi passaggi.

Simultaneamente, l'Apprendimento per Rinforzo (RL) è diventato un metodo standard per allineare i modelli generativi alle preferenze umane. Sebbene DiffusionNFT abbia introdotto un efficiente framework di RL a processo diretto che evita le traiettorie del processo inverso e la stima della verosimiglianza, esso ottimizza le velocità istantanee. Esiste un divario critico: applicare il RL a processo diretto a MeanFlow non è banale, poiché MeanFlow campiona utilizzando velocità medie, creando un disallineamento tra l'obiettivo di ottimizzazione (istantaneo) e il meccanismo di campionamento (medio). La domanda centrale è se un modello MeanFlow pre-addestrato possa essere perfezionato con un efficiente RL a processo diretto per abilitare una generazione superiore in pochi step.

2. Metodologia: MeanFlowNFT

Il paper propone MeanFlowNFT, il primo framework di RL a processo diretto specificamente progettato per i generatori MeanFlow. L'innovazione principale risiede nel colmare il divario tra velocità istantanee e medie utilizzando l'identità di MeanFlow.

2.1 Fondamento Teorico

Il metodo si basa sull'identità di MeanFlow, che mette in relazione la velocità istantanea $v(x_t, t)$ con la velocità media $u(x_t, s, t)$ su un intervallo $[s, t]$ :
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
dove $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ .

2.2 Predittore di Velocità Istantanea Indotto

Invece di modificare la rete MeanFlow per prevedere direttamente le velocità istantanee, gli autori costruiscono un predittore di velocità istantanea indotto, denotato come $V_\theta$ :
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
Qui, $u_\theta$ è la rete di velocità media addestrabile. Il termine $\hat{v}_\theta$ funge da direzione per la derivata spaziale ed è approssimato dalla velocità istantanea della rete al punto $s=t$ .

2.3 Obiettivo di Ottimizzazione

Il framework applica l'obiettivo in stile DiffusionNFT a questo predittore indotto $V_\theta$ . Il processo di addestramento prevede:

Parametrizzazione Implicita: Costruzione di predittori "positivi" ( $V^+_\theta$ ) e "negativi" ( $V^-_\theta$ ) basati su un modello di riferimento congelato ( $V^{old}$ ) e sul modello addestrabile ( $V_\theta$ ), pesati da una ricompensa $r$ e da una forza di guida $\beta$ .
Perdita del Processo Diretto: Minimizzazione dell'errore quadratico pesato dalla ricompensa tra questi predittori indotti e la velocità condizionale $v_t$ :
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
Campionamento Disaccoppiato: Fondamentalmente, mentre l'ottimizzazione avviene nello spazio della velocità istantanea ( $V_\theta$ ), l'inferenza rimane basata sulla velocità media $u_\theta$ . Ciò preserva l'efficienza di campionamento in pochi step nativa di MeanFlow.

2.4 Dettagli di Implementazione Pratica

Per garantire la stabilità dell'addestramento e l'efficienza computazionale, gli autori introducono tre scelte di progettazione chiave:

Derivate a Differenza Finita: Il termine della derivata totale $\frac{d}{dt}u$ è approssimato utilizzando differenze finite centrali nel tempo $t$ , evitando costosi prodotti Jacobiano-vettore (JVP).
Termine di Derivata Condiviso: Per prevenire il collasso dell'addestramento, il predittore addestrabile e quello di riferimento condividono lo stesso termine di derivata stimato ( $\frac{d}{dt}u^{old}$ ). Ciò elimina il termine di differenza della derivata che altrimenti destabilizzerebbe l'ottimizzazione.
Direzione della Velocità Condizionale: La direzione per le differenze finite utilizza la velocità condizionale del processo diretto $v_t$ (disponibile senza costi aggiuntivi) invece della velocità istantanea addestrabile $\hat{v}_\theta$ , il che migliora la stabilità.

3. Contributi Chiave

Primo RL a Processo Diretto per MeanFlow: MeanFlowNFT è il primo framework che applica il RL a processo diretto ai generatori MeanFlow. Esso riesce ad ottimizzare la velocità media sottostante applicando obiettivi in stile DiffusionNFT a un predittore di velocità istantanea indotto.
Garanzie Teoriche: Gli autori dimostrano che in un setting idealizzato, l'ottimo predittore indotto recupera il target di miglioramento della policy di DiffusionNFT. Inoltre, dimostrano che questo miglioramento della policy si trasferisce provabilmente alla rete di velocità media, garantendo che la policy di MeanFlow migliori rigorosamente.
Efficienza e Prestazioni: Il metodo mantiene la natura priva di verosimiglianza (likelihood-free) e indipendente dal solver di DiffusionNFT, preservando al contempo l'efficienza di campionamento in pochi step di MeanFlow.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulla generazione di immagini (Stable Diffusion 3.5-Medium) e sulla generazione di video (Wan2.1 1.3B).

Generazione di Immagini (SD3.5-M): MeanFlowNFT (4 step) supera costantemente i baseline di pochi step (DMD, CDM, AnyFlow) e i recenti metodi di RL a pochi step (Rdm, RTDMD). In particolare, raggiunge risultati superiori o comparabili al baseline DiffusionNFT a 40 step su 6 degli 8 metriche (es. ImageReward, CLIPScore, OCR) utilizzando 10 $\times$ meno valutazioni di funzione.
Generazione di Video (Wan2.1): Con soli 4 step di campionamento, MeanFlowNFT ottiene i migliori risultati tra i modelli a pochi step su 5 delle 7 metriche. Supera il baseline RL LongCat-Video a 50 step su tutte le metriche riportate (es. punteggio VBench di 84.33 rispetto a 82.57).
Scalabilità al Tempo di Test: Il modello mostra miglioramenti costanti delle prestazioni all'aumentare del numero di step di campionamento (da 2 a 32), mantenendo un'alta coerenza nel layout e nel contenuto attraverso diversi conteggi di step, superando il baseline AnyFlow nella coerenza dei passi.

5. Significato e Rivendicazioni

Il paper afferma che MeanFlowNFT riesce a colmare il divario tra l'efficienza dei generatori a velocità media e le capacità di allineamento del RL a processo diretto. Disaccoppiando l'ottimizzazione (spazio istantaneo) dal campionamento (spazio medio), il metodo abilita una generazione superiore in pochi step senza sacrificare i vantaggi di velocità di MeanFlow.

Gli autori sottolineano che MeanFlowNFT non solo migliora gli esistenti generatori a pochi step, ma sfida anche l'idea che siano necessari modelli multi-step ottimizzati con RL per ottenere alte prestazioni. I risultati suggeriscono che, con il corretto ponte teorico (l'identità di MeanFlow), i modelli a pochi step possono superare i modelli di diffusione ottimizzati con RL multi-step sia in qualità che in efficienza. Il lavoro è presentato come un passo fondamentale, con gli autori che notano come la costruzione del loro predittore indotto potrebbe potenzialmente estendersi ad altri modelli di flow-map (es. modelli di traiettoria di consistenza) e altri obiettivi di RL a processo diretto, sebbene ciò rimanga un lavoro futuro.