💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

Questo articolo introduce il Reward-based Velocity Matching (RVM), un framework semplice e computazionalmente efficiente privo di traiettorie che ottimizza direttamente il campo di velocità dei modelli di diffusione per il fine-tuning basato su ricompensa, superando gli esistenti metodi di policy-gradient basati sulla verosimiglianza e offrendo al contempo una prospettiva unificata sugli approcci recenti e consentendo ricompense dinamiche migliorate per la generazione di video.

Autori originali: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una specifica classe di programmi informatici in grado di creare immagini sbalorditive e video realistici a partire da semplici descrizioni testuali. Questi sistemi, noti come modelli di diffusione, funzionano imparando a invertire un processo di graduale corruzione. Immaginate di prendere una fotografia nitida e di aggiungere lentamente del rumore statico finché non diventa irriconoscibile; questi modelli imparano il percorso matematico per andare all'indietro, partendo dal puro rumore e rimuovendolo con cura passo dopo passo per rivelare un'immagine coerente. Sebbene questi strumenti siano diventati incredibilmente potenti, insegnare loro a seguire le preferenze umane — come far sì che un video si muova in modo più naturale o che un'immagine appaia più bella — si è rivelato difficile. Tradizionalmente, i ricercatori hanno cercato di adattare i metodi utilizzati per i modelli linguistici, che si basano sul calcolo della probabilità di ogni possibile passo successivo in una sequenza. Tuttavia, poiché la generazione di immagini e video comporta il cambiamento simultaneo di milioni di pixel, calcolare queste probabilità è computazionalmente costoso e spesso impossibile da eseguire con perfetta precisione.

Un team di ricercatori della Georgia Tech e di NVIDIA ha trovato un modo più semplice e diretto per insegnare a questi modelli ciò che gli esseri umani preferiscono. Invece di cercare di calcolare probabilità complesse per ogni minuscolo passaggio del processo di generazione, hanno proposto un metodo che si concentra direttamente sulla "velocità" dell'immagine mentre si forma. Nel linguaggio di questi modelli, il sistema prevede come l'immagine debba cambiare da un momento all'altro per raggiungere il risultato finale. I ricercatori hanno scoperto che potevano semplicemente spingere questa previsione verso direzioni che portano a risultati di alta qualità e allontanarla da direzioni che portano a risultati scadenti, utilizzando un segnale di ricompensa come guida. Questo approccio, che chiamano "reward-based velocity matching" (corrispondenza di velocità basata sulla ricompensa), evita la necessità dei complicati calcoli di probabilità che hanno rallentato i tentativi precedenti.

I ricercatori hanno testato questa idea su modelli di generazione video su larga scala, che sono particolarmente costosi da addestrare perché la creazione di un singolo video richiede una potenza di calcolo significativa. Hanno confrontato il loro nuovo metodo con le tecniche esistenti che si basano sul tracciamento dell'intero percorso della creazione del video. I risultati sono stati sorprendenti: il loro metodo più semplice ha prodotto video che non solo erano di qualità migliore, ma richiedevano anche una frazione del tempo di calcolo. In un test specifico utilizzando un modello chiamato Wan2.1, il loro approccio ha raggiunto i punteggi di qualità complessiva più elevati utilizzando solo circa un dodicesimo del tempo di addestramento richiesto dai precedenti metodi migliori. Ciò suggerisce che la complessità dei vecchi metodi fosse superflua; la chiave del miglioramento non risiedeva nel raffinare l'ingranaggio matematico della probabilità, ma nel modo in cui i segnali di ricompensa venivano progettati e applicati.

Una parte critica della loro scoperta ha riguardato la comprensione di ciò che i modelli stavano effettivamente ottimizzando. I ricercatori hanno scoperto che le ricompense standard, che spesso si concentrano sulla chiarezza visiva o su quanto bene il video corrisponda a una descrizione testuale, potevano involontariamente incoraggiare il modello a produrre immagini statiche, immobili, che apparivano pulite ma erano noiose. Per risolvere questo problema, hanno introdotto un nuovo tipo di ricompensa che traccia specificamente il movimento, assicurando che il video contenga un movimento significativo. Quando hanno aggiunto questa ricompensa focalizzata sul movimento al loro sistema, i video sono diventati significativamente più dinamici senza perdere la loro qualità visiva. Questa scoperta evidenzia che, per questi potenti modelli, il fattore più importante non è la complessità dell'algoritmo di addestramento, ma la chiarezza e la specificità degli obiettivi impostati per la macchina.

Lo studio ha anche rivelato che la specifica formula matematica utilizzata per aggiornare il modello conta meno di quanto precedentemente pensato. I ricercatori hanno dimostrato che il loro nuovo metodo è matematicamente equivalente a diversi altri approcci recenti, il che significa che le differenze di prestazioni tra tali metodi erano probabilmente dovute a come venivano impostate le ricompense piuttosto che al nucleo dell'algoritmo stesso. Eliminando gli strati superflui di stima della probabilità, hanno dimostrato che un aggiornamento diretto, basato sulla velocità, è sufficiente per guidare il modello verso risultati migliori. Questa semplificazione apre la porta a un addestramento più efficiente, consentendo ai ricercatori di iterare più velocemente e potenzialmente scalare queste tecnologie verso compiti ancora più complessi senza essere bloccati dai costi computazionali.

In definitiva, questo lavoro suggerisce un cambiamento nel modo in cui pensiamo all'addestramento dell'IA generativa. Piuttosto che trattare il problema come un complesso puzzle di stima della probabilità, i ricercatori hanno dimostrato che è meglio vederlo come un allineamento diretto della direzione interna del modello con le preferenze umane. Il successo del loro metodo, che ha ottenuto risultati superiori con risorse drasticamente ridotte, indica che il futuro dell'addestramento efficiente dell'IA potrebbe risiedere in cicli di feedback più semplici e diretti. Man mano che questi modelli continuano a crescere in dimensioni e capacità, la capacità di perfezionarli rapidamente ed efficacemente sarà essenziale, e questo nuovo approccio offre una via chiara e pratica per rendere l'intelligenza artificiale più rispondente alle esigenze umane.

Sintesi Tecnica: Scalare il Reinforcement Learning per i Modelli di Diffusione tramite il Velocity Matching

Problema

Il fine-tuning basato su ricompensa è diventato un meccanismo critico per allineare i modelli di diffusione e di flusso alle preferenze umane e a obiettivi di task specifici (ad esempio, allineamento semantico, qualità visiva, movimento). Tuttavia, i metodi esistenti ereditano in gran parte la strumentazione dei gradienti di policy tipica dei Large Language Models (LLM) autoregressivi, come PPO e GRPO. Questo trasferimento è problematico perché, a differenza degli LLM, i modelli di diffusione non forniscono verosimiglianze (likelihoods) trattabili per i campioni generati.

Di conseguenza, gli approcci attuali tentano di aggirare questa intrattabilità attraverso due percorsi complessi:

Metodi basati su traiettoria: Costruiscono le verosimiglianze a partire da transizioni di denoising stocastiche a singolo step lungo una traiettoria campionata. Ciò richiede costosi rollout stocastici, l'archiviazione delle traiettorie e produce spesso aggiornamenti ad alta varianza poiché gli stati intermedi di denoising sono stocastici e non necessariamente più vicini al punto finale pulito rispetto allo stato corrente.
Metodi basati su ELBO: Approssimano la verosimiglianza marginale del campione finale utilizzando un Evidence Lower Bound (ELBO). Sebbene questi metodi scollino l'addestramento dal campionatore completo della traiettoria, derivano comunque da una formulazione di policy-gradient basata sulla verosimiglianza, mantenendo i rapporti di policy stimati e l'overhead computazionale dell'approssimazione della verosimiglianza.

La domanda centrale posta da questo lavoro è se la stima della verosimiglianza sia realmente necessaria per un efficace fine-tuning della ricompensa nei modelli di diffusione, o se l'aggiornamento del modello possa essere semplificato agendo direttamente sulla sua rappresentazione nativa.

Metodologia: Reward-Based Velocity Matching (RVM)

Gli autori propongono il Reward-Based Velocity Matching (RVM), un meccanismo di aggiornamento semplice e privo di traiettoria che opera direttamente sul campo di velocità del modello di diffusione.

Obiettivo Centrale

Inve Instead di costruire un obiettivo di policy-gradient e approssimare rapporti di verosimiglianza intrattabili, RVM tratta il fine-tuning della ricompensa come un problema di regressione sul campo di velocità. Dato un gruppo di endpoint generati $\{x_0^i\}$ , ogni campione viene sottoposto a rumore in avanti verso un singolo stato intermedio $x_t^i$ con un target di velocità $v_i = \epsilon_i - x_0^i$ . La velocità del modello $v_\theta(x_t, t)$ viene aggiornata utilizzando una funzione di perdita composta da due termini:

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

Dove:

$r_i$ (Peso della Ricompensa): Un segnale di preferenza con segno derivato dalla ricompensa $R(x_0^i)$ . Le ricompense positive rinforzano la direzione della velocità associata al campione (attirando $v_\theta$ verso $v_i$ ), mentre le ricompense negative la sopprimono (allontanando $v_\theta$ da $v_i$ ).
$v_{\text{anc}}$ (Velocità Ancora): Un termine opzionale che controlla la deriva dal campo di velocità di riferimento (ad esempio, un modello di riferimento congelato o un EMA della policy corrente). Questo evita un'eccessiva deriva della policy durante il fine-tuning.
Efficienza: Il metodo richiede un solo stato rumoroso per campione, evitando l'archiviazione di intere traiettorie di denoising e il calcolo dei rapporti di verosimiglianza.

Unificazione Teorica

Il documento dimostra che RVM fornisce un framework generale che recupera i recenti metodi di fine-tuning come casi particolari:

RAM (Reinforce Adjoint Matching): Si dimostra essere equivalente nell'aggiornamento a RVM quando la policy di campionamento è on-policy ( $\pi_{\text{old}} = \pi_\theta$ ), l'ancora è la velocità di riferimento congelata ( $v_{\text{anc}} = v_{\text{ref}}$ ) e la forza dell'ancora è unitaria.
DiffusionNFT: Si dimostra essere un caso particolare di RVM dove l'ancora è una velocità aggiornata tramite EMA e la forza dell'ancora dipende dalla ricompensa.
Policy Gradients basati su ELBO: Il documento mostra che i metodi EPG (Exact Policy Gradient), che si affidano ad approssimazioni ELBO dei log-rapporti, si riducono esattamente a RVM quando vengono omessi i pesi di importanza e i fattori di ponderazione dipendenti dal tempo.

Questa unificazione suggerisce che la specifica forma algebrica della perdita di velocità è meno critica della progettazione dei pesi della ricompensa e del meccanismo di ancoraggio.

Contributi Chiave

Introduzione di RVM: Un metodo semplice e indipendente dalla traiettoria che incorpora il feedback della ricompensa direttamente nella rappresentazione nativa del velocity-matching, eliminando la necessità di stimare i rapporti di policy e l'archiviazione delle traiettorie.
Unificazione Teorica: La prova che RVM generalizza i metodi recenti (RAM, DiffusionNFT) e riduce i policy-gradient basati su ELBO alla regressione della velocità, spostando l'attenzione dall'algebra della perdita alla progettazione di ricompensa e ancora.
Efficienza Empirica e Prestazioni: La dimostrazione che i metodi basati sulla velocità eguagliano o superano i baseline basati su traiettoria (FlowGRPO, DanceGRPO) riducendo sostanzialmente i costi di addestramento.
Insight sulla Progettazione della Ricompensa: L'identificazione del fatto che, per la generazione di video, le ricompense di preferenza standard favoriscono output statici. Gli autori introducono una ricompensa di Dynamic-Tracking (DT) basata sul flusso ottico, che incoraggia esplicitamente il movimento significativo, migliorando significativamente il grado di dinamismo e la qualità complessiva del video.

Risultati Sperimentali

Gli autori hanno valutato RVM su modelli text-to-image (Stable Diffusion 3.5), text-to-video (Wan2.1-T2V-1.3B) e image-to-video (SkyReels-I2V).

Prestazioni: Su Wan2.1-T2V-1.3B, RVM ha ottenuto il punteggio VBench Overall più alto (84.13), superando i metodi basati su traiettoria come FlowGRPO (75.91) e DanceGRPO (79.46). Notevolmente, RVM ha raggiunto un Dynamic Degree di 75.00, rispetto al 55–58 dei metodi basati su traiettoria.
Efficienza: RVM ha ridotto significativamente i costi di addestramento. Su Wan2.1, RVM ha richiesto 525 ore di GPU (8×H100), rispetto alle 1.159 di FlowGRPO e alle 6.171 di DanceGRPO/TaRoS. Ciò rappresenta una riduzione dei costi da 2.2× a 11.8×.
Studi di Ablazione:
- Varianti della Perdita: RVM, RAM e DiffusionNFT hanno prestazioni comparabili, confermando che la specifica variante della perdita di velocità conta meno della progettazione di ricompensa e ancora.
- Progettazione della Ricompensa: L'aggiunta della ricompensa Dynamic-Tracking (DT) è stata il driver principale per migliorare la qualità del movimento, elevando il Dynamic Degree da ~5.5 a 75.0.
- Generazione a pochi step: I modelli fine-tuned con RVM hanno dimostrato una robustezza superiore alla riduzione aggressiva degli step (ad esempio, inferenza a 4 step), mantenendo un'alta qualità dove i modelli base degradavano drasticamente.

Significato e Rivendicazioni

Il documento sostiene che il fine-tuning della ricompensa scalabile per i modelli di diffusione è meglio formulato nella rappresentazione nativa della velocità piuttosto che come ottimizzazione della policy basata sulla verosimiglianza. Gli autori sostengono che la complessità dei metodi basati su traiettoria e delle approssimazioni di verosimiglianza sia superflua.

I punti chiave enfatizzati dagli autori includono:

Semplicità: Un fine-tuning efficace può essere ottenuto con una semplice perdita di velocity-matching senza rapporti di policy o archiviazione di traiettorie.
Ricompensa sopra la Perdita: La scelta specifica del funzionale della perdita di velocità è secondaria; i fattori critici sono come le ricompense vengono trasformate in pesi di aggiornamento e come il modello viene ancorato.
Movimento nel Video: Le ricompense di preferenza generiche possono portare a video statici; il dynamic tracking esplicito è essenziale per una generazione video di alta qualità.

Il lavoro suggerisce che il futuro della scalabilità nel post-training dei modelli di diffusione debba concentrarsi sulla specifica della ricompensa e sulla progettazione dell'ancora piuttosto che su formulazioni di perdita di policy sempre più elaborate.