Manifold-Aware Exploration for Reinforcement Learning in Video Generation

Titolo: Manifold-Aware Exploration for Reinforcement Learning in Video Generation

Autore: Mingzhe Zheng, Weijie Kong, et al. (HKUST & Tencent Hunyuan)
Data: Marzo 2026 (Preprint)

---

1. Il Problema

L'ottimizzazione della politica relativa di gruppo (GRPO - Group Relative Policy Optimization) è diventata uno standard per allineare i modelli di generazione (come LLM e modelli per immagini) con le preferenze umane. Tuttavia, l'applicazione del GRPO alla generazione di video si è rivelata meno affidabile rispetto ad altri domini.

Le cause principali di questa instabilità sono:

• Spazio delle soluzioni complesso: La generazione video ha uno spazio strutturato e vasto.
• Conversione ODE-to-SDE imprecisa: Per permettere l'esplorazione durante l'addestramento, i metodi attuali (come FlowGRPO e DanceGRPO) convertono il campionatore deterministico (ODE) in uno stocastico (SDE). Le attuali implementazioni utilizzano approssimazioni di ordine superiore (stile Eulero) per calcolare il rumore.
• Rumore eccessivo e deriva dal manifold: Queste approssimazioni introducono un'energia di rumore eccessiva, specialmente nelle fasi ad alto rumore (early steps). Questo spinge le traiettorie di generazione fuori dal "manifold dei dati validi" (la varietà geometrica su cui risiedono i video realistici), causando:
  • Artefatti temporali (jitter).
  • Qualità dei campioni (rollout) ridotta.
  • Stime del reward inaffidabili, che destabilizzano l'allineamento post-addestramento.

L'obiettivo è quindi trovare un modo per esplorare lo spazio delle soluzioni mantenendo le traiettorie vicine al manifold dei dati validi, preservando la qualità e la stabilità delle stime del reward.

---

2. Metodologia: SAGE-GRPO

Gli autori propongono SAGE-GRPO (Stable Alignment via Exploration), un framework che vincola l'esplorazione a livello sia micro che macro rispetto al manifold dei dati video.

A. Livello Micro: Esplorazione Precisa e Bilanciamento dei Gradienti

1. SDE Consapevole del Manifold (Precise Manifold-Aware SDE):

   • Invece di usare un'approssimazione lineare dell'area per il rumore, gli autori derivano una varianza di rumore esatta integrando i coefficienti di diffusione sull'intervallo temporale.
   • Introducono un termine di correzione logaritmica: $\log\left(\frac{1-\sigma_{t+1}}{1-\sigma_t}\right)$.
   • Risultato: Questa formula rimuove l'energia di rumore non necessaria nelle regioni ad alto rumore, mantenendo l'esplorazione tangente alla traiettoria del flusso (flow trajectory) e riducendo la deriva fuori dal manifold.

2. Equalizzatore della Norma del Gradiente (Gradient Norm Equalizer):

   • Il processo di diffusione presenta uno squilibrio intrinseco: i gradienti svaniscono ad alto rumore ($t \to 1$) ed esplodono a basso rumore ($t \to 0$).
   • SAGE-GRPO calcola una scala di gradiente per ogni timestep e applica una normalizzazione robusta (usando la mediana delle scale) per bilanciare la pressione di ottimizzazione.
   • Risultato: Aggiornamenti più stabili e precisi in tutte le fasi della generazione, evitando che alcune fasi dominino l'apprendimento.

B. Livello Macro: Regione di Fiducia Duale (Dual Trust Region)

Per prevenire la deriva a lungo termine (drift) verso ottimi locali fuori dal manifold, viene introdotta una strategia di vincolo KL (Kullback-Leibler) dinamica:

1. Ancora Mobile Periodica (Periodical Moving Anchor):
   • Invece di ancorare la politica a un modello pre-addestrato fisso (che può portare a underfitting) o solo al passo precedente (che non limita la deriva cumulativa), la politica di riferimento $\pi_{ref}$ viene aggiornata periodicamente (ogni $N$ passi).
   • Questo crea una "zona sicura" dinamica che si sposta insieme al modello, permettendo plasticità (esplorazione) mantenendo la stabilità.
2. Vincolo Duale (Posizione-Velocità):
   • L'obiettivo combina due termini KL:
     • Controllo di Posizione: $D_{KL}(\pi_\theta || \pi_{ref\_N})$ vincola la politica a rimanere vicina all'ancora recente (previene la deriva a lungo termine).
     • Controllo di Velocità: $D_{KL}(\pi_\theta || \pi_{k-1})$ limita la magnitudine dell'aggiornamento istantaneo (garantisce transizioni lisce).
   • Questo meccanismo agisce come un controllore "posizione-velocità" che bilancia stabilità e plasticità.

---

3. Risultati Sperimentali

Il metodo è stato valutato su HunyuanVideo 1.5 utilizzando il reward model originale VideoAlign (senza fine-tuning del reward model).

• Metriche Quantitative:
  • SAGE-GRPO supera i baselines (DanceGRPO, FlowGRPO, CPS) in tutte le metriche chiave: Qualità Visiva (VQ), Qualità del Movimento (MQ), Allineamento al Testo (TA), CLIPScore e PickScore.
  • In particolare, nella configurazione focalizzata sull'allineamento (Setting B), SAGE-GRPO con Dual Moving KL ottiene i migliori risultati complessivi, dimostrando che un focus sull'allineamento semantico riduce gli artefatti di "reward hacking".
• Analisi Qualitativa:
  • I video generati mostrano una maggiore coerenza temporale, meno jitter, e un migliore allineamento con descrizioni emotive complesse e interazioni tra oggetti.
• Studio con Utenti:
  • Uno studio di preferenza umana su 29 valutatori ha mostrato che SAGE-GRPO vince contro i baselines nel 75-85% dei casi, specialmente per la qualità del movimento e l'allineamento semantico.
• Ablazioni:
  • L'uso combinato dell'SDE preciso, dell'equalizzatore dei gradienti e della regione di fiducia duale è stato confermato come necessario per ottenere stabilità e plasticità simultanee.

---

4. Contributi Chiave

1. Formulazione del Problema: Identificazione del problema di allineamento video come un problema di esplorazione vincolata al manifold, evidenziando come le conversioni ODE-to-SDE esistenti iniettino rumore eccessivo.
2. Micro-Livello: Sviluppo di un SDE preciso con correzione logaritmica e un equalizzatore dei gradienti temporali per stabilizzare il campionamento e gli aggiornamenti.
3. Macro-Livello: Proposta di una Dual Trust Region con ancore mobili e vincoli passo-passo, risolvendo il dilemma stabilità-plasticità tipico dell'RL per la generazione video.
4. Performance: Dimostrazione di guadagni consistenti rispetto agli stati dell'arte (SOTA) sia nelle metriche automatiche che nella valutazione umana.

---

5. Significato e Impatto

Questo lavoro è significativo perché affronta una delle principali barriere all'uso pratico del Reinforcement Learning nella generazione video: l'instabilità.

• Affidabilità: SAGE-GRPO rende l'allineamento dei modelli video più robusto, riducendo la necessità di tuning manuale estensivo.
• Qualità: Migliora la coerenza temporale e la fedeltà al prompt, aspetti critici per applicazioni creative, educative e scientifiche.
• Sicurezza: Un controllo più preciso sull'esplorazione riduce il rischio di "reward hacking" (dove il modello massimizza il reward producendo output di bassa qualità o artefatti).

In sintesi, SAGE-GRPO fornisce un framework teorico e pratico per mantenere le generazioni video all'interno dello spazio dei dati validi durante l'ottimizzazione, ponendo le basi per futuri sistemi di generazione video più controllabili e di alta qualità.