Riepilogo Tecnico: TempAct

Problema

I modelli di diffusione video autoregressivi (AR) consentono la generazione in streaming a bassa latenza e a chunk tramite la sintesi sequenziale di video utilizzando un contesto visivo memorizzato (cached). Tuttavia, questa formulazione introduce sfide significative nel seguimento delle istruzioni temporali:

1. Confusione Temporale: Quando condizionati da un singolo prompt globale, i modelli spesso non riescono a determinare quale sotto-evento corrisponda all'attuale chunk. Ciò porta a ordini di eventi "collassati" o sfocati (ad esempio, un cane che tiene una palla prima ancora di aver scattato l'attacco).
2. Fallimenti nella Transizione Step-Prompt: Il passaggio ingenuo a prompt per step (dove ogni chunk ha un sotto-prompt specifico) sposta la difficoltà nella gestione delle transizioni tra i prompt. Gli esecutori AR spesso mostrano reazioni ritardate, mescolano la semantica di step adiacenti o propagano errori dai chunk precedenti a quelli successivi.
3. Limiti dell'Addestamento Esistente: Il Fine-Tuning Supervisionato (SFT) soffre di bias di esposizione (addestramento su storie pulite con teacher-forcing, ma inferenza su rollout imperfetti). I metodi di distillazione basati su rollout (come DMD) ottimizzano il denoising a basso livello o il matching della distribuzione del teacher, piuttosto che imporre esplicitamente l'ordine delle azioni o la correttezza della transizione tra i prompt.

Metodologia: TempAct

Gli autori propongono TempAct, un framework di Reinforcement Learning (RL) Planner-Executor progettato per ottimizzare congiuntamente la decomposizione temporale e l'esecuzione condizionata per step.

1. Pipeline Gerarchica Planner-Executor

• LLM Planner ($\pi_\phi$): Invece di un modulo di pre-elaborazione fisso, il planner è un LLM che esplora decomposizioni temporali sensibili agli intervalli (span-aware). Dato un'istruzione globale, il planner campiona un gruppo di piani candidati, dove ogni piano suddivide l'istruzione in prompt per step con specifici intervalli temporali (ad esempio, $L$ frame latenti). Il planner riscrive anche i sotto-obiettivi con oggetti, azioni e vincoli di stato espliciti.
• AR Diffusion Executor ($p_\theta$): L'esecutore genera chunk video in modo autoregressivo. Fondamentalmente, utilizza prompt smussati ($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$) per esporre il modello sia al sotto-obiettivo attuale che a quello imminente, riducendo i cambiamenti semantici bruschi durante le transizioni.

2. Esplorazione di Gruppo Gerarchica

Per consentire un efficace assegnamento del credito (credit assignment), TempAct impiega una struttura di gruppo annidata:

• Gruppi di Pianificazione (Planning Groups): Per un prompt globale, il planner campiona $M$ piani candidati.
• Gruppi di Esecuzione (Execution Groups): Per ogni piano candidato, l'esecutore genera un contesto condiviso fino al punto di transizione, quindi campiona $N$ continuazioni distinte da quel contesto condiviso.
• Assegnazione del Credito:
  • Livello Plan: I confronti tra i $M$ gruppi di pianificazione premiano le decomposizioni che portano a migliori risultati temporali a lungo termine.
  • Livello Executor: I confronti all'interno dei $N$ gruppi di esecuzione (che condividono lo stesso contesto) isolano la qualità del comportamento di switch del prompt dalle variazioni nella cronologia precedente.

3. Obiettivo di Reinforcement Learning Congiunto

Il framework ottimizza entrambi i componenti utilizzando varianti di Group Relative Policy Optimization (GRPO):

• Ottimizzazione del Planner: Aggiornato tramite Group Sequence Policy Optimization (GSPO). L'advantage è calcolato sulla base dei reward a livello di piano (qualità ed eseguibilità) e dei punteggi di seguito temporale del video.
• Ottimizzazione dell'Executor: Aggiornato tramite Flow-GRPO. L'aggiornamento è applicato specificamente al primo chunk dopo uno switch del prompt (l'intervallo di transizione). Questo focalizza il segnale di apprendimento sull'esecuzione immediata del nuovo sotto-obiettivo sotto un contesto autoregressivo imperfetto, piuttosto che sull'intera traiettoria futura.

4. Design dei Reward Multi-livello

• Reward del Planner:
  • Qualità del Piano: Valutata da un LLM (Qwen3-8B) in termini di fedeltà, copertura, coerenza temporale ed evitamento di allucinazioni.
  • Seguimento Temporale (Temporal-Following): Valutato da un VLM (Qwen3-VL-8B) sul video generato, valutando la coerenza fisica, la coerenza visiva e l'ordine degli eventi.
• Reward dell'Executor:
  • Seguimento Locale dello Step (Local Step-Following): Un VLM valuta il primo chunk di transizione per verificare se il sotto-obiettivo specifico (soggetti, movimento, dinamiche) è stato realizzato correttamente.
  • Regolarizzazione Estetica: Un punteggio (PickScore) assicura che l'ottimizzazione semantica non degradi la qualità visiva.

Contributi Chiave

1. Framework Planner-Executor: Un'architettura innovativa che scinde la pianificazione temporale (ordine degli eventi) dall'esecuzione (realizzazione visiva), permettendo al sistema di apprendere quali piani temporali sono eseguibili dal modello video.
2. Esplorazione di Gruppo Gerarchica: Un meccanismo che annida i gruppi di esecuzione sotto i gruppi di pianificazione, consentendo un assegnamento del credito allineato sia per i risultati temporali a lungo termine che per i comportamenti locali di prompt-switch.
3. Ottimizzazione RL Mirata: L'uso di GSPO per il planner e di Flow-GRPO per l'executor (specificamente sui chunk di transizione) affronta direttamente il bias di esposizione e gli errori di transizione tra i prompt senza fare affidamento esclusivamente sulla distillazione.
4. Prompting Sensibile agli Intervalli (Span-Aware): L'introduzione di prompt per step smussati e sensibili agli intervalli che mitigano la discontinuità semantica spesso presente negli switch rigidi dei prompt.

Risultati Sperimentali

Il paper valuta TempAct su backbone autoregressivi Self-Forcing e LongLive utilizzando un dataset di 5.000 istruzioni temporalmente strutturate.

• Metriche: La metrica primaria è il Temporal-Following Score, che misura l'aderenza alla sequenza di eventi prevista.
• Performance: TempAct dimostra miglioramenti costanti nella coerenza temporale rispetto ai baseline a prompt singolo e ai baseline a prompt per step, sia in-domain che out-of-domain (valutati da VLM e giudici umani).
• Qualità Visiva: Il metodo preserva la qualità visiva complessiva e i punteggi estetici, indicando che l'ottimizzazione RL non compromette la fedeltà della generazione.
• Dinamiche di Addestramento: Le curve di reward mostrano che l'ottimizzazione gerarchica fornisce segnali di apprendimento efficaci per la plausibilità temporale.

Significato e Rivendicazioni

Il paper sostiene che TempAct offre una nuova prospettiva sulla plausibilità temporale a lungo termine nella generazione video autoregressiva. Andando oltre l'ottimizzazione del denoising a basso livello o il semplice matching della distribuzione, TempAct impone esplicitamente l'ordine delle azioni e la correttezza della transizione tra i prompt. Gli autori posizionano questo lavoro come un passo necessario per il deployment di modelli video AR in applicazioni interattive dove la generazione in streaming a bassa latenza deve essere accoppiata a un rigoroso rispetto di istruzioni temporali complesse e multi-stadio. Il lavoro suggerisce che l'ottimizzazione congiunta del "cosa" (pianificazione) e del "come" (esecuzione) tramite RL gerarchico sia una soluzione più robusta alla confusione temporale rispetto ai precedenti approcci basati solo su SFT o distillazione.