Sintesi Tecnica: Rendere il Tempo Modificabile nei Diffusion Transformer per Video

Problematica

I moderni Diffusion Transformer (DiT) hanno ottenuto un successo significativo nella generazione di fotogrammi video ad alta fedeltà e movimenti realistici. Tuttavia, soffrono di una limitata controllabilità temporale. Nella generazione di video basata su DiT standard, il "tempo di diffusione" agisce come una variabile sovraccaricata, fungendo da proxy sia per il progresso del denoising che per l'evoluzione del movimento. Di conseguenza, la dinamica temporale non è modellata come una variabile esplicita e indipendentemente controllabile, ma è invece intrecciata con le rappresentazioni di contenuto e movimento.

Questo intreccio crea ambiguità: il modello fatica a distinguere quanto sia avanzato il denoising da come il movimento debba evolversi nel tempo. Di conseguenza, quando la griglia temporale target (ad esempio, Frame Per Second o FPS) cambia rispetto all'addestramento, il modello non riesce a mantenere una dinamica temporale coerente. Può produrre singoli fotogrammi plausibili, ma fatica con la qualità del movimento intermedio, portando ad artefatti nelle strutture articolate (ad esempio, arti) o al fallimento dell'evoluzione corretta di processi fisici graduali (ad esempio, la dissipazione della nebbia). I metodi esistenti controllano cosa si muove o dove si muove, ma non rendono la progressione temporale stessa una variabile esplicitamente modificabile.

Metodologia

Gli autori propongono una metodologia per estendere i backbone DiT pre-addestrati con un modulo di controllo temporale esplicito, denominato Time Adapter (TA). Questo approccio separa il ritmo del movimento globale dall'allineamento temporale locale senza ridisegnare l'architettura del backbone.

Architettura Core: Time Adapter

Il metodo introduce due segnali temporali complementari integrati tramite adapter additivi leggeri:

1. Condizionamento FPS Globale: Un embedding $E_{fps}(fps)$ derivato dall'FPS di input (ad esempio, 15, 24, 30, 60). Questo modula il tasso di movimento globale attraverso il percorso di condizionamento del denoising, determinando il ritmo atteso dell'evoluzione della scena.
2. Embedding Tempo-Latente Locale: Un embedding $E_{\tau}(\tau)$ che rappresenta le posizioni temporali per fotogramma ($\tau$). Questo fornisce l'ordinamento temporale locale e la corrispondenza a livello di token, allineando la progressione di fotogrammi specifici.

Il vettore di condizionamento $e$ è formulato come:
$$e = E_t(t) + E_{fps}(fps)$$
dove $E_t(t)$ è lo standard embedding del tempo di diffusione. L'embedding tempo-latente viene aggiunto agli embedding dei patch:
$$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$$

Questa fattorizzazione permette al modello di rappresentare la progressione temporale esplicitamente anziché fare affidamento esclusivamente sul tempo di diffusione come proxy implicito. Gli adapter sono inizializzati per preservare il comportamento del backbone pre-addestrato.

Regimi di Addestramento

Gli autori valutano due strategie di addestramento:

• Time Adapter (TA): Solo i rami temporali (gli adapter) vengono addestrati, mentre il backbone DiT rimane congelato. Ciò preserva il prior generativo originale.
• Fine-Tuned Time Adapter (FTTA): Viene utilizzato lo stesso condizionamento temporale, ma l'intero backbone DiT viene ulteriormente sottoposto a fine-tuning. Ciò introduce una più forte regolarizzazione temporale globale.

I modelli sono addestrati su un dataset curato di circa 40.000 video che coprono azioni umane e processi naturali attraverso molteplici regimi di FPS (24–60 FPS).

Contributi Chiave

1. Fattorizzazione Temporale Esplicita: Il documento introduce un framework che decupla il tempo dal processo di denoising separandolo in ritmo del movimento globale (FPS) e allineamento temporale locale (tempo latente).
2. Preservazione del Backbone: L'approccio TA consente l'editing temporale esplicito senza ridisegnare il backbone, mantenendo i prior visivi e strutturali del modello pre-addestrato pur espandendone l'intervallo dinamico controllabile.
3. Trasferibilità Cross-Architettura: Gli autori dimostrano che la fattorizzazione temporale esplicita si trasferisce su diversi backbone DiT (Wan2.2 e Kandinsky 5.0 Lite) con scale di parametri e risoluzioni di output variabili.
4. Migliore Coerenza Temporale: Il metodo migliora la coerenza del movimento intermedio e riduce gli artefatti percettivi nelle dinamiche articolate, anche alle velocità di riproduzione standard, esponendo il modello a transizioni temporali più dense durante l'addestramento.

Risultati Sperimentali

La valutazione utilizza il benchmark VMBench su due domini: Azioni Umane e Processi Naturali, testati a 15, 24, 30 e 60 FPS.

Risultati Quantitativi

• Azioni Umane: Sia TA che FTTA riducono l'Accelerazione del Flusso (Flow Acceleration) e la LPIPS-Var rispetto al baseline, indicando transizioni a breve termine più stabili. TA ottiene la più forte Coerenza Direzionale del Flusso (FDC) a 24–60 FPS, suggerendo che il condizionamento esplicito migliora la coerenza del movimento intermedio quando l'FPS target si allinea con il regime di addestramento.
• Processi Naturali: FTTA ottiene costantemente la più forte regolarizzazione temporale, producendo i migliori punteggi di Fluidità del Movimento (MSS) e la più bassa Accelerazione del Flusso. Ciò è attribuito alla capacità di FTTA di ristrutturare i processi fisici distribuiti (ad esempio, nebbia, onde) affinché siano più responsivi al condizionamento temporale.
• Limitazioni delle Metriche: Gli autori osservano che le metriche standard non sempre riflettono i miglioramenti nella qualità temporale. Ad esempio, gli artefatti articolati possono aumentare il Perceptible Amplitude Score (PAS) nonostante la riduzione della qualità del movimento percepita, creando una discrepanza tra i punteggi quantitativi e la valutazione umana.

Valutazione Qualitativa e Umana

• Valutazione Side-by-Side (SBS): Gli valutatori umani hanno preferito TA per il movimento umano articolato e la naturalezza, mentre FTTA è stato preferito per i processi fisici distribuiti e la coerenza della velocità.
• Evoluzione Fisica: A differenza del campionamento FPS post-hoc (che si limita a interpolare i fotogrammi), il metodo proposto cambia l'evoluzione temporale generata stessa. Aumentare l'FPS target risulta in una progressione della scena più veloce piuttosto che in una semplice riproduzione più fluida.
• Generalizzazione: I trend qualitativi osservati su Wan2.2 sono stati replicati su Kandinsky 5.0 Lite, supportando la tesi che la fattorizzazione temporale esplicita non è specifica dell'architettura.

Significato e Limitazioni

Significato

Il documento sostiene che trattare il tempo come una singola variabile sovraccaricata è un limite fondamentale negli attuali modelli di diffusione video. Rendendo il tempo modificabile attraverso la fattorizzazione esplicita, gli autori consentono una generazione video più fisicamente coerente e affidabile. Il lavoro suggerisce che la controllabilità temporale non è solo un effetto collaterale del denoising, ma può essere una variabile primaria e controllabile.

Limitazioni

Gli autori riconoscono esplicitamente tre limitazioni:

1. Sensibilità al Regime di Addestramento: Sebbene la fattorizzazione temporale migliori la controllabilità all'interno della distribuzione di addestramento, il modello rimane sensibile alle scale temporali sottorappresentate (ad esempio, bassi FPS). Le rappresentazioni temporali esplicite non possono compensare completamente i missing prior temporali nei dati di addestramento.
2. Orizzonte di Generazione Fisso: Il metodo rende le dinamiche temporali più controllabili ma non aumenta il numero di fotogrammi generati. Una forte accelerazione temporale comprime il tempo disponibile per la realizzazione dell'azione, portando potenzialmente a comportamenti troncati.
3. Metriche di Valutazione: Le metriche attuali faticano a catturare gli artefatti percettivi nel movimento intermedio, in particolare per le strutture articolate, portando a discrepanze tra i punteggi quantitativi e la qualità temporale percepita.

Gli autori concludono che rendere il tempo modificabile è un passo necessario verso una generazione video affidabile, ma non è sufficiente per la generazione a lungo termine, che richiederà probabilmente la combinazione di rappresentazioni temporali esplicite con lunghezze di generazione adattive.