Sintesi Tecnica: TokenTrim

Problematica

La generazione video autoregressiva è emersa come un paradigma dominante per la sintesi di video lunghi, mediante l'uso iterativo di nuovi batch di frame condizionati sul contenuto precedentemente generato. Tuttavia, questo approccio soffre di drift temporale (deriva temporale), un fenomeno in cui errori minori e incongruenze introdotti nei primi frame si accumulano e si amplificano su lunghi orizzonti temporali. Questo accumulo porta a cambiamenti di identità, degradazione strutturale, perdita di coerenza globale e collasso semantico.

I recenti tentativi di mitigare il drift si sono concentrati sul rafforzamento del condizionamento a lungo raggio (ad es. caching temporale di Key-Value, token ancora) o sulla modifica delle procedure di addestramento (ad es. self-forcing con troncamento del gradiente stocastico). Gli autori ipotizzano che questi metodi rimangano fragili perché non affrontano la causa radice della propagazione dell'errore durante l'inferenza: l'uso incontrollato di token di condizionamento latenti corrotti. Una volta che una regione dello stato latente viene corrotta, essa viene riutilizzata ripetutamente nei successivi step autoregressivi, dominando l'attenzione e propagando gli errori in avanti. Il sistema attualmente manca di un meccanismo per valutare quali token latenti memorizzati siano affidabili.

Metodologia: TokenTrim

Gli autori propongono TokenTrim, un metodo operante interamente durante l'inferenza, progettato per identificare e rimuovere i token latenti instabili prima che vengano riutilizzati per il condizionamento. TokenTrim opera interamente nello spazio latente, non richiede modifiche architettoniche, né riaddestramento, e introduce un overhead computazionale trascurabile.

Il metodo consiste nei seguenti componenti principali:

1. Inizializzazione Stabilizzata dal Movimento

Per ridurre la corruzione nelle prime fasi, il primo batch di frame viene generato utilizzando FlowMo, una tecnica di regolarizzazione durante l'inferenza che introduce una guida della varianza consapevole del movimento. Ciò produce un ancoraggio latente stabile. I batch successivi vengono generati utilizzando il modello autoregressivo di base.

2. Costruzione del Riassunto Latente

Ad ogni step autoregressivo $t$, il metodo codifica il batch precedentemente generato ($X_{t-1}$) e il candidato batch corrente ($X_t$) in token latenti. Per consentire un confronto diretto, costruisce un riassunto latente ($Z_{t-1}$ e $Z_t$) mediando i token latenti spaziali lungo la dimensione temporale (frame) di ciascun batch.

3. Stima del Drift per Singolo Token

Il metodo calcola un punteggio di drift ($d_i$) per ogni indice di token spaziale $i$, misurando la distanza euclidea tra le rappresentazioni latenti nei riassunti corrente e precedente:
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
Alti punteggi di drift indicano una potenziale corruzione o deviazione semantica in specifiche posizioni dei token.

4. Trigger Adattivo e Valutazione della Gravità

Invece di procedere alla potatura incondizionata, TokenTrim valuta se il batch corrente esibisce un drift anomalo.

• Identifica i top $p \cdot N$ token con i punteggi di drift più elevati (dove $p$ è una frazione di potatura e $N$ è il numero totale di token).
• Calcola un punteggio di gravità del drift ($D_t$) come la media del drift di questi top token.
• Mantiene statistiche correnti (media $\mu_t$ e deviazione standard $\sigma_t$) della gravità del drift dai batch precedentemente accettati.
• Un intervento di potatura viene attivato solo se $D_t > \mu_t + \lambda\sigma_t$, dove $\lambda$ è un iperparametro di sensibilità. Un periodo di warm-up ($T_{warm}$) viene utilizzato inizialmente per accumulare statistiche affidabili.

5. Potatura Hard e Rigenerazione

Quando il criterio di drift viene superato:

• Viene applicata una maschera di potatura spaziale alla cache Key-Value (KV) temporale, rimuovendo le chiavi e i valori corrispondenti alle posizioni dei token instabili.
• Il batch corrente viene rigenerato una volta, condizionato su questa cache potata.
• Se il batch rigenerato viola ancora il criterio di drift, viene accettato così com com'è per evitare loop infiniti.
• Se il criterio di drift non viene superato, il batch viene accettato senza modifiche.

TokenTrim è compatibile con i framework autoregressivi che utilizzano l'auto-attenzione con il caching KV, come dimostrato specificamente su Self Forcing e Rolling Forcing.

Contributi Chiave

1. Rilevamento del Drift all'Inferenza: Il documento introduce un meccanismo per rilevare esplicitamente i token latenti instabili durante l'inferenza, spostando il focus dalla capacità del modello al controllo della propagazione delle informazioni.
2. Potatura Hard dei Token Latenti: A differenza dei metodi che modificano intere regioni spaziali o parametri del modello, TokenTrim rimuove selettivamente specifici token corrotti dal contesto autoregressivo, impedendo a informazioni inaffidabili di influenzare i passaggi futuri.
3. Integrazione Senza Addestramento: Il metodo opera senza modificare i pesi del modello, le procedure di addestramento o lasciare lo spazio latente, rendendolo compatibile con gli attuali framework di generazione video allo stato dell'arte.
4. Inizializzazione Stabilizzata dal Movimento: L'integrazione di FlowMo per il batch iniziale fornisce un ancoraggio stabile, completando il meccanismo di potatura.

Risultati Sperimentali

Gli autori hanno valutato TokenTrim sul modello text-to-video Wan2.1-1.3B utilizzando le strategie Rolling Forcing e Self Forcing.

• Prestazioni Quantitative (VBench):
  • Su Rolling Forcing, TokenTrim ha migliorato il Punteggio Finale dal 75,12% al 79,67% (+4,55%), con guadagni significativi in Qualità (+5,58%) e Semantica (+3,53%).
  • Su Self Forcing, il Punteggio Finale è aumentato dal 75,93% all'81,84% (+5,91%).
  • TokenTrim ha superato costantemente FlowMo (un metodo di guida del movimento durante l'inferenza) e i baseline autoregressivi in tutti i parametri aggregati.
• Studio di Preferenza Umana (VideoJAM-Bench):
  • Nei confronti diretti, TokenTrim è stato significativamente preferito rispetto ai baseline e a FlowMo nella riduzione del drift temporale (41,7% vs 15,2% per il baseline Rolling Forcing; 49,7% vs 10,2% vs FlowMo).
  • Ha inoltre mostrato prestazioni superiori nella coerenza del movimento e nella qualità estetica, preservando l'allineamento testo-video.
• Efficienza: TokenTrim ha aumentato il tempo di esecuzione (wall-clock runtime) di soli 1,08x rispetto al baseline, mentre le configurazioni adattate con FlowMo hanno subito un rallentamento di 2,18x.
• Studi di Ablazione:
  • Una potatura aggressiva (20%) ha degradato severamente le prestazioni, mentre una potatura moderata (10%) ha fornito risultati ottimali.
  • La rimozione dell'inizializzazione FlowMo ha ridotto le prestazioni, confermando il beneficio complementare di un inizio stabile.

Significato e Rivendicazioni

Il documento afferma che il drift temporale non è solo un problema di modellazione o di dati, ma un problema di propagazione dell'informazione durante l'inferenza. Trattando la cache KV come un meccanismo di memoria attivo e autocorrettivo piuttosto che come un registro passivo della storia, TokenTrim dimostra che il controllo del contesto di condizionamento durante l'inferenza può da solo ridurre sostanzialmente il drift temporale.

Gli autori concludono che il progresso futuro nella sintesi video infinita potrebbe dipendere non solo da quanta memoria un modello può avere, ma dalla sua capacità di scartare selettivamente il rumore che minaccia di distorcere la realtà. Posizionano TokenTrim come un meccanismo distinto e poco esplorato che migliora la coerenza temporale a lungo termine senza il costo computazionale di riaddestramenti o modifiche architettoniche.