Riepilogo Tecnico: DySink – Sink di Frame Dinamici per la Generazione Autoregressiva di Video Lunghi

1. Enunciato del Problema

La generazione autoregressiva di video lunghi si basa sullo streaming a memoria limitata per gestire il costo computazionale quadratico dei transformer di diffusione bidirezionali. I metodi attuali all'avanguardia (ad esempio, LongLive, Rolling-Forcing) impiegano tipicamente un meccanismo di attenzione ibrido che combina una finestra scorrevole per la continuità a breve termine e sink di frame statici (frame precoci memorizzati nella cache) come ancoraggi globali per la coerenza a lungo termine.

Il documento identifica due limitazioni critiche in questa strategia di allocazione statica:

1. Disallineamento Contestuale: Man mano che la generazione procede, lo stato visivo spesso diverge significativamente dai frame iniziali. La memorizzazione persistente di questi ancoraggi obsoleti spinge il modello a riprodurre indizi visivi iniziali piuttosto che adattarsi alla scena in evoluzione, portando a una stagnazione temporale.
2. Collasso del Sink: Nei casi più gravi, il ricorso a sink statici innesca una modalità di fallimento nota come "collasso del sink". Cui et al. (2026) attribuiscono ciò al riallineamento di fase indotto da RoPE e all'omogeneizzazione dell'attenzione tra le teste, dove una grande frazione di teste di attenzione si focalizza eccessivamente e simultaneamente sui frame sink. Ciò causa un regresso del contenuto generato verso i frame sink, risultando in reset improvvisi della scena e pattern di movimento ciclici.

2. Metodologia: Il Framework DySink

DySink propone un framework basato sul recupero che sostituisce gli ancoraggi fissi dei frame iniziali con sink di frame dinamici. Il sistema mantiene una banca di memoria compatta e seleziona on-the-fly i frame storici visivamente rilevanti. Il framework è composto da tre componenti principali:

A. Costruzione della Banca di Memoria

• Struttura: La banca di memoria archivia blocchi video storici, dove ogni voce è costituita da un descrittore visivo compatto ($f_i$) e le corrispondenti cache Key-Value (KV) a livello di strato ($K_i, V_i$).
• Generazione del Descrittore: I descrittori visivi sono creati decodificando i frame latenti nello spazio dei pixel, codificandoli tramite un encoder visivo congelato e aggregando le caratteristiche mediante media pooling e normalizzazione L2.
• Aggiornamento Consapevole della Novità: Per prevenire la ridondanza, un blocco candidato viene ammesso solo se la sua somiglianza con le voci esistenti è inferiore a una soglia ($\tau_{dedup}$). Se si verificano quasi-duplicati, vengono mantenute le voci precedenti in quanto meno corrotte dall'accumulo di errori.

B. Recupero e Iniezione Adattivi

• Meccanismo di Recupero: Per il blocco di generazione corrente, DySink aggrega i descrittori dalla finestra scorrevole locale per formare una query. Calcola la similarità coseno rispetto alla banca di memoria per recuperare i blocchi storici top-$k$ più rilevanti.
• Iniezione del Contesto: Le cache KV dei blocchi recuperati vengono concatenate con le cache KV della finestra scorrevole locale per formare il contesto di attenzione. Ciò permette al modello di accedere a indizi strutturali a lungo raggio senza fare affidamento permanente su frame iniziali fissi.

C. Cancello di Anomalia del Sink

Per mitigare il collasso del sink senza modificare la struttura di frequenza RoPE (come fatto in lavori precedenti tramite jitter RoPE), DySink introduce un cancello di anomalia del sink leggero per strato:

• Logica di Rilevamento: Il cancello monitora il consenso tra le teste. Calcola la frazione di teste di attenzione che assegnano una maggiore affinità al contesto recuperato rispetto alla finestra locale.
• Soppressione: Se la frazione di teste che si focalizzano eccessivamente sul contesto recuperato supera una soglia di consenso ($\tau_{gate}$), il cancello sopprime gli stati KV recuperati per quello strato, costringendo il modello a fare ricorso alla finestra scorrevole locale. Ciò previene l'"omogeneizzazione" dell'attenzione che porta al collasso.

3. Paradigma di Addestramento

DySink segue un paradigma di sintonizzazione a streaming in due fasi basato sull'architettura Wan2.1:

1. Distillazione a Orizzonte Breve: Un modello studente (1.3B) viene distillato da un insegnante (14B) utilizzando la Distillazione di Adattamento della Distribuzione (DMD) per creare un generatore causale a pochi passaggi.
2. Sintonizzazione Fine a Orizzonte Lungo: Il modello viene sintonizzato finemente su roll-out di streaming di 60 secondi utilizzando LoRA. L'intera pipeline DySink (recupero + gating) è attiva durante l'addestramento per garantire la coerenza tra addestramento e inferenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulla generazione di video della durata di un minuto (50s, 75s e 100s) utilizzando il backbone Wan2.1-T2V-1.3B.

• Grado Dinamico: DySink supera significativamente forti baseline autoregressive (ad esempio, Self-Forcing++, LongLive). Su video di 50s, migliora il Grado Dinamico di 8.16 punti rispetto a Self-Forcing++ e di 21.12 punti rispetto a LongLive. Questa tendenza si mantiene per le generazioni di 75s e 100s.
• Qualità Temporale: Nonostante l'aumentata evoluzione dinamica, DySink ottiene punteggi di Qualità Temporale più elevati rispetto alle baseline, indicando che i sink dinamici preservano la coerenza permettendo l'evoluzione della scena.
• Studi di Ablazione:
  • La rimozione del Cancello di Anomalia del Sink porta a un calo drastico del Grado Dinamico (da 60.45 a 37.98) e della Qualità Temporale, confermando che senza il cancello il modello ricade in comportamenti di collasso del sink (movimento ciclico, strutture ripetute).
  • Il confronto tra Sink Statici e DySink mostra che, mentre i sink statici offrono una certa stabilità, il recupero dinamico fornisce una adattabilità superiore agli stati visivi in evoluzione.

5. Significato e Affermazioni

Il documento afferma che DySink affronta la rigidità fondamentale dell'allocazione di memoria statica nella generazione autoregressiva di video. Spostandosi da ancoraggi fissi al recupero adattivo ai contenuti, il metodo riduce il disallineamento delle condizioni e mitiga la specifica modalità di fallimento del collasso del sink.

Le affermazioni chiave includono:

• Adattabilità: I sink dinamici permettono al modello di mantenere la coerenza a lungo raggio senza essere distorti verso attributi obsoleti dei frame iniziali.
• Prevenzione del Collasso: Il Cancello di Anomalia del Sink sopprime efficacemente i pattern di attenzione propensi al collasso rilevando un eccessivo consenso tra le teste, offrendo una soluzione che non richiede la modifica della codifica posizionale RoPE sottostante.
• Scalabilità: L'approccio dimostra che video della durata di un minuto possono essere generati con gradi dinamici e qualità temporale superiori rispetto ai metodi attuali all'avanguardia, suggerendo che la selezione dinamica della memoria è un componente critico per la futura generazione a orizzonte lungo.

Gli autori notano le limitazioni, riconoscendo che l'indicizzazione attuale basata solo sul visivo potrebbe perdere indizi semantici o a livello di oggetto fini, e che il pieno potenziale del recupero dinamico potrebbe essere più pronunciato in scenari con eventi complessi e densi o transizioni multistadio oltre l'orizzonte di valutazione attuale di 100 secondi.