Riepilogo Tecnico: EM-Vid

Enunciato del Problema

La generazione video multi-scena mira a produrre narrazioni visive coerenti e di lunga durata, in cui entità ricorrenti (personaggi, oggetti, scene) mantengono un aspetto consistente attraverso diverse inquadrature, aderendo rigorosamente ai prompt testuali specifici di ciascuna scena. Gli approcci esistenti affrontano compromessi significativi:

• Generazione Congiunta: Generare tutte le inquadrature simultaneamente garantisce coerenza globale, ma è computazionalmente costoso e difficile da scalare.
• Generazione Autoregressiva: Generare le inquadrature sequenzialmente migliora l'efficienza, ma spesso soffre di "dimenticanza" dei contenuti precedenti e di accumulo di errori durante narrazioni lunghe.
• Metodi Basati su Memoria: Gli approcci recenti utilizzano i fotogrammi precedentemente generati come memoria per guidare la generazione. Tuttavia, memorizzare fotogrammi completi olistici intreccia le informazioni persistenti delle entità con il contesto transitorio della scena. Ciò porta a:
  1. Fuga di Informazioni Irrilevanti: Artefatti di sfondo o dettagli transitori dai fotogrammi di memoria si infiltrano nelle nuove generazioni, causando elementi visivi non intenzionali.
  2. Elevato Costo Computazionale: I meccanismi di auto-attenzione operano su tutti i token in fotogrammi densi, incurrendo in una complessità quadratica.
  3. Problemi di Adesione al Prompt: Prompt semanticamente simili possono indurre i modelli a "copiare-incollare" gli aspetti memorizzati invece di seguire nuove istruzioni testuali, in particolare per cambiamenti sottili di attributi.

Metodologia: EM-Vid

EM-Vid propone una rappresentazione della memoria incentrata sull'entità e priva di addestramento e un meccanismo di inferenza progettati per disaccoppiare le informazioni persistenti delle entità dal contesto transitorio. Opera al di sopra di un modello di generazione video pre-addestrato guidato da fotogrammi di memoria (nello specifico, una variante di Wan2.2-I2V fine-tunata con LoRA).

1. Formato Strutturato dello Script Narrativo

Per abilitare un recupero efficiente, il metodo richiede uno script di input strutturato in cui:

• Soggetti e scene persistenti ricevono identificatori unici (es. [CH_01], SC_01).
• Ogni inquadratura contiene un prompt astratto (che fa riferimento agli identificatori) e un prompt naturale (descrizione testuale completa).
• Il prompt astratto funge da query per recuperare solo le voci di memoria pertinenti all'inquadratura corrente.

2. Banca della Memoria Centrata sull'Entità

Invece di memorizzare fotogrammi completi, EM-Vid mantiene una banca delle entità contenente patch latenti sparse associate a entità specifiche.

• Inizializzazione: Per ogni entità, il sistema estrae patch dai fotogrammi di memoria (o dai riferimenti dell'utente) che sovrapposcono la regione segmentata dell'entità (utilizzando SAM3).
• Memorizzazione: Ogni voce memorizza la patch latente VAE, le sue coordinate spaziali, l'indice del fotogramma sorgente e descrittori di aspetto (caratteristiche DINOv2 e similarità testo-regione CLIP).
• Condizionamento Sparso: Durante l'inferenza, il modello recupera solo le patch corrispondenti alle entità menzionate nel prompt astratto dell'inquadratura corrente.

3. Condizionamento di Token Sparsi in Fase di Inferenza

Per integrare patch sparse in un modello che si aspetta griglie dense, EM-Vid impiega una pipeline specifica:

• Disperdimento: Le patch sparse recuperate vengono disperse nuovamente nelle loro posizioni spaziotemporali originali all'interno di un tensore latente completo.
• Potatura dei Token: Il tensore viene suddiviso in patch in token. Solo i token corrispondenti alle patch contenenti entità vengono mantenuti; gli altri vengono potati.
• Riduzione dell'Attenzione: Il backbone del trasformatore (DiT) elabora solo questi token pertinenti, riducendo significativamente i costi di auto-attenzione e l'interferenza da informazioni di sfondo irrilevanti.
• Ricostruzione: I token sparsi previsti vengono dispersi nuovamente nel layout denso e de-scomposti in patch per aggiornare lo stato latente completo per il successivo passo di diffusione.

4. Strategia di Aggiornamento della Memoria

La banca delle entità evolve man mano che vengono generate nuove inquadrature:

• Selezione dei Candidati: I fotogrammi chiave dalle nuove inquadrature vengono estratti in base a punteggi estetici.
• Filtraggio: I nuovi candidati vengono confrontati con le voci esistenti utilizzando la similarità DINOv2. I candidati sono accettati se offrono nuove informazioni (bassa similarità) o sono sufficientemente distinti ma pertinenti, mentre le voci ridondanti vengono rifiutate.
• Gestione del Budget: Viene imposto un budget fisso di token per entità. Le voci sono priorizzate in base a un rapporto rilevanza-cost (similarità CLIP divisa per il conteggio dei token), garantendo che la banca rimanga compatta pur preservando variazioni semanticamente rilevanti.

5. Controllo Fine dell'Aspetto tramite Iniezione di Rumore

Per affrontare il comportamento di "copi-incolla" in cui il modello ignora sottili cambiamenti del prompt (es. cambiare il colore di una camicia), EM-Vid introduce un meccanismo di iniezione di rumore:

• Mitigazione dei Confini: Le patch ai confini delle entità spesso contengono pixel di sfondo. Rumore gaussiano viene iniettato in queste regioni prima della codifica per prevenire la fuga di informazioni di sfondo.
• Modifica degli Attributi: Se un prompt specifica un cambiamento di un attributo specifico (es. "scarpe nere" vs "scarpe marroni"), vengono identificate le patch corrispondenti a quella regione. Rumore viene iniettato in queste patch specifiche per indebolire la dipendenza del modello dall'aspetto memorizzato, costringendolo a seguire il prompt testuale per quelle regioni.

Contributi Chiave

1. Rappresentazione della Memoria Indicizzata per Entità: Un formato di memoria innovativo che memorizza patch latenti sparse per singole entità, disaccoppiando l'identità persistente dal contesto transitorio per ridurre la fuga di informazioni e i costi computazionali.
2. Condizionamento di Token Sparsi Senza Addestramento: Un meccanismo che permette ai modelli video pre-addestrati di operare solo su token di memoria pertinenti all'inquadratura, mantenendo la compatibilità con le architetture originali mentre riduce drasticamente l'overhead di auto-attenzione.
3. Aggiornamento Progressivo della Memoria delle Entità: Una strategia di aggiornamento consapevole del budget che integra nuove osservazioni delle entità mentre pota la ridondanza, garantendo coerenza a lungo termine senza una crescita illimitata della memoria.
4. Controllo dell'Aspetto Basato sul Rumore: Una strategia che utilizza l'iniezione di rumore per sopprimere le informazioni di confine irrilevanti e abilitare modifiche fini degli attributi, impedendo al modello di ricadere su aspetti memorizzati.
5. Nuove Metriche di Valutazione: Introduzione di metriche per la coerenza del soggetto tra inquadrature (che penalizzano il comportamento di copi-incolla ingenuo) e allineamento della scena di sfondo (misurando l'allineamento tra gli sfondi generati e le descrizioni della scena nello script).

Risultati

Gli autori valutano EM-Vid su 20 script di storie cinematografiche (10 inquadrature ciascuno) confrontandolo con baseline tra cui Wan2.2-T2V, FramePack, Phantom e StoryMem.

• Adesione al Prompt: EM-Vid ottiene i punteggi ViCLIP più alti, dimostrando un allineamento superiore ai prompt testuali rispetto alle baseline che soffrono di fuga di memoria.
• Coerenza del Soggetto: Il metodo mantiene una forte coerenza del soggetto tra inquadrature (misurata da $CSC^*_{DINO/CLIP}$), superando le baseline autoregressive che accumulano errori. Evita il pregiudizio "copi-incolla" osservato nelle metriche ingenu.
• Coerenza dello Sfondo: EM-Vid mostra un miglior allineamento della scena di sfondo ($BG A$), cambiando con successo gli sfondi quando lo script lo richiede, a differenza di StoryMem che spesso trasporta artefatti di sfondo.
• Efficienza: L'approccio di memoria sparsa riduce l'utilizzo dei token di memoria fino all'88,9% e fornisce un'accelerazione nell'inferenza fino al 73% rispetto alle baseline di memoria a fotogramma completo denso.
• Qualità Visiva: Sebbene i modelli T2V vanilla possano ottenere punteggi leggermente più alti sulle metriche estetiche intra-scena (a causa della mancanza di vincoli a lungo raggio), EM-Vid rimane competitivo offrendo una coerenza narrativa superiore.

Significato e Affermazioni

Il documento afferma che EM-Vid fornisce una soluzione scalabile ed efficace per la generazione video coerente e di lunga durata senza richiedere il riaddestramento del modello. Spostandosi dalla memoria di fotogrammi olistici a una rappresentazione sparsa incentrata sull'entità, il metodo affronta l'intreccio fondamentale tra identità e contesto che affligge gli attuali approcci basati sulla memoria.

Gli autori sottolineano che il loro approccio:

• Disaccoppia le informazioni persistenti delle entità dal contesto transitorio della scena.
• Riduce la complessità computazionale limitando l'attenzione ai token pertinenti.
• Abilita il controllo fine degli attributi delle entità attraverso l'iniezione di rumore, una capacità spesso mancante nei sistemi guidati dalla memoria.
• Migliora l'equilibrio tra il mantenimento dell'identità del soggetto e l'adesione ai prompt dinamici della scena.

Il lavoro è presentato come una modifica pratica in fase di inferenza che sfrutta modelli pre-addestrati esistenti, rendendolo accessibile ed efficiente per la generazione di narrazioni multi-scena coerenti.