TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

1. Il Problema: Generazione di Video Multi-Evento

La generazione di video di alta qualità a partire da descrizioni temporali complesse (che contengono una sequenza di azioni multiple) rappresenta una sfida irrisolta nei modelli attuali. Esiste un compromesso intrinseco (trade-off) tra due approcci esistenti:

• Prompt multipli sequenziali: Dividere una descrizione complessa in più prompt brevi e generarli in fasi separate. Questo migliora la fedeltà delle singole azioni ma compromette la coerenza temporale globale, causando "deriva" del contenuto e incoerenze temporali, con un elevato costo computazionale dovuto a inferenze multiple.
• Prompt complesso singolo: Utilizzare un unico prompt complesso con modelli potenti. Sebbene garantisca una migliore coerenza globale, spesso fallisce nel seguire fedelmente ogni evento individuale, portando a omissioni di eventi o "allucinazioni" temporali (es. azioni che avvengono nel momento sbagliato).

L'analisi degli autori rivela che la causa principale di questi fallimenti risiede in due fattori:

1. Disallineamento temporale: Il contenuto video non si allinea correttamente con le condizioni testuali nel tempo.
2. Accoppiamento conflittuale dell'attenzione: Le regioni visive legate al movimento e le condizioni testuali degli eventi diversi si "mescolano" nella mappa di attenzione, impedendo al modello di distinguere quale azione deve avvenire in quale momento.

2. Metodologia: TS-Attn (Temporal-wise Separable Attention)

Per risolvere questi problemi, gli autori propongono TS-Attn, un meccanismo di attenzione senza training (training-free) che può essere integrato direttamente nei modelli pre-addestrati Text-to-Video (T2V) e Image-to-Video (I2V).

Il metodo si basa su due intuizioni chiave:

1. Le regioni legate al movimento in ogni fotogramma dovrebbero focalizzarsi principalmente sull'evento che avviene in quel preciso istante temporale.
2. Le interazioni tra eventi diversi lungo la dimensione temporale devono essere minimizzate.

Fasi del funzionamento di TS-Attn:

• Estrazione della Regione di Movimento (Motion Region Extraction):
  Il sistema identifica adattivamente le regioni video legate al movimento (soggetti che compiono azioni) utilizzando la mappa semantica del soggetto. Calcola una mappa di attenzione sematica e applica una soglia adattiva (basata sulla media) per creare una maschera binaria che isola le regioni di interesse, eliminando il rumore di sfondo.

• Modulazione dell'Attenzione Consapevole dell'Evento (Event-Aware Attention Modulation):
  Questa è la componente centrale, che riorganizza la distribuzione dell'attenzione nelle fasi iniziali del processo di denoising. Si compone di due sottoprocessi:

  1. Riorganizzazione dell'Attenzione (Attention Rearrangement): Divide il video in segmenti temporali corrispondenti agli eventi del prompt. Applica un bias positivo alle interazioni tra i token video di un segmento e il suo evento corrispondente, e un bias negativo alle interazioni con gli altri eventi. Questo forza il modello a "separare" gli eventi lungo l'asse temporale.
  2. Rafforzamento dell'Attenzione (Attention Reinforcement): Se la distribuzione iniziale è troppo piatta (debole), questo modulo adatta dinamicamente l'intensità dell'attenzione. Aumenta il fattore di rafforzamento per gli eventi allineati temporalmente quando l'attenzione originale è bassa, garantendo una corrispondenza robusta.

La formula finale combina la mappa di attenzione originale con il bias di riorganizzazione e il fattore di rafforzamento, vincolati dalla maschera di movimento.

3. Contributi Chiave

• Analisi delle cause radice: Identificazione del disallineamento temporale e dell'accoppiamento conflittuale dell'attenzione come cause primarie dei fallimenti nella generazione multi-evento.
• Framework TS-Attn: Un metodo innovativo che riorganizza dinamicamente la distribuzione dell'attenzione senza richiedere riaddestramento del modello base.
• Integrazione Plug-and-Play: La soluzione è compatibile con diverse architetture (es. Wan2.1, Wan2.2, CogVideoX) e funziona sia per T2V che per I2V.
• Efficienza: Aumenta le prestazioni mantenendo un overhead di inferenza trascurabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark come StoryEval-Bench (per T2V) e una versione adattata per I2V.

• Prestazioni Quantitative:

  • Su Wan2.1-T2V-14B, TS-Attn ha migliorato il punteggio su StoryEval-Bench del 33,5%.
  • Su Wan2.2-T2V-A14B, il miglioramento è stato del 16,4%.
  • Su CogVideoX-5B, si è osservato un miglioramento relativo del 57,3%.
  • Le prestazioni sono superiori rispetto a metodi basati su prompt multipli (come MEVG e DiTCtrl) e modelli closed-source (Kling, Hailuo).

• Efficienza:

  • L'aumento del tempo di inferenza è minimo (solo il 2% rispetto al modello base Wan2.2-A14B).
  • Al contrario, i metodi basati su più inferenze (come DiTCtrl) richiedono tempi di elaborazione significativamente più lunghi (fino a 3 volte di più).

• Risultati Qualitativi:

  • I video generati mostrano transizioni fluide tra eventi, con una corretta esecuzione della sequenza temporale (es. un oggetto che rotola, collide e poi si muove).
  • Riduzione significativa delle omissioni di eventi e delle allucinazioni temporali.

5. Significato e Impatto

TS-Attn rappresenta un avanzamento significativo nella generazione video scalabile e di alta qualità.

• Superamento del Trade-off: Risolve il dilemma tra coerenza globale e fedeltà al prompt, permettendo di generare video complessi con un singolo passaggio di inferenza.
• Accessibilità: Essendo un metodo "training-free", non richiede risorse computazionali massive per il riaddestramento di modelli fondazionali, rendendo le capacità di generazione multi-evento accessibili a una vasta gamma di modelli esistenti.
• Versatilità: La capacità di gestire soggetti multipli, transizioni a livello di scena e potenzialmente video interattivi lunghi (integrando modelli come LongCat-Video) apre nuove possibilità per applicazioni narrative e creative.

In sintesi, TS-Attn offre una soluzione elegante ed efficiente per allineare la dinamica temporale del video con le istruzioni testuali complesse, migliorando drasticamente la capacità dei modelli di raccontare storie visive coerenti.