TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

Probleemstelling

Het genereren van hoogwaardige video's uit complexe tijdsgebonden beschrijvingen die meerdere opeenvolgende acties bevatten, is een nog onopgelost probleem in de huidige state-of-the-art modellen. Bestaande methoden kampen met een fundamenteel compromis:

1. Meerdere korte prompts: Het opsplitsen van een complexe prompt in meerdere korte prompts die sequentieel worden verwerkt, verbetert de trouw aan de acties, maar leidt vaak tot tijdsinconsistenties, inhoudsdrift en een hoge inferentietijd (door herhaalde inferentie).
2. Eén complexe prompt: Het direct invoeren van de volledige complexe prompt behoudt globale consistentie, maar de modellen hebben vaak moeite om alle individuele gebeurtenissen correct te interpreteren. Dit resulteert in het overslaan van gebeurtenissen of "temporale hallucinaties" (waarbij acties door elkaar lopen).

De auteurs identificeren twee hoofdoorzaken voor deze beperkingen:

• Tijdsfouten: Er is een misalignement tussen de video-inhoud en de prompt.
• Conflicterende attention-koppeling: Er treedt interferentie op tussen visuele objecten die met beweging te maken hebben en de tekstuele condities van verschillende, niet-gerelateerde gebeurtenissen binnen dezelfde frame.

Methodologie: TS-Attn

Om deze uitdagingen aan te pakken, stellen de auteurs TS-Attn (Temporal-wise Separable Attention) voor. Dit is een trainingsvrije (training-free) mechanisme dat dynamisch de attention-verdeling in cross-attention lagen aanpast om tijdsbewustzijn en globale coherentie te garanderen. Het werkt als een plug-and-play module voor bestaande pre-getrainde text-to-video (T2V) en image-to-video (I2V) modellen.

De methode bestaat uit drie kerncomponenten:

1. Extractie van Bewegingsregio's (Motion Region Extraction):

   • Het systeem identificeert automatisch de visuele gebieden in de video die gerelateerd zijn aan beweging (meestal het onderwerp dat een actie uitvoert).
   • Dit wordt gedaan door de semantische layout van het onderwerp in de cross-attention kaart te analyseren en een adaptieve drempelwaarde toe te passen om een masker ($M_s$) te genereren dat de bewegingsgebieden isoleert van de achtergrond.

2. Event-bewuste Attention Modulation:
   Dit is het hart van TS-Attn en omvat twee sub-processen:

   • Attention Rearrangement (Herschikking): De attention-verdeling wordt opnieuw ingericht langs de tijdsdimensie. Video-tokens die corresponderen met een specifiek tijdsinterval worden geforceerd om zich te richten op het bijbehorende tekstuele gebeurtenis-fragment, terwijl de attention voor andere, niet-gerelateerde gebeurtenissen wordt verzwakt. Dit wordt bereikt door positieve en negatieve bias-termen toe te passen op de attention-matrix.
   • Attention Reinforcement (Versterking): Als de initiële attention-verdeling te vlak is (wat leidt tot slechte alignering), past het systeem een adaptieve versterkingsfactor toe. Deze factor vergroot de intensiteit van de attention voor de correcte gebeurtenis en vermindert deze voor andere gebeurtenissen, gebaseerd op de scherpte van de huidige verdeling.

3. Tijdssegmentatie:

   • De prompt wordt opgesplitst in tijdsintervallen voor elke gebeurtenis. Dit kan gebeuren via gebruikersinput, uniforme verdeling, of automatisch via een LLM (zoals GPT-4o-mini). De auteurs tonen aan dat TS-Attn robuust is en zelfs werkt met ruwe segmentatie.

Kernbijdragen

• Diepgaande Analyse: De auteurs onthullen dat de slechte prestaties bij complexe prompts voornamelijk worden veroorzaakt door tijdsfouten en verstrengelde attention-koppelingen, en dat tijdsgebonden separatie essentieel is om conflicten te voorkomen.
• Nieuw Framework: TS-Attn is een innovatief, trainingsvrij framework dat de attention-verdeling dynamisch herschikt tussen bewegingsgebieden en multi-event condities. Het zorgt voor nauwkeurige reactie op gebeurtenissen in de juiste volgorde, terwijl het de globale consistentie behoudt.
• Brede Toepasbaarheid: De methode is naadloos integreerbaar in diverse foundation-modellen (zoals Wan2.1, Wan2.2, CogVideoX) en werkt zowel voor T2V als I2V taken zonder extra training.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op benchmarks zoals StoryEval-Bench:

• Prestatieverbetering: TS-Attn leidt tot aanzienlijke verbeteringen. Op de Wan2.1-T2V-14B en Wan2.2-T2V-A14B modellen resulteerde dit in respectievelijk een 33,5% en 16,4% stijging in de StoryEval-Bench score.
• Vergelijking met State-of-the-Art: Het model presteert aanzienlijk beter dan bestaande methoden die gebruikmaken van meerdere prompts (zoals DiTCtrl en MEVG), wat aantoont dat TS-Attn een beter compromis biedt tussen tijdsconsistentie en prompt-trouw.
• Efficiëntie: De methode voegt slechts een 2% extra inferentie-tijd toe ten opzichte van de basismodellen, terwijl methoden met meerdere inferentiestappen (zoals DiTCtrl) een veel hogere latency hebben.
• Kwaliteit: Visuele resultaten tonen aan dat TS-Attn complexe sequenties (bijv. een bal die een rolstoel raakt en vervolgens beweegt) correct genereert met vloeiende overgangen, terwijl concurrenten vaak gebeurtenissen missen of fysiek onmogelijke bewegingen produceren.

Betekenis en Impact

TS-Attn vertegenwoordigt een significante doorbraak in het veld van video-generatie. Het lost een van de grootste beperkingen van huidige modellen op: het vermogen om complexe, meervoudige narratieven in één enkele inferentiestap te genereren zonder in te leveren op kwaliteit of consistentie.

• Schaalbaarheid: Omdat het trainingsvrij is, kan het direct worden toegepast op nieuwe en grotere modellen zonder de enorme rekenkosten van fine-tuning.
• Toekomstperspectief: De methode opent de deur voor het genereren van langere video's met meer gebeurtenissen en complexere interacties, wat essentieel is voor toepassingen zoals filmvoorstelling, educatieve content en interactieve verhalen.

Kortom, TS-Attn biedt een elegante, efficiënte oplossing voor het "temporale conflict" in video-generatie, waardoor modellen beter in staat zijn om complexe verhalen visueel te vertalen.