💻 computer science

TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

Die Arbeit stellt TS-Attn vor, eine trainingsfreie Aufmerksamkeitsmechanik, die die zeitliche Kohärenz und die Befolgung komplexer mehrstufiger Beschreibungen bei der Video-Generierung verbessert, indem sie die zeitliche Fehlausrichtung und Konflikte in der Aufmerksamkeitsverteilung löst.

Ursprüngliche Autoren: Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

Veröffentlicht 2026-04-22

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen Film drehen, der eine komplexe Geschichte erzählt: „Ein Hund läuft zum Park, springt über einen Zaun, fängt einen Ball und bringt ihn zurück."

Bisher hatten Videokünstliche Intelligenzen (KI) große Schwierigkeiten mit solchen mehrstufigen Geschichten. Entweder vergaß die KI einen Teil der Geschichte (der Hund springt einfach nicht über den Zaun), oder die Szenen passten nicht zusammen (plötzlich ist der Hund im Park, aber der Zaun ist verschwunden).

Das liegt daran, dass die KI beim Erstellen des Videos „verwirrt" war. Sie hörte sich die ganze Geschichte an, wusste aber nicht genau, wann genau welcher Teil passieren sollte. Es war, als würde ein Regisseur alle Schauspieler gleichzeitig auf die Bühne schicken, ohne ihnen zu sagen, wann sie ein- und austreten sollen.

Hier kommt TS-Attn ins Spiel – eine neue, clevere Methode, die genau dieses Problem löst.

Die Idee: Der „Zeit-Regisseur"

Stell dir die KI als einen riesigen, chaotischen Raum voller Schauspieler (die Bilder) und Regieanweisungen (den Text). Normalerweise schreien alle Schauspieler gleichzeitig nach allen Anweisungen. Der Hund versucht, den Ball zu fangen, während er noch über den Zaun springen soll, und der Zaun versucht, sich zu bewegen, obwohl er fest stehen sollte. Das Ergebnis ist ein Durcheinander.

TS-Attn ist wie ein genialer, neuer Regieassistent, der zwei Dinge tut:

Er trennt die Zeit: Er sagt dem Hund: „Hey, in den ersten 2 Sekunden springe nur über den Zaun. Ignoriere den Ball!" Und dann, in den nächsten 2 Sekunden: „Jetzt fang den Ball!" Er sorgt dafür, dass jeder Schauspieler genau zur richtigen Zeit auf die richtige Anweisung hört.
Er dämpft das Lärmen: Wenn der Hund gerade den Zaun überspringt, sagt der Assistent dem Rest des Raums: „Leise! Der Zaun ist jetzt nicht wichtig." So wird verhindert, dass sich die Anweisungen gegenseitig stören.

Warum ist das so besonders?

Das Tolle an dieser Erfindung ist, dass sie kein neues Training braucht.

Stell dir vor, du hast einen erfahrenen Koch (die bestehende KI), der schon Millionen Gerichte gekocht hat. Früher konnte er nur einfache Gerichte wie „Spaghetti" machen. Wenn du ihm aber eine komplexe Bestellung gabst („Zuerst Suppe, dann Pasta, dann Dessert"), hat er oft den Kopf verloren.

Mit TS-Attn musst du den Koch nicht neu ausbilden. Du gibst ihm einfach eine neue Notizkarte (die neue Methode) in die Hand. Diese Karte sagt ihm genau, wie er seine Aufmerksamkeit auf die verschiedenen Teile der Bestellung lenken muss. Plötzlich kann derselbe Koch komplexe Menüs perfekt zubereiten, ohne dass er länger braucht oder teurer wird.

Die Ergebnisse im Alltag

Bessere Geschichten: Die KI kann jetzt Videos erstellen, die wirklich wie eine Geschichte wirken, mit logischen Abfolgen und Übergängen.
Kein langsamerer Prozess: Früher musste man für komplexe Videos oft das Video in viele kleine Teile zerlegen und diese einzeln erstellen (wie einen Film in 10 Teile schneiden und dann zusammenkleben). Das dauerte ewig. TS-Attn macht alles in einem Durchgang, ist also fast genauso schnell wie das Erstellen eines einfachen Videos.
Plug-and-Play: Du kannst diese Technik in fast jede moderne VideokI einbauen, genau wie man ein neues Objektiv an eine Kamera schraubt.

Zusammenfassung

TS-Attn ist wie ein Zauberstab für VideokIs. Er nimmt die Verwirrung aus dem Kopf der KI, wenn es um komplexe, mehrstufige Geschichten geht. Er sorgt dafür, dass die KI genau weiß, was sie wann tun soll, ohne dass man sie neu lernen lassen muss. Das Ergebnis sind Videos, die nicht nur cool aussehen, sondern auch eine echte, logische Geschichte erzählen – und das alles in Rekordzeit.

1. Problemstellung

Die Generierung hochwertiger Videos aus komplexen zeitlichen Beschreibungen, die mehrere aufeinanderfolgende Aktionen enthalten, stellt ein ungelöstes Problem dar. Bestehende Methoden stehen vor einem inhärenten Zielkonflikt:

Sequenzielle Verarbeitung: Die Aufteilung eines komplexen Prompts in mehrere kurze Prompts, die nacheinander verarbeitet werden, verbessert zwar die Genauigkeit der einzelnen Aktionen, führt jedoch oft zu zeitlichen Inkonsistenzen, „Content Drift" (Verlust des Kontexts) und einem hohen Overhead bei der Inferenzzeit.
Einzelner komplexer Prompt: Die direkte Eingabe eines langen, komplexen Prompts in starke Modelle erhält zwar die globale Kohärenz, scheitert jedoch oft an der genauen Befolgung aller einzelnen Ereignisse. Dies führt zu Auslassungen von Ereignissen oder zeitlichen Halluzinationen.

Die Autoren identifizieren zwei Hauptursachen für dieses Versagen:

Zeitliche Fehlausrichtung: Ein Missverhältnis zwischen dem Videobildinhalt und dem entsprechenden Teil des Text-Prompts.
Konfligierende Attention-Kopplung: Eine unerwünschte Verschmelzung der Aufmerksamkeitsverteilungen zwischen bewegungsrelevanten visuellen Objekten und den Textbedingungen verschiedener, zeitlich getrennter Ereignisse.

2. Methodik: TS-Attn (Temporal-wise Separable Attention)

Die Autoren schlagen TS-Attn vor, eine trainingsfreie (training-free) Aufmerksamkeitsmechanik, die in die Cross-Attention-Schichten bestehender Text-zu-Video-Modelle (z. B. Wan2.1, Wan2.2, CogVideoX) integriert werden kann. Das Ziel ist es, die Aufmerksamkeitsverteilung dynamisch neu zu ordnen, um zeitliches Bewusstsein und globale Kohärenz zu gewährleisten.

Der Ansatz basiert auf zwei Kern-Erkenntnissen:

Bewegungsrelevante Regionen in einem Frame sollten sich primär auf das zum gleichen Zeitpunkt stattfindende Ereignis konzentrieren.
Interaktionen zwischen verschiedenen Ereignissen über die Zeitachse hinweg sollten minimiert werden.

Der Prozess gliedert sich in drei Hauptschritte:

A. Extraktion von Bewegungsregionen (Motion Region Extraction):
Anstatt die gesamte Aufmerksamkeit zu manipulieren, identifiziert TS-Attn zunächst die für die Bewegung relevanten Video-Tokens. Dies geschieht durch die Analyse der semantischen Layouts der Subjekte im Prompt. Eine semantische Karte wird erstellt und mittels eines adaptiven Schwellenwerts (basierend auf dem Mittelwert) sowie einer Erosionsfunktion in eine Maske ( $M_s$ ) umgewandelt, die nur die bewegten Objekte isoliert.
B. Ereignisbewusste Umordnung der Aufmerksamkeit (Attention Rearrangement):
Für jedes zeitlich segmentierte Intervall des Videos wird eine positive Verzerrung (Bias) auf das korrespondierende Ereignis im Text-Prompt angewendet und eine negative Verzerrung auf alle anderen Ereignisse. Dies erzwingt, dass Video-Tokens in einem bestimmten Zeitfenster stark mit dem passenden Text-Token verbunden sind und schwach mit den anderen.
C. Verstärkung der Aufmerksamkeit (Attention Reinforcement):
Um sicherzustellen, dass die Umordnung auch bei flachen oder unklaren ursprünglichen Verteilungen wirkt, wird ein adaptiver Verstärkungsfaktor eingeführt. Wenn die ursprüngliche Aufmerksamkeit für das korrekte Ereignis zu schwach ist, wird dieser Faktor erhöht, um die Verbindung zu stärken. Umgekehrt wird die Aufmerksamkeit für irrelevante Ereignisse weiter gedämpft.

Die finale Formel kombiniert diese Komponenten:
$A = \text{softmax}\left(\frac{QK^\top + M_s \odot R(Q, K) \odot B(Q, K)}{\sqrt{d}}\right)$
Wobei $B$ die Umordnung (Bias) und $R$ die Verstärkung darstellt, beide angewendet nur auf die durch $M_s$ maskierten Bewegungsregionen.

3. Schlüsselbeiträge

Analyse der Ursachen: Tiefgehende Untersuchung zeigt, dass zeitlich trennbare Gruppierung essenziell ist, um Konflikte bei komplexen Beschreibungen zu vermeiden.
Neuer Framework (TS-Attn): Ein plug-and-play Mechanismus, der die Aufmerksamkeitsverteilung zwischen Bewegungsregionen und Multi-Ereignis-Bedingungen dynamisch neu strukturiert. Dies ermöglicht präzise Reaktionen auf Ereignisse in der richtigen zeitlichen Reihenfolge bei gleichzeitiger Wahrung der physikalischen Plausibilität und globalen Konsistenz.
Training-Freiheit und Kompatibilität: Die Methode erfordert kein Nachtrainieren der Modelle und lässt sich nahtlos in verschiedene Architekturen (DiT, Cross-DiT) integrieren. Sie funktioniert sowohl für Text-zu-Video (T2V) als auch für Bild-zu-Video (I2V).

4. Ergebnisse

Die Evaluierung erfolgte auf dem Benchmark StoryEval-Bench (423 Prompts mit 2–4 Ereignissen) sowie einem neu konstruierten I2V-Benchmark.

Qualitative Verbesserungen: TS-Attn löst Probleme wie das Auslassen von Ereignissen und zeitliche Inkonsistenzen. Videos zeigen glatte Übergänge und korrekte Interaktionen zwischen Objekten über mehrere Schritte hinweg.
Quantitative Verbesserungen:
- Auf dem StoryEval-Bench konnte TS-Attn die Scores des Basismodells Wan2.1-T2V-14B um 33,5% und Wan2.2-T2V-A14B um 16,4% steigern.
- Auch auf dem CogVideoX-5B Modell wurden signifikante Verbesserungen erzielt.
- In I2V-Aufgaben zeigte sich ein konsistenter Leistungsanstieg über alle getesteten Baseline-Modelle hinweg.
Effizienz: Im Gegensatz zu Methoden, die mehrere Inferenzläufe erfordern (z. B. MEVG, DiTCtrl), erhöht TS-Attn die Inferenzzeit nur um ca. 2%. Es ist damit deutlich schneller als Multi-Prompt-Ansätze, die oft eine lineare Skalierung der Rechenzeit mit der Anzahl der Ereignisse aufweisen.

5. Bedeutung und Ausblick

TS-Attn adressiert eine fundamentale Lücke in der aktuellen Video-Generierungsforschung: die Fähigkeit, komplexe, mehrstufige Handlungen in einem einzigen Durchlauf zu generieren, ohne Kompromisse bei der Qualität oder Konsistenz einzugehen.

Skalierbarkeit: Da die Methode trainingsfrei ist, kann sie sofort auf neue, leistungsfähigere Modelle angewendet werden, sobald diese veröffentlicht werden.
Anwendungsbreite: Sie eignet sich nicht nur für einfache T2V-Aufgaben, sondern auch für komplexe Szenarien mit mehreren Subjekten, Szenenwechseln und potenziell für interaktive Langzeit-Video-Generierung (in Kombination mit Modellen wie LongCat-Video).
Paradigmenwechsel: Die Arbeit verschiebt den Fokus von reinen Architekturerweiterungen oder aufwendigem Nachtrainieren hin zu einer intelligenten Steuerung der bereits vorhandenen Aufmerksamkeitsmechanismen in Diffusions-Transformern.

Zusammenfassend bietet TS-Attn eine effiziente, universell einsetzbare Lösung, um die Lücke zwischen der Generierung kohärenter langer Videos und der präzisen Befolgung komplexer zeitlicher Anweisungen zu schließen.