💻 computer science

Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

Das Paper stellt Prompt Relay vor, eine Plug-and-Play-Methode für die Inferenz, die durch die Einführung einer Strafe im Cross-Attention-Mechanismus eine feingranulare zeitliche Kontrolle bei der Generierung von Videos mit mehreren Ereignissen ermöglicht, ohne die Architektur zu ändern oder zusätzlichen Rechenaufwand zu verursachen.

Ursprüngliche Autoren: Gordon Chen, Ziqi Huang, Ziwei Liu

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gordon Chen, Ziqi Huang, Ziwei Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen kleinen, perfekten Kurzfilm drehen. Du hast eine klare Idee: Zuerst sieht man einen Adler, der durch eine Cyberpunk-Stadt fliegt, dann zoomt die Kamera in sein Auge, und plötzlich befinden wir uns in einem Wohnzimmer im 20. Jahrhundert.

Das Problem ist: Wenn du diese Idee einem aktuellen KI-Video-Generator gibst, wird es oft chaotisch. Die KI versucht, alles gleichzeitig zu verstehen. Sie sieht den Adler, die Stadt und das Wohnzimmer und denkt: „Okay, ich mische das alles zusammen!" Das Ergebnis ist ein wirrer Flickenteppich, bei dem der Adler vielleicht plötzlich im Wohnzimmer sitzt oder die Cyberpunk-Stadt im Adlerauge verschwindet, bevor sie sollte.

Die Forscher Gordon Chen und sein Team von der Nanyang Technological University haben eine Lösung dafür gefunden, die sie „Prompt Relay" nennen. Hier ist eine einfache Erklärung, wie das funktioniert, ohne technisches Fachchinesisch:

1. Das Problem: Der „Alles-auf-einen-Haufen"-Effekt

Stell dir die KI wie einen sehr talentierten, aber etwas verwirrten Regisseur vor. Wenn du ihm einen langen Text gibst („Adler fliegt, dann Stadt, dann Wohnzimmer"), liest er den ganzen Text auf einmal und versucht, alle diese Bilder gleichzeitig auf die Leinwand zu projizieren. Das führt zu einem „semantischen Durcheinander" – die Ideen vermischen sich, weil die KI nicht weiß, wann genau welche Szene passieren soll.

2. Die Lösung: Ein unsichtbarer Zeit-Regler

Prompt Relay ist wie ein cleverer Assistent, der dem Regisseur zur Seite steht. Dieser Assistent hat eine einfache Regel: „Nur das, was gerade dran ist, wird gezeigt."

Statt den ganzen Text auf einmal zu nutzen, schneidet der Assistent den Text in kleine Stücke und klebt jedes Stück an eine bestimmte Uhrzeit im Video.

Sekunde 0–2: Nur der Text über den Adler ist aktiv.
Sekunde 2–4: Nur der Text über die Cyberpunk-Stadt ist aktiv.
Sekunde 4–6: Nur der Text über das Wohnzimmer ist aktiv.

3. Der Trick: Der „sanfte Übergang" (Die Brücke)

Hier wird es wirklich clever. Frühere Methoden haben versucht, die Szenen einfach hart abzuschnitten, wie bei einem Film, bei dem der Projektor abrupt umschaltet. Das sieht oft ruckelig aus, als würde die Welt plötzlich springen.

Prompt Relay macht es anders. Es nutzt eine sanfte Brücke (die sie „Boundary-Attention Decay" nennen).
Stell dir vor, du wechselst von einem Lied zum nächsten im Radio. Ein schlechter Sender macht einen harten Schnitt. Ein guter Sender lässt das alte Lied langsam leiser werden, während das neue Lied langsam lauter wird. In dieser Übergangsphase hören beide Lieder gleichzeitig leise im Hintergrund.

Genau das macht Prompt Relay mit den Textbefehlen:

Am Ende der Adlerszene wird der Befehl „Adler" nicht sofort komplett abgeschaltet.
Der Befehl „Cyberpunk-Stadt" wird nicht sofort laut.
Stattdessen gibt es einen kurzen Moment, in dem die KI beide Ideen sanft vermischt, um den Übergang flüssig zu gestalten. So entsteht ein natürlicher Wechsel, ohne dass die KI verwirrt wird.

4. Warum ist das so toll?

Kein Neulernen nötig: Die KI muss nicht neu trainiert werden. Es ist wie ein „Plug-and-Play"-Filter, den man einfach über die bestehende Software legt.
Kein langsamerer Prozess: Es kostet keine zusätzliche Rechenzeit.
Bessere Qualität: Da die KI nicht versucht, alles gleichzeitig zu machen, werden die Bilder schärfer und die Geschichte verständlicher.

Zusammenfassung in einer Metapher

Stell dir die KI als einen Koch vor, der ein riesiges Omelett macht.

Ohne Prompt Relay: Der Koch wirft alle Zutaten (Eier, Speck, Käse, Schokolade, Chili) gleichzeitig in die Pfanne. Das Ergebnis ist ein ungenießbarer Brei.
Mit Prompt Relay: Der Koch hat einen Timer. Zuerst kocht er nur die Eier. Wenn die Eier fertig sind, schaltet er den Timer um und gibt erst dann den Speck hinzu. Zum Schluss kommt der Käse. Jede Zutat wird zur richtigen Zeit hinzugefügt, und das Ergebnis ist ein perfektes, mehrstufiges Gericht.

Fazit: Prompt Relay gibt der KI endlich das Gefühl für Zeit. Es erlaubt uns, komplexe Geschichten zu erzählen, bei denen die Dinge in der richtigen Reihenfolge passieren, ohne dass die KI in einem semantischen Chaos untergeht. Ein großer Schritt hin zu KI-generierten Filmen, die sich wie echte Geschichten anfühlen.

1. Problemstellung

Video-Diffusionsmodelle haben zwar beeindruckende Fortschritte bei der Generierung hochwertiger Videos erzielt, stoßen jedoch bei der Darstellung zeitlicher Abfolgen mehrerer Ereignisse in realistischen Szenarien an ihre Grenzen.

Fehlende zeitliche Kontrolle: Bestehende Modelle sind oft für die Generierung einzelner Ereignisse optimiert. Nutzer können nicht explizit festlegen, wann ein Ereignis stattfindet, wie lange es dauert oder in welcher Reihenfolge mehrere Ereignisse ablaufen.
Semantische Verflechtung (Semantic Entanglement): Wenn ein einzelner Prompt mehrere Ereignisse beschreibt, behandeln die Modelle den gesamten Text als globalen Kontext für jeden Frame. Dies führt dazu, dass semantische Konzepte, die für verschiedene Zeitpunkte gedacht sind, ineinander überlaufen (z. B. vermischt sich das Bild eines Kavaliers mit dem eines Caveman).
Schwache Text-Video-Ausrichtung: Die Folge ist eine schlechte Ausrichtung zwischen Text und Video, insbesondere bei komplexen, filmähnlichen Erzählungen, die präzise Timing und Übergänge erfordern.
Limitationen bestehender Lösungen: Bisherige Ansätze erfordern entweder aufwendiges Fine-Tuning mit annotierten Daten (was die Verteilung des vortrainierten Modells verschiebt) oder nutzen harte Masken, die an den Segmentgrenzen zu visuellen Artefakten und abrupten Brüchen führen.

2. Methodik: Prompt Relay

Das Paper stellt Prompt Relay vor, eine Methode zur feinkörnigen zeitlichen Kontrolle, die ausschließlich zur Inferenzzeit (während der Generierung) angewendet wird. Sie erfordert keine Änderungen an der Architektur und keinen zusätzlichen Rechenaufwand.

Grundprinzip: Die Methode teilt den generierten Videotext in zeitlich definierte Segmente auf. Jeder Text-Prompt $p_s$ ist einem spezifischen Zeitintervall $[t_{start}^s, t_{end}^s]$ zugeordnet.
Temporales Cross-Attention-Routing:
- Im Standard-Cross-Attention-Mechanismus eines Diffusionsmodells attendieren alle Latent-Tokens (Video-Features) auf alle Text-Tokens.
- Prompt Relay führt einen Strafterm (Penalty) $C(Q, K)$ in die Cross-Attention-Logits ein.
- Die Formel lautet:
  $\text{Attn}(\phi(z_t), \psi(P)) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d}} - C(Q, K)\right)V$
- Der Strafterm unterdrückt die Aufmerksamkeit zwischen Query-Tokens (Video-Frames) und Key-Tokens (Text-Prompts), wenn diese nicht zum selben Zeitintervall gehören.
Boundary-Attention Decay (Grenz-Attention-Abklingung):
- Anstatt eine harte Maskierung zu verwenden (die Aufmerksamkeit abrupt auf Null setzt), nutzt Prompt Relay eine weiche Gaußsche Strafe.
- Innerhalb eines definierten Fensters um den Mittelpunkt des Segments ( $w$ ) gibt es keine Strafe. Außerhalb dieses Fensters nimmt die Aufmerksamkeit glatt ab, basierend auf dem zeitlichen Abstand zum Segmentmittelpunkt.
- Vorteil: Dies ermöglicht einen sanften Übergang („Handoff") zwischen benachbarten Prompts. Das Modell kann die Übergangszone gemeinsam planen, bevor es sich für die visuelle Darstellung des nächsten Ereignisses entscheidet. Dies verhindert Diskontinuitäten, die bei harten Masken auftreten (wo Self-Attention und Cross-Attention inkonsistente Signale liefern).

3. Wichtige Beiträge

Prompt Relay: Eine plug-and-play Methode zur feinkörnigen zeitlichen Kontrolle ohne Trainingskosten oder Architekturänderungen.
Boundary-Attention Decay: Ein neuartiger Mechanismus, der semantische Interferenzen an Segmentgrenzen durch eine weiche, Gaußsche Strafe auf die Cross-Attention-Logits unterdrückt, anstatt harte Grenzen zu ziehen.
Verbesserte Leistung: Nachweis, dass diese Methode die zeitliche Prompt-Ausrichtung signifikant verbessert, semantische Interferenzen reduziert und gleichzeitig die visuelle Qualität im Vergleich zum Basismodell steigert.

4. Ergebnisse

Die Evaluation wurde auf dem State-of-the-Art-Modell Wan2.2-T2V-A14B durchgeführt und mit anderen Modellen (Sora, Veo 3.1, Kling 2.6) sowie Baseline-Varianten verglichen.

Experimentelles Setup: Es wurden 20 diverse Test-Szenarien mit 3–6 zeitlichen Ereignissen generiert.
Bewertungsmetriken: Da quantitative Metriken oft versagen, wurde eine menschliche Präferenzstudie (30 Teilnehmer) durchgeführt, die drei Dimensionen bewertete:
1. Zeitliche Prompt-Ausrichtung: Wird das Ereignis im richtigen Zeitfenster gezeigt?
2. Natürlichkeit der Übergänge: Gibt es abrupte Schnitte oder Flickern?
3. Visuelle Qualität: Schärfe, Konsistenz und Artefakte.
Ergebnisse:
- Prompt Relay erreichte die besten Werte in zeitlicher Ausrichtung (Score 1.10, niedriger ist besser) und Übergangsnatürlichkeit (1.17).
- Überraschenderweise verbesserte sich auch die visuelle Qualität im Vergleich zum Baseline-Wan2.2 (von 4.00 auf 2.83), da die Reduktion unnötiger Konkurrenz im Attention-Raum dem Modell erlaubt, sich klarer auf das aktive semantische Konzept zu fokussieren.
- Zwar erreichten Modelle wie Kling 2.6 und Veo 3.1 insgesamt noch höhere visuelle Qualität (was auf die Kapazität des Backbones hindeutet), aber Prompt Relay übertrifft alle anderen Methoden in der korrekten zeitlichen Strukturierung.

5. Bedeutung und Limitationen

Bedeutung: Prompt Relay ist ein entscheidender Schritt hin zu „filmreifer" Video-Synthese. Es ermöglicht die Erstellung komplexer, mehrstufiger Erzählungen mit präzisen Kamerafahrten und Szenenwechseln, ohne dass das Modell neu trainiert werden muss. Es adressiert das fundamentale Problem der semantischen Verflechtung in Diffusionsmodellen durch eine elegante Routing-Strategie.
Limitationen: Da jedes Segment primär auf seinen lokalen Prompt achtet, können persistente visuelle Elemente (Charaktere, Objekte, Stil) über die Segmente hinweg „driften", wenn sie nicht konsistent beschrieben werden.
- Lösung: Das Paper schlägt vor, einen globalen Prompt zu verwenden, der als gemeinsamer Kontext über das gesamte Video hinweg dient und persistente Elemente verankert, um Drift zu verhindern.

Zusammenfassend bietet Prompt Relay eine effiziente, trainingsfreie Lösung, um Video-Generierungsmodelle von der Erzeugung einzelner Szenen zur Erstellung kohärenter, zeitlich strukturierter Filmsequenzen zu befähigen.