💻 computer science

Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

Het artikel introduceert Prompt Relay, een plug-and-play methode die zonder extra rekenkracht of architecturale wijzigingen de tijdscontrole bij het genereren van meerdelige video's verbetert door een straf in het cross-attention-mechanisme in te bouwen om semantische interferentie te voorkomen.

Oorspronkelijke auteurs: Gordon Chen, Ziqi Huang, Ziwei Liu

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Gordon Chen, Ziqi Huang, Ziwei Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die een video wilt maken met een AI. Je geeft de AI een lange tekst met een verhaal: "Eerst ziet je een adelaar vliegen, dan zoomt de camera in op zijn oog waar een futuristische stad te zien is, en daarna zie je plotseling een caveman in de zon."

Het probleem met de huidige AI-filmmakers is dat ze niet goed kunnen luisteren naar wanneer iets moet gebeuren. Ze lezen je hele verhaal in één keer en proberen alles tegelijk te visualiseren. Het resultaat is vaak een rommelige soep: de caveman heeft misschien een futuristische stad op zijn achtergrond, of de adelaar heeft ineens een caveman-hoed op. De concepten "verwarren" elkaar.

De auteurs van dit paper, Gordon Chen en zijn team, hebben een slimme oplossing bedacht die ze Prompt Relay noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Alles-tegelijk"-Kookpot

Stel je voor dat je een kok bent die een complexe maaltijd moet bereiden. Je hebt een recept dat zegt: "Kook de pasta, bak dan het vlees, en serveer daarna de salade."
De huidige AI-koks gooien echter alle ingrediënten (pasta, vlees, salade) tegelijk in één grote pan en hopen dat het goed komt. Resultaat? Een smakeloze, chaotische soep waar de pasta en het vlees door elkaar lopen. In video-termen: de AI probeert alle scènes tegelijk te tekenen, waardoor de tijdsorde verloren gaat.

2. De Oplossing: De "Slimme Regisseur" (Prompt Relay)

Prompt Relay is als een slimme regisseur die naast de AI-kok staat. Deze regisseur heeft geen nieuwe camera nodig en kost geen extra geld (geen extra training of hardware). Hij doet iets heel simpels maar effectiefs: hij verdeelt de aandacht.

Hij zegt tegen de AI: "Oké, van seconde 0 tot 2, kijk alleen naar het stukje tekst over de adelaar. Vergeet de caveman en de stad even. Van seconde 2 tot 4, kijk alleen naar de stad in het oog. En pas daarna, van seconde 4 tot 6, denk pas aan de caveman."

3. Hoe werkt het technisch? (De "Zachte Overgang")

De slimme truc zit hem in hoe de AI kijkt naar de tekst.

De oude manier (Harde Maskering): Dit is alsof je een deur plotseling dichtgooit. Je kijkt naar de adelaar, en klik, de deur sluit en je kijkt direct naar de stad. Dit zorgt voor een schokkende overgang in de video, alsof er een harde knip in de film zit.
De Prompt Relay-methode (Zachte Overgang): Dit is als een dimlicht of een gordijn dat langzaam opent.
- Als de video bijna klaar is met de adelaar-scène, begint de regisseur zachtjes de tekst over de stad "aan te zetten".
- Tegelijkertijd zet hij de tekst over de adelaar zachtjes "uit".
- Er is een klein momentje waar de AI beide teksten een beetje ziet. Dit geeft de AI de kans om de overgang soepel te plannen, net zoals een danser die langzaam van danspartner wisselt in plaats van plotseling te springen.

4. Waarom is dit geweldig?

Geen extra werk: Je hoeft de AI niet opnieuw te leren (geen "training"). Het werkt direct met bestaande modellen.
Geen extra kosten: Het kost geen extra rekenkracht.
Beter verhaal: De video vertelt nu echt een verhaal in de juiste volgorde. De adelaar vliegt eerst, dan zie je de stad, en dan de caveman. Geen verwarrende mix meer.
Hogere kwaliteit: Omdat de AI niet hoeven te "gissen" naar alles tegelijk, kan hij zich beter focussen op één ding per moment. Dit maakt de beelden scherper en mooier.

Samenvattend

Prompt Relay is als het geven van een tijdschema aan een kunstenaar die normaal gesproken alles door elkaar trekt. Het zorgt ervoor dat de kunstenaar precies weet wanneer hij welke penseelstreek moet zetten. Hierdoor ontstaan er films die niet alleen mooi zijn, maar ook een logisch verhaal vertellen, zonder dat je de kunstenaar hoeft te vervangen of extra materialen hoeft te kopen.

Het is een "plug-and-play" oplossing: je plakt het gewoon op je bestaande video-generator, en plotseling wordt je AI een echte filmregisseur.

Probleemstelling

Bestaande video-diffusiemodellen hebben indrukwekkende prestaties geleverd op het gebied van visuele kwaliteit en bewegingscoherentie. Echter, ze worstelen met het genereren van video's die bestaan uit een opeenvolging van meerdere gebeurtenissen (multi-event). De huidige modellen zijn geoptimaliseerd voor het genereren van één enkel evenement en missen expliciete mechanismen voor tijdscontrole.

Wanneer gebruikers een complexe prompt gebruiken die meerdere gebeurtenissen beschrijft (bijvoorbeeld: "een adelaar vliegt, dan zoomt de camera in, en vervolgens zien we een cyberpunkstad"), ontstaan de volgende problemen:

Semantische verstrengeling (Semantic Entanglement): Concepten die bedoeld zijn voor verschillende momenten in de video "lekken" naar elkaar toe.
Gebrek aan temporele bewustwording: Omdat het model elke frame conditioneert op de volledige prompt gelijktijdig, behandelt het de prompt als globale context in plaats van een temporeel gestructureerde sequentie.
Slechte tekst-video uitlijning: Het is moeilijk voor het model om te bepalen wanneer een concept verschijnt, hoe lang het duurt en in welke volgorde gebeurtenissen plaatsvinden.

Bestaande oplossingen vereisen vaak extra training met grote datasets (wat de pre-trained verdeling verschuift) of gebruiken harde maskers die leiden tot visuele artefacten en onnatuurlijke overgangen op de grenzen van segmenten.

Methodologie: Prompt Relay

De auteurs stellen Prompt Relay voor, een methode die werkt tijdens de inferentie (inference-time), plug-and-play is, en geen architecturale wijzigingen of extra rekenkracht vereist. De kern van de methode ligt in het manipuleren van het cross-attention mechanisme.

1. Tijdsgebaseerde Prompt Routing
De methode neemt een reeks tijdsgebonden prompts aan: $\{(p_s, t_{start}^s, t_{end}^s)\}$ . Het doel is dat elke prompt $p_s$ alleen invloed heeft op het video-segment binnen het interval $[t_{start}^s, t_{end}^s]$ .

2. Boundary-Attention Decay (De kerninnovatie)
In plaats van harde maskers (die attention volledig blokkeren buiten een segment), introduceert Prompt Relay een strafterm (penalty term) $C(Q, K)$ in de cross-attention logits.

Formule: De attention wordt berekend als:
$\text{Attn} = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} - C(Q, K)\right)V$
Strafmechanisme: De straf $C(i, j)$ $C (i, j)$ is afhankelijk van de temporele afstand tussen de query-token (frame $i$ $i$ ) en het middelpunt van het toegewezen segment ( $m_s$ $m_{s}$ ).
- Binnen een bepaald venster rond het middelpunt is de straf 0 (vrije attention).
- Buiten dit venster neemt de attention glad af (smooth decay) volgens een Gaussische functie naarmate de afstand tot het segmenttoewijzing toeneemt.
Voordeel ten opzichte van Hard Masking: Harde maskers creëren een discontinuïteit waar cross-attention abrupt schakelt terwijl self-attention vastzit aan de vorige structuur, wat leidt tot conflicterende signalen (bijv. een persoon die plotseling van kleding verandert). Boundary-Attention Decay zorgt voor een graduele overdracht (handoff) waarbij naburige prompts zachtjes worden gecombineerd aan de randen, waardoor het model de overgang kan plannen voordat deze visueel wordt vastgelegd.

3. Global Context
Om visuele consistentie (zoals personages of achtergronden) over verschillende segmenten heen te behouden, wordt een "global prompt" toegevoegd die als persistente context dient voor het hele video-segment.

Belangrijkste Bijdragen

Prompt Relay: Een test-tijd, plug-and-play methode voor fijne temporele controle in video-generatie zonder extra trainingskosten of architecturale aanpassingen.
Boundary-Attention Decay: Een zachte Gaussische strafmechanisme dat semantische interferentie over segmentgrenzen heen onderdrukt, maar zorgt voor soepele overgangen in plaats van harde knippen.
Verbeterde Prestaties: Aantonen dat deze methode de temporele uitlijning van prompts aanzienlijk verbetert, semantische interferentie reduceert en zelfs de visuele kwaliteit van de basismodellen verhoogt door onnodige competitie in de attention-ruimte te verminderen.

Resultaten

De auteurs hebben Prompt Relay getest op state-of-the-art modellen zoals Wan2.2-T2V-A14B en vergeleken met modellen als Sora Storyboard, Veo 3.1, en Kling 2.6.

Kwalitatieve Resultaten: Prompt Relay slaagt erin complexe scenario's (bijv. een adelaar die vliegt, gevolgd door een cyberpunkstad op een tv-scherm) correct te sequentiëren zonder dat concepten door elkaar lopen.
Kwantitatieve Resultaten (Human Preference Study):
- Temporele Prompt Uitlijning: Prompt Relay (op Wan 2.2) behaalde de beste score (laagste rangnummer: 1.10), wat aangeeft dat gebeurtenissen veel nauwkeuriger op het juiste tijdstip plaatsvinden vergeleken met baselines (bijv. Wan 2.2 zonder Relay scoorde 4.00).
- Natuurlijkheid van Overgangen: Ook hier behaalde Prompt Relay de beste scores (1.17), wat betekent dat de overgangen tussen scènes veel soepeler zijn en minder artefacten vertonen.
- Visuele Kwaliteit: Interessant genoeg presteerde Wan 2.2 met Prompt Relay beter in visuele kwaliteit dan de basis Wan 2.2. Dit wordt toegeschreven aan het feit dat het model zich kan focussen op één semantisch concept per moment, wat leidt tot een scherpere visuele structuur.

Betekenis en Impact

Prompt Relay is een belangrijke stap richting filmwaardige, controleerbare videosynthese.

Het lost het fundamentele probleem op van "semantische entanglement" in bestaande diffusion-modellen zonder de noodzaak van kostbare hertraining.
Het biedt een universele oplossing die werkt met bestaande backbones, waardoor het direct toepasbaar is in de huidige AI-ecosystemen.
De methode maakt het mogelijk om complexe verhalen te vertellen met meerdere scènes, camera-bewegingen en actie-sequenties in één generatiecyclus, wat essentieel is voor toepassingen in film, advertising en creatieve content creatie.

De auteurs erkennen wel een beperking: als lokale prompts inconsistent zijn over personages of objecten, kan er "drift" optreden. Dit wordt echter effectief opgelost door het gebruik van een globale prompt die als anker dient.