🤖 AI

The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation

Dit artikel introduceert een agentisch raamwerk met een ScripterAgent en DirectorAgent, ondersteund door een nieuwe benchmark en evaluatiemetrics, om de semantische kloof tussen dialoog en cinematografische videoproduktie op lange termijn te overbruggen door hoog-niveau concepten om te zetten in uitvoerbare scripts die narratieve coherentie en scripttrouw waarborgen.

Oorspronkelijke auteurs: Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film wilt maken, maar alles wat je hebt is een ruw gesprek tussen twee personen. Je hebt geen script, geen camerainstructies en geen idee hoe lang elke scène moet duren. Als je een huidige AI-videogenerator gewoon vraagt "maak een film van dit gesprek", faalt het meestal. Het maakt misschien een prachtige clip van 5 seconden, maar het kan geen verhaal vertellen dat minuten duurt, en de personages zien er vaak in elke opname anders uit.

Dit artikel introduceert een nieuw "Agentic Kader" (een team van AI-specialisten) om dit probleem op te lossen. Denk er als een digitale filmproductieploeg die een simpel gesprek omzet in een volwaardige cinematografische film.

Hier is hoe hun team werkt, opgesplitst in drie hoofdpersonages:

1. De ScripterAgent: De "Scenarioschrijver"

Het Probleem: Ruwe dialogen zijn rommelig. Er staat niet waar de camera staat, hoe de acteur moet bewegen, of hoe het licht eruitziet.
De Oplossing: De ScripterAgent fungeert als een professionele scenarioschrijver die van details houdt.

Wat het doet: Het neemt het ruwe gesprek en schrijft een gedetailleerd, shot-voor-shot script. Het beslist: "Oké, voor deze zin hebben we een close-up van het gezicht van de acteur nodig, dan een wijdbeeld van het park, en de camera moet langzaam naar links pansen."
Hoe het leerde: De onderzoekers leerden het met behulp van een speciale dataset genaamd ScriptBench. Ze voerden niet zomaar willekeurige data in; ze gebruikten een strikt "expert-gestuurd" proces waarbij menselijke regels het script controleerden op fouten (zoals ervoor zorgen dat een personage niet plotseling teleporteert of van kleren verandert).
Het Geheim: Ze trainden het in twee stappen. Eerst leerden ze het de grammatica van scripts (Supervised Fine-Tuning). Vervolgens gebruikten ze een "coachings"-methode (Reinforcement Learning) waarbij de AI werd beloond voor keuzes die artistiek en dramatisch aanvoelden, niet alleen logisch correct.

2. De DirectorAgent: De "Filmregisseur"

Het Probleem: Zelfs met een perfect script kunnen huidige video-AI's alleen korte clips maken (zoals 8–12 seconden). Als je probeert een 2-minuten durende film te maken, raakt de AI in de war en beginnen de personages er in elke nieuwe clip anders uit te zien.
De Oplossing: De DirectorAgent fungeert als een regisseur die een lange opnamesessie beheert door deze op te delen in hanteerbare stukken.

De Strategie: In plaats van de AI te vragen om de hele film in één keer te maken, snijdt de DirectorAgent het script in kleine "scènes" die passen binnen de beperkingen van de AI.
De "Frame-Anchoring"-Truc: Dit is hun slimste zet. Wanneer de AI Scène 1 heeft voltooid, neemt de DirectorAgent het laatste frame van die scène en gebruikt het als startfoto voor Scène 2.
- Analogie: Stel je voor dat je een estafettestok doorgeeft in een estafetteloop. De loper (Scène 2) begint niet bij nul; hij begint precies waar de vorige loper (Scène 1) ophield. Dit zorgt ervoor dat het gezicht, de kleding en de achtergrond van het personage exact hetzelfde blijven, waardoor een naadloze, lange film ontstaat.

3. De CriticAgent: De "Filmcriticus"

Het Probleem: Hoe weet je of de film echt goed is?
De Oplossing: De CriticAgent is een AI-rechter die de uiteindelijke film bekijkt en het script leest om te zien of ze overeenkomen.

Wat het controleert: Het kijkt naar zaken als "Bewoog de camera zoals het script zei?", "Matchte de emotie van de acteur de dialoog?" en "Verliep het verhaal logisch?"
Nieuwe Metriek: Ze bedachten een nieuwe score genaamd VSA (Visual-Script Alignment). Denk hierbij aan een "timing-check". Het vraagt niet alleen: "Is de hond in de video?" Het vraagt: "Is de hond in de video op het exacte moment dat het script zei dat de hond zou moeten verschijnen?"

Wat Vonden Ze?

Het team testte hun systeem op 's werelds beste video-AI's (zoals Sora, Veo en anderen).

Het Resultaat: Toen ze hun "Scripter"- en "Director"-team gebruikten, maakten de video-AI's veel betere films. De personages bleven consistent, het verhaal gaf zin en de video's volgden het script veel nauwkeuriger.
De Ruil: Ze ontdekten een grappige regel in huidige AI: Sommige modellen zijn geweldig in dingen realistisch en mooi laten lijken (visueel spektakel), maar worstelen om het script exact te volgen. Anderen zijn geweldig in het volgen van het script, maar zien er misschien iets minder "cinematisch" uit. Hun kader helpt dit in evenwicht te brengen, waardoor de AI het verhaal beter volgt zonder de visuele kwaliteit te verliezen.

In het Kort

Dit artikel zegt: "Het Script is Alles Wat Je Nodig Hebt."
Als je een simpel gesprek wilt omzetten in een film, kun je de AI niet gewoon vragen om het te "doen". Je hebt een AI-Scenarioschrijver nodig om het gedetailleerde plan te schrijven, een AI-Regisseur om de clips aan elkaar te naaien zodat de personages niet van gezicht veranderen, en een AI-Criticus om ervoor te zorgen dat het eindproduct daadwerkelijk overeenkomt met het plan. Deze teamaanpak overbrugt de kloof tussen een simpel idee en een langspeel cinematografisch verhaal.

Technische Samenvatting: Een Agentic Framework voor Langdurige Dialoog-naar-Cinematografische Videogeneratie

1. Probleemstelling

Recente vooruitgang in videogeneratiemodellen (bijv. Sora2-Pro, Veo3.1, Wan2.5) heeft aangetoond dat ze hoogwaardige, realistische videoclips kunnen synthetiseren uit eenvoudige tekstprompts. Er blijft echter een aanzienlijke "semantische kloof" bestaan bij het genereren van langdurige, coherente verhalen uit hoogwaardige concepten zoals dialoog. Huidige modellen worstelen met het vertalen van schaarse, grofkorrelige dialoog naar de gedetailleerde, uitvoerbare plannen die nodig zijn voor cinematografische uitvoering. Deze beperking manifesteert zich in drie kernuitdagingen:

Contextuele Ambiguïteit: Het oplossen van ambiguïteiten die inherent zijn aan schaarse dialoog zonder rijke visuele context.
Domeinkennis: Het genereren van technisch geldige camerasppecificaties, regieaanwijzingen en shotcomposities.
Creatief Redeneren: Het overbruggen van de kloof tussen wat wordt gezegd (dialoog) en wat moet worden getoond (visuele actie) om narratieve en temporele coherentie te behouden.

Bestaande benaderingen vertrouwen vaak op passieve beschrijving (video-naar-tekst) of falen in het leveren van het gedetailleerde "script" dat nodig is om geautomatiseerd filmen te sturen, wat leidt tot identiteitsdrift, inconsistente stijl en verlies van narratieve continuïteit bij langdurige generatie.

2. Methodologie

De auteurs stellen een nieuw, end-to-end agentic framework voor dat bestaat uit drie gespecialiseerde agenten: ScripterAgent, DirectorAgent en CriticAgent. Deze pijplijn keert de conventionele video-taalrelatie om, van passieve beschrijving naar actieve generatie van uitvoerbare filmplannen.

2.1 ScripterAgent: Dialoog-naar-Script Generatie

De kern van het framework is ScripterAgent, ontworpen om grove dialoog te vertalen naar een fijnkorrelig, gestructureerd cinematografisch script.

Dataset (ScriptBench): Om deze agent te trainen, construeerden de auteurs ScriptBench, een grote benchmark (1.750 instanties) afgeleid van hoogwaardige cinematografische cutscenes. De dataset beschikt over rijke trimodale context (dialoog, audio, karakterposities) en is geannoteerd via een nieuw, expert-geleid proces:
1. Contextherconstructie: Het afleiden van karakterrelaties, emotionele neigingen en causale relaties uit multimodale invoer.
2. Shot-niveau Semantische Planning: Het verdelen van het verhaal in shots op basis van integriteit, duur (maximaal 10s), semantische coherentie en technische haalbaarheid.
3. Meer-rondige Adaptieve Foutcorrectie: Een geautomatiseerde lus die dialoogvolledigheid, karakterconsistentie, scenes coherentie en fysieke rationaliteit verifieert, verfijnd door expert-audits.
Trainingsparadigma: ScripterAgent hanteert een tweestapsbenadering op een Qwen-Omni-7B basismodel:
1. Supervised Fine-Tuning (SFT): Loopt het model de structurele syntaxis van cinematografische scripts (JSON-formaat) en narratieve volledigheid aan.
2. Reinforcement Learning (RL): Gebruikt Group Relative Policy Optimization (GRPO) met een hybride beloningsfunctie. Deze functie combineert een regelgebaseerde structurele beloning (formaat, volledigheid) met een menselijke voorkeursbeloning (getraind op expert regisseurscores voor dramatische spanning, visuele beeldspraak en tempo). Deze fase brengt het model in lijn met professionele regisseursaesthetiek.

2.2 DirectorAgent: Langdurige Uitvoering

DirectorAgent orkestreert state-of-the-art videogeneratiemodellen om het gegenereerde script uit te voeren. Het adresseert de temporele beperkingen van huidige modellen (typisch 8–12 seconden) via een Cross-Scene Continue Generatiestrategie:

Intelligente Shot-gebaseerde Segmentatie: Het script wordt opgedeeld in "scenes" die cinematografische grenzen respecteren (shotintegriteit, narratieve beats) en binnen het generatievenster van het doelmodel passen.
Frame-Anchoring Mechanisme: Om visuele continuïteit over scenes heen te waarborgen, wordt het laatste frame van de voorgaande scene ( $N-1$ ) geëxtraheerd en gebruikt als visueel anker (conditioning image) voor het eerste frame van de volgende scene ($0$). Deze "visuele relais" behoudt karakteridentiteit, kleding en scene-indeling, en mitigeert de identiteitsdrift die gebruikelijk is bij naïeve segmentatie.

2.3 CriticAgent: Evaluatieframework

Een veelzijdig evaluatiesysteem beoordeelt zowel scriptgeneratie als videogeneratie:

AI Rating: Aangedreven door LLM's (bijv. gemini-2.5-pro), die structurele correctheid, shot-rationaliteit en cinematografische kwaliteit beoordelen over dimensies zoals cameraarticulatie, lichaamstaal en emotionele bochten.
Menselijke Rating: Panels van professionele regisseurs en scenarioschrijvers beoordelen artistieke kwaliteit, inclusief dramatische spanning, visuele beeldspraak en karakterconsistentie.
Visueel-Script Uitlijning (VSA): Een nieuw geautomatiseerd meetgetal geïntroduceerd om temporeel-semantische fideliteit te kwantificeren. VSA meet of visuele gebeurtenissen plaatsvinden binnen hun aangewezen tijdsintervallen zoals gespecificeerd door het script, en adresseert de beperking van standaardmetrieken die alleen controleren of content verschijnt, niet wanneer.

3. Belangrijkste Resultaten

Uitgebreide experimenten op de ScriptBench-testset tonen de effectiviteit van het framework aan over meerdere state-of-the-art videomodellen (Vidu2, Seedance1.5-Pro, Kling2.6, Wan2.6, HYVideo1.5, Sora2-Pro, Veo3.1).

Scriptgeneratie: De volledige ScripterAgent (SFT + RL) presteert aanzienlijk beter dan baselines (bijv. CHAE, MoPS, SEED-Story). Menselijke experts beoordeelden de output als hoger in Dramatische Spanning (4,1 vs. 3,7) en Visuele Beeldspraak (4,3 vs. 3,8). De RL-fase bleek cruciaal voor het verhogen van creatieve dimensies boven structurele correctheid.
Videogeneratie: Het gebruik van ScripterAgents scripts als invoer verbeterde universeel de prestaties van alle geteste videomodellen.
- Getrouwheid: Script-Getrouwheidsscores namen aanzienlijk toe (bijv. Wan2.6 van 3,2 naar 4,0; Sora2-Pro van 3,6 naar 4,2).
- Temporele Coherentie: De VSA-metriek bevestigde verbeterde temporeel-semantische coherentie, met scores die in sommige gevallen met meer dan 7 punten verbeterden (bijv. Veo3.1 van 51,4 naar 53,8).
- Consistentie: De Frame-Anchoring-strategie verminderde effectief identiteitsdrift en verbeterde Karakterconsistentie en Narratieve Coherentie.
Trade-off Analyse: De studie onthult een fundamentele trade-off in huidige SOTA-modellen: sommige (zoals Sora2-Pro) blinken uit in visueel spektakel en fysiek realisme, terwijl anderen (zoals HYVideo1.5) prioriteit geven aan scriptgetrouwheid en narratieve integriteit. Het framework verbetert het laatste zonder het potentieel van het eerste te offeren.

4. Betekenis en Bijdragen

Het artikel claimt de eerste end-to-end oplossing te bieden voor dialooggedreven cinematografische videogeneratie, en biedt een nieuw paradigma voor geautomatiseerd verhalenvertellen. De primaire bijdragen zijn:

Agentic Framework: Een nieuw drie-agentensysteem dat de semantische kloof overbrugt tussen schaarse dialoog en coherent cinematografisch output, en verder gaat dan eenvoudige prompt-engineering naar gestructureerde planning.
ScriptBench & ScripterAgent: De introductie van een hoogwaardige, expert-geleide benchmark en een model getraind met een tweestaps SFT+RL-paradigma om professionele, uitvoerbare cinematografische scripts te genereren.
Temporele Coherentiestrategie: Het aantonen dat een "script-centric" aanpak, gecombineerd met frame-anchoring, de vaste duurbeperkingen van huidige videogeneratoren kan overwinnen, waardoor langdurige narratieve consistentie mogelijk wordt.
Inzicht in Modelbeperkingen: De identificatie van een kritieke trade-off tussen visueel spektakel en strikte scriptnaleving in toonaangevende videomodellen, wat waardevolle richtlijnen biedt voor toekomstige modelontwikkeling en applicatie-selectie.
Nieuwe Metriek: Het voorstellen van Visueel-Script Uitlijning (VSA) om temporeel-semantische fideliteit kwantitatief te meten, een dimensie die eerder werd genegeerd door standaard videokwaliteitsmetrieken.

De auteurs concluderen dat dit werk verder gaat dan eenvoudige prompt-gebaseerde generatie, en de grondslag legt voor geavanceerde geautomatiseerde verhalenvertelsystemen die kunnen redeneren over cinematografie, tempo en langetermijnconsistentie. Toekomstig werk wordt voorgesteld om zich te richten op fijnkorrelige controle (bijv. lip-sync) en adaptieve stijlgeneratie.