Co-Director: Agentic Generative Video Storytelling

1. Probleemstelling

Hoewel diffusiemodellen hoogwaardige videoproduktie hebben bereikt, blijft het omzetten van deze clips in coherente, langdurige verhalen een aanzienlijke uitdaging. Huidige benaderingen staan voor drie primaire beperkingen:

• Semantische Drift & Cascaderende Fouten: Bestaande agentische pipelines vertrouwen op lineaire, "waterval"-ketens van onafhankelijke modules (bijv. script $\to$ storyboard $\to$ video). Fouten in vroege stadia verspreiden zich stroomafwaarts, wat leidt tot identiteitsdrift (karakters veranderen van uiterlijk) en narratieve oncoherentie.
• Gebrek aan Globale Optimalisatie: Huidige systemen gebruiken statische, handgemaakte prompts. Ze missen een mechanisme om hoge creatieve intentie te koppelen aan downstream-generatie, waardoor ze falen in het verkennen van nieuwe narratieve strategieën of het vinden van een balans tussen exploratie en exploitatie.
• Evaluatiegaten: Bestaande benchmarks focussen op geïsoleerde sub-taken (bijv. tekst-naar-afbeelding) of vertrouwen op gememoriseerde real-world entiteiten, waardoor ze het ware end-to-end verhalend vermogen onder strikte beperkingen niet kunnen evalueren.

2. Methodologie: Co-Director Framework

De auteurs stellen Co-Director voor, een hiërarchisch multi-agent framework dat videoverhalen formaliseert als een globaal optimalisatieprobleem. Het systeem integreert een Multi-Armed Bandit (MAB) voor globale strategie-selectie met lokale zelf-verfijningsslussen.

A. Hiërarchische Multi-Agent Architectuur

Het systeem wordt gecoördineerd door een centrale Orchestrator Agent ($\Phi_{orch}$) die de flow en globale staat beheert:

1. Pre-Production Agent ($\Phi_{pre}$): Transformeert gebruikersprompts en referentievisuals in een gestructureerd Storyboard ($S$). Het genereert:
   • Creatieve Brief: Contextuele verrijking.
   • Verhaallijn ($L$): Script scène-per-sceène.
   • Visuele Assets ($V$): Generatie van ontbrekende karakter- of attribuutreferenties.
   • Storyboard: Gedetailleerde scenodescriptoren inclusief camera-kinematica en audio-instructies.
2. Production Agent ($\Phi_{prod}$): Synthetiseert multimodale artefacten vanuit het storyboard:
   • Keyframe Agent ($\Phi_{frame}$): Genereert initiële frames om visuele priors te vestigen en identiteitsdrift te voorkomen.
   • Video Agent ($\Phi_{video}$): Conditioneert videodiffusiemodellen op keyframes om clips ($C$) te genereren.
   • Audio Agent ($\Phi_{audio}$): Synthetiseert voice-over en muziek op basis van globale instructies.
3. Post-Production Agent ($\Phi_{post}$): Assembleert clips en audio tot de definitieve video ($F$).

B. Globale Optimalisatie via Multi-Armed Bandits (MAB)

In plaats van lineaire prompting, behandelt Co-Director het creatieve proces als een zoektocht over een hiërarchische parameter ruimte ($\theta$).

• Actieruimte: Gedefinieerd door drie orthogonale assen:
  1. Creatieve Strategie ($\theta_{cs}$): Informatief, Transformatief, of Comparatief.
  2. Narratieve Modus ($\theta_{nm}$): Analytisch, Vignet, of Narratief Drama.
  3. Esthetisch Archetype ($\theta_{aa}$): Duidelijkheid/Energie, Cinematisch Premium, Minimalistische Focus, of Kinetic Grit.
• Mechanisme: De MAB (met behulp van het UCB1-algoritme) selecteert een combinatie van deze parameters ($\theta^{(t)}$) voor elke iteratie. De Orchestrator synthetiseert deze tot specifieke instructies die in sub-agent prompts worden geïnjecteerd, zodat alle agenten aligneren met een verenigde creatieve intentie.
• Beloningssignaal: Een MLLM Judge evalueert de definitieve video en output een gefactoreerd beloningssignaal $R = (r_{cs}, r_{nm}, r_{aa})$. Dit ontkoppelt de evaluatie van de creatieve strategie van de uitvoeringskwaliteit, waardoor de MAB kan isoleren welke specifieke parameters succes hebben gedreven.
• Warm Start: Een LLM initialiseert de verwachte waarden van de MAB op basis van het productdomein om vroege exploratie te biasen naar theoretisch onderbouwde configuraties.

C. Lokale Optimalisatie via Agente Zelf-Verfijning

Om foutpropagatie te voorkomen, hanteert het systeem feedback descent-lussen:

• Verhaallijn Verfijning: Een LLM evalueert het verhaal op haak-kwaliteit, cohesie en productintegratie, en herschrijft de prompt als scores onder een drempelwaarde vallen.
• Keyframe Verfijning: Een MLLM evalueert de reeks keyframes gezamenlijk (niet individueel) om identiteitsdrift en omgevingsinconsistenties te detecteren, en genereert selectief alleen defecte frames opnieuw.

3. Belangrijkste Bijdragen

1. Co-Director Framework: Het eerste systeem dat generatief verhalen vertellen formaliseert als een globaal optimalisatieprobleem met behulp van MAB-gestuurde sturing, en zo verder gaat dan lineaire pipelines naar een hiërarchische, coherente architectuur.
2. Hiërarchische Parametrisatie: Een nieuwe methode voor het doorgeven van creatieve intentie over agenten heen door hoge strategieën te decomponeren in specifieke, uitvoerbare instructies voor sub-agenten, waardoor semantische botsingen worden voorkomen.
3. GenAd-Bench: Een strenge nieuwe benchmark bestaande uit 400 scenario's over 200 fictieve producten. Het gebruikt fictieve entiteiten om modelmemorisatie te voorkomen en legt strikte beperkingen op aan visuele asset-fideliteit, demografische alignering en marketingaantrekkingskracht.
4. Gefactoreerd Beloningsmechanisme: Een nieuwe evaluatiebenadering die strategische effectiviteit ontkoppelt van uitvoeringskwaliteit, waardoor precieze krediettoewijzing mogelijk wordt in niet-differentieerbare pipelines.

4. Experimentele Resultaten

De auteurs hebben Co-Director geëvalueerd op GenAd-Bench tegen state-of-the-art baselines, waaronder monolithische modellen (Veo 3.1, Wan 2.6), commerciële platforms (HeyGen, Creatify) en andere agentische frameworks (AniMaker, MovieAgent).

• Prestatie: Co-Director behaalde de hoogste gemiddelde score (81,4/100), significant beter dan de volgende beste agentische baseline (MovieAgent met 65,3) en monolithische modellen (Veo 3.1 met 63,6).
• Belangrijke Metrieken:
  • Visuele Asset Fideliteit (VAF): 82,1 (vs. 67,0 voor Wan 2.6).
  • Demografische Alignering (DA): 91,4 (vs. 81,3 voor MovieAgent).
  • Marketingaantrekkingskracht (MA): 82,0.
  • Visuele Kwaliteit (VQ): 70,2.
• Ablatiestudies:
  • Het verwijderen van MAB-optimalisatie (Random Search) liet de gemiddelde score zakken naar 75,7.
  • Het verwijderen van lokale zelf-verfijning (Verhaallijn of Keyframe) veroorzaakte significante dalingen in narratieve coherentie en asset-fideliteit (bijv. VAF daalde met ongeveer 9,8 punten zonder keyframe-verfijning).
  • Het "Gefactoreerd Beloning"-ontwerp bleek cruciaal; het samenvoegen tot een enkele scalar verlaagde de prestatie met 5,0 punten.
• Efficiëntie: De MAB met Warm Start convergeerde in de eerste paar iteraties naar hoogwaardige resultaten, terwijl Random Search veel meer iteraties vereiste om vergelijkbare configuraties te vinden.

5. Betekenis

• Gestuurde Creatieve Automatisering: Co-Director demonstreert dat generatieve video verder kan gaan dan eenvoudig prompt-volgen naar strategisch creatief redeneren, waarbij exploratie van nieuwe ideeën wordt gebalanceerd met exploitatie van bewezen stijlen.
• Schaalbaarheid voor Onafhankelijke Creatievelingen: Door de complexe coördinatie van script, visuele consistentie en regie te automatiseren, democratiseert het framework high-end cinematografische productie, die eerder alleen toegankelijk was voor grote teams.
• Robuuste Evaluatie: De introductie van GenAd-Bench zet een nieuwe standaard voor het evalueren van end-to-end generatieve workflows, specifiek adresserend de "memorisatiebias" in huidige benchmarks.
• Generaliseerbaarheid: Hoewel gedemonstreerd op reclame, suggereert het vermogen van het framework om strikte beperkingen te hanteren en identiteit te behouden toepasbaarheid op bredere cinematografische verhalen, korte films en gepersonaliseerde contentcreatie.

Kortom, Co-Director vertegenwoordigt een paradigmaverschuiving van lineaire, foutgevoelige generatiepipelines naar een globaal geoptimaliseerd, zelfcorrigerend agentisch systeem, dat state-of-the-art resultaten bereikt in narratieve coherentie, visuele consistentie en strategische alignering.