Technische Samenvatting: DramaDirector: Geometrie-gestuurde Generatie van Korte Drama's

Probleemstelling

De generatie van korte drama's vanuit plot-samenvattingen brengt unieke uitdagingen met zich mee die de huidige text-to-video pipelines niet kunnen aanpakken. Korte drama's worden gekenmerkt door snelle shot-ritmes, dialooggestuurde focusverschuivingen en specifieke cinematografische conventies (bijv. over-the-shoulder shots, gestapelde close-ups) die aanzienlijk verschillen van roman-achtige storytelling.

Bestaande benaderingen kampen met twee primaire beperkingen:

1. Afwijking van Shot-grammatica: Large Language Models (LLMs), die een gebrek hebben aan blootstelling aan grootschalige corpora van korte drama's, hebben de neiging om storyboards in een romanstijl te genereren. Ze slagen er niet in de snelle cuts en specifieke emotionele ritmes te vangen die inherent zijn aan de productie van korte drama's.
2. Ondergespecificeerde Cinematografische Geometrie: Tekstuele beschrijvingen missen vaak de ruimtelijke beperkingen die nodig zijn om een frame te definiëren (bijv. schouder-occlusie, kijkrichting, dieptevolgorde). Omdat deze details inherent visueel zijn, kunnen downstream-generatoren die alleen ambigue tekstuele aanwijzingen ontvangen, de noodzakelijke geometrische getrouwheid niet herstellen, zelfs niet met sterkere generatoren of rijkere prompts.

Methodologie: DramaDirector

De auteurs stellen DramaDirector voor, een geometrie-gegronde framework die de kloof tussen narratieve planning en visuele realisatie overbrugt door cinematografische geometrie te lenen uit een galerij van echte shots uit korte drama's. Het framework werkt via een gestructureerde pipeline:

1. Geometrie-gegronde Generatie Pipeline

Het systeem deelt de generatietaak op in plannings- en realisatiefases:

• Storyboard Planning: Een LLM-planner ($g_\phi$) genereert een storyboard $Y$ bestaande uit paren van statische visuele condities ($q_j$) en dynamische narratieve condities ($d_j$).
  • $q_j$ omvat camerakadering, scène en subjectstatus, wat het sleutelbeeld (keyframe) verankert.
  • $d_j$ omvat actie, dialoog en emotie, wat de temporele uitrol aanstuurt.
• Retrieval-Augmented Grounding: In plaats van uitsluitend op tekst te vertrouwen, haalt het systeem een diepte-pose referentie ($I^r_j$) op uit een vooraf geïndexeerde galerij ($G$) van echte korte drama-shots. Deze retrieval is gebaseerd op de geometrische compatibiliteit tussen de tekstconditie $q_j$ en de galerij-shots, gemeten door een geleerd text-visueel uitlijningsmodel.
• Synthese:
  • First-Frame Generatie: Een generator ($F_\xi$) synthetiseert het sleutelbeeld ($I^0_j$) door te conditioneren op $q_j$, terwijl het de lay-out, pose en diepte overneemt van de opgehaalde referentie $I^r_j$.
  • Video Synthese: Een image-to-video model ($H_\psi$) voert de shot uit met behulp van $I^0_j$ als visuele anker en $d_j$ als de temporele instructie.

2. Trainingsstrategie

De planner wordt getraind met een combinatie van Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL):

• Schema-beperkte SFT: De planner wordt aangepast via multi-task supervised finetuning op echte korte drama-storyboards. Taken omvatten:
  • Storyboard Continuatie: Autoregressieve voorspelling van shots.
  • Single-shot Voorspelling: Lokale verbetering van de realisatie.
  • Multi-field Completie: Herstel van ontbrekende velden.
  • Shot Ordening: Versterken van de temporele coherentie.
  • Reconstructie: Versterken van de plan-naar-shot grounding.
• RL met GRPO: De planner wordt verder geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO) met een multi-objective beloningsfunctie:
  • Visuele Retrieval Beloning ($R_{ret}$): Een contrastieve beloning die ervoor zorgt dat de gegenereerde storyboard's statische condities geometrisch overeenkomen met de visuele vectoren van de doel-episode.
  • Video-Generatie Gereedheid Beloning ($R_{vid}$): Een LLM-judge scoort de dynamische narratieve condities op concreetheid, coherentie en tempo.
  • Schema Geldigheid Beloning ($R_{fmt}$): Bestraft ontbrekende velden of niet-parseerbare outputs.
  • De gewichten voor deze beloningen worden lineair geëanneleerd om de prioriteit te leggen op schema-geldigheid en visuele grounding voordat de focus verschuift naar video-gereedheid.

3. Geometrie-bewuste Text-Visuele Uitlijning

Een toegewezen uitlijningsmodel wordt getraind om de geometrische match tussen een statische tekstconditie en een kandidaat-shot te scoren.

• Input: Tekstcondities worden gedecomposeerd in camera, scène en subjectstatus. Visueel bewijs bestaat uit dieptekunten (depth maps) en menselijke pose-kaarten, waarbij uiterlijke kenmerken en identiteit worden weggelaten om puur op geometrie te focussen.
• Training: Het model gebruikt bidirectioneel contrastief leren met hard negative mining. Negatieven worden afkomstig van niet-aangrenzende shots, andere episodes, en specifiek uit dezelfde drama om triviale mismatches te voorkomen, zodat het model fijnmazige geometrische onderscheidend vermogen leert.

Belangrijkste Bijdragen

1. DramaDirector Framework: Een nieuwe benadering die de scheiding maakt tussen statische visuele en dynamische narratieve condities, waarbij diepte-pose referenties van echte shots worden opgehaald om de eerste-frame generatie en video-synthese te sturen.
2. Trainingsparadigma: Een hybride trainingsstrategie die multi-task schema-beperkte SFT combineert met GRPO-gebaseerde RL, gebruikmakend van een geleerd text-visueel uitlijningsbeloning om storyboards te optimaliseren voor real-shot uitvoerbaarheid.
3. DramaBoard Benchmark: Een uitgebreide dataset geconstrueerd uit 35 live-action drama's (2,8K episodes, 81K shots) met gestructureerde storyboards, uitgelijnde sleutelbeelden en multidimensionale evaluatieprotocollen die narratieve kwaliteit, instructie-opvolging en intrinsieke videokwaliteit dekken.
4. Prestatiewinsten: Empirisch bewijs dat verbeteringen laat zien ten opzichte van representatieve multi-agent en video generatie baselines op het gebied van getrouwheid, consistentie en controleerbaarheid.

Experimentele Resultaten

Experimenten werden uitgevoerd op de DramaBoard benchmark, waarbij DramaDirector werd vergeleken met acht baselines (waaronder SkyScript, MovieAgent en SkyReels-A2).

• Storyboard Narratieve Kwaliteit: DramaDirector behaalde de hoogste scores in Relevantie (0,7230) en Coherentie (0,7732), waarmee het baselines zoals UniVA en MovieAgent versloeg. Dit geeft aan dat multi-task supervisie en beloningsoptimalisatie effectief de pacing en continuïteit van korte drama's vangen.
• Instructie-opvolging: Het model behaalde de hoogste Gelijkenis (0,6826) en Zuiverheid (0,9752), wat duidt op een sterke uitlijning met dynamische narratieve prompts en een reductie in gehallucineerde elementen.
• Video Intrinsieke Kwaliteit: DramaDirector behaalde de hoogste Esthetiek (0,8189) en de laagste DIS (0,1549, wat wijst op betere temporele stabiliteit), terwijl het tweede werd in Consistentie (0,9003).
• Ablatie-studies:
  • Het verwijderen van de retrieval beloning veroorzaakte de grootste daling in coherentie.
  • Dieptekunten werden geïdentificeerd als de dominante retrieval cue; het verwijderen ervan zorgde bijna voor het instorten van de retrieval prestaties.
  • De combinatie van diepte en pose bleek essentieel voor het balanceren van ruimtelijke lay-out en karakterdynamiek.
• Retrieval Discriminabiliteit: Het uitlijningsmodel van DramaDirector presteerde beter dan algemene visuele-taal encoders (bijv. Tongyi-Vision) en andere RAG-methoden (bijv. VidoRAG) in retrieval metrieken (R@10, N@10), wat de waarde van expliciete diepte-pose projectie bevestigt.

Betekenis en Claims

Het artikel claimt dat DramaDirector succesvol cinematografische grounding transformeert van een text-prompting probleem naar een retrieval-en-beloningsprobleem. Door gebruik te maken van real-world geometrische priors (diepte en pose) in plaats van te proberen complexe ruimtelijke beperkingen te verbaliseren, overbrugt het framework de kloof tussen high-level planning en low-level visuele synthese.

De auteurs positioneren dit werk als een stap richting coherente sleutelbeeldgeneratie en cinematografisch ritme in AI-videosynthese. Ze benadrukken dat hun aanpak de specifieke "shot-grammatica" van korte drama's aanpakt, die generieke text-to-video modellen vaak missen. De introductie van DramaBoard wordt benadrukt als een cruciale bijdrage aan het vakgebied, aangezien het de eerste gestructureerde benchmark biedt met shot-niveau annotaties en evaluatieprotocollen specifiek voor korte drama-generatie.

Het artikel concludeert bescheiden en erkent dat hoewel retrieval-augmented grounding de visuele getrouwheid verbetert, het mogelijk nog steeds moeite heeft met zeer complexe of long-tail interacties waar de referentie-galerij geen vergelijkbare ruimtelijke lay-outs heeft. Toekomstig werk suggereert de exploratie van bredere genres, nauwere audio-visuele synchronisatie en interactieve storyboard-editing.