Technische Samenvatting: DirectorBench

Probleemstelling

Het genereren van lange video's evolueert van korte, single-scene synthese naar minutenlange, multi-shot verhalen die cinematografische controle, audio-integratie en cross-modale synchronisatie vereisen. Echter, bestaande evaluatiebenchmarks zijn ontoereikend voor dit nieuwe paradigma. Huidige metrieken richten zich voornamelijk op lokale visuele fideliteit, temporal consistentie op korte termijn of generieke prompt-uitlijning. Ze falen in het diagnosticeren van workflow-fouten in multi-stage agentic systemen, negeren audio en cross-modale coördinatie, en reduceren kwaliteit tot één geaggregeerde score die gebruikersafhankelijke voorkeuren negeert. Bijgevolg ontbreekt het aan diagnostische hulpmiddelen die in staat zijn om knelpunten te lokaliseren (bijv. kwaliteit van overgangen versus kwaliteit van een enkel frame) of te evalueren hoe verschillende gebruikersprofielen dezelfde gegenereerde inhoud waarnemen.

Methodologie: DirectorBench

De auteurs introduceren DirectorBench, een gepersonaliseerde multi-agent diagnostische benchmark die is ontworpen om lange video's te evalueren via gestructureerde metadata, gebruikersprofielen en een hiërarchisch checkpoint-systeem.

1. Constructie van de Benchmark

• Metadatasppecificaties: De benchmark maakt gebruik van 80 gestructureerde metadata-items verdeeld over 7 categorieën (verhaal, commercieel, educatief, sci-fi, cinematografisch, actie, dagelijks leven). Elk item is een JSON-document dat objectieve vereisten definieert voor drie modaliteiten:
  • Tekst: Drie-act verhaalbogen, scripts per shot, dialoog en voice-over.
  • Visueel: Shot-beschrijvingen, camerabewegingen, belichting en consistentie-beperkingen (identiteit, kleding, scène).
  • Audio: Dialoog, lip-sync, achtergrondmuziek, geluidseffecten en tooncontrole.
• Gebruikersprofielen: Zeven distincte gebruikersprofielen ($u_1 \dots u_7$) vertegenwoordigen real-world voorkeuren. Elk profiel definieert:
  • Prioriteitsgewichten: Relatieve belangrijkheid van vier dimensies (Verhaal, Visueel, Audio, Cross-modale Synchronisatie). Opmerking: Stabiliteit wordt behandeld als een systeemniveau-metriek, niet als een gebruikersvoorkeur.
  • Harde Beperkingen: Niet-onderhandelbare vereisten (bijv. perfecte lip-sync) die aanzienlijke straffen veroorzaken als ze worden geschonden.
  • Gebruikerssmaak: Gedetailleerde esthetische voorkeuren en expertiseniveaus die worden gebruikt om gepersonaliseerde prompts te genereren.
• Gepersonaliseerde Prompts: Een LLM genereert specifieke creatie-instructies ($p = g(m, u)$) door metadata en gebruikersprofielen te combineren, zodat prompts de expertise en prioriteitsgewichten van de gebruiker weerspiegelen terwijl het equivalente informatie-inhoud behouden blijft.

2. Dynamische Checkpoint Rubric

Om diverse video-types te hanteren, maakt DirectorBench gebruik van een dynamische checkpoint rubric:

• Content Profiling: Een vision-language model analyseert representatieve frames en ASR-outputs om een "Content Profile" te genereren met 18 semantische attributen (bijv. aanwezigheid van personages, dialoog, scèneveranderingen).
• Checkpoint Activering: Een register van 40 checkpoints georganiseerd in 9 sub-metrieken over 5 dimensies (Script, Visueel, Audio, Cross-Modaal, Stabiliteit) wordt onderhouden. Op basis van het Content Profile worden alleen relevante checkpoints geactiveerd (bijv. lip-sync checkpoints worden overgeslagen voor landschapsvideo's zonder dialoog).
• Scoren: Geactiveerde checkpoints worden gescoord op een ordinale schaal van 1–5, genormaliseerd naar [0, 1], en geaggregeerd met content-bewuste gewichten.

3. Multi-Agent Evaluatiepijplijn

De evaluatie is geïmplementeerd als een Directed Acyclic Graph (DAG) met behulp van LangGraph, bestaande uit vier fasen:

• Fase 0 (Preprocessing): Tools extraheren gestructureerde signalen (shotgrenzen, optische flow, audio-scheiding, ASR, kleurenhistogrammen). Alle tool-traces worden geregistreerd voor auditbaarheid.
• Fase 1 (Specialist Evaluatie): Vier parallelle agents (Script, Visueel, Audio, Stabiliteit) evalueren hun respectievelijke dimensies met behulp van de tool-context en het content profile.
• Fase 2 (Cross-Modale Evaluatie): Een dedicated agent evalueert tekst-video consistentie en video-audio synchronisatie, en verifieert claims tegenover metadata en tool-outputs.
• Fase 3 (Diagnose Synthese): Een orchestrator aggregeert scores tot een gestructureerd Diagnose Rapport. Dit omvat:
  • Per-dimension en profiel-bewuste overall scores.
  • Een geprioriteerde lijst van knelpunten (laag-scorerende checkpoints).
  • Laag-vertrouwen vlaggen voor menselijke review.
  • Actiegerichte aanbevelingen gekoppeld aan specifieke fouten.

Belangrijkste Bijdragen

1. DirectorBench Framework: Een gepersonaliseerde, multi-agent diagnostische benchmark met 80 metadata-items, 7 gebruikersprofielen en 40 checkpoint-criteria over vijf dimensies.
2. Evaluatiepijplijn: Een dynamische, tool-verrijkte pijplijn die checkpoints activeert op basis van content, gebruik maakt van vertrouwen-bewuste aggregering, en diagnose-rapporten op checkpoint-niveau produceert in plaats van één geaggregeerde score.
3. Empirische Analyse: Een uitgebreide evaluatie van 4 agentic workflows, 6 basis-LLM's en 7 gebruikersprofielen, die specifieke faalmodi en de impact van personalisatie op kwaliteitsbeoordeling blootlegt.

Experimentele Resultaten en Observaties

De auteurs evalueerden vier workflows (MovieAgent, ViMax, Dreamina, Kling), zes basis-LLM's en zeven gebruikersprofielen.

• Workflow-Signaturen & Knelpunten:

  • Knelpunten tussen Units: De meest aanhoudende faalmodus in alle workflows is kwaliteit van overgangen (gemiddelde score 0,256) en temporale coherentie (0,405). Zelfs de beste workflow (Kling) scoorde slechts 0,356 op overgangen. Daarentegen waren single-frame fideliteit en prompt-invulling significant hoger (0,71).
  • Architecturale Trade-offs: Gesloten-bron agents (Dreamina, Kling) presteerden beter dan open-source varianten. Dreamina excelleerde in prompt-compliance maar had moeite met continuïteit tussen shots vanwege zijn incrementele edit-actie workflow. Kling behield betere globale coherentie via een gedeeld canvas, maar offerde strikte behoud van beperkingen op.
  • Video-type Sensitiviteit: Actievideo's waren de moeilijkste categorie om te genereren (0,455), terwijl cinematografisch shot-design het sterkst was (0,509).

• Impact van Basis LLM (RQ2):

  • De keuze voor de basis LLM beïnvloedde voornamelijk narratief redeneren (Script) en cross-modale coördinatie.
  • Visuele kwaliteit, audio-fideliteit en stabiliteit werden grotendeels bepaald door de workflow-architectuur en bleven ongevoelig voor de keuze van de basis LLM.
  • Geen enkele LLM domineerde alle dimensies; modellen toonden complementaire specialisaties (bijv. Seed 2.0 Pro voor script, GLM-5.1 voor audio).

• Noodzaak van Personalisatie (RQ3):

  • Generieke evaluatie (aggregering met gelijke gewichten) maskeert aanzienlijke gebruikersafhankelijke variatie. Dezelfde video kan scores ontvangen die variëren met meer dan 10 procentpunten, afhankelijk van het gebruikersprofiel (bijv. een "Visueel-zware" gebruiker versus een "Audio & Emotie" gebruiker).
  • Een enkele geaggregeerde score faalt in het vastleggen of een systeem specifieke gebruikersintenties vervult.

• Menselijke Alignering:

  • Een menselijke evaluatie met 14 annotatoren valideerde DirectorBench. Menselijke beoordelaars waren het erover eens dat continuïteit tussen shots en multi-modale consistentie de zwakste aspecten van huidige systemen waren, wat overeenkomt met de knelpuntdetectie van de benchmark.
  • Mensen bevestigden ook dat kwaliteitsvariaties afhankelijk van voorkeuren bestaan, wat de noodzaak van gepersonaliseerde evaluatie ondersteunt.

Betekenis en Claims

Het artikel claimt dat DirectorBench een kritieke kloof in de evaluatie van lange video's opvult door verder te gaan dan geaggregeerde scores om diagnostische, profiel-bewuste inzichten te bieden.

• Diagnostische Waarde: Het onthult dat het primaire knelpunt in huidige lange video-generatie niet binnen individuele frames ligt, maar in de continuïteit tussen units (shots en modaliteiten).
• Workflow versus Model: De studie demonstreert dat workflow-architectuur een dominantere factor in kwaliteit is dan de keuze van de basis LLM, wat suggereert dat optimalisatieprioriteiten zich moeten richten op systeemontwerp (bijv. propagatie van globale staat) voordat modelselectie plaatsvindt.
• Gebruikersgerichtheid: De benchmark bewijst dat "kwaliteit" geen absolute scalar is, maar een functie van gebruikersintentie. Gepersonaliseerde evaluatie is noodzakelijk om faalmodi en kwaliteitsvariaties bloot te leggen die generieke metrieken verbergen.

De auteurs positioneren DirectorBench als een hulpmiddel om gerichte methodische verbeteringen te sturen door specifieke knelpunten te lokaliseren, in plaats van systemen louter te rangschikken. Ze erkennen beperkingen met betrekking tot de afhankelijkheid van model-gebaseerde beoordelaars en suggereren dat toekomstig werk zich moet richten op het sluiten van de lus door deze diagnostische signalen te gebruiken om gerichte regeneratie of reparatiemechanismen te triggeren.