Technische Samenvatting: PRISM - Een Benchmark voor Programmatieke Ruimtelijk-Tijds Redenering

1. Probleemstelling

Hoewel recente vooruitgang in Large Language Models (LLM's) geautomatiseerde contentcreatie heeft uitgebreid naar video, lopen bestaande aanpakken tegen aanzienlijke beperkingen aan bij programmatieke videogeneratie. Huidige methoden volgen over het algemeen twee routes:

• Pixelgeneratie (Diffusiemodellen): Deze bereiken hoge visuele trouw, maar kampen met inconsistenties in de ruimtelijke samenhang, onnauwkeurige weergave van symbolen en logische coherentie op lange termijn, vanwege het ontbreken van expliciete geometrische constraints.
• Programmatieke generatie: Deze aanpak voert scripts uit (bijvoorbeeld met Manim) om objecten, lay-outs en tijdsdynamiek te definiëren, wat superieure geometrische precisie en controleerbaarheid biedt.

Er blijft echter een kritieke kloof bestaan in het evalueren of LLM's videoprogramma's kunnen synthetiseren die niet alleen uitvoerbaar zijn, maar ook ruimtelijk en tijds correct. Bestaande benchmarks zijn ontoereikend omdat:

1. Ze zich richten op statische output (grafieken, webpagina's) in plaats van continue tijdsreeksen die consistente objectrelaties vereisen.
2. Ze kleinschalig zijn en falen in het dekken van diverse realistische scenario's.
3. Evaluatieprotocollen vertrouwen op grove "VLM-as-judge"-beoordelingen of eenvoudige uitvoeringscontroles, waardoor fijnmazige renderingfouten zoals lay-outmisalignering of objecten die buiten de grenzen vallen en slechts in specifieke frames verschijnen, worden gemist.

De kernuitdaging is de "Execution-Spatial Gap" (Uitvoerings-Ruimtelijke Kloof): het verschil tussen code die succesvol draait en code die visueel coherente, ruimtelijk correcte animaties produceert.

2. Methodologie

2.1 Bouw van de PRISM Benchmark

De auteurs introduceren PRISM (Programmatic Reasoning In Spatial Modalities), een grootschalige, tweetalige (Engels/Chinees) benchmark met 10.372 door mensen gekalibreerde instructie-codeparen.

• Schaal en Reikwijdte: Het is 20× groter dan eerdere benchmarks voor programmatieke video, met een dekking van 437 onderwerpcategorieën die zijn verankerd in visualisatie van realistische kennis (bijvoorbeeld educatieve animaties, wetenschappelijke demonstraties).
• Framework voor Datacuratie: Een hiërarchische, mens-in-de-lus-pijplijn werd ingezet om meer dan 30.000 ruwe kandidaten te filteren:
  1. Deterministische Harde Filtering: Geautomatiseerde scripts parseren de Manim-renderingpijplijn om geometrische schendingen (bijvoorbeeld coördinatendrempels) te detecteren en steekproeven met lay-outdefecten te verwijderen.
  2. Grenzen Kalibratie: Een goudsubset van 3.000 door experts geannoteerde voorbeelden werd gebruikt om vrijstellingsregels en tolerantiedrempels te verfijnen, waardoor false positives tot een minimum werden beperkt.
  3. Menselijke Steekproefcontrole: De finale semantische review zorgt ervoor dat animaties overeenkomen met educatieve inhoud en pedagogisch geschikt zijn.
• Taakdefinitie: De taak wordt geformuleerd als een beperkt codegeneratieprobleem $f_\theta: I \to O$, waarbij natuurlijke taal-instructies (educatieve schetsen) worden gemapt naar een Manim-programma ($C$) en de gerenderde video ($V$).

2.2 Evaluatieframework

PRISM stelt een trechterstijl evaluatieframework voor met vier complementaire metrieken:

1. Betrouwbaarheid op Code-niveau: Meet uitvoeringsrobustheid. Dit omvat het basispercentage slagen (succes bij de eerste poging), fijnmazige foutcategorisatie (API-hallucinatie, misbruik, tekstrenderingsfouten, enzovoort) en uitvoeringscomplexiteit (gemiddelde rendertijd).
2. Ruimtelijk Redeneren: De kern-end-to-end-metriek die lay-outplanning over de volledige animatiereeks beoordeelt. Het detecteert drie faalmodi:
   • Lay-outoverlapping: Onbedoelde verduistering van visuele elementen.
   • Buiten de grenzen (OOB): Elementen die zich uitstrekken buiten het zichtbare frame.
   • Lay-outlek: Geometrische uitbreidingen die lokale regio's overschrijden (bijvoorbeeld tekst die uit een vakje loopt).
   • Mechanisme: Gebruikt een geautomatiseerd auditproces dat sleutelsnapshot vastlegt, objectpuntsets en begrenzingen extrahert, en deterministische checks toepast.
3. Prompt-bewuste Dynamische Visuele Complexiteit (PADVC): Kwantificeert input-relevante dynamische rijkdom. Het onderscheidt tussen bijna-statische output (onder-dynamisch) en excessieve decoratieve beweging (over-dynamisch). Het berekent een "gecentreerde" score ($PADVC_c$) op basis van de geometrische evolutie-energie van niet-tekstobjecten ten opzichte van de visuele dichtheid van de prompt.
4. Tijdsdichtheid (TD): Meet de snelheid van frame-niveau visuele verandering (tijdsactiviteit). Net als PADVC gebruikt het een gecentreerde score ($TD_c$) om video's te identificeren die te statisch zijn of lijden onder redundante overgangen.

3. Belangrijkste Resultaten

De auteurs evalueerden zeven gangbare LLM's (vier gesloten bronnen: GPT-5.4, Gemini 3.1 Pro, Kimi K2, Claude Sonnet 4.6; drie open source: Qwen3.5, GLM-5, DeepSeek-V3.2) op de benchmark.

• De Execution-Spatial Gap: Een opvallende bevinding is de gemiddelde daling van ~41% van het uitvoeringssuccespercentage naar het ruimtelijke slaagpercentage. Bijvoorbeeld, GPT-5.4 behaalde een uitvoeringspercentage van 94,5% in het Engels, maar slechts een ruimtelijk slaagpercentage van 30,8%. Dit bevestigt dat uitvoerbare code geen ruimtelijke coherentie garandeert.
• Modelprestaties:
  • Gesloten-bronmodellen leidden over het algemeen in betrouwbaarheid op code-niveau (uitvoeringssucces), maar leden vaak aan hoge ruimtelijke faalpercentages door "visueel ambitieuze" output die constraints schond.
  • Gemini 3.1 Pro Preview toonde de beste uitlijning, met de hoogste ruimtelijke scores en een van de kleinste Execution-Spatial gaps.
  • Open-sourcemodellen vertoonden gevarieerde prestaties; GLM-5 was het meest gebalanceerd, terwijl anderen worstelden met API-misbruik (Qwen3.5) of grenscontrole (DeepSeek-V3.2).
• Dynamiek versus Ruimtelijke Trade-off: Hoge dynamische intensiteit (hoge PADVC of TD) correleert met lagere ruimtelijke kwaliteit. Modellen die excessieve beweging of tekstuitbreiding produceren, veroorzaakten vaak lay-outschendingen.
• Ablatie van Denkmodus: Het inschakelen van "denk"-modi verbeterde de ruimtelijke organisatie niet betrouwbaar. In sommige gevallen (bijvoorbeeld Claude Sonnet 4.6) leidde denken tot dappere lay-outveranderingen die de ruimtelijke fouten (overlapping/OOB) verhoogden zonder het finale ruimtelijke slaagpercentage te verbeteren.

4. Betekenis en Claims

Het artikel stelt dat PRISM een principieel benchmark biedt voor het vooruitbrengen van ruimtelijk coherente codegeneratie, en voorbijgaat aan de beperkingen van huidige evaluatiemethoden.

• Voorbij Uitvoerbaarheid: Het werk stelt vast dat het evalueren van programmatieke videogeneratie verder moet gaan dan eenvoudige code-uitvoering en rigoureuze ruimtelijke en tijdsredeneringsmetrieken moet omvatten.
• Identificeren van Knelpunten: De resultaten benadrukken dat ruimtelijk redeneren op lange termijn het primaire knelpunt is voor huidige LLM's, en niet de basiscodegeneratiecapaciteiten.
• Bieding van Middelen: Door het vrijgeven van een grootschalige, hoogwaardige dataset met een deterministisch evaluatieframework, biedt PRISM een gestandaardiseerde testomgeving voor toekomstig onderzoek naar ruimtelijk verankerde programmatieke videogeneratie.

De auteurs concluderen dat hoewel LLM's uitvoerbare code kunnen genereren, ze momenteel de robuustheid missen om geometrische consistentie te behouden over uitgebreide geanimeerde reeksen; een kloof die PRISM is ontworpen om te meten en te helpen overbruggen.