💻 computer science

WorldJen: An End-to-End Multi-Dimensional Benchmark for Generative Video Models

WorldJen introduceert een end-to-end meerdimensionale benchmark voor generatieve videomodellen die gebrekkige binaire VQA vervangt door VLM-evaluaties op basis van een hoge-resolutie Likert-schaal, waarbij door middel van adversariaal samengestelde prompts en een robuust drie-traps beoordelingssysteem een perfecte afstemming wordt bereikt met menselijke voorkeurshetelingen.

Oorspronkelijke auteurs: Karthik Inbasekar, Guy Rom, Omer Shlomovits

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Karthik Inbasekar, Guy Rom, Omer Shlomovits

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofdscheidsrechter bent bij een enorme, hoog-risico kookwedstrijd. Maar in plaats van eten te proeven, bekijk je video's die gegenereerd zijn door kunstmatige intelligentie. Jouw taak is om te beslissen welke AI-chef de beste is.

Lange tijd gebruikten de juryleden de verkeerde hulpmiddelen. Ze hadden een liniaal om te meten hoe "pixel-perfect" de afbeelding was (zoals het controleren of de zoutkorrels de juiste grootte hadden) of een frequentie-analysator om te zien of de kleuren overeenkwamen met een referentieafbeelding. Maar deze tools misten het grote plaatje: Heeft de chef echt een maaltijd bereid? Maakten de ingrediënten zin? Kookte de soep over? Of maakte de chef gewoon een wazige, wiskundig perfecte rommeltje dat er helemaal niet uitzag als eten?

Andere recente pogingen probeerden de juryleden simpele "Ja of Nee"-vragen te stellen, zoals "Is de fysica correct?". Maar mensen (en AI-juryleden) neigen naar "Ja" te zeggen, tenzij de video volledig kapot is. Dit maakte het onmogelijk om het verschil te maken tussen een "goede" video en een "geweldige" video.

Maak kennis met WORLDJEN. Denk hierbij aan een gloednieuw, ultra-geavanceerd beoordelingssysteem dat is ontworpen om deze problemen op te lossen. Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het Menu: Gecureerde Prompts

In plaats van de AI te vragen "maak een video van een kat", creëerden de onderzoekers een specifiek menu van 3.754 complexe "recepten" (prompts). Dit zijn geen simpele verzoeken; ze zijn ontworpen om de AI tegelijkertijd op 16 verschillende vaardigheden te testen, zoals:

Beweging: Beweegt het personage soepel, of trilt het?
Fysica: Als een bal wordt gegooid, valt hij dan zoals de zwaartekracht voorschrijft?
Logica: Als een persoon achter een boom loopt, verdwijnt en verschijnt hij dan correct?
Esthetiek: Is de belichting en kleur mooi?

2. De Menselijke Proeverij (De Ground Truth)

Voordat ze een computer vertrouwden om te beoordelen, hadden de onderzoekers een "gouden standaard" nodig. Ze huurden 7 menselijke experts in om 300 video's te bekijken (gegenereerd door 6 verschillende top-tier AI-modellen) en te stemmen welke beter was.

Het Resultaat: De mensen waren het eens over een duidelijke "Drie-Tier" rangschikking.
- Top Tier: Twee modellen (Veo 3.1 en Kling) waren duidelijk de beste.
- Mid Tier: Drie modellen waren goed, maar statistisch niet van elkaar te onderscheiden.
- Bottom Tier: Eén model zat duidelijk achterop.
  Deze menselijke rangschikking is de "waarheid" waartegen alles andere wordt gemeten.

3. De AI-Jury (De VLM)

Nu stelden de onderzoekers de vraag: "Kan een AI-jury (een Vision-Language Model) deze taak net zo goed uitvoeren als een mens?"
Ze vroegen de AI niet zomaar "Is dit goed?". In plaats daarvan gaven ze de AI een Likert-schaalvragenlijst (een beoordelingssysteem van 1 tot 5, zoals een Yelp-beoordeling) voor elke afzonderlijke video.

De Truc: De AI-jury bekijkt de video in zijn volledige, native resolutie (niet verkleind tot een miniatur). Hij stelt zichzelf 10 specifieke vragen per video over specifieke details (bijv. "Flikkerde de hand van het personage?" of "Bewoog de schaduw correct?").
De Score: Hij geeft een score voor elke vraag, en deze worden gecombineerd tot een uiteindelijke rangschikking.

4. De Grote Onthulling

Toen de rangschikkingen van de AI-jury werden vergeleken met de Menselijke Proeverij, waren de resultaten schokkend: Ze kwamen perfect overeen.

De AI identificeerde correct de Top Tier, de Mid Tier en de Bottom Tier.
Hij was het 100% van de tijd eens met de mensen over de volgorde van de modellen.
Dit bewijst dat de AI-jury een betrouwbare, goedkope en snelle vervanging kan zijn voor dure menselijke juryleden.

5. Waarom Het Beter Is Dan De Oude Manier (VBench)

Het artikel vergelijkt WORLDJEN met een bestaand systeem genaamd VBench.

VBench is als een jurylid dat door een sleutelgat knijpt (lage resolutie) en alleen controleert of de kleuren ongeveer goed zijn. Het geeft vaak iedereen een "perfecte" score omdat de verschillen te klein zijn om te zien.
WORLDJEN is als een jurylid met een vergrootglas die de hele video bekijkt. Het vindt de kleine barstjes in de fysica en de subtiele glitches die VBench mist.
Het Resultaat: VBench faalde om de modellen correct te rangschikken in vergelijking met mensen, terwijl WORLDJEN het goed deed.

6. De "Fysica-Gap" Ontdekking

Een van de meest interessante bevindingen van dit nieuwe systeem is een "Fysica-Gap".
Zelfs de beste AI-modellen ter wereld zijn nog steeds vreselijk in het begrijpen van basisfysica.

De Metafoor: Stel je voor dat de AI-chefs geweldig zijn in het presenteren van het eten (het mooi maken) en het arrangeren van de tafel (compositie). Maar als je ze vraagt het eten daadwerkelijk te koken (een bal laten stuiteren of water laten stromen), falen ze vaak.
Het artikel vond dat zelfs de topmodellen slecht scoorden op "Fysieke Mechanica" en "Inertiaal Consistentie". Ze zien er goed uit, maar ze gehoorzamen nog niet helemaal aan de wetten van het universum.

Samenvatting

WORLDJEN is een nieuwe, slimmere manier om AI-videogenerators te testen. Het gebruikt complexe "recepten" om de AI uit te dagen, laat mensen de standaard bepalen en bewijst vervolgens dat een slimme AI-jury net zo goed kan beoordelen als een mens. Het laat zien dat hoewel AI-video's er geweldig uitzien, ze nog steeds moeite hebben om te begrijpen hoe de echte wereld fysiek werkt.

Wat het artikel NIET beweert:

Het beweert niet dat dit systeem klaar is voor medische diagnose of klinisch gebruik.
Het beweert niet dat dit morgen direct zal veranderen hoe films in Hollywood worden gemaakt.
Het beweert niet dat de AI-jury's perfect zijn in elke mogelijke situatie, alleen dat ze overeenkomen met menselijke rangschikkingen op deze specifieke set tests.

Technische Samenvatting: WORLDJEN – Een End-to-End Meerdimensionale Benchmark voor Generatieve Videomodellen

1. Probleemstelling

Het evalueren van generatieve videomodellen blijft een open uitdaging vanwege de beperkingen van bestaande metrieken en benchmarks. Traditionele referentiegebaseerde metrieken zoals SSIM en PSNR geven prioriteit aan pixeltrouw boven semantische correctheid, terwijl distributiemetrieken zoals Frechet Video Distance (FVD) voorkeur geven aan textuurgelijkendheid boven fysieke plausibiliteit.

Huidige benchmarks, zoals VBench 2.0, vertrouwen op Binair Visueel Vraag-Antwoord (VQA) uitgevoerd door Vision-Language Models (VLM's). De auteurs identificeren vier kritieke gebreken in deze aanpak:

Resolutieverlies: Onderliggende metrieken (DINO, CLIP, RAFT) schalen frames in naar 224×224 pixels, waardoor fijnmazige temporale artefacten en schendingen van de fysica worden uitgemiddeld.
Binair Bias: Binair VQA lijdt aan "ja-bias", waarbij VLM's standaard "Ja" antwoorden tenzij fouten catastrofaal zijn, en ontberen de granulariteit om subtiele kwaliteitsverschillen te detecteren of gradaties van falen te onderscheiden.
Promptbeperking: Prompts zijn vaak ontworpen voor enkele dimensies, waardoor ze de complexiteit van real-world queries die meerdere kwaliteitsassen overlappen, niet weerspiegelen.
Schalingskosten: Een uitgebreide evaluatie vereist het genereren van duizenden video's (bijvoorbeeld VBench 2.0 vereist ~3.200 video's), wat een onoverkomelijke barrière vormt voor snelle iteratieve ontwikkeling.

2. Methodologie: Het WORLDJEN Framework

WORLDJEN adresseert deze beperkingen via een twee-fasen pipeline die is ontworpen om videogeneratiekosten te verlagen terwijl de evaluatiegranulariteit en betrouwbaarheid worden verhoogd.

Fase A: Promptcursatie

Bron: Prompts worden gefilterd uit het VidProM-corpus (~1,7 miljoen door mensen geschreven prompts), waarbij na voorfiltering ongeveer 5.000 overblijven.
Meerdimensionale Beoordeling: 16 kwaliteitsdimensies worden gedefinieerd over vier groepen:
- Beweging & Stabiliteit: Subject/Scène-consistentie, Bewegingsgladheid, Temporale Flikkering, Inertie-consistentie.
- Logica & Fysica: Fysieke Mechanica, Objectpermanentie, Menselijke Fideliteit, Dynamischheidsgraad.
- Opdrachtvolging: Semantische Adherentie, Ruimtelijke Relatie, Semantische Drift.
- Esthetische Kwaliteit: Compositie, Belichting, Kleurharmonie, Structurele Gestalt.
Verbetering: Prompts worden gescoord op geschiktheid en moeilijkheidsgraad, veiligheids- en auteursrechtproblemen worden verholpen, en ze worden verrijkt door LLM's om complexiteit te verhogen zonder de kernthema's te wijzigen. De uiteindelijke gecureerde set bevat 3.754 unieke prompts.

Fase B: Evaluatie-engine

Prompt-specifieke Vraaggeneratie: Voor elke prompt en toepasselijke dimensie genereert een gestructureerde LLM-pipeline 10 Likert-schaalvragen (schaal 1–5). Deze vragen behandelen verwachte gebeurtenissen, faalmodi, succesmodi en adversariële probes, en zorgen ervoor dat ze specifiek zijn voor de prompt in plaats van generiek.
Videogeneratie: Er wordt één video gegenereerd per (model, prompt)-paar. De studie evalueert 6 state-of-the-art modellen (Veo 3.1 Fast, Kling v2.6 Pro, LTX-2, Wan v2.2 A14B, Hunyuan v1.5, Wan 2.1 1.3B) over 50 gecureerde prompts, wat resulteert in 300 video's.
VLM als Rechter: Video's worden geëvalueerd door een VLM (Gemini 3 Flash) op native resolutie. Het framework maakt gebruik van dimensiebewuste frame-stealing:
- Holistische Modus (32 frames): Voor globale esthetische en semantische dimensies.
- Gestealde Modus (16 frames): Voor consistentiedimensies.
- Micro-modus (~12 frames): Dichte stealing van de eerste ~2 seconden voor bewegings- en fysicadimensies.
Scoren: De VLM geeft integer Likert-scores (1–5) en rechtvaardigingen. Deze scores worden geaggregeerd en omgezet in Bradley-Terry (BT) ratings via Maximum Likelihood Estimation (MLE) om een gerangschikte leaderboard te produceren.

3. Belangrijkste Bijdragen

Promptcursatie: Een corpus van 3.754 door mensen geschreven, door LLM's verrijkte prompts die zijn gefilterd en beoordeeld op 16 dimensies om brede dekking en complexe kruis-dimensionale interacties te waarborgen.
Menselijke Ground Truth: Een blinde paarvoorkeurstudie met 7 annotatoren (4 experts, 3 externen) die 750 modelparen (2.696 stemmen) evalueerden over 50 prompts. Dit vestigde een menselijke BT-rating met een duidelijke drie-trapsstructuur en 66,9% inter-annotator overeenstemming.
Prompt-specifieke Likert-vragenlijsten: Een systeem dat 10 dimensiespecifieke vragen per prompt genereert, binair VQA vervangt door granulaire 1–5 scoring om nuance in kwaliteitsverschillen vast te leggen.
VLM Evaluatie-engine: Een geautomatiseerde pipeline die een VLM-rechter op native resolutie gebruikt en de door mensen vastgestelde drie-traps rangschikkingsstructuur reproduceert met perfecte rangovereenstemming (Spearman $\hat{\rho}=1.000$ ).
Voorspelde Menselijke Uitlijningsscore (PHAS): Een gewogen gemiddelde van dimensiescores, gekalibreerd tegen menselijke voorkeuren met niet-negatieve ridge-logistische regressie, wat een interpreteerbare aggregate metriek biedt.

4. Resultaten

Menselijke Evaluatie

De menselijke studie onthulde een distincte drie-traps hiërarchie onder de zes modellen:

Top Trap: Veo 3.1 Fast en Kling v2.6 Pro (statistisch niet te onderscheiden binnen de trap, maar duidelijk gescheiden van de middentrap).
Middentrap: Wan v2.2 A14B, LTX-2 en Hunyuan v1.5 (statistisch niet te onderscheiden cluster).
Bodemptrap: Wan 2.1 1.3B (significant achterblijvend ten opzichte van de anderen).

VLM Evaluatie

De WORLDJEN VLM-engine, gebruikmakend van Gemini 3 Flash, reproduceerde de menselijke ground truth exact:

Rangovereenstemming: Spearman $\hat{\rho}=1.000$ ( $p=0.0014$ ) en Kendall $\tau=1.000$ tegenover menselijke BT-rangschikkingen.
Trapstabiliteit: De drie-trapsstructuur bleef invariant over 1.000 bootstrap-resamples.
Dimensionale Inzichten:
- Fysica-gat: Alle modellen scoorden het laagst op Fysieke Mechanica en Inertie-consistentie (gemiddeld ~3,0/5), wat wijst op een aanzienlijke industrie-brede kloof in fysieke plausibiliteit.
- Esthetische Convergentie: Dimensies zoals Kleurharmonie en Semantische Drift toonden hoge scores (>4,5) en lage variantie, wat suggereert dat modellen zijn geconvergeerd naar esthetische kwaliteit.
- Menselijke Fideliteit: Een belangrijke differentiator, waarbij Veo 3.1 Fast leidt (4,15) en Wan 2.1 1.3B achterblijft (2,94).

Ablatiestudies

Auditor-onafhankelijkheid: Her-evaluatie met Claude Sonnet 4.6 behield de drie-trapsstructuur en rangorde, hoewel met een systematische strengheids-offset (lagere absolute scores).
Open-source Haalbaarheid: Gemma 4 (31B) behield de trapstructuur, maar toonde een zwakkere correlatie op fijnmazige temporale en fysicadimensies in vergelijking met de gesloten-source Gemini.
Vergelijking met VBench: Op dezelfde 50 prompts bereikte VBench een Spearman-correlatie van slechts 0,60 met menselijke rangschikkingen en slaagde er niet in de trappen correct te onderscheiden. WORLDJEN toonde 1–12× meer discriminatiekracht door native resolutie-verwerking en Likert-schaalgranulariteit, terwijl VBench's metrieken verzadigden bij plafondwaarden.

5. Betekenis en Claims

Het paper claimt dat WORLDJEN een betrouwbare, schaalbare en mens-uitgelijnde proxy biedt voor het evalueren van generatieve videomodellen. De primaire betekenis ligt in:

Overwinnen van Binair Bias: Door binair VQA te vervangen door Likert-schaalvragenlijsten, vangt het framework de nuance op die nodig is om modellen te rangschikken die anders ononderscheidbaar zijn voor binaire rechters.
Resolutietrouw: Het verwerken van video's op native resolutie maakt het detecteren van temporale artefacten en fysicaschendingen mogelijk die door 224×224-downsampling in andere benchmarks worden uitgemiddeld.
Efficiëntie: Door gebruik te maken van adversariaal gecureerde prompts die tot 16 dimensies simultaan testen, reduceert WORLDJEN het aantal video's dat nodig is voor statistische significantie in vergelijking met dimensiespecifieke benchmarks.
Industrie-inzicht: De benchmark onthult dat hoewel de esthetische kwaliteit is verbeterd, fysieke plausibiliteit een kritieke bottleneck blijft voor huidige state-of-the-art modellen, zelfs voor top-trap-prestators.

De auteurs benadrukken dat het framework is ontworpen om "gaming" (Goodhart's Law) te weerstaan en een robuuste basis biedt voor toekomstige modelontwikkeling, waarbij alle code, prompts en datasets zijn vrijgegeven voor reproduceerbaarheid.