🤖 AI

WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis

Dit artikel introduceert WorldCoder-Bench, een uitgebreide benchmark met 2.026 door experts gecureerde taken en het StateProbe execution-gebaseerde protocol om het vermogen van grote taalmodellen te evalueren en te verifiëren om fysiek gegronde, interactieve 3D-werelden in browser-native omgevingen te synthetiseren, waarbij wordt onthuld dat huidige grensmodellen aanzienlijk moeite hebben met het behouden van staatconsistentie en interactieketens.

Oorspronkelijke auteurs: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarchitect inhuurt om een virtuele speeltuin te bouwen op basis van een eenvoudige beschrijving die je geeft, zoals: "Maak een basketbalspel waarbij de bal realistisch stuiteren moet."

In het verleden, als je een AI vroeg om een website te bouwen, kon je gewoon naar het scherm kijken. Als de knoppen er goed uitzagen en de kleuren mooi waren, ging je ervan uit dat het werkte. Maar het bouwen van een 3D-wereld (zoals een videogame of een natuurkundige simulator) binnen een webbrowser is anders. Het is alsof je een huis bouwt waarvan de muren van onzichtbaar glas zijn gemaakt. Je kunt de buitenkant zien, maar je kunt niet zeggen of het fundament stevig is, of de deuren daadwerkelijk opengaan, of dat de zwaartekracht correct werkt, enkel door naar een plaatje te kijken.

Dit artikel introduceert WorldCoder-Bench, een nieuwe manier om te testen of AI daadwerkelijk deze werkende 3D-werelden kan bouwen, en niet alleen mooie plaatjes ervan.

Hier is de onderverdeling van hun aanpak met behulp van eenvoudige analogieën:

1. Het Probleen: Het "Black Box" Canvas

Wanneer een AI een 3D-wereld bouwt, schrijft het code die draait in een verborgen gebied van de browser dat een <canvas> wordt genoemd.

De Oude Manier: Eerdere tests waren als het inhuren van een criticus die alleen naar een foto van de speeltuin kijkt. Die zou kunnen zeggen: "De glijbaan ziet er blauw uit, dus het is goed!" Maar ze kunnen niet zien of de glijbaan ook echt aan de grond vastzit of dat de bal van de rand afrolt.
De Realiteit: De AI kan een perfect uitziende basketbalring tekenen, maar als de code fout is, kan de bal dwars door de ring zweven zonder te scoren, of kan de ring verdwijnen wanneer je hem aanraakt. De oude tests misten deze "onzichtbare" fouten.

2. De Oplossing: De "State Probe" (De Onzichtbare Inspecteur)

De auteurs hebben een nieuwe tool ontwikkeld genaamd StateProbe. In plaats van alleen een foto te maken, is deze tool als een onzichtbare inspecteur die in de virtuele wereld rondloopt.

Hoe het werkt: De inspecteur heeft een geheime checklist (een "contract") die door menselijke experts is geschreven. De inspecteer kijkt niet alleen naar de scène; de inspecteur kijkt dieper in de code om de "vitale functies" van de wereld te controleren.
Wat het controleert:
- Natuurkunde: Valt de bal daadwerkelijk met de juiste snelheid?
- Interactie: Wanneer ik op de knop klik, registreert de game de klik dan echt, of is de knop slechts een tekening?
- Status (State): Als ik een punt scoor, loopt de scoreteller dan daadwerkelijk op, of blijft deze op nul staan?

Om ervoor te zorgen dat de inspecteur streng is, gebruikten ze een truc genaamd Mutation Testing. Ze braken de code van de AI doelbewust op kleine manieren af (zoals de zwaartekracht super zwak maken of de scoreknop verbergen) om te zien of de inspecteur de fout zou ontdekken. Als de inspecteur de fout miste, werd de inspecteur aangepast. Dit zorgt ervoor dat de test strikt en eerlijk is.

3. De Test: WorldCoder-Bench

Ze hebben een enorme testsuite gebouwd met 2.026 verschillende uitdagingen.

De Taken: Deze variëren van eenvoudige zaken (een stuiterende bal maken) tot complexe zaken (het simuleren van chemische reacties of het bouwen van een spel waarbij je moet mikken met een basketbal).
De Regels: De AI krijgt een instructie in natuurlijke taal (bijv. "Bouw een spel...") en moet een enkele webpagina produceren. De AI krijgt de geheime checklist of de regels van de inspecteur niet te zien.

4. De Resultaten: De AI is nog aan het leren

Ze hebben de 9 beste AI-modellen ter wereld getest. De resultaten waren verrassend:

De Score: Zelfs de beste AI slaagde voor ongeveer 28% van de tests.
De Illusie: Veel AI's produceerden werelden die er op een screenshot perfect uitzagen, maar faalden voor de "onzichtbare inspecteur"-test. Ze bouwden het decor, maar vergaten de regels van de natuurkunde of hoe de knoppen met de logica van het spel verbonden moesten worden.
De Belangrijkste Fouten: De AI kreeg meestal de "look" goed, maar faalde bij:
- Schema Drift: De AI veranderde de regels van het spel zonder dit aan de inspecteur te melden (bijv. de bal hoort rood te zijn, maar de AI maakte hem blauw en heeft de score niet bijgewerkt).
- Broken Chains: De AI bouwde een deur, maar verbond de klink niet met de deur, waardoor deze niet opengaat.

5. De "Waarde"-Check: Is het het geld waard?

De auteurs hebben ook berekend of het gebruik van deze AI's geld bespaart in vergelijking met het inhuren van een menselijke ontwikkelaar.

De Twist: Ondanks dat de AI's vaak falen, zijn ze zo goedkoop en snel dat ze voor eenvoudige taken nog steeds veel geld besparen. Het is als het hebben van een zeer goedkope, zeer snelle leerling die de makkelijke klusjes snel afhandelt, maar een mens nodig heeft om de complexe zaken te repareren.
De Metriek: Ze creëerden een "Return on Automation"-score. Voor eenvoudige taken (zoals het maken van een gaaf visueel effect) is de AI een goede deal. Voor moeilijke taken (zoals complexe natuurkunde) is de AI nog steeds te onbetrouwbaar om een mens te vervangen.

Samenvatting

WorldCoder-Bench is een reality check voor AI. Het voorkomt dat we worden misleid door mooie plaatjes en dwingt de AI om te bewijzen dat zijn 3D-werelden onder de motorkap ook daadwerkelijk werken. Op dit moment zijn de beste AI-modellen als getalenteerde kunstenaars die een perfect plaatje van een auto kunnen schilderen, maar nog niet hebben geleerd hoe ze een motor moeten bouwen die daadwerkelijk loopt. We komen dichterbij, maar er is nog een lange weg te gaan voordat ze uit zichzelf volledig functionele, interactieve werelden kunnen bouwen.

Technische Samenvatting: WorldCoder-Bench

Probleemstelling

Huidige Large Language Models (LLM's) krijgen steeds vaker de taak om uitvoerbare webapplicaties te genereren op basis van natuurlijke taal. Echter, bestaande benchmarks voor webgeneratie evalueren primair statische interfaces of 2D-visuele outputs (pixels, DOM-nodes). Deze aanpak is onvoldoende voor browser-native 3D-werelden (bijv. gebouwd met Three.js), waarbij de kernlogica—physics-simulaties, botsingsdetectie en staatssynchronisatie—plaatsvindt binnen een opaak <canvas> en een JavaScript-runtime.

Het paper identificeert een kritische "blind spot": een gegenereerde 3D-wereld kan er visueel plausibel uitzien (waardoor het slaagt voor screenshot- of DOM-gebaseerde controles), terwijl het fundamentele gedragsvereisten faalt, zoals objecten die correct botsen, energie die op verwachte snelheid wegvloeit, of UI-widgets die synchroon blijven met de engine-staat. Bestaande evaluatieparadigma's (screenshots, DOM-walkers of externe agent-exploratie) kunnen niet bij de interne runtime-staat die nodig is om deze mechanieken te verifiëren, wat leidt tot een hoog aantal vals-positieven bij het beoordelen van de code-correctheid.

Methodologie

1. WORLDCODER-BENCH: De Benchmark

De auteurs introduceren WORLDCODER-BENCH, een benchmark bestaande uit 2.026 door experts gecureerde taken ontworpen om autonome, fysiek gefundeerde 3D-wereld-synthese te evalueren.

Taakstructuur: Elke taak vereist dat het model een enkel, zelfstandig HTML-bestand genereert met behulp van Three.js op basis van een prompt in natuurlijke taal. Taken kunnen optionele .glb assets bevatten.
Taxonomie: Taken zijn gecategoriseerd in drie macro-intenties:
- Simulatie: Fysiek evoluerende systemen (bijv. soft bodies, chemie, natuurkunde).
- Rendering: Controleerbare visuele effecten (bijv. shaders, materialen, post-processing).
- Applicatie: Doelgerichte interactieve toepassingen (bijv. games, architectuur, animatie).
Splits:
- WORLDCODER-CORE: 205 taken met een hoge moeilijkheidsgraad voor de primaire leaderboard.
- WORLDCODER-EXTENDED: 1.621 taken voor grootschalige vergelijking.
- WORLDCODER-ROBUST: 615 varianten van CORE-taken met gerandomiseerde fysieke constanten (zwaartekracht, elasticiteit), objectaantallen en asset-filenames om te testen op generalisatie versus het memoriseren van templates.
- WORLDCODER-DEV: 200 publieke taken met vrijgegeven contracten voor debugging.

2. STATEPROBE: Executie-gebaseerde Verificatie

Om het "verborgen" gedrag van 3D-werelden te evalueren, stellen de auteurs STATEPROBE voor, een executie-gebaseerd protocol dat verder gaat dan visuele observatie.

Runtime Interface: Gegenereerde programma's moeten een gestandaardiseerde staat-interface blootstellen (bijv. window.__3D_STATE__) die variabelen rapporteert zoals coördinaten, snelheden en interactie-flags.
Verborgen Contracten: Elke taak is gekoppeld aan een verborgen, uitvoerbaar gedragscontract dat door domeinexperts is geschreven. Deze contracten definiëren verwachte affordances, staatsovergangen en numerieke invarianten (bijv. behoudswetten).
Mutatie Hardening: Contracten worden rigoureus gekalibreerd met behulp van mutatietesten. Veelvoorkomende defecten (verouderde staat-updates, gebroken asset-loading, verwisselde event-targets) worden geïnjecteerd in referentie-implementaties. Een contract wordt pas toegelaten als het deze gemuteerde varianten succesvol afwijst, wat garandeert dat een "pass" duidt op echte correctheid in plaats van losse drempelwaarden.
Executieflow: Programma's draaien in een headless Chromium-browser. Een gescript actie-sequentieel stuurt de wereld aan, en STATEPROBE maakt snapshots van de staat vóór en na elke stap om delta's te verifiëren tegen het verborgen contract.

3. Metrieken

Naast binaire pass/fail introduceert het paper:

Coverage Metrieken:
- Affordance Coverage (A-Cov): Aanwezigheid van vereiste objecten/controles.
- State Coverage (S-Cov): Bereikbaarheid van tussenliggende staten.
- Transition Coverage (T-Cov): Correctheid van door acties getriggerde staatsovergangen.
- Verification Coverage (V-Cov): De primaire metriek; de proportie passende verborgen asserties.
Utility Metrieken:
- Return on Automation (RoA): Kwaliteitsgecorrigeerde waarde van menselijke arbeid bespaard per dollar aan modelkosten.
- Time Efficiency Multiplier (TEM): Bespaarde menselijke uren per uur aan model-generatietijd.

Belangrijkste Bijdragen

WORLDCODER-BENCH: De eerste benchmark die modellen scoort op de gedragsmatige correctheid van gegenereerde Three.js-werelden in plaats van visuele plausibiliteit, over 2.026 taken verspreid over 15 fijnmazige domeinen.
STATEPROBE: Een nieuw evaluatieprotocol dat gebruikmaakt van verborgen, mutatie-hardened contracten en runtime staat-probing om physics, asset-integratie en staatssynchronisatie te verifiëren.
Utility Metrieken: De introductie van RoA en TEM, die correctheid, inferentiekosten en latentie combineren om de praktische economische waarde te meten, waarbij goedkope maar incorrecte outputs worden bestraft.
Empirische Analyse: Een uitgebreide benchmark van negen frontier-modellen (inclusief GPT-5.4, Claude Opus 4.6 en Qwen3.6-Plus) die significante hiaten onthult tussen visuele verschijning en functionele correctheid.

Experimentele Resultaten

De auteurs evalueerden negen frontier-modellen op WORLDCODER-CORE en WORLDCODER-ROBUST:

Lage Verificatie-coverage: Het best presterende model (GPT-5.4) behaalde slechts 27,8% V-Cov op CORE en 19,9% op ROBUST. Geen enkel systeem overschreed de 30% op de verborgen contracten.
Foutmodi: Falen werd gedomineerd door State Schema Drift (42,8%) en Broken Interaction Chains (40,8%), in plaats van ontbrekende scène-elementen of fouten in de physics-berekeningen. Modellen genereerden vaak visueel plausibele scènes, maar faalden in het synchroniseren van de runtime-staat met gebruikersacties.
Falen van het Evaluatieparadigma: Externe evaluatiemethoden (alleen DOM, Screenshot+VLM, Agent-exploratie) vertoonden een bijna nul of negatieve correlatie met de grondwaarheid V-Cov. Zo had DOM-gebaseerde scoring een Kendall $\tau_b$ van -0,021, en agent-gebaseerde exploratie gaf 45,6% van de ernstig defecte outputs onterecht een "pass".
Robuustheid: De kloof tussen propriëtaire en open-weight modellen werd groter op de ROBUST-split (6 punten versus 2,5 punten op CORE), wat suggereert dat open modellen meer leunen op template-herinnering dan op begrip van mechanismen.
Economische Waarde: Ondanks de lage V-Cov vertoonden "goedkope" modellen (bijv. DeepSeek-V4-Flash) een hoge RoA ($19.150 per dollar) vanwege lage inferentiekosten, terwijl snellere modellen (GPT-5.4) leidden in TEM (68,9x). Rendering-taken waren aanzienlijk eenvoudiger dan Simulatie- of Applicatie-taken.

Betekenis en Claims

Het paper claimt dat WORLDCODER-BENCH en STATEPROBE noodzakelijk zijn om de specifieke foutmodi van LLM's in 3D-coding te diagnosticeren, die momenteel gemaskeerd worden door visuele evaluatoren.

Diagnostische Waarde: De benchmark onthult dat de primaire barrière voor betrouwbare 3D-wereld-synthese niet de generatie van statische geometrie is, maar het onderhouden van actie-synchrone runtime-staatcontracten en fysische invarianten.
Beperkingen van Huidige Modellen: Zelfs de sterkste modellen slagen er niet in om consistent uitvoerbare werelden te produceren die de verborgen gedragscontracten naleven, wat aangeeft dat "het ziet er goed uit" niet langer een voldoende proxy is voor "het werkt goed".
Toekomstige Richting: De auteurs positioneren de benchmark als een diagnostisch platform om de ontwikkeling van agents te sturen die in staat zijn om uitvoerbare werelden te construeren, niet alleen plausibele scènes. Ze benadrukken dat vooruitgang gemeten moet worden aan de hand van gedragsmatige betrouwbaarheid, met name in de "long tail" van complexe systemen en physics-zware taken waar huidige modellen moeite mee hebben.