← Nieuwste papers
🤖 AI

3D GameDev Arena: Benchmarking Coding Agents That Plan, Build, and Playtest extreme Long-Horizon Browser Games

Dit artikel introduceert 3D GameDev Arena, een uitgebreide benchmark met 108 extreme long-horizon taken die geautomatiseerde programmeeragenten evalueren op hun vermogen om complexe 3D-browsergames vanaf nul uit te plannen, te bouwen en te playtesten, waarbij wordt onthuld dat huidige agenten moeite hebben met dergelijke taken en dat correctheid op codeniveau geen garantie biedt voor de voorkeur van de speler.

Oorspronkelijke auteur: Bizhe Bai, Jiliang Jian, Yuqing Yan, Tao Chen, Ying Wen

Gepubliceerd 2026-11-19
📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteur: Bizhe Bai, Jiliang Jian, Yuqing Yan, Tao Chen, Ying Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je een videogame aan een computer kunt beschrijven, en die niet alleen de code schrijft, maar ook de personages ontwerpt, de 3D-wereld bouwt en de factor van het plezier test, allemaal uit zichzelf. Dit is de grens van kunstmatige intelligentie, waar onderzoekers machines leren om te fungeren als software engineers. Al enige tijd hebben deze AI-systemen bewezen in staat te zijn om kleine fouten in bestaande code te herstellen of eenvoudige, platte programma's te bouwen. Maar de echte test van hun vermogen ligt in het creëren van iets complex uit het niets: een grote, driedimensionale game die echt aanvoelt, er goed uitziet en daadwerkelijk leuk is om te spelen. Dit is een enorme uitdaging omdat een videogame niet alleen een lijst met instructies is; het is een levend systeem waarin fysica, visuals en spelerskeuzes naadloos samen moeten werken. Als de code werkt maar de game stijf of saai aanvoelt, heeft het zijn belangrijkste doel niet bereikt.

Een team van onderzoekers van verschillende universiteiten in China is deze uitdaging aangegaan door een nieuwe testomgeving te creëren genaamd de 3D GameDev Arena. Ze wilden zien of huidige AI-agenten een volledige 3D-game vanaf nul kunnen bouwen, beginnend met een lege map en een eenvoudige tekstuele beschrijving. De onderzoekers gaven de AI geen vooraf gemaakte sjablonen, startcode of klaar voor gebruik zijnde 3D-modellen. In plaats daarvan moest de AI het hele project plannen, zijn eigen digitale assets zoals personages en omgevingen vinden of creëren, de code schrijven om ze te laten bewegen, en vervolgens de game spelen om te zien of het werkte. De taken waren veeleisend en besloegen veertien verschillende soorten games, van racen en vechten tot rollenspelavonturen. Sommige van deze taken vereisten dat de AI bijna acht uur lang draaide, waarbij meer dan duizend afzonderlijke oproepen naar zijn brein werden gedaan om de game te plannen, te bouwen en te repareren.

De resultaten van dit experiment onthullen een verrassende kloof tussen wat een machine correct kan doen en wat een mens leuk vindt. De onderzoekers evalueerden de games op drie verschillende manieren. Eerst controleerden ze de code om te zien of de game de regels volgde, zoals of de gezondheid van een personage correct afnam wanneer deze werd geraakt. Ten tweede gebruikten ze geautomatiseerde agenten om de games te spelen en te beoordelen hoe de 3D-wereld eruitzag en hoe soepel de besturing aanvoelde. Ten slotte plaatsten ze de games in een publieke arena waar echte menselijke spelers twee verschillende versies van dezelfde game speelden en stemden op de versie die zij de voorkeur gaven. De bevindingen lieten zien dat hoewel de AI vaak games kon bouwen die de technische regels volgden, het volgen van die regels niet garandeerde dat de game leuk zou zijn. Sterker nog, twee AI-systemen die op de technische tests even goed presteerden, werden door menselijke spelers heel verschillend beoordeeld, waarbij de één vaker werd verkozen dan de ander, zelfs meer dan twee keer zo vaak.

De studie onthulde dat de sleutel tot een succesvolle game niet lag in de hoeveelheid code die de AI schreef of het aantal 3D-objecten dat de AI aan de scène toevoegde. Eén AI-systeem dat de meest populaire games produceerde, hield zijn codebase klein en georganiseerd, terwijl een ander systeem dat worstelde met de voorkeur van de speler enorme hoeveelheden code schreef en het scherm vulde met tientallen extra 3D-modellen, wat het navigeren door de game vaak moeilijker maakte. Het meest cruciale verschil lag in de manier waarop de AI zijn werk controleerde. De systemen die mensen het liefst hadden, besteedden hun tijd aan het spelen van de game in een echte browser, waarbij ze keken naar de bewegingen van de personages en de besturing testten zoals een speler dat zou doen. De systemen die mensen minder leuk vonden, vertrouwden voornamelijk op statische controles, waarbij ze verifieerden of de code er op papier juist uitzag zonder ooit de game daadwerkelijk te zien draaien. Dit suggereert dat voor AI om creatieve taken zoals gameontwikkeling echt te beheersen, het moet leren de eigen creaties te ervaren, en niet alleen de logica te verifiëren.

Ondanks deze inzichten concluderen de onderzoekers dat het bouwen van grote 3D-games vanaf nul nog lang niet is opgelost. Het beste AI-systeem slaagde er slechts in om ongeveer twee derde van de technische vereisten correct uit te voeren, en geen van de systemen behaalde een hoge score op speelbaarheid of menselijke voorkeur. De AI worstelt nog steeds met het integreren van door AI gegenereerde 3D-modellen in een werkende game, waarbij het vaak faalt om de personages in de wereld te laten passen of correct te laten bewegen. Bovendien, hoewel de AI het doel niet uit het oog verloor na uren werk, faalde het regelmatig in het aanpassen van zijn plan om de game natuurlijk te laten aanvoelen. De onderzoekers benadrukken dat het vermogen om correcte code te schrijven niet hetzelfde is als het vermogen om een boeiende ervaring te creëren. Terwijl AI blijft evolueren, is de volgende stap niet alleen om machines te maken die instructies kunnen opvolgen, maar om systemen te bouwen die het subtiele, menselijke gevoel van spelen kunnen begrijpen.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →