GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
Dit artikel introduceert GameEngineBench, een benchmark bestaande uit 110 real-world C++ taken binnen Unreal Engine 5-projecten afkomstig van negen game-repositories, die het vermogen van coding agents evalueert om functionele wijzigingen te implementeren en te compileren in complexe, stateful real-time systemen, en onthult dat zelfs de sterkste modellen moeite hebben met diep geïntegreerde game engine-ontwikkeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert om een huis te bouwen. Je zou het een eenvoudige instructie kunnen geven zoals "sla deze spijker erin," en hij zou het misschien heel goed doen. Maar wat als je hem zou vragen om een huis binnen te lopen dat al half gebouwd is, uit te zoeken hoe de loodgietersinstallatie verbonden is met de elektrische bedrading, en vervolgens een nieuw slim verlichtingssysteem te installeren zonder de bestaande lampen te breken of een kortsluiting te veroorzaken? Dat is een veel moeilijkere test. Dit is de wereld van coding agents—kunstmatige intelligenties die ontworpen zijn om computercode te schrijven en te repareren. Lange tijd hebben wetenschappers deze robots getest op eenvoudige, geïsoleerde taken, zoals het oplossen van een wiskundige puzzel of het schrijven van een enkele functie. Maar de echte wereld is geen puzzel; het is een chaotisch, levend systeem waarin alles met alles communiceert. De grote vraag die onderzoekers stellen is: kunnen deze AI-agents de chaos van een echt, draaiend softwaresysteem aan, of werken ze alleen in een vacuüm?
Dit artikel, getiteld GameEngineBench, duikt in die vraag door videogames-engines te gebruiken als het ultieme testlaboratorium. Denk aan een game engine niet alleen als een hulpmiddel om games te maken, maar als een complexe, levende stad waar personages (genaamd "actors") rondrennen, met elkaar praten, dingen onthouden en reageren op de wereld. De onderzoekers wilden zien of AI in deze stad kon stappen, een specifieke straat kon vinden en een defecte verkeerslicht kon repareren zonder een stadbrede stroomuitval te veroorzaken. Ze bouwden een benchmark genaamd GameEngineBench met behulp van Unreal Engine 5, een populaire en krachtige game engine. Ze namen 110 taken uit de echte wereld van negen verschillende open-source gameprojecten. Deze taken waren niet simpelweg "schrijf een loop"; het waren zaken als "zorg ervoor dat de inventaris van de speler correct wordt opgeslagen," "fix de AI zodat deze niet vast komt te zitten," of "laat de multiplayer game synchroniseren zodat iedereen hetzelfde ziet." De AI moest code schrijven in C++ (een moeilijke, precieze programmeertaal), deze compileren, en vervolgens daadwerkelijk binnen de game draaien om te bewijzen dat het werkte.
De resultaten waren een beetje een reality check voor de AI-wereld. De onderzoekers testten 12 verschillende "configuraties" van topmodellen. De beste presteerder, een model genaamd claude-fable-5, slaagde erin om ongeveer 55,5% van de taken bij de eerste poging op te lossen. Dat klinkt indrukwekkend, maar het betekent ook dat het bijna de helft van de tijd faalde. Nogzegender was dat er 31 taken waren die geen enkele van de AI-modellen kon oplossen, hoe hard ze ook probeerden. Het artikel suggereert dat deze mislukkingen niet alleen kwamen doordat de AI een typefout maakte of een puntkomma vergat. In plaats daarvan worstelde de AI met de diepe, onzichtbare regels van de game engine. Het vergat vaak dat bepaalde zaken op de "server" (het hoofdbrein) moeten gebeuren en niet op de "client" (het scherm van de speler), of het verpestte de timing van wanneer een object wordt geboren of vernietigd. Het is alsof de AI wist hoe het een zin moest schrijven, maar de grammatica van het hele gesprek niet begreep.
De studie concludeert dat hoewel deze AI-agents beter worden, ze nog steeds worstelen met de rommelige, geïntegreerde realiteit van professionele softwareontwikkeling. Ze kunnen code schrijven die er op papier goed uitziet en zelfs zonder fouten compileert, maar wanneer je het daadwerkelijk draait in een levend, interactief systeem, verstoort het vaak de delicate balans van hoe het systeem werkt. De onderzoekers betogen dat we meer tests nodig hebben zoals deze, waarbij de AI moet bewijzen dat zijn code werkt in een echte, draaiende omgeving, en niet in een tekstboekvoorbeeld. Totdat AI betrouwbaar door de complexe, onderling verbonden stad van een game engine kan navigeren, kunnen we de complexe software-systemen van onze toekomst niet volledig vertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.