GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
Dieses Paper führt GameEngineBench ein, einen Benchmark bestehend aus 110 realen C++-Aufgaben innerhalb von Unreal Engine 5-Projekten aus neun Spiel-Repositories, der die Fähigkeit von Coding-Agenten evaluiert, funktionale Änderungen in komplexen, zustandsbehafteten Echtzeitsystemen zu implementieren und zu kompilieren, und offenbart, dass selbst die stärksten Modelle mit tief integrierter Spieleentwicklungsarbeit kämpfen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Haus zu bauen. Sie könnten ihm eine einfache Anweisung geben wie „schlage diesen Nagel ein“, und er würde vielleicht einen großartigen Job machen. Aber was wäre, wenn Sie ihn bitten würden, in ein bereits halb fertig gebautes Haus zu gehen, herauszufinden, wie die Wasserleitungen mit der Elektroverkabelung verbunden sind, und dann ein neues Smart-Lighting-System zu installieren, ohne die vorhandenen Lichter zu beschädigen oder einen Kurzschluss zu verursachen? Das ist ein viel härterer Test. Dies ist die Welt der Coding Agents – künstliche Intelligenzen, die darauf ausgelegt sind, Computercode zu schreiben und zu reparieren. Lange Zeit haben Wissenschaftler diese Roboter an einfachen, isolierten Aufgaben getestet, wie etwa dem Lösen eines mathematischen Rätsels oder dem Schreiben einer einzelnen Funktion. Aber die reale Welt ist kein Rätsel; sie ist ein chaotisches, lebendiges System, in dem alles mit allem kommuniziert. Die große Frage, die sich Forscher stellen, lautet: Können diese KI-Agenten mit dem Chaos eines echten, laufenden Softwaresystems umgehen, oder funktionieren sie nur im Vakuum?
Dieses Paper mit dem Titel GameEngineBench taucht in diese Frage ein, indem es Videospiel-Engines als das ultimative Testlabor nutzt. Betrachten Sie eine Game Engine nicht nur als ein Werkzeug zur Erstellung von Spielen, sondern als eine komplexe, lebendige Stadt, in der Charaktere (genannt „Actors“) herumlaufen, miteinander sprechen, sich Dinge merken und auf die Welt reagieren. Die Forscher wollten sehen, ob eine KI in diese Stadt treten, eine bestimmte Straße finden und eine defekte Ampel reparieren kann, ohne einen stadtweiten Blackout zu verursachen. Sie entwickelten einen Benchmark namens GameEngineBench unter Verwendung der Unreal Engine 5, einer populären und leistungsstarken Game Engine. Sie nahmen 110 reale Aufgaben aus neun verschiedenen Open-Source-Spielprojekten. Diese Aufgaben waren nicht bloß „schreibe eine Schleife“; es waren Dinge wie „stelle sicher, dass das Inventar des Spielers korrekt gespeichert wird“, „repariere die KI, damit sie nicht stecken bleibt“ oder „synchronisiere das Multiplayer-Spiel so, dass alle dasselbe sehen“. Die KI musste Code in C++ (einer schwierigen, präzisen Programmiersprache) schreiben, kompilieren und den Code dann tatsächlich innerhalb des Spiels ausführen, um zu beweisen, dass er funktionierte.
Die Ergebnisse waren ein wenig wie ein Realitätscheck für die Welt der KI. Die Forscher testeten 12 verschiedene „Konfigurationen“ von erstklassigen KI-Modellen. Der beste Performer, ein Modell namens claude-fable-5, schaffte es, etwa 55,5 % der Aufgaben beim ersten Versuch zu lösen. Das klingt beeindruckend, bedeutet aber auch, dass es fast die Hälfte der Zeit scheiterte. Noch aussagekräftiger war, dass es 31 Aufgaben gab, die keines der KI-Modelle lösen konnte, egal wie sehr sie es versuchten. Das Paper legt nahe, dass diese Fehler nicht bloß darauf zurückzuführen waren, dass die KI einen Tippfehler gemacht oder ein Semikolon vergessen hatte. Stattdessen hatte die KI Schwierigkeiten mit den tiefen, unsichtbaren Regeln der Game Engine. Oft vergaß sie, dass bestimmte Dinge auf dem „Server“ (dem Hauptgehirn) und nicht auf dem „Client“ (dem Bildschirm des Spielers) passieren müssen, oder sie vermochte das Timing nicht einzuhalten, wann ein Objekt erschaffen oder zerstört wird. Es ist, als ob die KI wüsste, wie man einen Satz schreibt, aber nicht die Grammatik des gesamten Gesprächs verstanden hätte.
Die Studie kommt zu dem Schluss, dass diese KI-Agenten zwar besser werden, aber immer noch mit der chaotischen, integrierten Realität professioneller Softwareentwicklung kämpfen. Sie können Code schreiben, der auf dem Papier gut aussieht und sogar ohne Fehlermeldungen kompiliert, aber wenn man ihn tatsächlich in einem lebendigen, interaktiven System ausführt, bricht oft das empfindliche Gleichgewicht der Funktionsweise des Systems zusammen. Die Forscher argumentieren, dass wir mehr Tests wie diesen brauchen, bei denen die KI beweisen muss, dass ihr Code in einer echten, laufenden Umgebung funktioniert, und nicht nur in einem Lehrbuchbeispiel. Bis eine KI in der Lage ist, zuverlässig durch die komplexe, vernetzte Stadt einer Game Engine zu navigieren, können wir ihr die komplexen Softwaresysteme unserer Zukunft nicht voll und ganz anvertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.