🤖 AI

ProxyWar: Dynamic Assessment of LLM Code Generation in Game Arenas

Das Paper stellt ProxyWar vor, ein neuartiges Framework, das die Code-Generierung großer Sprachmodelle bewertet, indem es Agenten in kompetitiven Spielumgebungen einbettet, um signifikante Diskrepanzen zwischen statischen Benchmark-Scores und der tatsächlichen dynamischen Leistung aufzuzeigen, wodurch für reichhaltigere, wettbewerbsbasierte Bewertungsmethoden plädiert wird.

Ursprüngliche Autoren: Wenjun Peng, Xinyu Wang, Qi Wu

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenjun Peng, Xinyu Wang, Qi Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Köchen ein, um eine Mahlzeit zuzubereiten. Derzeit testen wir diese Köche (die KI-Sprachmodelle repräsentieren) dadurch, dass wir ihnen ein Rezept geben und fragen: „Hast du die Anweisungen befolgt?“ Wenn sie uns ein Gericht servieren, das so aussieht wie das Bild im Buch, geben wir ihnen eine Bestehensnote. Dies ist vergleichbar mit den aktuellen „statischen Benchmarks“, die zur Testung von KI-Codegeneratoren verwendet werden.

Aber hier liegt das Problem: Nur weil ein Koch einem Rezept gefolgt ist, bedeutet das nicht, dass das Essen gut schmeckt, dass er schnell genug gekocht hat oder dass er damit umgehen kann, wenn der Ofen kaputtgeht oder ein Kunde das Gericht zurückschickt.

ProxyWar ist eine neue Art, diese KI-Köche zu testen. Anstatt nur zu prüfen, ob sie dem Rezept gefolgt sind, setzt ProxyWar sie in eine kompetitive Küchenarena, in der sie in Echtzeit gegeneinander kochen müssen.

So erklärt das Paper diesen neuen Rahmen mit einfachen Konzepten:

1. Die Arena: Ein Spielbrett

Anstatt einer ruhigen Testküche richtet ProxyWar ein Spielbrett ein. Die KI-Modelle werden gebeten, Code zu schreiben, der einen „Spieler“ (einen Agenten) erstellt, um verschiedene Spiele wie Sudoku, Tic-Tac-Toe oder Poker zu spielen.

Das Setup: Die KI erhält die Regeln des Spiels und wird gebeten, den Code für einen Spieler zu schreiben.
Der Clou: Es geht nicht nur darum, das Spiel zu spielen; es geht darum, besser zu spielen als die anderen KI-Spieler.

2. Die drei Runden des Testens

Das Paper beschreibt einen dreistufigen Prozess, um zu sehen, ob eine KI wirklich gut ist oder nur Glück hatte:

Runde 1: Der Sicherheitscheck (Unit-Testing)
Bevor das Spiel beginnt, wird der Code überprüft, um sicherzustellen, dass er nicht abstürzt. Hat der Koch daran gedacht, den Herd einzuschalten? Hat der Code die richtige Struktur? Wenn der Code hier scheitert, wird er mit dem Hinweis „Behebe diesen Fehler“ an die KI zurückgesendet, und die KI versucht es erneut. Dies testet die Fähigkeit der KI, sich selbst zu debuggen.
Runde 2: Das Turnier (Der Kampf)
Sobeder der Code den Sicherheitscheck besteht, werden die KI-Spieler in die Arena geworfen. Sie spielen Kopf an Kopf gegen andere KIs.
- Warum das wichtig ist: In einem normalen Test könnten beide KIs beide „bestehen“, weil sie beide den Regeln gefolgt sind. In der Arena jedoch könnte eine KI langsam sein, dumme Fehler machen, wenn das Spiel schwierig wird, oder durch einen trickreichen Gegner verwirrt werden. ProxyWar misst, wer tatsächlich gewinnt, nicht nur, wer die Regeln befolgt hat.
Runde 3: Die Bestenliste (TrueSkill)
Anstatt eines einfachen „Bestanden/Nicht bestanden“ nutzt das System ein Ranking-System (ähnlich wie in Videospielen), um jedem KI-Modell eine Skill-Bewertung zu geben. Diese Bewertung sagt uns nicht nur, ob der Code funktioniert, sondern wie effizient, stabil und intelligent er im Vergleich zu den anderen ist.

3. Was sie herausgefunden haben

Die Forscher testeten viele verschiedene KI-Modelle (einige von großen Tech-Unternehmen, andere Open-Source) mit dieser neuen Methode. Dabei fanden sie einige überraschende Dinge, die alte Tests übersehen hätten:

Die „Schnell, aber dumm“ vs. „Langsam, aber klug“-Falle: Einige KIs schrieben Code, der theoretisch perfekt war, aber so langsam, dass sie das Spiel verloren, weil sie zu lange zum Nachdenken brauchten. Alte Tests hätten gesagt: „Gute Arbeit, perfekter Code!“, aber ProxyWar sagte: „Du hast verloren, weil du zu langsam warst.“
Spezialisten vs. Generalisten: Einige KIs waren großartig darin, Code für einfache Aufgaben zu schreiben, brachen aber zusammen, wenn das Spiel komplex oder knifflig wurde. Andere waren gut in der Strategie, aber schlecht darin, ihre eigenen Fehler zu beheben.
Das „Auswendiglern-Problem“: Einige KIs schienen die Antworten auf einfache Rätsel auswendig gelernt zu haben. Aber als sich das Spiel leicht änderte oder sie gegen einen trickreichen Gegner spielen mussten, versagten diese auswendig gelernten Antworten. ProxyWar legte diese Schwäche offen, da die Spiele dynamisch und unvorhersehbar waren.

Das große Ganze

Das Paper argumentiert, dass wir eine KI nicht einfach nur fragen können: „Kannst du Code schreiben, der einen Test besteht?“ Wir müssen fragen: „Kannst du Code schreiben, der in einer chaotischen, kompetitiven, realen Situation überlebt und gewinnt?“

ProxyWar ist wie eine Gladiatorenarena für Code. Es prüft nicht nur, ob der Code lebt; es prüft, ob der Code zäh, schnell und klug genug ist, um den Wettbewerb zu bestehen. Die Autoren glauben, dass uns dies ein viel klareres Bild davon vermittelt, welche KI tatsächlich bereit für die reale Welt ist.

Technisches Resümee: ProxyWar: Dynamische Bewertung der LLM-Codegenerierung in Spiel-Arenen

1. Problemstellung

Die Evaluierung der LLM-Codegenerierung ist hinter statischen Benchmarks und simplistischen Metriken weitgehend stagniert. Aktuelle Ansätze, wie etwa HumanEval und MBPP, verlassen sich stark auf ausführungsbasierte „pass@k“-Metriken oder textbasierte Ähnlichkeitswerte (z. B. BLEU, CodeBLEU). Diese Methoden leiden unter mehreren kritischen Einschränkungen:

Statischer Charakter: Sie bewerten Code isoliert und versäumen es, dynamische Ausführungsbeschränkungen, Laufzeitstabilität und Robustheit unter geteilten Ressourcenbudgets zu erfassen.
Simplizitäts-Bias: Benchmarks bestehen oft aus isolierten Funktionen mit begrenzten Testfällen und ignorieren die Komplexität realer Softwareentwicklung (z. B. Abhängigkeiten, Multi-File-Koordination).
Mangel an comparativem Kontext: Sie messen nicht, wie sich Code gegenüber alternativen Lösungen in kompetitiven oder adversariellen Settings verhält, wodurch Nuancen in der algorithmischen Effizienz und strategischen Entscheidungsfindung verloren gehen.
Vernachlässigte Dimensionen: Metriken konzentrieren sich fast ausschließlich auf die funktionale Korrektheit und vernachlässigen operative Eigenschaften wie Effizienz, Wartbarkeit und Adaptivität gegenüber Edge Cases.

Folglich besteht eine signifikante Lücke zwischen Benchmark-Scores und der tatsächlichen Lebensfähigkeit von LLM-generiertem Code in dynamischen, realen Szenarien.

2. Methodik: Das ProxyWar-Framework

ProxyWar ist ein neuartiges Framework, das darauf ausgelegt ist, die LLM-Codegenerierung durch kompetitive, kontrollierte Ausführungen innerhalb diverser Spielumgebungen zu bewerten. Es orchestriert eine Pipeline von der Codegenerierung bis zur kompetitiven Evaluierung und bewegt sich damit über binäre Pass/Fail-Tests hinaus hin zu einer ganzheitlichen Leistungsbewertung.

2.1 Systemarchitektur

Das Framework operiert durch fünf distinkte Schichten:

Game Environment Layer: Definiert das Spiel als Tupel $G = \langle S, A, T, R, O, s_0 \rangle$ und verwaltet Zustandsübergänge, Regeln und Beobachtungen. Es unterstützt sowohl Szenarien mit perfekter als auch mit imperfekter Information.
Agent Layer: Erzwingt einen minimalen Interface-Vertrag ( $\pi: O_{space} \times \{0, 1\}^{|A|} \to A$ ), den alle generierten Agenten implementieren müssen, um einen fairen Vergleich unter identischen Randbedingungen zu gewährleisten.
Code Generation Layer: Transformiert natürliche Sprachspezifikationen in ausführbaren Agenten-Code. Er beinhaltet eine Repair Function, die Code basierend auf Fehlerrückmeldungen iterativ verfeinert und so reale Debugging-Workflows simuliert.
Testing Layer: Validiert Agenten durch eine hierarchische Suite von Tests, die Syntax, Interface-Konformität, Basisfunktionalität, Spiellogik und Robustheit (Edge Cases) abdecken. Fehlgeschlagene Tests lösen die Repair-Schleife aus.
Tournament Management Layer: Orchestriert automatisierte Turniere, in denen Agenten im direkten Vergleich gegeneinander antreten. Er nutzt TrueSkill-Rating-Systeme, um Skill-Rankings basierend auf Match-Ausgängen zu berechnen, was eine kontinuierliche Leistungsmetrik statt eines binären Scores liefert.

2.2 Evaluierungsmethodik

ProxyWar verwendet eine multidimensionale Bewertungsstrategie:

Kompetitive Leistung: Verwendet TrueSkill-Ratings, um Agenten basierend auf Sieg/Niederlage/Unentschieden-Ausgängen in Turnieren zu ranken. Es berichtet konservative Schätzungen des Skills ( $\mu - 3\sigma$ ), um Robustheit zu gewährleisten.
Statische Codequalität: Misst Pass@1 (initiale Korrektheit), die Repair Rate (Fähigkeit zur Selbstkorrektur) sowie die Performance über hierarchische Testschichten hinweg (Struktur, Funktion, Logik, Robustheit).
Operative Charakteristika: Verfolgt Laufzeitmetriken einschließlich Entscheidungsgeschwindigkeit (Latenz), Fehlerraten (Timeouts, Exceptions) und Partizipationsraten.

2.3 Experimentelles Setup

Das Framework wurde in Python implementiert und über 18 State-of-the-Art LLMs (einschließlich allgemeiner, reasoning-gestützter und code-spezialisierter Modelle) sowie 10 diverse Spielumgebungen evaluiert. Diese Umgebungen reichen von Single-Player-Puzzles (Sudoku, 2048) über Zwei-Spieler-Brettspiele (Tic-Tac-Toe, Reversi) bis hin zu Multiplayer-Kartenspielen (Texas Hold'em). Jedes Modell nahm an über 10.000 Matches teil, um statistische Signifikanz zu gewährleisten.

3. Kernbeiträge

Das Paper leistet vier primäre Beiträge:

ProxyWar Framework: Das erste kompetitive, ausführungsbasierte Evaluierungsframework für die LLM-Codegenerierung, das automatisierte Generierung, iterative Reparatur und turnierbasierte Rangordnung integriert.
Multidimensionale Bewertung: Eine Methodik, die operative Eigenschaften (Effizienz, Robustheit, Adaptivität) jenseits traditioneller Pass/Fail-Metriken erfasst.
Skalierbare Plattform: Eine Implementierung, die diverse Spielumgebungen mit variierender Komplexität und Informationsstrukturen unterstützt und somit eine systematische Bewertung über verschiedene Programmierparadigmen hinweg ermöglicht.
Empirische Evaluierung: Eine umfassende Studie, die zuvor verborgene Limitationen in der LLM-Codegenerierung aufdeckt, insbesondere hinsichtlich algorithmischer Kreativität, Optimierungsstrategien und der Kluft zwischen funktionaler Korrektheit und praktischer Einsetzbarkeit.

4. Wichtige Ergebnisse und Erkenntnisse

Die empirische Evaluierung lieferte mehrere kritische Erkenntnisse:

Diskriminative Kraft (RQ1): ProxyWar offenbart substantielle Leistungsunterschiede, die für statische Metriken unsichtbar sind. Beispielsweise können DeepSeek-R1 und Qwen2.5-Coder vergleichbare Pass@k-Scores haben, doch zeigte ProxyWar einen nahezu dreifachen Unterschied in den Turnier-Siegraten (39,6 % vs. 13,4 %). Modelle mit 100 % Partizipationsraten (perfektes Bestehen der Tests) wiesen dennoch weite Variationen in der kompetitiven Performance auf.
Statische vs. Dynamische Performance (RQ2): Es besteht eine schwache Korrelation (Spearman's $\rho = 0,23$ $ρ = 0, 23$ ) zwischen Pass@1 und dem kompetitiven Ranking.
- Effizienz vs. Raffinesse: In Sudoku generierte DeepSeek-R1 einen minimalistischen Backtracking-Agenten, der GPT-4.1's komplexeren heuristischen Ansatz (MRV/LCV) übertraf. GPT-4.1s Code war theoretisch überlegen, aber in der Praxis fast 28-mal langsamer aufgrund des Python-Interpretations-Overheads, was zu schlechteren Turnierergebnissen führte.
- Debugging-Limits: Während einige Modelle (z. B. Claude3.5-Sonnet) perfekte Repair Rates erreichten, garantierte dies keine starke Turnierleistung, was auf die Grenzen aktueller Selbstkorrektur-Fähigkeiten hindeutet.
Umwelt-Sensitivität (RQ3): Die Modellleistung ist hochgradig kontextabhängig.
- Komplexität: Die Leistungsunterschiede werden mit zunehmender Spielkomplexität deutlich größer (z. B. Reversi vs. Tic-Tac-Toe).
- Informationsstruktur: Spiele mit perfekter Information begünstigen Such-/Planungsfähigkeiten, während Spiele mit imperfekter Information (z. B. Poker) probabilistisches Denken erfordern. Kein einzelnes Modell ist universell exzellent über alle Spieltypen hinweg.
- Spezialisierung: Code-spezialisierte Modelle schneiden in kompetitiven, kontextreichen Szenarien oft schlechter ab als allgemeine oder reasoning-gestützte Modelle.

5. Bedeutung und Ansprüche

Die Autoren positionieren ProxyWar als einen grundlegenden Schritt hin zu einer strengeren, reproduzierbareren und realistischeren Evaluierung von Programmsynthese-Systemen.

Überbrückung der Kluft: Das Framework adressiert die Diskrepanz zwischen Benchmark-Leistung und praktischem Nutzen, indem es Code unter geteilten Ressourcenbeschränkungen und adversariellen Bedingungen evaluiert.
Jenseits der Korrektheit: Es verdeutlicht, dass „korrekter“ Code unzureichend ist; operative Eigenschaften wie Latenz, Stabilität und strategische Adaptivität sind für den realen Einsatz entscheidend.
Zukünftige Forschung: ProxyWar legt den Grundstein für die Forschung zu LLM-gesteuerter Algorithmenentdeckung und adaptiver Problemlösung. Die Autoren schlagen vor, dass zukünftige Arbeiten untersuchen könnten, ob LLM-Coder in der Lage sind, neuartige Strategien zu entdecken oder handgefertigte Agenten in komplexen Spielen zu übertreffen.
Moderater Umfang: Das Paper räumt ein, dass die Spielumgebungen, obwohl divers, die Komplexität aller realen Software-Engineering-Aufgaben (z. B. groß angelegte kollaborative Entwicklung) möglicherweise nicht vollständig erfassen. Es betrachtet die aktuelle Suite an Umgebungen als Ausgangspunkt für breitere, nicht-spielbasierte Benchmarks.

Zusammenfassend lässt sich sagen, dass ProxyWar demonstriert, dass eine kompetitive, spielbasierte Evaluierung eine feingliedrige Differenzierung der LLM-Fähigkeiten ermöglicht und operative Limitationen aufzeigt, die statische Benchmarks nicht detektieren können.