🤖 AI

ProxyWar: Dynamic Assessment of LLM Code Generation in Game Arenas

Het artikel introduceert ProxyWar, een nieuw framework dat de codegeneratie van grote taalmodellen evalueert door agenten in competitieve spelomgevingen te plaatsen om significante discrepanties tussen statische benchmarkscores en werkelijke dynamische prestaties aan te tonen, waarmee het pleit voor rijkere, op competitie gebaseerde beoordelingsmethoden.

Oorspronkelijke auteurs: Wenjun Peng, Xinyu Wang, Qi Wu

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenjun Peng, Xinyu Wang, Qi Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van chefs aan het inhuren bent om een maaltijd te koken. Momenteel testen we deze chefs (die AI-taalmodellen vertegenwoordigen) door ze een recept te geven en te vragen: "Heb je de instructies gevolgd?" Als ze je een gerecht presenteren dat eruitziet als de foto in het boek, geven we ze een voldoende. Dit is vergelijkbaar met de huidige "statische benchmarks" die worden gebruikt om AI-codegeneratoren te testen.

Maar hier is het probleem: alleen omdat een chef het recept heeft gevolgd, betekent dit niet dat het eten lekker smaakt, dat hij snel genoeg heeft gekookt, of dat hij het aankan als de oven kapot gaat of als een klant het gerecht terugstuurt.

ProxyWar is een nieuwe manier om deze AI-chefs te testen. In plaats van alleen te controleren of ze het recept hebben gevolgd, plaatst ProxyWar ze in een competitieve keukenarena waar ze in real-time tegen elkaar moeten koken.

Hier is hoe het artikel dit nieuwe framework uitlegt met behulp van eenvoudige concepten:

1. De Arena: Een Speelbord

In plaats van een stille testkeuken, zet ProxyWar een speelbord op. De AI-modellen krijgen de opdracht om code te schrijven die een "speler" (een agent) creëert om verschillende spellen te spelen, zoals Sudoku, Tic-Tac-Toe of Poker.

De Opzet: De AI krijgt de regels van het spel en krijgt de opdracht om de code voor een speler te schrijven.
De Twist: Het gaat niet alleen om het spelen van het spel; het gaat erom beter te spelen dan de andere AI-spelers.

2. De Drie Rondes van Testen

Het artikel beschrijft een driestaps proces om te zien of de AI echt goed is, en niet alleen geluk heeft:

Ronde 1: De Veiligheidscontrole (Unit Testing)
Voordat het spel begint, wordt de code gecontroleerd om te zien of deze niet crasht. Heeft de chef eraan gedacht om het fornuis aan te zetten? Heeft de code de juiste structuur? Als de code hier faalt, wordt deze teruggestuurd naar de AI met een opmerking: "Los deze fout op," en de AI probeert het opnieuw. Dit test het vermogen van de AI om zichzelf te debuggen.
Ronde 2: Het Toernooi (De Strijd)
Zodra de code de veiligheidscontrole passeert, worden de AI-spelers in de arena geworpen. Ze spelen kop aan kop tegen andere AI's.
- Waarom dit belangrijk is: In een normale test zouden twee AI's allebei kunnen "slagen" omdat ze beiden de regels hebben gevolgd. Maar in de arena kan één AI traag zijn, domme fouten maken wanneer het spel moeilijk wordt, of in de war raken door een lastige tegenstander. ProxyWar meet wie er daadwerkelijk wint, niet alleen wie de regels volgde.
Ronde 3: Het Scorebord (TrueSkill)
In plaats van een simpel "Slagen/Falen", gebruikt het systeem een rankingsysteem (zoals in videogames) om een vaardigheidsrating aan elke AI te geven. Deze rating vertelt ons niet alleen of de code werkt, maar ook hoe efficiënt, stabiel en slim deze is vergeleken met de anderen.

3. Wat Ze Ontdekten

De onderzoekers hebben veel verschillende AI-modellen (sommige gemaakt door grote techbedrijven, andere open-source) getest met deze nieuwe methode. Ze ontdekten enkele verrassende dingen die oude tests misten:

De "Snel maar Dom" vs. "Langzaam maar Slim" Valstrik: Sommige AI's schreven code die theoretisch perfect was, maar zo traag dat ze het spel verloren omdat ze te lang over het nadenken deden. Oude tests zouden hebben gezegd: "Goed gedaan, perfecte code!" maar ProxyWar zei: "Je verloor omdat je te traag was."
Specialisten vs. Generalisten: Sommige AI's waren geweldig in het schrijven van code voor eenvoudige taken, maar stortten in wanneer het spel complex of lastig werd. Anderen waren goed in strategie, maar slecht in het herstellen van hun eigen fouten.
Het "Memoratieprobleem": Sommige AI's leken de antwoorden op eenvoudige puzzels te hebben gememoriseerd. Maar wanneer het spel licht veranderde of wanneer ze tegen een lastige tegenstander moesten spelen, faalden die gememoriseerde antwoorden. ProxyWar legde deze zwakte bloot omdat de spellen dynamisch en onvoorspelbaar waren.

Het Grote Plaatje

Het artikel betoogt dat we een AI niet alleen kunnen vragen: "Kun je code schrijven die een test doorstaat?" We moeten vragen: "Kun je code schrijven die overleeft en wint in een chaotische, competitieve, echte situatie?"

ProxyWar is als een gladiatorenarena voor code. Het controleert niet alleen of de code leeft; het controleert of de code taai, snel en slim genoeg is om de concurrentie te verslaan. De auteurs geloven dat dit ons een veel duidelijker beeld geeft van welke AI daadwerkelijk klaar is voor de echte wereld.

Technische Samenvatting: ProxyWar: Dynamische Beoordeling van LLM-codegeneratie in Game-arena's

1. Probleemstelling

De evaluatie van de codegeneratie door Large Language Models (LLM's) is grotendeels gestagneerd achter statische benchmarks en simplistische metrieken. Huidige benaderingen, zoals HumanEval en MBPP, leunen zwaar op executie-gebaseerde "pass@k"-metrieken of tekstgebaseerde gelijkenisscores (bijv. BLEU, CodeBLEU). Deze methoden lijden onder verschillende kritieke beperkingen:

Statisch Karakter: Ze evalueren code in isolatie, waardoor ze er niet in slagen dynamische executiebeperkingen, runtime-stabiliteit en robuustheid onder gedeelde resourcebudgetten te vangen.
Eenvouds-bias: Benchmarks bestaan vaak uit op zichzelf staande functies met beperkte testgevallen, waarbij de complexiteit van real-world software engineering (bijv. afhankelijkheden, coördinatie tussen meerdere bestanden) wordt genegeerd.
Gebrek aan Vergelijkbare Context: Ze meten niet hoe code presteert ten opzichte van alternatieve oplossingen in competitieve of adversariële settings, waardoor nuances in algoritmische efficiëntie en strategische besluitvorming worden gemist.
Over het Hoofd Geziene Dimensies: Metrieken richten zich bijna uitsluitend op functionele correctheid, waarbij operationele kenmerken zoals efficiëntie, onderhoudbaarheid en adaptiviteit aan edge cases worden verwaarloosd.

Consequentelijk is er een aanzienlijke kloof tussen benchmarkscores en de werkelijke levensvatbaarheid van door LLM gegenereerde code in dynamische, real-world scenario's.

2. Methodologie: Het ProxyWar-framework

ProxyWar is een nieuw framework ontworpen om LLM-codegeneratie te beoordelen via competitieve, gecontroleerde executie binnen diverse game-omgevingen. Het orkestreert een pijplijn van codegeneratie tot competitieve evaluatie, waarbij het verder gaat dan binaire pass/fail-tests naar een holistische prestatiebeoordeling.

2.1 Systeemarchitectuur

Het framework werkt via vijf onderscheidende lagen:

Game Environment Layer: Definieert de game als een tupel $G = \langle S, A, T, R, O, s_0 \rangle$ , die staatsovergangen, regels en observaties beheert. Het ondersteunt zowel scenario's met perfecte als imperfecte informatie.
Agent Layer: Handhaaft een minimaal interface-contract ( $\pi: O_{space} \times \{0, 1\}^{|A|} \to A$ ) dat alle gegenereerde agenten moeten implementeren, wat een eerlijke vergelijking onder identieke beperkingen waarborgt.
Code Generation Layer: Transformeert natuurlijke taal-specificaties naar uitvoerbare agent-code. Het bevat een Repair Function die code iteratief verfijnt op basis van foutfeedback, wat de real-world debugging-workflows simuleert.
Testing Layer: Valideert agents via een hiërarchische suite van tests die syntaxis, interface-compliance, basisfunctionaliteit, game-logica en robuustheid (edge cases) dekken. Mislukte tests triggeren de repair-loop.
Tournament Management Layer: Orkestreert geautomatiseerde toernooien waar agents head-to-head tegen elkaar strijden. Het maakt gebruik van TrueSkill rating-systemen om skill-rankings te berekenen op basis van wedstrijduitkomsten, wat een continue prestatie-metriek biedt in plaats van een binaire score.

2.2 Evaluatiemethodologie

ProxyWar hanteert een multidimensionale beoordelingsstrategie:

Competitieve Prestaties: Gebruikt TrueSkill ratings om agents te ranken op basis van win/verlies/gelijkspel uitkomsten in toernooien. Het rapporteert conservatieve skill-schattingen ( $\mu - 3\sigma$ ) om robuustheid te garanderen.
Statische Codekwaliteit: Meet Pass@1 (initiële correctheid), Repair Rate (het vermogen tot zelfcorrectie) en prestaties over hiërarchische testlagen (Structuur, Functie, Logica, Robuustheid).
Operationele Kenmerken: Houdt runtime-metrieken bij, waaronder beslissingssnelheid (latency), foutpercentages (timeouts, exceptions) en participatiepercentages.

2.3 Experimentele Opzet

Het framework werd geïmplementeerd met behulp van Python en geëvalueerd over 18 state-of-the-art LLM's (inclusclusief general-purpose, reasoning-enhanced en code-gespecialiseerde modellen) en 10 diverse game-omgevingen. Deze omgevingen variëren van single-player puzzels (Sudoku, 2048) tot two-player board games (Tic-Tac-Toe, Reversi) en multiplayer kaartspellen (Texas Hold'em). Elk model nam deel aan meer dan 10.000 wedstrijden om statistische significantie te waarborgen.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

ProxyWar Framework: Het eerste competitieve, executie-gebaseerde evaluatieframework voor LLM-codegeneratie dat automatische generatie, iteratieve reparatie en tournament-gebaseerde ranking integreert.
Multidimensionale Beoordeling: Een methodologie die operationele kenmerken (efficiëntie, robuustheid, adaptiviteit) vastlegt buiten traditionele pass/fail-metrieken.
Schaalbaar Platform: Een implementatie die diverse game-omgevingen ondersteunt met variërende complexiteit en informatiestructuren, wat systematische beoordeling over verschillende programmeerparadigma's mogelijk maakt.
Empirische Evaluatie: Een uitgebreide studie die voorheen verborgen beperkingen in LLM-codegeneratie blootlegt, met name met betrekking tot algoritmische creativiteit, optimalisatiestrategieën en de kloof tussen functionele correctheid en praktische inzetbaarheid.

4. Belangrijkste Resultaten en Bevindingen

De empirische evaluatie leverde verschillende cruciale inzichten op:

Discriminatief Vermogen (RQ1): ProxyWar onthult substantiële prestatiekloven die onzichtbaar zijn voor statische metrieken. Zo hebben DeepSeek-R1 en Qwen2.5-Coder wellicht vergelijkbare Pass@k scores, maar toonde ProxyWar een bijna driedubbel verschil in tournament win rates (39,6% vs. 13,4%). Modellen met 100% participatiepercentages (perfecte testpassing) vertoonden nog steeds grote variaties in competitieve prestaties.
Statische vs. Dynamische Prestaties (RQ2): Er is een zwakke correlatie (Spearman's $\rho = 0,23$ $ρ = 0, 23$ ) tussen Pass@1 en competitieve ranking.
- Efficiëntie vs. Verfijning: In Sudoku genereerde Deep-R1 een minimalistische backtracking agent die GPT-4.1's complexere heuristiek-gebaseerde aanpak (MRV/LCV) versloeg. De code van GPT-4.1 was theoretisch superieur maar in de praktijk bijna 28x trager door de Python interpretatie-overhead, wat leidde tot slechtere tournament uitkomsten.
- Debugging Limieten: Hoewel sommige modellen (bijv. Claude3.5-Sonnet) een perfecte repair rate bereikten, garandeerde dit geen sterke tournament prestaties, wat wijst op de limieten van huidige zelfcorrectie-capaciteiten.
Omgevingsgevoeligheid (RQ3): Modelprestaties zijn sterk contextafhankelijk.
- Complexiteit: De prestatiekloven worden aanzienlijk groter naarmate de game-complexiteit toeneemt (bijv. Reversi vs. Tic-Tac-Toe).
- Informatiestructuur: Games met perfecte informatie bevoordelen zoek/planning capaciteiten, terwijl games met imperfecte informatie (bijv. Poker) probabilistisch redeneren bevoordelen. Geen enkel model blinkt universeel uit in alle soorten games.
- Specialisatie: Code-gespecialiseerde modellen presteren vaak minder goed in competitieve, context-rijke scenario's vergeleken met general-purpose of reasoning-enhanced modellen.

5. Betekenis en Claims

De auteurs positioneren ProxyWar als een fundamentele stap naar een meer rigoureuze, reproduceerbare en realistische evaluatie van programmasynthese-systemen.

Het overbruggen van de Kloof: Het framework adresseert de disconnect tussen benchmark-prestaties en praktische bruikbaarheid door code te evalueren onder gedeelde resource-beperkingen en adversariële condities.
Voorbij Correctheid: Het benadrukt dat "correcte" code onvoldoende is; operationele kenmerken zoals latency, stabiliteit en strategische adaptiviteit zijn cruciaal voor real-world deployment.
Toekomstig Onderzoek: ProxyWar legt de basis voor onderzoek naar LLM-gestuurde algoritme-ontdekking en adaptief probleemoplossend vermogen. De auteurs suggereren dat toekomstig werk kan verkennen of LLM-coders in staat zijn om nieuwe strategieën te ontdekken of handmatige agents in complexe games te overtreffen.
Bescheiden Scope: Het artikel erkent dat game-omgevingen, hoewel divers, de complexiteit van alle real-world software engineering taken (bijv. grootschalige collaboratieve ontwikkeling) mogelijk niet volledig vatten. Het beschouwt de huidige suite van omgevingen als een startpunt voor bredere, niet-game gebaseerde benchmarks.

Concluderend demonstreert ProxyWar dat competitieve, game-gebaseerde evaluatie zorgt voor een fijnmazige differentiatie van LLM-capaciteiten, waarbij operationele beperkingen worden blootgelegd die statische benchmarks niet detecteren.