💻 computer science

Evaluating Large Language Models as Live Strategic Agents: Provider Performance, Hybrid Decomposition, and Operational Gaps in Timed Risk Play

Deze studie evalueert grote taalmodellen als live strategische agenten in een getimede Risk-omgeving en onthult dat, hoewel Gemini-3.1-pro-preview andere aanbieders aanzienlijk overtrof in doorgaande gameplay, het prestatieverschil grotendeels voortkomt uit uitvoeringsbetrouwbaarheid en objectvolging en niet alleen uit planningscapaciteiten.

Oorspronkelijke auteurs: H. C. Ekne

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: H. C. Ekne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van schaakgrootmeesters huurt om een toernooi te spelen. Meestal, wanneer we AI-modellen (de "schaakspelers") testen, stellen we hen één vraag, zoals "Wat is de beste zet hier?", en beoordelen we hun antwoord. Dit is als een geschreven examen.

Maar in de echte wereld neemt AI niet zomaar examens; het moet het hele spel spelen, honderden zetten doen, omgaan met tijdslimieten en zijn eigen fouten oplossen zonder te stoppen. Dit artikel vraagt: Wat gebeurt er als we stoppen met het testen van AI met geschreven examens en beginnen met het testen ervan in een live, getimed toernooi?

De onderzoekers gebruikten een klassiek bordspel genaamd Risk (waarbij je probeert de wereld te veroveren door legers te verplaatsen) als hun testarena. Ze richtten een "kampioenschap" op waarbij verschillende AI-modellen in real-time tegen elkaar moesten spelen, met strikte regels en tijdslimieten.

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd:

1. Het Geschreven Examen versus het Live Spel

In het grote toernooi van 32 partijen won één AI-model, Gemini, 20 van de 32 partijen. Het verpletterde de concurrentie en versloeg andere beroemde modellen zoals GPT, Claude en Kimi.

De Verrassing: Toen de onderzoekers keken naar de "nieuwste" of "duurste" modellen, bleken deze niet altijd te winnen. Soms speelde een iets ouder of goedkoper model beter in het live spel dan de glanzende nieuwe vlaggenschip.

De Analogie: Denk aan een raceauto. De duurste, hoogtechnologische auto (het "nieuwste model") ziet er misschien prachtig uit op een showroomvloer (de benchmark), maar als het een kwetsbare motor heeft die na 5 minuten oververhit raakt, zal het een lange endurance-race verliezen. De winnaar was niet de flitsendste auto; het was degene die de hele race rustig kon blijven rijden.

2. De Geheime Ingrediënt: Plannen versus Besturen

De onderzoekers wilden weten waarom Gemini won. Was het omdat het een genie was in planning (nadenken over de strategie), of omdat het goed was in besturen (de stukken daadwerkelijk verplaatsen op het bord)?

Om dit uit te vinden, draaiden ze een "hybride" experiment. Ze namen de hersenen (het plannende deel) van alle verschillende modellen en dwongen hen om dezelfde goedkope, snelle carrosserie (het uitvoerende deel) te gebruiken om de stukken te verplaatsen.

Het Resultaat: Toen ze dit deden, verdween het verschil tussen de modellen bijna. De "geniale" modellen en de "gemiddelde" modellen presteerden bijna hetzelfde.

De Analogie: Stel je voor dat je een briljante schaakcoach (de planner) en een onhandige assistent (de uitvoerder) hebt. Als je de briljante coach een onhandige assistent geeft, kan de coach niet winnen. Maar als je elke coach dezelfde onhandige assistent geeft, maken hun verschillen in strategie niet meer zoveel uit.
De Les: De reden dat Gemini het grote toernooi won, was niet alleen omdat het beter dacht; het was omdat zijn hele systeem (denken + doen) soepel samenwerkte. De andere modellen hadden "onhandige assistenten" die hun briljante plannen verpestten.

3. Hoe Gemini Eigenlijk Won

Toen ze de spellogboeken nauwkeurig bekeken, vonden ze twee specifieke gewoonten die Gemini tot kampioen maakten:

Het Vergeet Het Doel Nooit: Terwijl andere modellen afgeleid raakten door kleine details, herinnerde Gemini zichzelf constant: "Ik moet 65% van het bord controleren om te winnen." Naarmate het spel dichter bij het einde kwam, concentreerde het zich nog harder op het uiteindelijke doel.
- Analogie: Het is als een marathonloper die constant het bord met de finishlijn controleert. De andere renners keken naar de bomen of de wolken, maar Gemini hield zijn ogen op de finishlijn gericht.
Het Maakte Diepe Zetten: Toen Gemini besloot aan te vallen, maakte het niet slechts één kleine zet. Het plande lange ketens van aanvallen die enorme stukken land in één beurt veroverden.
- Analogie: Andere modellen waren als iemand die een gat in een ballon prikt. Gemini was als iemand die de hele ballon in één keer laat knappen.

4. De "Goedkoper is Beter" Ontdekking

De onderzoekers testten ook een "hybride" strategie: Wat als je een superslim (maar duur) model gebruikt om alleen te plannen, en een goedkoper, sneller model alleen om het werk te doen?

Het Resultaat: Dit hybride team won bijna even vaak als het superduur team, maar het kostte minder dan de helft van het geld om het te draaien.

De Analogie: Het is als het inhuren van een beroemde, dure architect om de blauwdrukken te tekenen, maar dan een reguliere, betaalbare bouwcrew inhuren om het huis te bouwen. Je krijgt het briljante ontwerp zonder het uurtarief van de architect te betalen voor elke spijker die ze hameren.

De Conclusie

Dit artikel leert ons dat het beoordelen van AI op basis van hoe goed het één vraag beantwoordt, misleidend is. AI in de echte wereld moet een betrouwbare werknemer zijn, niet zomaar een slim prater.

Kijk niet alleen naar de IQ-score: Kijk hoe het model omgaat met tijdslimieten, fouten en lange taken.
Het hele systeem telt: Een slim brein is nutteloos als de handen (uitvoering) onhandig zijn.
Hybride is de toekomst: Je kunt vaak geld besparen en betere resultaten behalen door het werk te splitsen: gebruik een slim model voor het denken en een goedkoop model voor het doen.

Kortom: In de echte wereld winnen consistentie en uitvoering het van pure intelligentie alleen.

Technische Samenvatting: Evaluatie van Grootte Taalmodellen als Live Strategische Agenten

Probleemstelling

Huidige publieke evaluaties van Grootte Taalmodellen (LLM's) behandelen deze voornamelijk als statische respondenten: er wordt een prompt uitgevaardigd, een antwoord wordt gescoord en modellen worden gerangschikt. Dit artikel betoogt dat deze aanpak niet in staat is om vast te stellen hoe modellen zich gedragen in productiesystemen, waar ze opereren binnen gebonden workflows die worden gekenmerkt door strikte tijdslimieten, opmaakbeperkingen, herhaalde uitvoeringslussen en specifieke faalmodi.

De auteurs stellen dat een model goed kan presteren op statische benchmarks, maar ondermaats kan presteren in synchrone, meerfasige lussen waarin het herhaaldelijk moet handelen, zich moet aanpassen en zich moet herstellen. Om deze kloof aan te vullen, evalueert de studie LLM's als live strategische agenten in een concrete, adversariële omgeving: het bordspel Risk. Dit domein dwingt agenten om doelen op lange termijn na te streven, complexe acties te sequentiëren, te voldoen aan beperkte syntaxis en zich aan te passen aan tegenstanders over vele beurten, en dient als een stress-test voor praktisch systeemgedrag in plaats van geïsoleerde redeneerkwaliteit.

Methodologie

De studie maakt gebruik van een gerepliceerde, cross-provider experimentele opzet die draait onder een vast tijdsprotocol. Het kernontwerp van het experiment omvat drie distincte fasen:

Full-Stack Provider Kampioenschap: Een toernooi van 32 wedstrijden waarbij vier grote providers (Gemini 3.1 Pro, GPT-5.1, Claude Opus 4.7 en Kimi K2.6) met hun native, end-to-end stacks concurreerden. Elke agent opereerde onder een plannings-timer van 90 seconden, een uitvoerings-timer van 90 seconden en een plaatsings-timer van 15 seconden, met een overwinningsvoorwaarde van het controleren van 65% van het grondgebied.
Decompositie en Hybridisatie: Om de bron van prestatieverschillen te isoleren, hebben de auteurs planning gescheiden van uitvoering.
- Cost Gate: Ze testten een hybride architectuur waarbij een sterker model (Gemini 3.1 Pro) de planning verzorgde, terwijl een goedkoper, sneller model (Gemini 3 Flash) de uitvoering verzorgde.
- Planner Bakeoff: In een reeks van 32 wedstrijden gebruikten alle providers hun native planningsmodellen, maar deelden ze een gestandaardiseerde, goedkope uitvoeringslaag van Gemini Flash. Dit controleerde voor variabiliteit in uitvoering om de pure planningscapaciteit te meten.
Trace-analyse: De auteurs analyseerden 946 opgeslagen samenvattingen van beurten uit het provider-kampioenschap om mechanismeniveau-gedrag te onderzoeken, met name gericht op "doel-volgende taal" (verwijzingen naar terminale doelen) en "uitvoeringsketendiepte" (opeenvolgende succesvolle aanvallen).

Statistische significantie werd bepaald met behulp van permutatietests voor winnaarslabels en exacte binomiale logica, met een primaire focus op winpercentages onder de geconfigureerde overwinningsvoorwaarde.

Belangrijkste Resultaten

1. Full-Stack Prestaties: Gemini-dominantie

In het gerepliceerde full-stack kampioenschap van 32 wedstrijden was Gemini 3.1 Pro de duidelijke outlier, met 20 gewonnen wedstrijden (62,5%). De verdeling van winnaars verschilde significant van een nullhypothese van gelijke sterkte ( $p \approx 1,5 \times 10^{-5}$ ).

Gemini: 20 overwinningen
OpenAI (GPT-5.1): 6 overwinningen
Claude (Opus 4.7): 4 overwinningen
Kimi (K2.6): 2 overwinningen

Opmerkelijk is dat binnen de OpenAI-lijn GPT-5.1 betere prestaties leverde dan nieuwere OpenAI-varianten, wat suggereert dat in live-beurtlussen een combinatie van snelheid en tactische discipline zwaarder weegt dan de status van "vlaggenschip" alleen.

2. Het "Systeemontwerp"-effect: Decompositie

Toen de uitvoering werd gestandaardiseerd naar een gedeelde, goedkopere Gemini Flash-laag, stortte het prestatieverschil tussen providers dramatisch in.

In de Planner Bakeoff werd de winnende verdeling onder planners statistisch consistent met bijna-gelijkheid ( $p \approx 0,821$ ).
Hybride Efficiëntie: Een hybride stack (Gemini 3.1 Planning + Gemini 3 Flash Uitvoering) won 8 van de 15 wedstrijden in een cost-gate-experiment. Deze hybride bereikte het grootste deel van de full-stack-strength terwijl de geschatte API-kosten met meer dan de helft werden verlaagd (van $6,28 naar $2,80 per reeks van 15 wedstrijden).

3. Mechanisme-analyse

Trace-analyse onthulde twee primaire drijfveren voor het succes van Gemini:

Expliciete Doelvolging: Gemini verwees in 58,5% van zijn plannen naar het terminale doel (65% grondgebied controleren), vergeleken met <4% voor andere modellen. Deze focus nam toe naarmate de agent dichter bij overwinning kwam (stijgend naar 100% bij controle van 20+ gebieden).
Uitvoeringsconversie: Hoewel het niet de "schoonste" runtime was (met hogere percentages ongeldige zetten dan Claude), converteerde Gemini beurten effectiever naar diepe veroveringsketens. Het behaalde 6 of meer succesvolle veroveringen in 38,7% van de beurten, wat significant beter was dan Claude (28,9%), Kimi (26,7%) en GPT-5.1 (23,4%).

Betekenis en Claims

Het artikel concludeert dat kwaliteit van live-agenten een eigenschap is van het hele systeem, en niet alleen van de redeneercapaciteit van het onderliggende model. De auteurs doen de volgende bescheiden, empirische claims:

Benchmark-divergentie: Prestatie van statische benchmarks garandeert geen prestatie van live-agenten. "Beste benchmarkmodel" en "beste live-agent" zijn verschillende vragen.
Operationele Pariteit versus Benchmark-pariteit: Claims van "near-parity" gebaseerd op statische benchmarks kunnen de operationele pariteit in de echte wereld overdrijven. Bijvoorbeeld, Kimi K2.6, hoewel concurrerend met oudere niveaus in benchmarks, bleef aanzienlijk achter bij de huidige Gemini-frontier in live-spel.
Hybride Architecturen: De meest praktische implementatiestrategie kan het decomponeren van de workflow inhouden: het gebruik van dure, hoog-redenerende modellen voor planning en goedkopere, snellere modellen voor uitvoering.
Verschuiving in Evaluatie: Om LLM's in real systemen te begrijpen, moet evaluatie verschuiven van geïsoleerde respondenten naar componenten binnen gebonden workflows die rekening houden met kosten, latentie, opmaakdiscipline en doelvolging.

De auteurs stellen expliciet dat deze studie niet claimt om algemene modelrangschikking op te lossen of te bewijzen dat doelgericht taalgebruik oorzaak is van beter spelen, maar eerder aantoont dat evaluatie van live-agenten materieel andere conclusies oplevert dan de cultuur van statische benchmarks.