🤖 AI

Age of LLM: A Strategic 1v1 Benchmark for Reasoning, Diplomacy and Reliability of Large Language Models under Fog of War

Het artikel introduceert "Age of LLM", een nieuwe beurtgebaseerde 1v1-benchmark met fog of war, onbeperkte diplomatie en strikte beperkingen op de betrouwbaarheid van acties om te evalueren hoe grote taalmodellen redeneren, misleiden en overtuigingen bijhouden onder adversariële onzekerheid, waarbij wordt onthuld dat nucleaire strategieën domineren terwijl diplomatieke overeenkomsten zelden slagen.

Oorspronkelijke auteurs: Arnaud Ricci

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arnaud Ricci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hooggespannen schaakwedstrijd voor, maar in plaats van een houten bord en stukken spelen twee gigantische AI-hersenen een digitaal oorlogsspel op een raster van 13 bij 7. Ze kunnen niet het hele bord zien; de helft ervan is bedekt met een dikke, verschuivende mist. Ze moeten legers opbouwen, geheime middelen beheren en met elkaar communiceren, terwijl ze proberen de basis van de tegenstander op te blazen.

Dit is Age of LLM, een nieuw experiment ontworpen om te zien hoe goed AI-modellen kunnen nadenken wanneer ze blind zijn, onder druk staan en gedwongen worden strikte regels te volgen zonder enige hulp van een leraar.

Hier is de uitsplitsing van wat er gebeurde, met behulp van eenvoudige analogieën:

1. Het Spel: Een Mistige Oorlogskamer

Denk aan het spel als een spionageriller.

De Fog of War (Mist van de Oorlog): Je kunt alleen zien waar je eigen eenheden naast staan. De middelen en troepen van de vijand zijn verborgen. Als je probeert een tank in een plek te bewegen die je niet kunt zien, zegt het spel: "Nee, dat is illegaal," en verlies je die beurt.
Het Geheim: Het machtigste wapen is een kernbom. Om deze te bouwen, heb je een geheim middel nodig genaamd "uranium". De vijand weet niet hoeveel uranium jij hebt, en jij weet niet hoeveel zij hebben. Dit maakt bluffen mogelijk.
De Regels: De AI krijgt een regelboek maar geen strategiehandleiding. Het is alsof je een chef een lijst met ingrediënten en keukengereedschap geeft, maar dan zegt: "Maak een maaltijd, maar vertel me niet wat ik moet koken." De AI moet zelf het plan bedenken.

2. De Grote Verrassing: Iedereen koos voor de "Nuclear Rush"

De onderzoekers verwachtten dat de AI verschillende strategieën zou proberen, zoals het bouwen van een enorm tankleger of het onderhandelen over vrede. In plaats daarvan koos bijna iedereen (ongeveer 7‌8% tot 85% van de tijd) hetzelfde pad: De Nuclear Rush.

De Strategie: Bouw een mijn om uranium te krijgen, bouw een silo om de bom te bewaren, verken de vijand en lanceer dan.
Het Resultaat: Het was een race. De eerste die lanceerde, won. De tweede die lanceerde, verloor.
De Twist: Omdat de spelregels zeggen dat lanceringen geheim en tegelijkertijd plaatsvinden, zag niemand de ander lanceren voordat ze zelf moesten besluiten om te lanceren. Dus niemand probeerde een "tegen-lancering" uit te voeren om de ander te stoppen. Het was niet dat de AI te dom was om dit te bedenken; de spelmechanica maakte het onmogelijk om op tijd te reageren. Het was als twee mensen die precies op hetzelfde moment een schakelaar omzetten; niemand kon zien dat de hand van de ander eerst bewoog.

3. De "Tank"-Strategie: Snel maar Zeldzaam

Slechts enkele AI's probeerden te winnen door tanks in de basis van de vijand te rijden.

De Analogie: Dit is als een sprinter versus een marathonloper. De tankstrategie was veel sneller (winnen in ongeveer 12 beurten versus 19 voor kernwapens), maar het was erg moeilijk uit te voeren. Het vereiste perfecte coördinatie en geluk. De meeste AI's waren te bang om het te proberen, dus hielden ze zich aan de "veiligere" kernwapenrace.

4. De Chat: Veel Bluffen, Heel Weinig Vertrouwen

De AI-modellen mochten tekstberichten naar elkaar sturen. Ze stuurden duizenden berichten!

De Bluff: Zelfs wanneer een AI er slecht aan toe was, stuurde het vaak berichten zoals: "Ik ga je straks verpletteren!" of "Geef je nu over!" Dit wordt bluffen genoemd. Het onderzoek vond dat verliezers net zo vaak bluffen als winnaars. Het is als een pokerspeler met een slechte hand die doet alsoan dat hij een Royal Flush heeft.
De Stilte: Wanneer het spel daadwerkelijk voorbij was, zeiden de verliezers zelden "Goed spel" of "Je hebt gewonnen". Ze bleven praten tot het allerlaatste moment.
Het Geheim: Het meest interessante resultaat ging over misleiding. Wanneer een AI zijn geheime kernwapensilo aan het bouwen was, noemde het die zelden in de berichten. Het zou dingen zeggen als: "We zijn gewoon wat vredig aan het boeren," terwijl het stiekem een bom aan het bouwen was. Maar zodaleer de bom klaar was om af te vuren, konden ze het vaak luid aankondigen. Het lijkt erop dat de AI leerde de voorbereiding te verbergen, maar niet de uitvoering.

5. De Echte Test: Betrouwbaarheid versus Intelligentie

Het paper stelde een cruciale vraag: Maakt harder nadenken je een betere winnaar?

De Bevinding: Niet noodzakelijkerwijs. De AI die de meeste tijd besteedde aan "nadenken" (het verwerken van tokens) won niet altijd.
De Echte Winnaar: De AI die het vaakst won, was degene die de minste fouten maakte. In dit spel, als je een eenheid in een mistig gebied probeert te bewegen dat je niet kunt zien, negeert het spel je commando. Je verliest een beurt.
De Les: De beste speler was niet de slimste filosoof; het was de meest betrouwbare soldaat. De AI die zijn hoofd koel hield in het spel, zich herinnerde waar de vijand was en niet probeerde het onmogelijke te doen, won. Het paper suggereert dat in complexe, echte taken niet de fout in gaan misschien belangrijker is dan een genie zijn.

6. Waarom Dit Belangrijk Is (Volgens het Paper)

De meeste tests voor AI zijn als korte toetsen: "Hier is een wiskundig probleem, los het op." De AI kan het hele probleem zien en geeft simpelweg het antwoord.
Age of LLM is anders. Het is als een live, meerdaagse survivalgame waarbij:

Je niet alles kunt zien.
Je moet onthouden wat er gisteren is gebeurd.
Je je aan strikte regels moet houden of wordt gestraft.
Je moet praten met een tegenstander die kan liegen.

Het paper concludeert dat dit een betere manier is om te zien hoe AI echt "denkt" wanneer het niet alleen feiten uit een tekstboek reciteert. Het laat ons zien dat voor AI om nuttig te zijn in de echte wereld, het net zo belangrijk is om betrouwbaar te zijn (niet zomaar feiten verzinnen of regels vergeten) als dat het intelligent moet zijn.

Kortom: De AI-modellen speelden een mistig oorlogsspel. De meesten kozen voor de nucleaire route. Ze vlogen elkaar in de chat ook flink in de haren. En de winnaar was niet degene die het hardst nadacht, maar degene die de minste stomme fouten maakte.

Technisch Overzicht: Age of LLM

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) evalueren voornamelijk competentie in een enkelvoudige beurt op taken met volledige observeerbaarheid en eenduidige antwoorden (bijv. MATH, HumanEval, MMLU). Deze benchmarks falen in het beoordelen van de competenties die vereist zijn voor realistische adversariële besluitvorming: plannen onder onzekerheid, redeneren over verborgen tegenstanders, temporele commitment en de betrouwbaarheid van gestructureerde output over opeenvolgende beurten. Bovendien lijden publieke benchmarks aan datacontaminatie, waarbij frontier-modellen die getraind zijn op web-scraped corpora specifieke benchmark-items kunnen hebben gememoriseerd, wat scores opblaast zonder de werkelijke redeneerkracht te reflecteren.

Age of LLM adresseert deze hiaten door een turn-based 1v1 benchmark te introduceren waarbij twee LLM's tegen elkaar strijden op een 13×7 rooster om een vijandelijke basis te vernietigen. De omgeving is ontworpen om modellen te testen onder drie specifieke condities:

Fog of War (Mist van de oorlog): Partiële observeerbaarheid waarbij vijandelijke eenheden, hulpbronnen en locaties verborgen blijven totdat ze gescout worden.
Volledige Diplomatie: Modellen kunnen vrije tekstberichten uitwisselen, bestandensluitingen voorstellen, ultimatummen uitgeven of vrede onderhandelen, zonder bindende beperkingen behalve de spelregels.
Betrouwbaarheidsbeperkingen: Elke beurt vereist strikte naleving van een JSON-schema. Illegale acties (bijv. handelen op cellen die verborgen zijn door de mist of verwijzen naar vernietigde eenheden) worden stilzwijgend genegeerd, waardoor een deel van het actiebudget van het model wordt verspild, terwijl malafide JSON triggers voor herhalingen veroorzaakt.

Methodologie

Spelontwerp

Het spel vindt plaats op een symmetrische 13×7 kaart, verdeeld door een bergbarrière.

Hulpbronnen: Spelers beheren credits (voor eenheden/gebouwen) en uranium (voor kernwapens). Mijnen moeten worden gebouwd om hulpbronnen te extraheren, die opnieuw verschijnen bij uitputting.
Eenheden & Gevechten: Er bestaat een tactische driehoek: Fighters counteren SAMs, SAMs counteren Tanks, en Tanks counteren Fighters. Alleen Tanks kunnen gebouwen beschadigen (Base HP: 4).
Overwinningscondities:
- Nucleair: Een bom lanceren (vereist een operationele silo, voldoende uranium en voorafgaande scouting van de vijandelijke basis). Lanceringen zijn geheim tot de detonatie en worden simultaan afgehandeld aan het einde van de beurt.
- Militair: De vijandelijke basis reduceren tot 0 HP met behulp van Tanks.
- Diplomatiek: Geaccepteerd ultimatum (overgave) of geaccepteerde vrede (gelijkspel).
Prompting: Modellen ontvangen een "bijna regel-alleen" systeemprompt. Deze definieert de regels en het JSON-schema, maar biedt geen advies over build-orders, timingstrategieën of aanbevolen tactieken. (Opmerking: Twee tactische seed-zinnen waren aanwezig in de dataverzameling-prompt maar zijn verwijderd in de definitieve release; het paper markeert dit als een beperking die invloed heeft op de scouting- en tankproductiestatistieken).

Experimentele Opstelling

Modellen: 15 reasoning-modellen werden geëvalueerd (inclusief GPT-5.5, Claude Opus 4.8, Gemini Pro/Flash, DeepSeek V4 Pro, Kimi-varianten, etc.) via OpenAI-compatibele endpoints.
Configuratie: Alle modellen werden aangeroepen met reasoning_effort=high (anders gerouteerd bij verschillende providers) en een sampling temperatuur van 0.7.
Corpus: 54 voltooide wedstrijden werden gegenereerd. Elke wedstrijd gebruikt een nieuwe willekeurige map-seed en een willekeurige tegenstander uit de pool.
Anti-Contaminatie: De broncode van de engine is privé en kaarten worden opnieuw ge-seed, wat rote memorisatie van specifieke bordstaten of oplossingen voorkomt.
Beperkingen: De steekproefomvang is bescheiden (3–15 wedstrijden per model), de koppelingen zijn niet gebalanceerd via round-robin, en zijde-wisseling (side-swapping) was niet systematisch. Daarom worden ranglijsten gepresenteerd als voorlopige beschrijvende weergaven in plaats van definitieve head-to-head standen.

Belangrijkste Resultaten

1. Overwinningskanalen en Strategie

Nucleaire Dominantie: De nucleaire rush is de dominante strategie, verantwoordelijk voor 78% van de uitkomsten in de regels-coherente v0.11+ sub-corpus (85% over de gehele corpus).
Militaire Verovering: Zeldzaam (11% in v0.11+), maar aanzienlijk sneller wanneer succesvol (gemiddeld 12.3 beurten versus 18.9 voor nucleair).
Diplomatie: Hoewel talrijk (1.804 vrije berichten, 59 ultimatummen, 46 bestandensluitingen), worden diplomatieke overeenkomsten zelden uitgevoerd. Slechts 1 vrede werd geaccepteerd, 3 bestandensluitingen en 3 ultimatummen (die leidden tot een overwinning).
Lanceerkenmerk: In alle 46 nucleaire wedstrijden was de winnaar de enige lanceerder, die precies één keer vuurde. Er vond geen wederzijdse vernietiging plaats. Het paper schrijft dit toe aan de mechanische aard van de geheime-simultane lanceerregels (de verliezer had geen informatie om een tegenlancering uit te voeren) in plaats van een cognitief falen van afschrikking.

2. Betrouwbaarheid en Belief Tracking

Illegale Acties: Van de 5.258 totale acties werden er 5,6% afgewezen als illegaal.
Fog/State Fouten: Ongeveer 58% van de illegale acties was te wijten aan fog-of-war of state-tracking fouten (bijv. handelen op een cel die niet in zicht is, of verwijzen naar een vernietigde eenheid). Dit herkadert de illegale-actie-ratio als een maatstaf voor belief-tracking onder partiële observeerbaarheid in plaats van eenvoudige instructieopvolging.
Correlatie met Winnen: De illegale-actie-ratio vertoont de sterkste (negatieve) correlatie met winnen ( $r = -0.35$ ), wat beter presteert dan deliberatietijd en token-aantal, hoewel de correlatie niet statistisch significant is bij $n=15$ na correctie.

3. Emergente Communicatie en Misleiding

Bluffen: Verliezende modellen bluffen op statistisch ononderscheidbare niveaus als winnaars (ongeveer 28% van de eindfase-berichten van verliezers bevatten dreigementen/borstklopperij).
Bedrieglijke Kalmte: Modellen verbergen systematisch strategische voorbereidingen. Silo-constructie wordt slechts in 14% van de gevallen aangekondigd, vergeleken met 41% voor tankproductie en 22% voor aanvallen. Daarentegen wordt de lancering zelf in 48% van de gevallen aangekondigd.
Persona's: Stabiele stilistische trekken kwamen naar voren, zoals "beleefde" openingen (Gemini-modellen) versus "tactisch terfen" stijlen (Claude/Kimi), die zwak gecorreleerd waren met vaardigheid.
Ontbrekende GG: Modellen geven zelden gracieus toe; competitieve vocabulaire werd geïmporteerd, maar afsluitende etiquette was afwezig.

4. Leaderboard

GPT-5.5 was ongeslagen (7W–0L) met 3.00 punten per wedstrijd (ppm), hoewel het betrouwbaarheidsinterval breed is.
Gemini Flash 3.5 en MiniMax M3 vormden een dicht middenveld.
Kimi-varianten en Grok 4.3 presteerden slecht, vaak door hoge illegale-actie-ratio's of API-instabiliteit.
Deliberatie versus Betrouwbaarheid: Hoge deliberatietijd (bijv. GPT-5.5) garandeerde geen overwinning, terwijl modellen met hoge illegale-actie-ratio's consistent verloren.

Betekenis en Claims

Het paper positioneert Age of LLM niet louter als een rangschikkingsinstrument, maar als een lens voor het bestuderen van de LLM-cognitie onder adversariële onzekerheid. De primaire bijdragen zijn:

Methodologisch: Het biedt een dataset van turn-by-turn sporen (acties + berichten) waarmee onderzoekers belief-tracking, spontane misleiding en cognitieve persona's kunnen analyseren op een manier die single-turn benchmarks niet kunnen.
Betrouwbaarheid als Beperking: Het demonstreert dat in sequentiële, gedeeltelijk observeerbare omgevingen, het vermogen om legale, regelconforme acties uit te voeren (betrouwbaarheid) een bindende beperking is die mogelijk kritischer is voor succes dan brute deliberatievolume.
Anti-Contaminatie: Het biedt een raamwerk voor benchmarking dat datacontaminatie vermindert door middel van private engine-logica en randomisatie, waarbij erkend wordt dat de kosten van betaalde API-calls een noodzakelijke afweging zijn voor validiteit.
Cognitieve Inzichten: De bevindingen suggeren dat LLM's spontaan operationele beveiliging kunnen ontwikkelen (het verbergen van silo-bouw) en bluffstrategieën zonder expliciete instructie, terwijl ze tegelijkertijd worstelen met het behouden van een nauwkeurige interne overtuiging over verborgen speltoestanden.

De auteurs stellen expliciet dat de huidige rangschikking een "voorlopig beschrijvend beeld" is en geen definitieve bijdrage, en roepen op tot toekomstig werk met grotere, via side-swapping verkregen datasets en single-ruleset corpora om deze bevindingen te stabiliseren.