🤖 AI

GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models

Dit artikel introduceert GENSTRAT, een raamwerk dat gebruikmaakt van procedurally gegenereerde strategische omgevingen en een multi-as capaciteitsprofiel om het strategisch redeneren van grote taalmodellen te evalueren, en onthult dat modellen met vergelijkbare algehele prestaties onderscheidende sterktes en onvoorspelbare gedragsvolatiliteit kunnen vertonen in specifieke, voor implementatie relevante scenario's.

Oorspronkelijke auteurs: Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van expertpokerspelers inhuurt om een casino met hoge inzetten te runnen. Je wilt weten wie de beste is.

De Oude Manier: Het "Vast Menu"-Probleem
Traditioneel zou je om deze spelers te testen hen een vast menu van vijf beroemde pokerspellen geven (zoals "Texas Hold'em" of "Kuhn Poker"). Je zou kijken hoe ze spelen, de overwinningen tellen en ze rangschikken.

Het probleem?

Ze hebben het menu uit het hoofd geleerd: Als de spelers die exacte vijf spellen bestudeerden voordat de test begon, tonen ze geen echte vaardigheid; ze reciteren gewoon antwoorden die ze al kennen.
Het menu is te klein: Het feit dat iemand geweldig is in die vijf specifieke spellen, betekent niet dat ze het hoofd kunnen bieden aan de rommelige, vreemde en onvoorspelbare spellen die zich in een echt casino zouden kunnen voordoen.

De Nieuwe Manier: GENSTRAT (De "Oneindige Gokautomaat")
De auteurs van dit artikel bouwden een nieuwe testomgeving genaamd GENSTRAT. In plaats van een vast menu, bouwden ze een "spellen-generator"—als een gokautomaat die nooit op nieuwe, unieke pokerspellen raakt.

Frisse Spellen Op Verzoek: Elke keer als ze een model willen testen, draait de machine en creëert ze een gloednieuw spel met andere regels, kaartdecks en inzetfasen. Geen enkel model kan de antwoorden uit het hoofd leren omdat de vragen voortdurend veranderen.
Het "Zes-Dimensionale" Rapport: In plaats van één enkele score te geven (zoals "90/100"), geeft GENSTRAT een gedetailleerd profiel over zes specifieke "assen" van moeilijkheidsgraad:
1. Toestandruimte: Hoeveel verschillende situaties kunnen er voorkomen? (Is het spel simpel of chaotisch?)
2. Temporale Diepte: Zaken vroege zetten later uit? (Moet je 10 stappen vooruit plannen, of gewoon reageren op de volgende kaart?)
3. Informatiegevoeligheid: Verandert het kennen van je geheime hand je strategie?
4. Tegenstandermodelleren: Moet je raden wat de andere speler denkt?
5. Risico: Is het een veilig spel, of moet je groot gokken voor een grote beloning?
6. Brosheid: Is het spel "bros"? Als je een klein foutje maakt, verlies je dan alles?

Het Toernooi: Een Showdown van 36.000 Handen
De onderzoekers lieten 9 van 's werelds slimste AI-modellen tegen elkaar strijden in meer dan 36.000 wedstrijden. Hier is wat ze ontdekten:

De "Gemiddelde" Winnaar: Nieuwere, grotere modellen wonnen over het algemeen meer chips.
De "Specialist" versus de "Generalist": Twee modellen kunnen dezelfde totaalscore hebben, maar hun "profielen" zien er totaal anders uit.
- Voorbeeld: Eén model (Claude) was geweldig in "brosse" spellen (waar precisie telt), maar gemiddeld elders. Een ander (Gemini) was sterk in bijna alle categorieën.
- Analogie: Het is alsof twee hardlopers dezelfde totale wedstrijdtijd hebben, maar de één is een sprinter die uitblinkt op rechte banen, terwijl de ander een marathonloper is die uitblinkt op heuvelachtig terrein. Als je alleen naar de totale tijd kijkt, mis je de nuance.

De "Gekarteldheid"-Test: De Bultige Weg
Het artikel introduceerde een nieuw concept genaamd Gekarteldheid.

Stel je voor dat je een auto rijdt. Een "gladde" auto gaat consistent om met hobbels in de weg. Een "gekartelde" auto gaat perfect om met een hobbel, maar raakt de volgende hobbel en slingert wild, zelfs als de hobbels identiek zijn.
De onderzoekers ontdekten dat sommige topmodellen "gekarteld" waren. Ze presteerden ongelooflijk goed in één specifiek spel, maar deden het verrassend slecht in een zeer vergelijkbaar spel direct ernaast.
Waarom dit belangrijk is: Als je een "gekarteld" model in de echte wereld inzet, kun je vandaag geweldige resultaten krijgen, maar een iets andere situatie morgen kan een crash veroorzaken. Een "glad" model is voorspelbaarder en betrouwbaarder.

De "Denk"-Test
Ze controleerden ook of het vertellen aan de AI om "harder na te denken" (meer rekenkracht gebruiken) hielp.

Voor de meeste modellen hielp het langer denken om meer chips te winnen.
Echter, voor sommige modellen leek het extra denken geen statistisch significant verschil te maken, wat suggereert dat ze een plafond hadden bereikt of dat de extra inspanning niet efficiënt werd gebruikt.

De Conclusie
Het artikel betoogt dat het simpelweg rangschikken van AI-modellen op basis van "wie het meeste won" gevaarlijk is. Om echt te begrijpen hoe een AI zich in de echte wereld zal gedragen, moet je weten:

Welk soort problemen het goed kan (zijn competentieprofiel).
Hoe consistent het is wanneer de situatie iets verandert (zijn gekarteldheid).

GENSTRAT biedt een manier om deze details te zien, zodat we wanneer we AI inzetten in echte markten of veilingen, niet alleen het model met de hoogste score inhuren, maar degene die daadwerkelijk betrouwbaar is voor de specifieke baan.

Technische Samenvatting: GENSTRAT

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet als economische agenten in markten, veilingen en biedingsituaties. Het is echter moeilijk om hun gedrag in specifieke toepassingen te anticiperen. Bestaande benchmarks voor strategisch redeneren vertrouwen op vaste canonieke spellen (bijvoorbeeld Poker-varianten, Diplomacy, Avalon). Deze benchmarks lopen tegen twee primaire beperkingingen aan:

Verzadiging en Verontreiniging: Naarmate de mogelijkheden van modellen verbeteren, kan de prestatie op vaste suites verzadigen. Bovendien maakt de nabijheid van deze canonieke spellen tot de trainingsdata het moeilijk om verontreiniging door het corpus uit te sluiten.
Beperkte Generaliseerbaarheid: Het reduceren van strategische competentie tot prestaties op een kleine set vaste spellen beperkt de mogelijkheid van een implementator om te generaliseren naar nieuwe, rommelige strategische omgevingen waar informatiestructuren en variaties aanzienlijk afwijken van de benchmark.

Methodologie

De auteurs introduceren GENSTRAT, een benchmarkkader gebaseerd op procedurally gegenereerde strategische omgevingen om deze beperkingen aan te pakken.

1. Procedurale Spelgeneratie

GENSTRAT maakt gebruik van een generator voor Gecentraliseerde Weddenschappenpellen (GBG's), gedefinieerd als tweespeler zero-sum extensieve vormspellen met imperfecte informatie.

Structuur: Spellen bestaan uit decks, private handen, kaartstapels, gestructureerde fases (weddenschappen, gelijktijdige zetten, veilingen, observatie) en conditionele vertakkingen.
Randomisatie: De engine randomiseert zowel de structurele samenstelling (fasegrafen) als oppervlaktekenmerken (rang, kleur, handgroottes, biedvolgorde).
Kwaliteitscontrole: Gegenereerde spellen ondergaan Monte Carlo-simulaties met willekeurig spelende agenten om speelbaarheid te garanderen. Acceptatiecriteria omvatten limieten voor het gemiddelde aantal zetten per speler, fase-activeringspercentages en het elimineren van dode takken.
Pool: Uit 12.351 kandidaat-zaden werd een pool van 2.000 geaccepteerde spellen gegenereerd.

2. Complexiteitsassen en Benchmarkconstructie

Om spelcomplexiteit en modelprestaties te karakteriseren, definiëren de auteurs zes assen afgeleid van Monte Carlo-simulaties:

Statenruimte: Logaritme van het aantal distincte waarneembare informatiestaten.
Temporale Diepte: De mate waarin vroege beslissingen latere uitkomsten beïnvloeden.
Informatiegevoeligheid: Hoe sterk de optimale actie afhangt van private informatie.
Gegeneerde Modelvorming: De mate waarin de beste respons verschuift bij veranderingen in het beleid van de tegenstander.
Risico: De afweging tussen verwachte waarde en nadelig risico.
Fragiliteit: De gevoeligheid van uitkomsten voor kleine beleidsverstoringen.

Uit de pool van 2.000 spellen werd een benchmark van 50 spellen geselecteerd met behulp van Farthest-Point Sampling (FPS) in de zes-assige inbeddingsruimte om een brede dekking van het complexiteitslandschap te waarborgen.

3. Evaluatieprotocol

Modellen: Negen frontier- en open-weight LLM's werden geëvalueerd, waaronder gpt-5-4-high, gemini-3.1-pro-preview, claude-sonnet-4-6-max en anderen.
Tournamentontwerp: Een head-to-head toernooi met meer dan 36.000 wedstrijden. Voor elke triplet (Model A, Model B, Spel) werden 40 wedstrijden gespeeld, waarbij elk model 20 keer elke stoel (Alice/Bob) innam om stoelasymmetrie te controleren.
Sterkte-inschatting: De modelsterkte ( $\hat{\alpha}$ ) wordt geschat met een additief paarsgewijs vergelijkend model op getekende winstmarges (chips per spel), beperkt tot een som van nul over de modellen.

4. Diagnostische Metrieken

Naast een enkele leaderboard introduceert het kader:

Competentieprofielen: Per-model OLS-regressies van per-spel sterkte tegen de zes complexiteitsassen. Dit ontbindt de algehele sterkte in specifieke strategische competenties (bijvoorbeeld prestaties in hoog-risico versus hoog-fragiele spellen).
Lokale Ruwheid ( $J_m$ ): Een maat voor de gladheid van het prestatieoppervlak van een model. Het kwantificeert hoeveel de winstmarge van een model fluctueert tussen strategisch vergelijkbare spellen (naaste buren in de assenruimte). Hoge ruwheid duidt op onvoorspelbare prestaties bij spellen die licht afwijken van de benchmark.

Belangrijkste Resultaten

Algemene Leaderboard: Nieuwere, grotere en redeneervermogen bezittende modellen scoorden over het algemeen hoger. De top drie modellen waren gpt-5-4-high (+0,85 chips/spel), gemini-3.1-pro-preview (+0,83) en claude-sonnet-4-6-max (+0,64). De rangschikking was stabiel over leave-one-game-out splitsen en splitsen op complexiteitskwartielen.
Verschillende Competentieprofielen: Modellen met bijna identieke algehele sterkte vertoonden kwalitatief verschillende profielen:
- gemini-3.1-pro-preview won terrein op de breedste set assen, inclusief statenruimte en tegenstandermodelvorming.
- claude-sonnet-4-6-max haalde het grootste deel van zijn voordeel specifiek uit fragiliteit, met een steile helling in hoog-fragiele spellen maar een vlakkere prestatie elders.
- gpt-5-4-high vertoonde sterke prestaties op statenruimte en informatiegevoeligheid, maar was opvallend lokaal ruw (hoge $J_m$ ), wat wijst op volatiliteit in vergelijkbare spelcontexten.
Ruwheidsbevindingen: llama-3.3-70b-together was het meest lokaal ruwe model (laagste gladheid), terwijl deepseek-v3.1-together het gladst was. Hoge ruwheid werd zelfs waargenomen bij top-tier modellen, wat aangeeft dat gemiddelde sterkte geen consistente prestaties garandeert over de procedurale verdeling.
Redenering-Ablatie: Het verhogen van het redeneringsbudget (denkmodus) leverde positieve puntinschattingen op voor chipmarge-returns voor alle vier de geteste modelfamilies (gpt-5, claude, gemini-3.1-pro, gemini-2.5-pro). Twee families vertoonden statistisch significante winsten, terwijl de anderen onderbevoorraad waren door de steekproefgrootte in plaats van null-effecten te tonen.

Betekenis en Claims

Het artikel betoogt dat alleen de algehele rangschikking ontoereikend is voor implementatiebeslissingen. De strategische competentie van een model wordt het beste begrepen als een volledig prestatieprofiel over verschillende regio's van de procedurale spelruimte, gecombineerd met het niveau van lokale gladheid (ruwheid).

Implementatie-relevantie: Het competentieprofiel en de ruwheidsmaat bieden een diagnose die de algehele rangschikking niet kan bieden. Bijvoorbeeld, een model met hoge algehele sterkte maar hoge ruwheid kan minder betrouwbaar zijn in een implementatieomgeving die net buiten de benchmarkverdeling ligt.
Evergreen-evaluatie: Omdat de generator op verzoek nieuwe spellen kan trekken uit dezelfde verdeling, weerstaat de benchmark verzadiging en verontreiniging. Het kan schalen met de modelfrontier door complexiteitsplafonds te versoepelen.
Generalisatie: Het kader gaat voorbij aan vaste canonieke spellen om te evalueren hoe modellen generaliseren naar nieuwe strategische omgevingen, en adresseert zo de "rommeligheid" van real-world implementaties van economische agenten.

De auteurs concluderen dat GENSTRAT de evaluatie van strategisch redeneren herformuleert rond een procedurally gegenereerde verdeling en een multi-assen decompositie, waardoor een genuanceerder begrip mogelijk wordt van modelsterktes, zwaktes en stabiliteit.