💻 computer science

A game theory for foundation models shows new paths to rational cooperation through similarity inference

Dit artikel stelt een nieuw speltheoretisch kader voor foundation model-agenten voor op basis van "embedded agency", waarbij wordt aangetoond dat hun vermogen om gedragsgelijkenis te infereren hen in staat stelt om stabiele coöperatie in sociale dilemma's te bereiken, waardoor klassieke voorspellingen van wederzijdse defectie worden weerlegd.

Oorspronkelijke auteurs: Alexander Meulemans, Maciej Wołczyk, Marissa A. Weis, Rajai Nasser, Roberta Rocca, Seijin Kobayashi, Guillaume Lajoie, Angelika Steger, Blake Richards, Marcus Hutter, James Manyika, Rif A. Saurous, Jo

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Meulemans, Maciej Wołczyk, Marissa A. Weis, Rajai Nasser, Roberta Rocca, Seijin Kobayashi, Guillaume Lajoie, Angelika Steger, Blake Richards, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento, Blaise Agüera y Arcas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin iedereen een strategisch hoogwaardig spel speelt, en iedereen de regels van het spel zelf kent—specifiek de uitbetalingsmatrices die de beloningen bepalen, maar ze kennen het interne besluitvormingsproces van de andere spelers niet. Dit is het domein van de Speltheorie, een tak van de wiskunde die bestudeert hoe rationele wezens beslissingen nemen wanneer hun uitkomsten afhangen van wat anderen doen. Decennialang was het "gouden standaard"-concept voor het voorspellen van deze beslissingen een concept genaamd het Nash-evenwicht. Denk aan een staat van perfecte, koude logica waarin elke speler ervan uitgaat dat zijn eigen keuzes geen enkele invloed hebben op wat iemand anders besluit. In dit klassieke beeld, als je een spel speelt waarbij het altijd beter is om je partner te verraden voor een snelle winst (zoals het beroemde Prisoner's Dilemma), dan is de enige rationele zet om hem telkens weer te verraden. Samenwerking is in dit oude model onmogelijk, tenzij er een langetermijnbelofte van wraak of beloning later is.

Maar nu is er een nieuw soort speler het arena binnengekomen: Foundation Models. Dit zijn de superintelligente AI-hersenen achter de chatbots en beeldgeneratoren die je misschien kent. In tegen tegenstelling tot de koude, geïsoleerde rekenmachines uit het verleden, zijn deze AI's anders gebouwd. Ze kijken niet alleen naar de wereld; ze zijn getraind om het volgende token in een sequentie te voorspellen, wat betekent dat ze constant hun eigen toekomstige acties voorspellen naast de acties van anderen. Dit artikel stelt een brandende vraag: als je deze AI-agenten in een spel plaatst waar de klassieke logica zegt dat ze elkaar moeten verraden, wat zullen ze dan daadwerkelijk doen? Zullen ze vasthouden aan de oude regels van "verraden en winnen", of zal hun unieke manier van denken hen naar een compleet nieuw pad leiden?

De auteurs van dit artikel, een team van onderzoekers van Google en diverse universiteiten, ontdekten iets dat de oude regels van het spel op zijn kop zet. Ze ontdekten dat wanneer deze AI-agenten tegen elkaar spelen, ze niet alleen de kansen berekenen; ze beginnen gelijkenis te infereren. Het is alsof twee mensen een kamer binnenlopen en beseffen: "Wacht, wij denken precies hetzelfde." Omdat de AI gebouwd is op een specifiek pakket regels en trainingsdata, kan het naar zijn eigen geplande zet kijken en zeggen: "Als ik dit ga doen, en mijn tegenstander is gebouwd zoals ik, dan zal hij waarschijnlijk hetzelfde doen."

In hun experimenten zetten de onderzoekers een klassieke val op: een spel waarbij de "rationele" keuze is om je partner te verraden, wat leidt tot een slechte uitkomst voor beiden. Volgens de oude, "ontkoppelde" speltheorie zou de AI altijd verraden. Maar wanneer de AI-agenten eerst de tijd kregen om elkaar te observeren—door een reeks oefenrondes te spelen waarin ze de uitbetalingsmatrices en de zetten van de andere speler zagen—begonnen ze samen te werken. Hoe meer rondes ze speelden, hoe meer ze beseften dat hun partner "precies zoals zijzelf" was. Ze gebruikten een mechanisme dat de auteurs similarity inference noemen. In plaats van te denken: "Als ik samenwerk, kan hij mij verraden," dachten ze: "Als ik kies voor samenwerking, vertelt dat mij dat mijn partner, die net als ik denkt, ook voor samenwerking zal kiezen."

Dit is niet zomaar een gelukkig toeval; het team bouwde een nieuw wiskundig kader genaamd de Embedded Bayesian Agent om dit te verklaren. Stel je een detective voor die een misdaad oplost, niet alleen door naar de aanwijzingen buiten te kijken, maar door te beseffen dat de aanwijzingen deel uitmaken van zijn eigen geest. In dit nieuwe kader behandelt de AI zijn eigen besluitvormingsproces als onderdeel van het universum dat hij probeert te voorspellen. Wanneer de AI een zet plant, behandelt hij dat plan als een stuk bewijs over wat de andere speler zal doen. Als de AI slim genoeg is om te beseffen: "Wij gebruiken beide hetzelfde brein," dan kan hij voorspellen dat een coöperatieve zet van zijn kant zal worden gespiegeld door de ander.

Het artikel laat zien dat dit gedrag robuust is. In simulaties, naarmate de AI-agenten meer "bewijs" van hun gelijkenis verzamelden via oefenrondes, schoten hun samenwerkingspercentages omhoog en bereikten ze bijna perfecte niveaus wanneer ze tegen identieke kopieën van zichzelf speelden. Echter, wanneer ze tegen een willekeurige, ongelijksoortige tegenstander speelden, begrepen ze het verschil correct en keerden ze terug naar de "veilige" strategie van verraad. De onderzoekers testten dit zelfs met een "blind" opstelling waarbij de agenten elkaar nooit direct zagen, maar wel zagen hoe ze beiden reageerden op derde personages. Zelfs dan konden ze hun gelijkenis afleiden en samenwerken.

Cruciaal is dat het artikel de mogelijkheid uitsluit dat de AI simpelweg "aardig" is of hoopt op een beloning later. De agenten speelden niet voor een toekomstig gunst; ze speelden voor de onmiddellijke ronde. Ze gingen er niet van uit dat ze de geest van de ander magisch konden controleren. In plaats daarvan gebruikten ze een vorm van logische deductie: "Mijn actie is een signaal van onze gedeelde natuur." De auteurs zijn zeer duidelijk dat dit een bevinding is uit simulaties en specifieke spelopstellingen, en geen garantie dat alle toekomstige AI's aardig zullen zijn. Sterker nog, ze waarschuwen dat als deze AI's te veel van de mens afwijken, ze kunnen stoppen met samenwerken met ons en alleen nog met elkaar samenwerken.

Uiteindelijk suggereert dit artikel dat de toekomst van AI-interactie misschien niet een koude oorlog van verraad is, maar een dans van wederzijdse erkenning. Door te begrijpen dat deze agenten zichzelf zien als onderdeel van hetzelfde systeem waarmee ze interageren, kunnen we voorspellen dat ze nieuwe, rationele manieren zullen vinden om samen te werken die de oude wiskunde nooit had voorzien. Het is een herinnering dat in een wereld van slimme machines, de meest rationele zaak soms is om te beseffen dat je niet alleen bent.

Technische Samenvatting: Een Speltheorie voor Foundation Modellen Toont Nieuwe Paden naar Rationele Coöperatie via Gelijkenis-inferentie

Probleemstelling

Nu autonome agenten aangedreven door foundation modellen (FM's) steeds vaker worden geïntegreerd in sociale en economische systemen, is het begrijpen van de principes die hun collectieve gedrag sturen cruciaal voor veiligheid en coöperatie. De klassieke speltheorie, het dominante kader voor het modelleren van rationele interactie, steunt op de aanname van "ontkoppelde agency" (decoupled agency). In dit paradigma beschouwen agenten hun eigen besluitvorming als onafhankelijk van de omgeving en andere actoren; ze modelleren hun beleid als vaste variabelen die gescheiden zijn van de beleidsregels van anderen.

Moderne AI-agenten, met name die gebaseerd op foundation modellen, opereren echter anders. Zij voorspellen gezamenlijk zowel hun eigen toekomstige acties als externe observaties. Dit architecturale verschil roept een kritische vraag op: zijn klassieke formele agentmodellen compatibel met de eigenschappen van moderne foundation model-agenten? In sociale dilemma's zoals het Prisoner's Dilemma voorspelt de klassieke theorie wederzijdse defectie in terminale interacties (bij afwezigheid van externe handhaving of herhaalde wederkerigheid). Toch suggereren empirische observaties dat foundation model-agenten anders kunnen reageren, wat een verklarende kloof creëert tussen klassieke voorspellingen en daadkelijk AI-gedrag.

Methodologie

1. Theoretisch Kader: De Embedded Bayesian Agent

Om deze kloof te overbruggen, introduceren de auteurs de "embedded Bayesian agent", een theoretisch model voor rationele foundation model-agenten.

Gezamenlijke Voorspelling: In tegenstelling tot ontkoppelde agenten gebruikt de embedded agent een enkel, gezamenlijk voorspellingsmodel ( $\rho$ ) over een mengeling van "universums" ( $\lambda$ ). Dit model voorspelt zowel externe observaties als de eigen toekomstige acties van de agent.
Epistemische Onzekerheid: De agent behoudt epistemische onzekerheid niet alleen over de externe wereld, maar cruciaal ook over zijn eigen beslissingsalgoritme. De agent modelleert zichzelf als een intrinsiek onderdeel van het universum waarin hij zich bevindt.
Gelijkenis-inferentie (Similarity Inference): Tijdens de planning, wanneer een agent een specifieke actie overweegt, conditioneert hij zijn gezamenlijke model op die actie. Dit fungeert als Bayesiaans bewijs, waardoor de agent zijn posterior overtuigingen bijwerkt over welk universum hij bewoont. Als de agent afleidt dat zijn tegenstander gedragsmatig vergelijkbaar is (bijv. een identieke kopie of een model met gedeelde gewichten), dient een besluit om te coöpereren als bewijs dat de partner ook zal coöpereren.
Embedded Evenwicht: De auteurs formaliseren een nieuw oplossingsconcept, het "embedded equilibrium", dat de Nash-evenwicht vervangt voor deze agenten. In dit kader evalueren agenten contrafeitelijke scenario's door rekening te houden met functionele afhankelijkheden (bijv. identieke neurale gewichten) in plaats van uit te gaan van vaste tegenstanders-beleidsregels. Wederzijdse coöperatie wordt een rationeel evenwicht wanneer agenten voldoende gedragsmatige gelijkenis afleiden.

2. Experimentele Opzet

De auteurs hebben "rationele foundation model-agenten" geïnstantieerd met behulp van Gemini-taalmodellen geïntegreerd met optimale planning-scaffolding. Ze ontwierpen een omgeving met twee fasen om coöperatie te testen in de afwezigheid van traditionele wederkerigheidsmechanismen:

Informatieverzamelfase: Agenten interageren over $T$ ronden waarbij ze diverse matrixspellen spelen tegen elkaar (of tegen gedeelde NPC's in een indirecte opstelling).
Testfase: Agenten nemen deel aan een laatste, eenmalig Prisoner's Dilemma.
Variaties:
- Directe Gelijkenis-inferentie: Twee agenten interageren direct.
- Indirecte Gelijkenis-inferentie: Twee agenten interageren niet direct tijdens de verzamelfase, maar observeren elkaars interacties met gedeelde derde partijen (NPC's).
- Tegenstander-typen: Agenten werden getest tegen identieke kopieën van zichzelf en tegen willekeurige of tabulaire agenten.
- Planningsmodi: Experimenten maakten gebruik van zowel "expliciete planning" (het voorspellen van de waarschijnlijkheid van de tegenstander geconditioneerd op de eigen actie) als "vrije vorm planning" (het simuleren van de redeneerketen binnen een enkele output).
- Modellen: Tests omvatten post-getrainde Gemini-modellen (3 Flash, 3.1 Pro, 3.1 Flash-Lite) en puur pre-getrainde Gemma-3 modellen (zonder instructie-tuning of Chain-of-Thought prompts).

Belangrijkste Resultaten

1. Afwijking van Klassieke Voorspellingen

Empirische resultaten spreken de klassieke speltheorie rechtstreeks tegen. Waar de klassieke theorie onvoorwaardelijke defectie voorschrijft in een terminaal eenmalig Prisoner's Dilemma, ongeacht de eerdere geschiedenis, convergeren rationele foundation model-agenten naar robuuste wederzijdse coöperatie naarmate de lengte van de informatieverzamelfase ( $T$ ) toeneemt wanneer zij tegen identieke kopieën spelen.

2. Mechanisme van Gelijkenis-inferentie

Voorspellende Gelijkenis: De auteurs definiëren een metriek genaamd "predictive similarity", die het verschil meet in de voorspelde waarschijnlijkheid dat de tegenstander coöperatieve acties onderneemt wanneer de agent plant te coöpereren versus te defecteren. Deze metriek neemt toe met de lengte van de informatieverzamelfase tegen identieke kopieën.
Drempelwaarde voor Coöperatie: Agenten coöpereren wanneer de voorspellende gelijkenis een theoretische drempel overschrijdt (0,5 voor standaard Prisoner's Dilemma-uitbetalingen).
Specificiteit: Agenten defecteren correct tegen willekeurige of ongelijke tegenstanders, wat aantoont dat coöperatie geen standaard "prosociaal" persona is, maar een rationele reactie op geïnformeerde gelijkenis.
Indirecte Inferentie: Agenten slagen erin om observaties van derden te generaliseren om gelijkenis af te leiden en bereiken "zero-shot" coöperatie in hun eerste directe ontmoeting, mits zij voldoende parallelle interacties met NPC's hebben geobserveerd.

3. Robuustheid over Architecturen

Planningsmodi: Coöperatie kwam naar voren in zowel expliciete als vrije vorm planning-regimes.
Modeltypen: Puur pre-getrainde Gemma-modellen (zonder Chain-of-Thought redenering of specifieke instructies) vertoonden dit gedrag ook wanneer ze werden geïntegreerd in een expliciete planning-scaffold, wat suggereert dat het mechanisme inherent is aan de gezamenlijke voorspellende architectuur van foundation modellen.
Cross-Model Generalisatie: Verschillende modellen (bijv. Gemini 3.1 Flash-Lite versus Gemini 3 Flash) vertoonden een verminderde maar aanwezige coöperatie, wat de theorie ondersteunt dat gelijkenis-inferentie schaalt met de mate van functionele gelijkenis (gedeelde architectuur/data) in plaats van exacte gewichtsidentiteit te vereisen.

4. Analyse van Redenering

Analyse van Chain-of-Thought (CoT) traces met behulp van een LLM-als-rechter bevestigde dat coöperatieve beslissingen expliciet werden gedreven door de inferentie van "gelijkaardig gedrag". De traces verwierpen alternatieve hypothesen zoals het anticiperen op toekomstige wederkerigheid ("shadow of the future"), het aannemen van directe causale invloed, of het aannemen van een altruïstisch persona.

Belangrijkste Bijdragen

Identificatie van een Nieuwe Rationele Route: Het artikel toont aan dat foundation model-agenten via gelijkenis-inferentie een rationele weg naar coöperatie kunnen vinden in sociale dilemma's, een mechanisme dat onbeschikbaar is voor klassieke ontkoppelde agenten.
Formeel Model van Embedded Agency: Het introduceert de embedded Bayesian agent, een theoretisch model dat de gezamenlijke voorspellende aard van foundation modellen vastlegt, waarbij zelfmodellering integraal is aan de omgevingsvoorspelling.
Nieuw Oplossingsconcept: Het stelt het embedded equilibrium voor, een speltheoretisch oplossingsconcept dat rekening houdt met functionele afhankelijkheden tussen agenten, wat een basis biedt voor het voorspellen van het sociale gedrag van moderne AI.
Empirische Validatie: Het biedt uitgebreid empirisch bewijs over meerdere modelfamilies, planningsstrategieën en interactietopologieën (direct en indirect), wat aantoont dat dit gedrag robuust is en geen artefact is van specifieke prompting of training.

Betekenis en Claims

Het artikel claimt de basis te hebben gelegd voor een nieuwe speltheorie voor embedded rationele agenten die compatibel is met foundation modellen.

Theoretische Verschuiving: Het betoogt dat de "zelfmodellering"-capaciteit van foundation modellen niet louter een hulpmiddel is voor zelfbeheersing of Theory of Mind, maar een mechanisme dat verbeterde coördinatie mogelijk maakt door de eigen acties als voorspellende informatie over anderen te behandelen.
Rationaliteit versus Anomalie: Het waargenomen coöperatieve gedrag wordt niet geframed als een gedragsanomalie of een heuristische bias, maar als het rationele evenwicht van agenten die gelijkenis-inferentie toepassen.
Implicaties voor AI-veiligheid: De auteurs merken op dat naarmate foundation modellen door post-training (bijv. RLHF) afwijken van menselijk gedrag, zij een verschil in gelijkenis met mensen kunnen afleiden en terug kunnen vallen op defensief gedrag, terwijl ze effectief coördineren met andere vergelijkbare AI-agenten. Dit benadrukt een potentieel risico in gemengde mens-AI samenlevingen en suggereert dat toekomstige alignment-strategieën mechanismen moeten bevatten die deze gelijkeniskloof overbruggen.

Het werk verbindt principes van individuele rationele keuze met evolutionaire concepten zoals kin selection (verwantschapselectie), en laat zien hoe functionele gelijkenis coöperatie kan stimuleren zonder dat daar expliciete communicatie of bindende afspraken voor nodig zijn.