🤖 machine learning

Intention Inference Under Execution Noise: Separating Aleatoric and Epistemic Uncertainty in Social Dilemmas

Dit artikel stelt een framework van een Partially Observable Markov Decision Process (POMDP) binnen actieve inferentie voor om onderscheid te maken tussen vijandige intentie en uitvoeringsfouten in ruisige sociale dilemma's, waarbij wordt aangetoond dat hoewel intentie-inferentie de samenwerking tegen voorwaardelijke tegenstanders verbetert, wederzijdse inferentie onder hoge ruis paradoxaal genoeg kan leiden tot een gecorreleerde, op overtuigingen gebaseerde instorting.

Oorspronkelijke auteurs: Kival Mahadew, Jonathan Shock

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kival Mahadew, Jonathan Shock

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spelletje "Vertrouwen" speelt met een vriend. Jullie hebben beiden een geheim doel: samenwerken en een grote prijs delen. Maar hier komt de twist: het spel wordt gespeeld via een walkie-talkie die soms hapert. Je wilt misschien wel zeggen "Ik vertrouw je", maar de statische ruis draait je boodschap om en je vriend hoort "Ik ben jouw prijs aan het stelen." Je vriend moet nu een enorme beslissing nemen: heb je echt geprobeerd hem te bestelen, of was het gewoon een slechte verbinding? Als hij ervan uitgaat dat je een dief bent elke keer als de lijn kraakt, zal hij nooit meer in je vertrouwen, en verliezen jullie beiden de prijs. Dit is de kern van een beroemde puzzel in de speltheorie genaamd het Prisoner's Dilemma, maar dan met een rommelige, luidruchtige twist. Wetenschappers vragen zich al lang af hoe ze robots of AI kunnen bouwen die kunnen uitzoeken of een "slechte zet" een fout was of een verraad, vooral wanneer de wereld vol statische ruis zit. Als ze het fout doen, kunnen ze een kettingreactie van woede veroorzaken die samenwerking vernietigt.

Dit artikel duikt in dat exacte probleem. De auteurs, Kival Mahadewa en Jonathan Shock, vragen zich af: Hoe kan een agent het verschil zien tussen een luidruchtig ongeluk en een kwaadwillende intentie? Ze stellen een nieuwe manier van denken over deze spellen voor, waarbij de intentie wordt behandeld als een verborgen geheim en de actie als een luidruchtige aanwijzing. Ze ontdekten dat hoewel deze "gedachtenlezen"-benadering briljant werkt wanneer je speelt tegen een vriend die wil samenwerken, het in de praktijk juist averechts kan werken als beide spelers proberen elkaars gedachten te lezen in een zeer luidruchtige wereld. In die gevallen kunnen de twee spelers vast komen te zitten in een lus waarin ze beiden correct raden dat de ander boos is, wat leidt tot een totale ineenstorting van vertrouwen. Het blijkt dat te goed zijn in het raden van intenties soms een valstrik kan zijn als de ruis te hard is.

Het Verhaal van de Hapjes Walkie-Talkie

Laten we de scène schetsen. Stel je twee agenten voor (laten we ze "Robo-A" en "Robo-B" noemen) die een spel spelen genaamd de Iterated Prisoner's Dilemma. In dit spel wisselen ze beurten af door te kiezen tussen ofwel Coöpereren (aardig zijn) of Defecteren (egoïstisch zijn). Als ze beiden coöpereren, winnen ze beiden veel. Als de één defecteert terwijl de ander coöperert, wint de defecteur enorm veel en verliest de coöperer. Als ze beiden defecteren, krijgen ze beiden een kleine, droevige beloning.

Stel je nu voor dat ze dit spel spelen via een walkie-talkie die een "statisch ruis"-probleem heeft. Laten we zeggen dat de statische ruis hun beoogde boodschap 10% van de tijd omdraait. Robo-A bedoelt om op de "Coöpereren"-knop te drukken, maar de statische ruis draait het om, en Robo-B ziet een "Defecteren"-signaal.

Hier is het probleem: Robo-B weet niet of Robo-A gemeen wilde zijn of dat de statische ruis gewoon een foutje maakte.

De Oude Manier (MDP): Standaard computermodellen behandelen het "Defecteren"-signaal als een feit. Ze denken: "Robo-A heeft me zojuist verraden!" en reageren onmiddellijk met vergelding. Dit leidt tot een spiraal van woede waarbij ze elkaar blijven straffen voor fouten die nooit zijn gemaakt.
De Nieuwe Manier (POMDP): De auteurs stellen een slimmer model voor. In plaats van alleen naar het signaal te kijken, zou de robot moeten raden wat de intentie was. De robot vraat: "Gezien het feit dat ik een 'Defecteren'-signaal zag, en ik weet dat de walkie-talkie glitchy is, is het waarschijnlijker dat Robo-A gemeen was, of was het gewoon statische ruis?"

De "Gedachtenlezende" Robot

De auteurs bouwden een robot met een framework genaamd Active Inference. Denk aan deze robot als een detective die constant probeert twee mysteries tegelijk op te lossen:

Wat probeert mijn vriend nu te doen? (Is dit een fout of een verraad?)
Hoe leert mijn vriend? (Als ik coöpeer, zal hij dan leren om terug te coöpereren?)

De robot heeft een speciale "kostenfunctie" (een manier om zijn beslissingen te scoren) die twee verlangens in evenwicht brengt:

Pragmatische Waarde: "Ik wil nu de beste beloning krijgen." (Laat je niet foppen!)
Epistemische Waarde: "Ik wil de waarheid leren kennen." (Ik moet testen of mijn vriend echt aardig is of dat hij alleen maar doet alsof.)

Door deze in evenwicht te houden, kan de robot zeggen: "Ik zag een 'Deflecteren'-signaal, maar mijn vriend coöperreert meestal, en de statische ruis is hoog. Ik ga ervan uit dat het een fout was en ik ga weer proberen te coöpereren om te zien wat er gebeurt." Dit is een principiële manier van "vergeven" zonder een makkelijk slachtoffer te zijn.

De Verrassende Twist: Wanneer Gedachtenlezen Achteraf Slaat

Het papier draaide duizenden simulaties om te zien hoe deze nieuwe robot presteert tegen verschillende soorten tegenstanders.

Scenario 1: Spelen tegen een "Vriendelijke" Tegenstander (Tit-for-Tat)
Wanneer de robot speelt tegen een tegenstander die geprogrammeerd is om te coöpereren tenzij geprovoceerd, is de nieuwe "gedachtenlezende" robot een superster. Hij identificeert correct dat de meeste "Defecteren"-signalen gewoon statische ruis zijn. Hij vergeeft de fouten, blijft coöpereren en scoort veel hoger dan de oude "ga uit van het ergste"-robot. Hij leert het patroon van de tegenstander en vindt een gelukkig, coöperatief ritme.

Scenario 2: Spelen tegen een "Copycat" (Zelfspel)
Hier wordt het vreemd. De auteurs lieten twee van deze nieuwe "gedachtenlezende" robots tegen elkaar spelen.

Bij lage ruis (zeer heldere walkie-talkie) begrijpen ze beiden dat de ander aardig is en coöpereren ze perfect.
Maar bij hoge ruis (zeer glitchy walkie-talkie) gebeurt er iets vreemds. De robots beginnen te imploderen.

Waarom? Omdat ze te goed zijn in hun werk.
Stel je voor dat Robot A een "Defecteren"-signaal ziet. Hij denkt: "Hm, de ruis is hoog, maar mijn vriend heeft de laatste tijd vreemd gedaan. Misschien is hij wel echt boos?" Hij besluit te vergelden. Robot B ziet de vergelding van Robot A, denkt: "Oh, ze zijn nu definitief boos," en vergeldt terug.
Omdat beide robots proberen de ware intentie van de ander te achterhalen, creëren ze per ongeluk een feedbackloop. Beiden concluderen correct dat de ander daadwerkelijk vijandig is (omdat de eerste persoon inderdaad heeft vergeld), waardoor ze blijven vechten. De "ruis" veroorzaakte niet alleen een misverstand; het veroorzaakte een geloof-gestuurde ineenstorting. Ze stopten met coöpereren, niet omdat ze in de war waren, maar omdat ze er te zeker van waren dat de ander gemeen was.

De Kritieke Drempel

Het artikel berekent een specifieke "kantelpunt" voor de ruis.

Als de ruis onder de 10% is (specifiek tussen 0,05 en 0,10 in hun wiskunde), kunnen de robots meestal het verschil zien tussen een fout en een verraad.
Als de ruis boven de 15% gaat, kunnen de robots onderling geen samenwerking meer handhaven. De "coöperatieve intentie" wordt zo onwaarschijnlijk dat de robots besluiten: "Het is geen fout; ze proberen me definitief te kwetsen," en ze schakelen over naar permanente defensieve houding.

De auteurs vonden dat deze ineenstorting niet komt omdat de robots slecht zijn in wiskunde; het komt omdat de wiskunde te nauwkeurig is. In een luidruchtige wereld, als twee agenten beiden proberen de verborgen gedachten van de ander te raden, kunnen ze zichzelf er per ongeluk van overtuigen dat de ander een schurk is, zelfs als ze er allebei mee begonnen om vrienden te zijn.

Wat dit Betekent

Het artikel beweert niet dat het probleem van samenwerking voor altijd is opgelost. In plaats daarvan laat het zien dat hoe we de wereld representeren, ertoe doet.

Als je acties behandelt als feiten (de oude manier), raak je te snel in de war en boos.
Als je acties behandelt als luidruchtige aanwijzingen voor verborgen intenties (de nieuwe manier), kun je veel slimmer en vergevensgezinder zijn.
Maar, als iedereen de "gedachtenlezen"-strategie gebruikt in een zeer luidruchtige omgeving, riskeer je een "vertrouwensineenstorting" waarbij iedereen correct raadt dat iedereen boos is, en het hele systeem instort.

De auteurs suggereren dat deze "intentie-inferentie" een krachtig hulpmiddel is, maar dat het een limiet heeft. Het werkt geweldig als je speelt tegen iemand die wil coöpereren, maar het is fragiel wanneer iedereen probeert de geest van de ander te raden in een chaotische wereld. Het is een herinnering dat weten wat anderen misschien denken, soms juist kan zorgen dat we minder geneigd zijn hen te vertrouwen.

Technische Samenvatting: Intentie-inferentie onder Executieruis

Probleemstelling

In sociale dilemma's zoals het Iterated Prisoner's Dilemma (IPD) rust de stabiliteit van samenwerking op het vermogen van agenten om elkaars keuzes betrouwbaar waar te nemen. Echter, onder executieruis worden de beoogde acties stochastisch gecorrumpeerd vóór uitvoering (bijv. een coöperatieve intentie wordt uitgevoerd als een defectie). Dit creëert een attributieprobleem: een geobserveerde defectie kan voortkomen uit vijandige intentie of louter uit een actiefout.

Standaard Markov Decision Process (MDP) formuleringen behandelen de uitgevoerde acties als de toestandsruimte. Deze structurele keuze sluit het onderscheid tussen intentie en executie uit, waardoor agenten gedwongen worden alle geobserveerde defecties als doelbewust te beschouwen. Gevolgelijk vertonen standaard agenten systematische over-retaliatie, wat samenwerking destabiliseert. Hoewel technisch geconstrueerde vergevensstrategieën (zoals Generous Tit-for-Tat) praktische oplossingen bieden, ontbreken ze een principieel account van hoeveel vergeving gerechtvaardigd is door het bewijs en kunnen ze niet adapteren aan specifieke tegenstanders. Reinforcement learning-benaderingen falen vaak in het modelleren van latente intenties, wat leidt tot dezelfde structurele onbekwaamheid om te hypothetiseren dat een tegenstander "de intentie had om te coöpereren maar incorrect uitvoerde".

Methodologie

De auteurs stellen een Partially Observable Markov Decision Process (POMDP) formulering voor, die wordt opgelost binnen het Active Inference (AIF) kader.

1. De Latente Intentie POMDP

De kerninnovatie is het scheiden van aleatorische onzekerheid (executieruis) van epistemische onzekerheid (onzekerheid over intentie).

Toestanden ( $S$ ): Codificeren gezamenlijke beoogde acties (latente toestanden) voorafgaand aan de uitvoering (bijv. $CC$, $CD$, $DC$, $DD$).
Observaties ( $O$ ): Komen overeen met uitgevoerde gezamenlijke acties, die ruisgevoelige versies zijn van de toestanden.
Observatiemodel ( $A$ ): Een vast binair symmetrisch kanaal met een ruisparameter $\epsilon$ , dat de beoogde toestanden naar de geobserveerde acties mapt.
Transitiemodel ( $B$ ): Codificeert het reactieve beleid van de tegenstander (hoe hun volgende intentie afhangt van de vorige gezamenlijke uitkomst). Deze matrix is onbekend en wordt online geleerd.
Preferenties ( $C$ ): Log-preferenties over observaties afgeleid van de payoff-structuur (bijv. $T > R > P > S$ ).

2. Active Inference Oplossing

De agent minimaliseert de Verwachte Vrije Energie (G), die uiteenvalt in twee componenten:

Pragmatische Waarde: Drijft de agent naar geprefereerde, hoog-renderende observaties (exploitatie).
Epistemische Waarde: Drijft informatiezoekende acties aan om onzekerheid op te lossen. Dit is verder gesplitst in:
- State Information Gain: Het verminderen van onzekerheid over de huidige latente intentie van de tegenstander.
- Parameter Information Gain: Het verminderen van onzekerheid over het transitiemodel (reactief beleid) van de tegenstander.

3. Online Leren

De agent leert het reactieve beleid van de tegenstander ( $B$ matrix) via Dirichlet count accumulatie. Belief-updates over verborgen toestanden bieden een "schonere" trainingssignaal voor de Dirichlet-counts, waardoor het leren van de strategie van de tegenstander wordt ontkoppeld van de ruis van de executie. Dit creëert een gekoppeld systeem waarbij accurate intentie-inschattingen het beleidsleren verbeteren, en accuraat beleidsleren de intentie-inschatting verbetert.

Belangrijkste Bijdragen

POMDP Formulering: Een innovatieve scheiding van aleatorische executieruis en epistemische onzekerheid over intentie, met preferenties die consistent zijn met payoff-structuren.
Online Leermechanisme: Het koppelen van state-inferentie met model-leren via Dirichlet-posterioren, waardoor de agent in staat is om het reactieve beleid van de tegenstander actief te leren door de ruis heen.
Analyse van de Kritieke Ruisdrempel: Afleiding van een theoretische drempel die de ineenstorting van samenwerking reguleert. De auteurs identificeren dat samenwerking niet faalt omdat agenten het onderscheid niet kunnen maken tussen ruis en vijandigheid (onderscheidbaarheid), maar omdat de waarschijnlijkheid dat coöperatieve intentie persisteert over de planning-horizon onder een kritiek punt daalt.
Empirische Validatie: Demonstratie dat de waarde van intentie-inferentie context-afhankelijk is, waarbij voordelen worden getoond tegenover reciprocerende tegenstanders, maar fragiliteit optreedt bij wederzijdse inferentie bij hoge ruis.

Resultaten

Prestaties tegen verschillende tegenstanders

Self-Play (POMDP vs. POMDP):
- Bij lage ruis ( $\epsilon \le 0.10$ ) behoudt de POMDP bijna perfecte samenwerking, waarmee de MDP-baseline wordt overtroffen.
- Bij een kritieke drempel ( $\epsilon \in [0.10, 0.15]$ ) ondergaat de POMDP een scherpe, catastrofale ineenstorting van de samenwerking. Dit wordt gedreven door gecorreleerde belief-dynamiek: wanneer één agent reageert op ruis, infereert de andere agent correct een vijandige intentie en reageert terug, wat een zelfversterkende spiraal creëert.
- De MDP-baseline degradeert geleidelijk zonder een scherpe drempel, omdat deze de latente intentielaag mist die een specifieke belief-gedreven cascade triggert.
vs. Tit-for-Tat (TFT):
- De POMDP behoudt een consistent voordeel over alle ruisniveaus. Omdat het beleid van TFT stationair is, destabiliseren de belief-dynamieken van de focale agent de tegenstander niet, wat de gecorreleerde ineenstoring voorkomt die in self-play wordt gezien.
vs. Win-Stay Lose-Shift (WSLS):
- Beide formuleringen storten in naar exploitatie (DC/DD-cycli) bij elke $\epsilon > 0$ . De meer vergevensgezinde dispositie van de POMDP vertraagt deze transitie, wat resulteert in marginaal lagere scores dan de MDP, die sneller adapteert om WSLS te exploiteren.

Mechanisme van Falen

Analyse van de Expected Free Energy-decompositie onthult dat in de POMDP het bekende observatiemodel de ruis absorbeert, waardoor state information gain naar nul convergeert. In contrast hiermee lijdt de MDP aan irreducibele state-onzekerheid, wat leidt tot persistente besluiteloosheid en ongecommitteerde policies.

De kritieke ruisdrempel wordt afgeleid als het punt waar de overlevingskans van coöperatie ( $p_t(CC)^h$ ) onder de 0.5 valt. Voorbij dit punt wordt de "vijandige" hypothese de meer waarschijnlijke verklaring voor geobserveerde defecties over de planning-horizon, waardoor retaliatie een rationele respons wordt, zelfs als de agent perfect onderscheid kan maken tussen ruis en intentie.

Betekenis en Claims

Het artikel claimt dat de representatieve keuze van wat een toestand versus een observatie vormt, bepaalt of principiële samenwerking onder ruis structureel mogelijk is.

Noodzaak van Representatie en Drive: De coöperatieve voordelen komen specifiek voort uit de interactie tussen de POMDP-structuur (die aleatorische ruis isoleert) en de epistemische drive (die actief het beleid van de tegenstander probeert). Geen van beide componenten alleen is voldoende; het verwijderen van de epistemische termen elimineert de "explore-then-commit" trajectorie, terwijl het gebruik van de POMDP zonder epistemische drive geen verbetering oplevert.
Context-afhankelijke Waarde: Intentie-inferentie is voordelig tegenover reciprocerende tegenstanders, maar wordt een last in scenario's met hoge ruis in self-play waar wederzijdse inferentie een feedbackloop van retaliatie creëert.
Strategische Structuur: Het voordeel is specifelijk voor games waar intentie-attributie beslissingsrelevant is (bijv. IPD waar $T > R$ ). In games zoals de Stag Hunt ( $T < R$ ), waar geen verleiding is om te exploiteren, presteren de POMDP en MDP vergelijkbaar, omdat het onderscheid tussen fout en intentie minder consequent is.
Beperkingen: De auteurs merken op dat de scherpe ineenstorting in self-play een eigenschap is van wederzijdse inferentie in plaats van een gebrek in het model zelf. Het model gaat uit van een stationaire tegenstander-policy; wanneer beide agenten co-evolueren, wordt deze aanname geschonden, wat leidt tot model-misspecificatie. Het artikel suggereert dat forgetting-mechanismen of change-point detectie dit in toekomstig werk kunnen mitigeren.

Concluderend stelt het artikel dat nauwkeurige inferentie onder ruis begrensd wordt door de context waarin het opereert: hoewel het scheiden van ruis en intentie robuuste samenwerking mogelijk maakt tegenover vaste of reciprocerende strategieën, introduceert het een fragiliteit in wederzijdse settings waar ruis een zelfversterkende transitie naar wederzijdse defectie kan triggeren.