$\aleph$-IPOMDP: Mitigating Deception in a Cognitive Hierarchy with Off-Policy Counterfactual Anomaly Detection

Het artikel introduceert het $\aleph$-IPOMDP-framework, dat kunstmatige agenten in staat stelt om manipulatie door cognitief superieure tegenstanders te detecteren en te weerstaan via afwijkingsdetectie en een uit-belief-beleid, waardoor eerlijkere speluitkomsten worden bereikt.

De kern

🧠 De Kern: Wat als je dommer bent dan je tegenstander?

Stel je voor dat je speelt in een spelletje tegen iemand die je gedachten kan lezen. Niet letterlijk, maar iemand die precies weet wat jij denkt dat zij denken dat jij denkt. In de wereld van kunstmatige intelligentie (AI) en psychologie noemen we dit Theorie van de Geest (of Theory of Mind).

Het probleem is simpel: als jij maar één stap vooruit denkt, en je tegenstander twee of drie stappen, dan ben je gedoemd om te verliezen. Zij kunnen je manipuleren door een vals spelletje te spelen dat jij niet doorziet.

Dit artikel introduceert een slimme oplossing: ℵ-IPOMDP. Het is een manier voor "dommere" agents (of mensen) om toch niet volledig uitgebuit te worden door slimme bedriegers, zelfs als ze niet kunnen begrijpen hoe ze bedrogen worden.

🕵️‍♂️ De Analogie: De Vos en de Haas

Laten we het spel Ultimatumspel nemen als voorbeeld.

• De Vos (De slimme bedrieger): Hij heeft een hoge "mentale diepte". Hij denkt: "Als ik nu een klein beetje geef, denkt de Haas dat ik een vriendelijke, willekeurige Vos ben. Dan laat hij me later meer weg."
• De Haas (Het slachtoffer): Hij heeft een lage mentale diepte. Hij denkt: "Die Vos geeft me nu veel geld, dus hij is wel een aardige, willekeurige Vos. Ik accepteer zijn latere, lage aanbod."

De Vos speelt een bedrog: eerst doet hij vriendelijk om het vertrouwen te winnen, en daarna pakt hij alles. De Haas denkt dat dit normaal gedrag is, maar het is een valstrik.

🛡️ De Oplossing: De ℵ-Mechanisme (De "Raar-Dingetjes-Detector")

De auteurs zeggen: "Oké, de Haas kan niet begrijpen hoe de Vos denkt. Maar de Haas kan wel merken dat het gedrag van de Vos raar is."

Ze bouwen een nieuw systeem in de Haas, genaamd het ℵ-mechanisme. Dit werkt als een veiligheidscontrole of een lie detector die niet kijkt naar wat de Vos denkt, maar naar of het gedrag past bij het plaatje.

Het heeft twee onderdelen:

1. De "Typischheid"-Controle (De GZIP-test):
   Stel je voor dat je een boek leest. Als een schrijver normaal gesproken elke zin anders schrijft, maar plotseling 10 keer dezelfde zin herhaalt, voelt dat raar aan.
   Het ℵ-mechanisme kijkt naar de acties van de tegenstander. Als de Vos zich gedraagt als een "willekeurige" speler, zou hij een willekeurig patroon moeten laten zien. Maar als hij een slim plan heeft, zijn zijn acties vaak te voorspelbaar of te specifiek. Het systeem zegt dan: "Hé, dit gedrag past niet bij een willekeurige Vos. Dit is verdacht!"

2. De "Verwachte Beloning"-Controle (De Portemonnee-test):
   Als je denkt dat je met een vriend speelt, verwacht je een eerlijke verdeling van de snoepjes. Als je plotseling merkt dat je steeds minder krijgt dan je zou moeten krijgen op basis van je verwachtingen, slaat het alarm.
   Het systeem zegt: "Ik heb een willekeurige Vos verwacht, die zou me gemiddeld 5 snoepjes geven. Ik krijg er nu maar 1. Iets klopt hier niet."

⚔️ De Reactie: De "Grim Trigger" (De Strikte Wacht)

Zodra het ℵ-mechanisme roept: "Aandacht! Dit is geen normale tegenstander!", schakelt de Haas over naar een OOB-beleid (Out-of-Belief).

In plaats van nog steeds te proberen de Vos te begrijpen (wat onmogelijk is), doet de Haas het volgende:

• De Dreiging: Hij dreigt met een harde straf. "Als je me niet eerlijk behandelt, stop ik het spelletje of speel ik zo dat jij ook niets krijgt."
• Het Effect: De slimme Vos, die van plan was om te bedriegen, ziet dit alarm. Hij realiseert zich: "Oh nee, deze Haas is niet dom genoeg om me te laten winnen. Als ik doorga met bedriegen, verlies ik alles."

Dit noemen ze een geloofwaardige dreiging. De Haas hoeft niet te weten hoe de Vos bedriegt; hij hoeft alleen maar te weten dat het gedrag "raar" is en dat hij daar streng op reageert.

🌍 Waarom is dit belangrijk?

Dit idee is niet alleen voor computerspelletjes. Het heeft grote gevolgen voor:

• Cyberbeveiliging: Hackers proberen vaak in te breken door zich voor te doen als een normale gebruiker. Dit systeem kan zeggen: "Je gedraagt je net als een normale gebruiker, maar je verbruikt net iets te veel data op een vreemd moment. Ik blokkeer je."
• AI Veiligheid: Als we slimme AI's bouwen die mensen kunnen manipuleren, moeten we manieren hebben om die AI's te stoppen voordat ze ons bedriegen.
• Psychiatrie: Soms hebben mensen (bijvoorbeeld met paranoïde stoornissen) het gevoel dat iedereen hen bedriegt, zelfs als dat niet zo is. Dit model helpt te begrijpen hoe het brein "raar gedrag" detecteert en hoe we kunnen voorkomen dat we te snel in paniek raken (te veel "verdachte" signalen zien) of juist te naïef zijn.

🎯 Samenvatting in één zin

Zelfs als je niet slim genoeg bent om de plannen van een slimme bedrieger te doorgronden, kun je toch winnen door te merken dat hun gedrag niet klopt met wat je verwacht, en daar direct streng op te reageren.

Het is alsof je niet hoeft te weten hoe een dief de kluis openbreekt, maar je ziet wel dat hij geen sleutel gebruikt en daarom de politie belt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "ℵ-IPOMDP: MITIGATING DECEPTION IN A COGNITIVE HIERARCHY WITH OFF-POLICY COUNTERFACTUAL ANOMALY DETECTION" in het Nederlands.

1. Het Probleem: De Kwestie van Deception in Cognitieve Hiërarchieën

Het artikel adresseert een fundamenteel probleem in multi-agent reinforcement learning (MARL) en de theorie van de geest (Theory of Mind, ToM): de kwetsbaarheid van agents met een beperkte diepte van mentaliseren (Depth of Mentalising, DoM) voor manipulatie door agents met een diepere recursieve capaciteit.

• Cognitieve Hiërarchie: Agents worden gemodelleerd volgens een k-niveau hiërarchie (IPOMDP). Een agent met DoM($k$) kan de intenties en overtuigingen van een agent met DoM($k-1$) simuleren.
• Het Asymmetrische Nadeel: Agents met een lagere DoM (bijv. DoM(0)) zijn formeel onbekwaam om de intenties van agents met een hogere DoM (bijv. DoM(1) of hoger) correct af te leiden. Dit komt door de logische beperkingen van zelfreferentie binnen recursieve modellen.
• Deception: Hogere DoM-agents kunnen deze kloof exploiteren door "valse overtuigingen" te installeren bij lagere DoM-agents. Ze doen dit door hun gedrag te maskeren als dat van een minder bedreigde tegenstander (bijv. een willekeurige agent), waardoor het slachtoffer een suboptimale strategie kiest die ten gunste komt van de bedrieger.
• De Uitdaging: Traditioneel kunnen lagere DoM-agents deze manipulatie niet detecteren omdat ze de complexe strategie van de hogere DoM-agent niet kunnen modelleren. Ze missen het cognitieve vermogen om te begrijpen hoe ze worden bedrogen.

2. Methodologie: Het ℵ-IPOMDP Framework

De auteurs stellen een nieuw computationeel kader voor, genaamd ℵ-IPOMDP, dat de klassieke IPOMDP benadering uitbreidt met twee hoofdcategorieën: een anomalie-detectiemechanisme (de ℵ-mechanisme) en een uit-geloof-beleid (Out-of-Belief, OOB ℵ-beleid).

A. De ℵ-Mechanisme (Anomalie Detectie)

In plaats van te proberen de intenties van de tegenstander te begrijpen (wat voor een lage DoM-agent onmogelijk is), controleert de ℵ-mechanisme of het waargenomen gedrag van de tegenstander overeenkomt met wat er verwacht wordt op basis van het eigen beperkte wereldmodel. Dit gebeurt via twee componenten:

1. Typicality Monitoring (Z1 - Gedragsverificatie):

   • Dit component controleert of de reeks waargenomen acties van de tegenstander past binnen een "typische set" voor een bepaald type tegenstander.
   • Het gebruikt een gzip-compressie-algoritme om sequentiële typicaliteit te berekenen. Als de waargenomen gedragsreeks niet goed comprimeert binnen de verdeling van gesimuleerde reeksen van een bepaald type (bijv. een willekeurige zender), wordt dit als een afwijking (anomalie) gemarkeerd.
   • Dit detecteert afwijkingen van het verwachte patroon zonder de intentie te hoeven begrijpen.

2. Verwachte Beloning Monitoring (Z2 - Contrafactuele Beloning):

   • Dit component vergelijkt de cumulatieve waargenomen beloning met de verwachte beloning, gebaseerd op de gesimuleerde reacties van de tegenstander.
   • Als de daadwerkelijke beloning statistisch significant afwijkt van de verwachte beloning (binnen een bepaalde tolerantie $\omega$), wordt aangenomen dat de tegenstander niet behoort tot het bekende model.
   • Dit is gebaseerd op het idee dat bedriegers hun eigen beloning maximaliseren ten koste van het slachtoffer, wat leidt tot een lagere beloning dan verwacht.

De output van deze twee componenten wordt gecombineerd tot een binaire vector die aangeeft welke tegenstandertypes nog steeds "geldig" zijn. Als alle types worden uitgesloten, wordt de ℵ-mechanisme geactiveerd.

B. De ℵ-Policy (Uit-Geloof Beleid)

Zodra de ℵ-mechanisme activeert (wat betekent dat de agent zich realiseert dat ze geconfronteerd wordt met een ongemodelleerde, potentieel gevaarlijke tegenstander), schakelt de agent over van zijn standaard DoM($k$)-beleid naar een Out-of-Belief (OOB) beleid.

• Doel: Het neutraliseren van de winst van de bedrieger en het afschrikken van verdere manipulatie.
• Implementatie:
  • In zero-sum games: De agent schakelt over naar een Minimax-strategie. Dit is een defensieve houding die ervan uitgaat dat de tegenstander de meest schadelijke actie zal kiezen.
  • In mixed-motive games: De agent kan een Grim Trigger-achtige strategie aannemen (onmiddellijke en permanente bestraffing bij afwijking), of een defensieve strategie die samenwerking stopt om exploitatie te voorkomen.
• Effect: Door een geloofwaardige dreiging in te zetten (de bereidheid om de interactie te beëindigen of de tegenstander te straffen), wordt de bedrieger gedwongen om zijn strategie aan te passen of de interactie te vermijden, omdat de manipulatie niet langer rendabel is.

3. Belangrijkste Bijdragen

1. Formalisatie van Deception: De auteurs definiëren deception axiomaatisch binnen een IPOMDP-kader, gebaseerd op vier pijlers: Incentive Compatibility, Epistemic Manipulation (valse overtuigingen), Behavioural Causality (regret bij het slachtoffer) en Cognitive Dominance (vermijden van detectie).
2. De ℵ-Mechanisme: Een nieuw mechanisme dat agents met beperkte rekenkracht in staat stelt om manipulatie te detecteren door afwijkingen in gedrag en beloning te monitoren, zonder de complexe intenties van de tegenstander te hoeven modelleren.
3. Deterrence via OOB-beleid: Het tonen dat een eenvoudige, defensieve reactie op anomalieën (in plaats van proberen de tegenstander te begrijpen) voldoende kan zijn om geavanceerde bedriegers te ontmoedigen.
4. Toepassing in Diverse Games: Validatie van het framework in zowel gemotiveerde games (Iterated Ultimatum Game) als zero-sum games (Bayesian Row/Column Game).

4. Resultaten

De auteurs hebben het ℵ-IPOMDP framework getest in simulaties met agents van verschillende DoM-niveaus:

• Iterated Ultimatum Game (IUG):
  • Zonder ℵ: Een DoM(1) zender bedriegt een DoM(0) ontvanger door zich voor te doen als een willekeurige zender (hoge initiële aanbieding, daarna lage). De DoM(0) ontvanger accepteert te vaak lage biedingen, wat leidt tot een grote winstverschil.
  • Met ℵ: De DoM(0) ontvanger detecteert de afwijking in de biedingsreeks en de beloning. Hierdoor schakelt hij over naar een OOB-beleid (weigeren van biedingen). Dit dwingt de DoM(1) zender om eerlijker te bieden of de interactie te beëindigen. Het resultaat is een aanzienlijke vermindering van het winstverschil (meer dan 40% reductie in het exploitatiepercentage).
• Zero-Sum Game (Row/Column):
  • Zonder ℵ: Een DoM(1) rij-speler manipuleert een DoM(0) kolom-speler door valse signalen te sturen over het betaalmatrix-type, wat leidt tot een groot nadeel voor de kolom-speler.
  • Met ℵ: De DoM(1) agent (die nu de rol van het slachtoffer speelt tegen een DoM(2) tegenstander) detecteert de anomalie en schakelt over naar Minimax. Dit neutraliseert het voordeel van de DoM(2) agent en leidt tot een eerlijkere uitkomst (nul winstverschil).
• Parameter Sensitiviteit: De studie toont aan dat er een afweging is tussen valse positieven (een eerlijke tegenstander verkeerd identificeren als een bedrieger) en valse negatieven. Echter, zelfs met suboptimale parameters, is het framework effectief in het verminderen van manipulatie.

5. Betekenis en Implicaties

Het werk heeft brede implicaties voor verschillende domeinen:

• AI Veiligheid en Alignement: Met de opkomst van Large Language Models (LLMs) die ToM-achtige capaciteiten ontwikkelen, biedt ℵ-IPOMDP een blauwdruk voor het detecteren van manipulatie door AI-agenten. Het stelt minder geavanceerde systemen (of menselijke gebruikers) in staat zich te verdedigen tegen geavanceerde manipulatie zonder de intenties van de AI volledig te hoeven doorgronden.
• Cybersecurity: Het concept is vergelijkbaar met Intrusion Detection Systems (IDS). Het biedt een methode om "masquerading" (het vermommen als een legitieme gebruiker) te detecteren op basis van gedragsafwijkingen, zelfs als de hacker slim genoeg is om de directe detectie te omzeilen.
• Cognitieve Wetenschap en Psychiatrie: Het model biedt een computertische verklaring voor hoe mensen deception kunnen detecteren zonder complexe redenering. Het biedt ook een kader om te begrijpen hoe een overgevoelige anomaliedetectie (te veel valse positieven) kan leiden tot paranoïde of complotdenken, waarbij onschuldige afwijkingen worden geïnterpreteerd als kwaadaardige manipulatie.
• Multi-Agent Systemen: Het lost een fundamenteel probleem op in de cognitieve hiërarchie: hoe agents met beperkte middelen kunnen overleven in een omgeving met superieure tegenstanders. Het suggereert dat "verdediging" en "detectie van afwijking" een krachtig alternatief is voor het proberen om de tegenstander te "overtreffen" in complexiteit.

Conclusie:
Het ℵ-IPOMDP framework demonstreert dat agents met beperkte cognitieve middelen niet noodzakelijkerwijs slachtoffer hoeven te zijn van geavanceerde bedriegers. Door te vertrouwen op het monitoren van afwijkingen in gedrag en beloning (anomalie-detectie) en te reageren met een geloofwaardige dreiging (OOB-beleid), kunnen ze de machtsbalans herstellen en manipulatie effectief ontmoedigen.