Recursive Joint Simulation in Games

Technische Samenvatting: Recursieve Gezamenlijke Simulatie in Games

Probleemstelling
Het artikel behandelt een fundamenteel verschil tussen strategische interacties waarbij Artificial Intelligence (AI) agents betrokken zijn en traditionele mens-mens interacties: het potentieel voor AI-agents om accuraat gesimuleerd te worden. Omdat de broncode van een AI-agent bekend kan zijn of het gedrag voorspelbaar is, kan een agent te maken krijgen met "zelf-lokaliserende onzekerheid" (self-locating uncertainty)—het kan niet onderscheiden of het handelt in de echte wereld of binnen een simulatie van die wereld. De auteurs onderzoeken of deze onzekerheid kan worden ingezet om coöperatieve uitkomsten te bereiken in strategische settings (zoals het Prisoner's Dilemma) waar standaard speltheorie wederzijdse defectie voorspelt. Specifiek onderzoekt het artikel een mechanisme waarbij agents een "recursieve gezamenlijke simulatie" ondergaan, waarbij zij geneste simulaties van hun interactie observeren voordat zij een actie kiezen, met als doel te bepalen of deze opzet de evenwichtsuitkomsten verandert.

Methodologie
De auteurs formaliseren een setting genaamd Recursive Joint Simulation (RJS). In dit kader:

1. Gezamenlijke Observatie: Twee of meer agents observeren gezamenlijk een simulatie van het spel dat zij op het punt staan te spelen.
2. Recursie: De simulatie zelf bevat een recursieve structuur. Voordat de gesimuleerde agents hun acties kiezen, probeert het apparaat een sub-simulatie van de gehele opzet uit te voeren. Dit proces herhaalt zich, waardoor een keten van geneste simulaties ontstaat.
3. Terminatievoorwaarde: Om oneindige recursie te voorkomen, heeft het simulatieapparaat een vaste kans $p$ om door te gaan naar een sub-simulatie en een kans $1-p$ om te stoppen (te weigeren te simuleren). Als het apparaat weigert, moeten de agents in die specifieke instantie onmiddellijk handelen.
4. Payoff-structuur: Cruciaal is dat de uitbetalingen (payoffs) uitsluitend worden bepaald door de acties die worden ondernomen in de "top-level" (echte) interactie. Gesimuleerde agents ontvangen geen nut van gesimuleerde uitkomsten; zij geven enkel om de impact van hun gesimuleerde acties op de uitkomst in de echte wereld.
5. Ononderscheidbaarheid: Het model gaat ervan uit dat gesimuleerde agents hun omgeving niet kunnen onderscheiden van de werkelijkheid. Bijgevolg redeneert een agent die handelt in een simulatie alsof hij zich in de echte wereld zou kunnen bevinden, en vice versa.

De auteurs analyseren deze setting met behulp van uitgebreide vorm-spelrepresentaties (extensive-form game representations) en vergelijken het met oneindig herhaalde games met exponentiële korting. Ze onderzoeken ook het "interne perspectief", waarbij zij analyseren hoe een agent zelf-lokaliserende overtuigingen vormt (met betrekking tot de diepte in de simulatiehiërarchie) en of deze overtuigingen overeenkomen met de kansen die worden gevonden in herhaalde games.

Belangrijkste Bijdragen en Resultaten

1. Strategische Equivalentie aan Herhaalde Games (Stelling 1):
   Het centrale technische resultaat is dat een Recursive Joint Simulation game $RJS(G, p)$ strategisch equivalent is aan een oneindig herhaalde versie van de basisgame $G$ met een continuatiekans $p$ (aangeduid als $Rep_{T=?}(G, p)$ of $Rep_{\omega}(G, p)$).

   • De "diepste" simulatie in de RJS-keten komt overeen met de eerste ronde van de herhaalde game.
   • De "top-level" (echte) actie komt overeen met de laatste ronde van de herhaalde game.
   • Omdat de agents de uitkomsten van alle sub-simulaties observeren voordat zij handelen, weerspiegelt de informatiestructuur die van een herhaalde game waarbij spelers voorgaande ronden observeren.

2. Folk Theorem voor RJS (Corollary 4):
   Door de equivalentie met herhaalde games te benutten, stellen de auteurs een Folk Theorem vast voor recursieve gezamenlijke simulatie. Voor elke normaalvorm-game $G$ kan elke haalbare en individueel rationele payoff-vector worden gehandhaafd als een Nash-evenwicht in de RJS-setting, mits de simulatiekans $p$ voldoende hoog is. Dit impliceert dat wederzijdse coöperatie in een Prisoner's Dilemma een evenwichtsuitkomst is, bereikbaar via strategieën zoals "grim trigger" (coöpereren tenzij een sub-simulatie een defectie onthult).

3. Robuustheid van de Equivalentie (Het "Interne" Perspectief):
   Het artikel toont aan dat de equivalentie standhoudt, zelfs wanneer de game wordt geanalyseerd vanuit het interne perspectief van een agent (de se reasoning).

   • De auteurs adresseren het probleem van onbedachtzaamheid (absentmindedness) (het herhaaldelijk tegenkomen van hetzelfde informatieset in een enkel pad), een veelvoorkomend probleem in scenario's met zelf-lokaliserende overtuigingen zoals het Sleeping Beauty-probleem.
   • Zij tonen aan dat absentmindedness in RJS niet voorkomt bij daadwerkelijke beslismomenten, omdat agents de diepte van de simulatie kennen zodra zij gevraagd worden te handelen.
   • Door gebruik te maken van "reguliere" methoden voor het toewijzen van zelf-lokaliserende overtuigingen, bewijzen zij dat de subjectieve waarschijnlijkheid van een agent om zich op een specifieke diepte te bevinden, overeenkomt met de kansverdeling van ronden in een herhaalde game. Zo leidt de interne redenering van de agent tot dezelfde strategische conclusies als de externe analyse.

4. Generalisatie:
   De auteurs merken op dat de equivalentie zich uitstrekt naar settings met tijdvariërende simulatiekansen (Appendix B), waarmee RJS wordt gekoppeld aan eindige herhaalde games met onzekere lengtes.

Betekenis en Claims
Het artikel claimt dat recursieve gezamenlijke simulatie een rigoureus mechanisme biedt voor het vestigen van coöperatie tussen AI-agents, zonder te vertrouwen op controversiële besluitvormingsconcepten zoals superrationaliteit of directe toegang tot de broncode voor syntactische vergelijking (zoals in program equilibria).

• Coöperatief Mechanisme: Het mechanisme berust op het feit dat de actie van een agent in een simulatie de actie van de tegenstander in de echte wereld kan beïnvloeden (omdat de tegenstander de simulatie observeert). Als een agent in een simulatie defecteert, kan de tegenstander (die dit observeert) in de echte wereld ook defecteren. Daarom hebben agents een prikkel om te coöpereren in simulaties om coöperatie in de werkelijkheid te waarborgen.
• Praktijk versus Theorie: De auteurs zijn bescheiden over de directe toepasbaarheid. Zij erkennen dat, hoewel het theoretische kader een breed scala aan uitkomsten mogelijk maakt (inclusclusief slechtere dan de baseline), agents in de praktijk waarschijnlijk alleen RJS zullen adopteren als het een Pareto-verbetering biedt ten opzande van het standaard Nash-evenwicht van de basisgame.
• Beperkingen: Het artikel bespreekt expliciet twee mogelijke bezwaren:
  1. Principe: Of bewustzijn gesimuleerd kan worden. De auteurs argumenteren dat dit minder relevant is voor AI-agents, die op computers zijn geïnstantieerd en gesimuleerd kunnen worden zonder verlies van functionele identiteit.
  2. Praktijk: Of simulaties ononderscheidbaar kunnen worden gemaakt van de werkelijkheid in complexe omgevingen (bijv. interactie met echte banksystemen). De auteurs erkennen dat dit een aanzienlijke praktische hindernis is, maar stellen dat het oplosbaar is in gecontroleerde omgevingen (bijv. via vertrouwde derde-partij implementaties).

Concluderend stelt het artikel vast dat de unieke capaciteiten van AI-agents om elkaar te simuleren de speltheoretische context fundamenteel veranderen, waardoor single-shot interacties effectief worden getransformeerd naar herhaalde games waar coöperatie als een rationeel evenwicht kan worden gehandhaafd.