InfoChess: A Game of Adversarial Inference and a Laboratory for Quantifiable Information Control

Probleemstelling

Bestaande spelomgevingen (zoals poker, Stratego of varianten van schaak met onvolledige informatie) gebruiken informatie vaak als een instrumenteel middel om een ander doel te bereiken, zoals materiële winst of het slaan van de tegenstander. Hierdoor zijn objecten van speleracties vaak een verweven mengsel van doelen, wat het moeilijk maakt om informatie-acquisitie en informatieverborgenheid geïsoleerd te bestuderen.

Het paper introduceert InfoChess, een symmetrisch adversarisch spel waarbij het primaire en enige doel is om competitieve informatie-acquisitie te maximaliseren. Er is geen materiaalwinst (geen stukken slaan) en geen traditionele winnende conditie behalve het correct raden van de locatie van de tegenstander. Dit creëert een gecontroleerde omgeving om te onderzoeken hoe agenten omgaan met gedeeltelijke waarneembaarheid (partial observability), geloofsmodellering (belief modeling) en strategische verborgenheid.

Methodologie

1. Spelmechanica (InfoChess)

• Doel: Spelers scoren op basis van de waarschijnlijkheidsmassa die ze toekennen aan de ware locatie van de tegenstander's koning op elk moment.
• Beweging: Alle stukken bewegen één vakje in elke richting. Er is geen slaan.
• Zichtbaarheid:
  • Alle stukken onthullen hun directe omgeving.
  • Lopers (bishops) en torens (rooks) hebben een verlengde zichtlijn (zoals in standaard schaak).
  • Pionnen blokkeren de zichtlijn van de tegenstander.
• Beurtstructuur: Per beurt voert een speler twee bewegingen uit: één niet-koning stuk en één koning, gevolgd door een inferentie over de locatie van de tegenstander's koning.
• Duur: Vaste horizon van 25 beurten per kant.

2. Agenten Hiërarchie
De auteurs definiëren een hiërarchie van heuristische agenten en een Reinforcement Learning (RL) agent, variërend in hun mate van tegenstandermodellering:

• Random: Willekeurige bewegingen en uniforme geloofsdistributie.
• VisMax (V): Gierig maximaliseren van nieuw zichtbare vakken (informatiewinst) voor niet-koning stukken; willekeurige koningsbeweging.
• BeliefMax (B): Gierig maximaliseren van verwachte informatiewinst gebaseerd op een geleerd model van de tegenstander's koningspositie.
• HidingVisMax (HV): Gebruikt VisMax voor stukken, maar verplaatst de koning naar het vak met de minimale voorspelde zichtbaarheid voor de tegenstander.
• HidingBeliefMax (HB): Combineert de geleerde geloofsbeweging voor stukken met de verborgenheidsstrategie voor de koning.
• RL Agent: Een agent getraind met REINFORCE die een gedeelde transformer-encoder gebruikt (frozen) en een MLP voor beleidsbepaling. Deze agent leert zowel beweging als geloofsbewaking zonder expliciete heuristieken.

3. Informatietheoretische Analyse
Om de dynamiek van het spel te kwantificeren, introduceert het paper drie maatstaven:

• Geloofsentropie (Belief Entropy): Meet de totale epistemische onzekerheid over de locatie van de tegenstander.
• Oracle Cross Entropy: Meet de kalibratie van de geloofsdistributie ten opzichte van de ware (verborgen) staat. Dit ontleedt de fout in entropie van de ware verdeling en de KL-divergentie (mismatch).
• Observer Cross Entropy: Een maatstaf die rekening houdt met het feit dat de agent alleen observeert of de koning zichtbaar is of niet (een "vervormd" observatiekanaal). Dit isoleert miscalibratie veroorzaakt door de acties van de speler.

Belangrijkste Resultaten

• Prestatiehiërarchie: De resultaten tonen een duidelijke hiërarchie aan. Agenten die gebruikmaken van een geleerd geloofsmodel (BeliefMax) presteren beter dan die met uniforme aannames (VisMax). Agenten die ook hun eigen koning verbergen (Hiding...) scoren lager voor de tegenstander. De HidingBeliefMax (HB) is de sterkste heuristische agent.
• RL Superioriteit: De Reinforcement Learning agent overtreft alle heuristische baselines. Interessant genoeg is de BeliefMax-agent de sterkste tegenstander voor de RL-agent, wat suggereert dat de RL-agent strategieën heeft gevonden die de stochastische aard van "verstoppen" exploiteren.
• Strategische Patronen:
  • Verborgenheid: Het verplaatsen van de koning naar minder zichtbare vakken verlaagt de score van de tegenstander en verhoogt de entropie van hun geloofsdistributie.
  • Stukgebruik: Heuristische agenten (zonder goed geloofsmodel) gebruiken pionnen vaker om het eigen bord te verlichten. De RL-agent en BeliefMax gebruiken minder pionnen en verplaatsen vaker torens dan lopers, wat wijst op een meer geavanceerde strategie voor zichtlijnbeheer.
• Informatiedynamiek: De analyse toont aan dat de RL-agent in de vroege fase van het spel beter presteert (snellere informatiewinst), terwijl hij in de latere fase beter presteert door de tegenstander's voorspellingsmodellen te omzeilen (zoals zichtbaar in de observer cross entropy).

Bijdragen

1. Nieuw Spel (InfoChess): Een symmetrisch testbed dat informatie-acquisitie als primair doel isoleert, zonder de verwarring van materiële beloningen.
2. Agenten Hiërarchie: Een gestructureerde reeks baselines die de impact van opponent modeling (van uniform naar geleerd) en actieve verborgenheid kwantificeert.
3. Informatietheoretische Maatstaven: De introductie van Oracle Cross Entropy en Observer Cross Entropy om onderscheid te maken tussen onzekerheid door onvolledige informatie, onzekerheid door adversarische beweging en miscalibratie van het model.
4. Open Source: De publicatie van de code, omgeving en agents om verdere studie in multi-agent inferentie te stimuleren.

Significantie

InfoChess biedt een unieke laboratoriumomgeving voor het bestuderen van multi-agent inferentie onder gedeeltelijke waarneembaarheid. Het demonstreert dat zelfs beperkt opponent modeling leidt tot duidelijke prestatiewinsten en dat informatietheoretische metrieken effectief kunnen worden gebruikt om strategische regimes bloot te leggen. Het spel benadrukt hoe actie-afhankelijke observatiekanalen de leerbaarheid van latente toestanden beperken, wat relevant is voor velden zoals POMDP's, veilige AI, en strategische communicatie in complexe systemen.