InfoChess: A Game of Adversarial Inference and a Laboratory for Quantifiable Information Control

Panoramica del Problema

Il lavoro affronta la difficoltà di studiare l'acquisizione e la concealment (occultamento) dell'informazione in ambienti parzialmente osservabili. Nei giochi tradizionali come gli scacchi, il gioco d'azzardo, Stratego o Hanabi, l'informazione è solitamente uno strumento secondario per raggiungere obiettivi primari come la cattura di pezzi o la vittoria materiale. Questo intreccio di obiettivi rende difficile isolare e quantificare le dinamiche puramente informative.

L'obiettivo principale è creare un ambiente di laboratorio controllato dove l'acquisizione competitiva di informazioni sia l'obiettivo primario e unico, eliminando le distrazioni legate al guadagno materiale.

Metodologia: InfoChess

Gli autori introducono InfoChess, un gioco simmetrico e avversario basato su una scacchiera 8x8, progettato per isolare l'inferenza avversaria.

Regole e Meccaniche Chiave:

• Nessuna cattura: Non esiste la cattura dei pezzi. Questo rimuove gli incentivi materiali, costringendo i giocatori a focalizzarsi esclusivamente sull'informazione.
• Obiettivo: I giocatori non cercano di catturare il re avversario, ma di inferire probabilisticamente la sua posizione durante tutto il gioco.
• Punteggio: Ad ogni turno, un giocatore ottiene un punteggio pari alla massa di probabilità assegnata alla posizione reale (ground truth) del re avversario.
• Movimenti: Ogni pezzo si muove di una casella in qualsiasi direzione. Non ci sono catture.
• Visibilità:
  • Tutti i pezzi rivelano le caselle circostanti immediate.
  • Torri e Alfieri proiettano raggi di visibilità estesi (come negli scacchi standard).
  • I pedoni ostacolano la visibilità dell'avversario (fungono da muri).
• Durata: Il gioco ha un orizzonte fisso di 25 turni per lato per bilanciare la fase di acquisizione iniziale e quella di occultamento.
• Configurazione Iniziale: Il re avversario è posizionato uniformemente su una delle quattro caselle della prima fila.

Agenti e Modelli di Apprendimento

Per esplorare lo spazio delle strategie, gli autori definiscono una gerarchia di agenti euristici basati su diversi livelli di modellazione dell'avversario e un agente di Apprendimento per Rinforzo (RL).

1. Modelli di Credenza (Belief Models):

• Uniforme: Assegna probabilità uniforme a tutte le caselle nascoste (nebbia di guerra), ignorando la storia passata.
• Appreso (Learned): Utilizza un Transformer a due livelli (con MLP in testa) per processare la storia degli stati della scacchiera e prevedere la distribuzione del re avversario. Un secondo head predice anche la visibilità del proprio re per l'avversario.

2. Gerarchia degli Agenti Euristici:

• Random: Movimenti casuali e credenza uniforme.
• VisMax (V): Massimizza greedy le nuove caselle visibili (guadagno informativo) con i pezzi non reali; movimento reale casuale.
• BeliefMax (B): Massimizza il guadagno informativo atteso basandosi sul modello di credenza appreso.
• HidingVisMax (HV): Usa la politica VisMax per i pezzi, ma muove il re nella casella legale con la minima visibilità prevista per l'avversario.
• HidingBeliefMax (HB): Combina la politica BeliefMax per i pezzi con la politica di occultamento (Hiding) per il re.

3. Agente RL:

• Utilizza lo stesso encoder Transformer (congelato) degli agenti euristici per rappresentare lo stato.
• Addestrato con REINFORCE per massimizzare la differenza di punteggio per turno.
• Addestrato contro un mix di avversari (self-play e agenti euristici) per sviluppare strategie oltre la massimizzazione euristica della credenza.

Metriche di Analisi Informazionale

Il paper introduce caratterizzazioni basate sulla teoria dell'informazione per analizzare le dinamiche di gioco:

1. Entropia della Credenza ($H(q)$): Misura l'incertezza epistemica totale del giocatore sulla posizione del re avversario.
2. Cross-Entropia Oracle ($H(p, q)$): Misura la calibrazione della credenza rispetto alla verità nascosta (ground truth). Decomponibile in entropia della distribuzione reale e divergenza KL (mismatch).
3. Cross-Entropia dell'Osservatore ($H(p^O, q^O)$): Valuta la calibrazione predittiva attraverso il canale di osservazione indotto dall'azione (cioè, cosa l'agente vede realmente, non la verità nascosta). Questo metrico isola l'incertezza indotta dall'adversarial movement dalla miscalibrazione del modello.

Risultati Principali

• Gerarchia delle Prestazioni: Gli agenti euristici mostrano una chiara gerarchia competitiva. L'uso di un modello di credenza appreso (BeliefMax) migliora le prestazioni rispetto all'uso di credenze uniformi (VisMax). L'aggiunta di strategie di occultamento attivo per il re (Hiding) riduce ulteriormente il punteggio dell'avversario. L'agente HidingBeliefMax (HB) è il più forte tra gli euristici.
• Superiorità del RL: L'agente RL supera tutti gli agenti euristici. Curiosamente, l'agente BeliefMax è l'avversario più difficile per il RL, suggerendo che il RL ha trovato modi per sfruttare la ridotta stocasticità del comportamento di occultamento degli agenti euristici.
• Dinamiche di Gioco:
  • L'agente RL eccelle nelle fasi iniziali contro BeliefMax e nelle fasi finali contro HidingBeliefMax.
  • L'analisi della Cross-Entropia dell'Osservatore rivela che il RL si muove contro ciò che i modelli di credenza euristici prevedono, creando un mismatch nelle fasi avanzate.
• Comportamento dei Pezzi:
  • Gli agenti senza modelli informativi (VisMax) usano i pedoni più frequentemente per rivelare caselle vicine.
  • Gli agenti avanzati (BeliefMax e RL) riducono l'uso dei pedoni.
  • Mentre gli agenti euristici muovono prevalentemente gli alfieri, l'agente RL muove più frequentemente le torri, suggerendo strategie di visibilità diverse.

Significato e Contributi

1. Nuovo Testbed: InfoChess fornisce un ambiente controllato e simmetrico per studiare l'inferenza multi-agente, l'occultamento strategico e la modellazione della credenza, senza le distorsioni degli incentivi materiali.
2. Metriche Quantificabili: Dimostra come le metriche informazionali (entropia, cross-entropia) possano disaccoppiare l'incertezza epistemica, la miscalibrazione e l'incertezza indotta dall'avversario, offrendo una lente analitica per le dinamiche di gioco.
3. Apprendimento e Modellazione: Conferma che una modesta modellazione dell'avversario porta a guadagni significativi, ma che l'apprendimento per rinforzo può scoprire strategie superiori a quelle puramente euristiche, specialmente nell'adattamento alle strategie di occultamento.
4. Implicazioni Teoriche: Il gioco evidenzia come i canali di osservazione dipendenti dall'azione limitino ciò che può essere appreso sullo stato latente, rendendolo uno strumento prezioso per lo studio dei sistemi multi-agente parzialmente osservabili (POMDP).

Il codice, l'ambiente e un'interfaccia pubblica sono stati rilasciati per facilitare ulteriori ricerche in questo dominio.