Sintesi Tecnica: Inferenza dell'Intento sotto Rumore di Esecuzione

Definizione del Problema

Nei dilemmi sociali come il Dilemma del Prigioniero Iterato (IPD), la stabilità della cooperazione dipende dalla capacità degli agenti di osservare in modo affidabile le scelte altrui. Tuttavia, in presenza di rumore di esecuzione, le azioni intenzionali vengono stocasticamente corrotte prima dell'attuazione (ad esempio, un intento cooperativo viene eseguito come una defezione). Ciò crea un problema di attribuzione: una defezione osservata può derivare da un intento ostile o semplicemente da un errore di esecuzione.

Le formulazioni standard dei Processi Decisionali di Markov (MDP) trattano le azioni eseguite come lo spazio degli stati. Questa scelta strutturale preclude la distinzione tra intento ed esecuzione, costringendo gli agenti a trattare tutte le defezioni osservate come deliberate. Di conseguenza, gli agenti standard mostrano una sovra-ritorsione sistematica, destabilizzando la cooperazione. Sebbene le strategie di perdono ingegnerizzate (come la Generous Tit-for-Tat) offrano correzioni pratiche, esse mancano di un account principale su quanto il perdono sia giustificato dall'evidenza e non possono adattarsi a specifici avversari. Gli approcci di apprendimento per rinforzo spesso falliscono nel modellare gli intenti latenti, portando alla stessa incapacità strutturale di ipotizzare che un avversario "avesse inteso cooperare ma abbia eseguito in modo errato".

Metodologia

Gli autori propongono una formulazione di Processo Decisionale di Markov Parzialmente Osservabile (POMDP) risolta all'interno del framework dell'Inferenza Attiva (AIF).

1. Il POMDP dell'Intento Latente

L'innovazione principale è la separazione dell'incertezza aleatoria (rumore di esecuzione) dall'incertezza epistemica (incertezza sull'intento).

• Stati ($S$): Codificano le azioni intenzionali congiunte (stati latenti) prima dell'esecuzione (es. $CC$, $CD$, $DC$, $DD$).
• Osservazioni ($O$): Corrispondono alle azioni congiunte eseguite, che sono versioni rumorose degli stati.
• Modello di Osservazione ($A$): Un canale binario simmetrico fisso con parametro di rumore $\epsilon$, che mappa gli stati intenzionali sulle azioni osservate.
• Modello di Transizione ($B$): Codifica la politica reattiva dell'avversario (come il suo prossimo intento dipende dal precedente esito congiunto). Questa matrice è sconosciuta e appresa online.
• Preferenze ($C$): Log-preferenze sulle osservazioni derivate dalla struttura dei payoff (es. $T > R > P > S$).

2. Soluzione di Inferenza Attiva

L'agente minimizza l'Energia Libera Attesa (G), che si decompone in due componenti:

• Valore Pragmatico: Spinge l'agente verso osservazioni preferite e ad alto payoff (sfruttamento).
• Valore Epistemico: Spinge l'agente verso azioni di ricerca di informazioni per risolvere l'incertezza. Questo è ulteriormente suddiviso in:
  • Guadagno di Informazione sullo Stato: Riduzione dell'incertezza sull'attuale intento latente dell'avversario.
  • Guadagno di Informazione sui Parametri: Riduzione dell'incertezza sul modello di transizione (politica reattiva) dell'avversario.

3. Apprendimento Online

L'agente apprende la politica reattiva dell'avversario (matrice $B$) tramite l'accumulo di conteggi Dirichlet. Gli aggiornamenti delle credenze sugli stati nascosti forniscono un segnale di addestramento "pulito" per i conteggi Dirichlet, disaccoppiando l'apprendimento della strategia dell'avversario dal rumore di esecuzione. Ciò crea un sistema accoppiato in cui la stima accurata dell'intento migliora la politica di apprendimento, e l'apprendimento accurato della politica migliora la stima dell'intento.

Contributi Chiave

1. Formulazione POMDP: Una nuova separazione tra il rumore di esecuzione aleatorio e l'incertezza epistemica sull'intento, con preferenze coerenti con le strutture di payoff.
2. Meccanismo di Apprendimento Online: Accoppiamento tra inferenza dello stato e apprendimento del modello tramite posteriore di Dirichlet, permettendo all'agente di apprendere attivamente la politica reattiva dell'avversario attraverso il rumore.
3. Analisi della Soglia Critica di Rumore: Derivazione di una soglia teorica che governa il collasso della cooperazione. Gli autori identificano che la cooperazione fallisce non perché gli agenti non possano distinguere il rumore dall'ostilità (discriminabilità), ma perché la probabilità che l'intento cooperativo persista attraverso l'orizzonte di pianificazione scende sotto un punto critico.
4. Validazione Empirica: Dimostrazione che il valore dell'inferenza dell'intento è dipendente dal contesto, mostrando vantaggi contro avversari reciprocanti, ma fragilità in scenari di inferenza mutua ad alto rumore.

Risultati

Performance contro Diversi Avversari

• Self-Play (POMDP vs. POMDP):
  • A basso rumore ($\epsilon \le 0.10$), il POMDP mantiene una cooperazione quasi perfetta, superando la baseline MDP.
  • A una soglia critica ($\epsilon \in [0.10, 0.15]$), il POMDP subisce un collasso della cooperazione netto e catastrofico. Questo è guidato da dinamiche di credenza correlate: quando un agente ritorsiona a causa del rumore, l'altro inferisce correttamente l'intento ostile e ritorsiona a sua volta, creando uno spirale auto-rinforzante.
  • La baseline MDP degrada gradualmente senza una soglia netta, poiché manca lo strato di intento latente per innescare questo specifico cascata di credenze.
• vs. Tit-for-Tat (TFT):
  • Il POMDP mantiene un vantaggio costante attraverso tutti i livelli di rumore. Poiché la politica di TFT è stazionaria, le dinamiche di credenza dell'agente focale non destabilizzano l'avversario, prevenendo il collasso correlato visto nel self-play.
• vs. Win-Stay Lose-Shift (WSLS):
  • Entrambe le formulazioni collassano nello sfruttamento (cicli DC/DD) per qualsiasi $\epsilon > 0$. La disposizione di perdono del POMDP ritarda questa transizione, risultando in punteggi marginalmente inferiori rispetto all'MDP, che si adatta più velocemente per sfruttare il WSLS.

Meccanismo di Fallimento

L'analisi della decomposizione dell'Energia Libera Attesa rivela che nel POMDP, il modello di osservazione noto assorbe il rumore, permettendo al guadagno di informazione sullo stato di risolversi a zero. Al contrario, l'MDP soffre di un'incertezza di stato irriducibile, portando a un'indecisione persistente e a politiche non impegnate.

La soglia critica di rumore è derivata come il punto in cui la probabilità di sopravvivenza cooperativa ($p_t(CC)^h$) scende sotto 0.5. Oltre questo punto, l'ipotesi "ostile" diventa la spiegazione più probabile per le defezioni osservate nell'orizzonte di pianificazione, rendendo la ritorsione una risposta razionale anche se l'agente potesse distinguere perfettamente il rumore dall'intento.

Significato e Rivendicazioni

Il paper sostiene che la scelta rappresentativa di cosa costituisce uno stato rispetto a un'osservazione determina se la cooperazione principata sotto rumore sia strutturalmente possibile.

• Necessità di Rappresentazione e Spinta: I vantaggi cooperativi derivano specificamente dall'interazione tra la struttura POMDP (che isola il rumore aleatorio) e la spinta epistemica (che sonda attivamente la politica dell'avversario). Nessuna delle due componenti da sola è sufficiente; rimuovere i termini epistemici elimina la traiettoria "esplora-e-impegnati", mentre usare il POMDP senza la spinta epistemica non produce alcun miglioramento.
• Valore Dipendente dal Contesto: L'inferenza dell'intento è vantaggiosa contro avversari reciprocanti, ma diventa un limite nel self-play ad alto rumore dove l'inferenza mutua crea un ciclo di feedback di ritorsione.
• Struttura Strategica: Il vantaggio è specifico per i giochi in cui l'attribuzione dell'intento è decision-rilevante (es. IPD dove $T > R$). In giochi come lo Stag Hunt ($T < R$), dove non c'è tentazione di sfruttare, il POMDP e l'MDP si comportano in modo simile, poiché la distinzione tra errore e intento è meno consequenziale.
• Limitazioni: Gli autori notano che il netto collasso nel self-play è una proprietà della inferenza mutua piuttosto che un difetto del modello stesso. Il modello assume una politica dell'avversario stazionaria; quando entrambi gli agenti co-evolvono, tale assunzione viene violata, portando a una misspecificazione del modello. Il paper suggerisce che meccanismi di oblio o rilevamento di cambiamenti (change-point detection) potrebbero mitigare questo problema in lavori futuri.

In conclusione, il paper argomenta che l'accuratezza dell'inferenza sotto rumore è limitata dal contesto in cui opera: sebbene separare il rumore dall'intento permetta una cooperazione robusta contro strategie fisse o reciprocanti, ciò introduce una fragilità nei contesti di inferenza mutua dove il rumore può innescare una transizione auto-rinforzante verso la defezione mutua.