Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

Sintesi Tecnica: Sognare gli Altri – Modellazione Latente del Teammate in Modelli del Mondo per il Reinforcement Learning Multi-Agente

Definizione del Problema
Nel Reinforcement Learning Multi-Agente (MARL) cooperativo, gli agenti devono coordinarsi con partner le cui politiche interne e intenzioni non sono direttamente osservabili. Sebbene i modelli del mondo, in particolare la famiglia Dreamer, abbiano dimostrato una forte capacità di generalizzazione ed efficienza campionaria in contesti single-agent apprendendo dinamiche latenti compatte, la loro applicazione al MARL è attualmente limitata. La sfida principale è che il comportamento del teammate introduce una struttura non stazionaria e parzialmente osservabile che viene tipicamente compressa nel modello come rumore indifferenziato. Ciò impedisce agli agenti di anticipare efficacemente la variabilità del partner o di adattarsi a collaboratori non visti senza avere accesso alle loro osservazioni interne o alle loro politiche. Inoltre, gli approveri standard di MARL cooperativo spesso si affidano a semplificazioni come l'addestramento centralizzato con informazioni privilegiate o canali di comunicazione espliciti, che non sono disponibili in scenari realistici di collaborazione uomo-IA.

Metodologia
Il documento propone un "Modello del Mondo Condizionato dal Teammate" che inquadra i compagni di squadra non come rumore esogeno, ma come componenti strutturate e apprendibili all'interno del modello del mondo dell'agente. La metodologia si basa su un Modello di Spazio di Stato Ricorrente (RSSM) in stile Dreamer con le seguenti innovazioni architettoniche e di obiettivo:

• Stato Latente Fattorizzato: Lo stato latente stocastico $z_t$ è fattorizzato in due componenti distinte: $z_t = [z^{env}_t, z^{team}_t]$.
  • $z^{env}_t$ cattura le dinamiche deterministiche e stocastiche dell'ambiente fisico.
  • $z^{team}_t$ codifica il comportamento inferito, il carattere e l'intento del teammate.
• Architettura:
  • Encoder: Consuma l'osservazione dell'agente controllato $x_t$ e l'azione $a^0_t$ per produrre uno stato nascosto deterministico $h_t$.
  • Decoder: Due decoder operano sui latenti fattorizzati. Un decoder di osservazione ricostruisce lo stato dell'ambiente $\hat{x}_t$ da $z^{env}_t$. Un dedicato "decoder della policy del teammate" mappa $z^{team}_t$ su una distribuzione predittiva $\hat{\pi}^j_t(\cdot)$ sulla successiva azione del teammate.
  • Condizionamento Actor-Critic: Durante la fase di immaginazione, lo stato nascosto e i latenti campionati del teammate condizionano le teste dell'attore e del critico, permettendo all'agente di pianificare politiche che tengano conto di diversi comportamenti dei partner.
• Obiettivo di Teoria della Mente (ToM): Viene introdotta una funzione di perdita dedicata, $\mathcal{L}_{ToM}$, che supervisiona l'inferenza del comportamento del teammate. Questo obiettivo minimizza una cross-entropia calibrata tra la distribuzione empirica delle azioni del teammate e la predizione del modello, aumentata da un termine di regolarizzazione Kullback-Leibler per garantire la coerenza temporale del latente del teammate inferito:
  $$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$$
  Questa viene aggiunta agli obiettivi standard di addestramento di Dreamer con un iperparametro di ponderazione $\lambda_{ToM}$.

Contributi Chiave

1. Framework Concettuale: Il documento propone una nuova prospettiva per il MARL in cui i modelli del mondo fungono da simulatori di comportamento sociale, non solo di dinamiche ambientali. Propone di modellare i compagni di squadra come processi latenti strutturati per ridurre la non-stazionarietà apparente.
2. Nuova Architettura: Introduce una specifica architettura RSSM che separa esplicitamente i latenti ambientali da quelli del teammate, accoppiata a una testa ToM per inferire l'intento del partner da traiettorie parziali.
3. Protocollo di Addestramento: Il lavoro delinea una procedura di addestramento che consente la coordinazione zero-shot e few-shot senza richiedere immaginazione condivisa, politiche centralizzate o canali di comunicazione espliciti tra gli agenti.
4. Proposta di Valutazione: Gli autori propongono un rigoroso protocollo di valutazione utilizzando Multi-Agent Particle Environments, Overcooked-AI e Melting Pot per valutare generalizzazione, efficienza campionaria e robustezza attraverso diverse popolazioni di partner e contesti sociali.

Risultati
Il documento dichiara esplicitamente di essere una proposta intesa a catalizzare la discussione e non riporta risultati empirici. Di conseguenza, non sono presentati risultati sperimentali, metriche di prestazione o benchmark comparativi. Il contributo è puramente architettonico e teorico, delineando come un tale sistema dovrebbe funzionare e come dovrebbe essere valutato.

Significatività e Rivendicazioni
Il documento posiziona questo lavoro come un passo verso un'IA "compatibile con l'uomo" dove i partner sono parzialmente osservabili ed eterogenei. Gli autori affermano che, trattando i compagni di squadra come processi latenti strutturati piuttosto che come rumore, l'approccio offre una via per:

• Riduzione della Non-Stazionarietà: Separare le dinamiche sociali dalle dinamiche fisiche può stabilizzare l'apprendimento in contesti cooperativi.
• Migliore Coordinazione: Consentire agli agenti di immaginare e adattarsi a collaboratori non visti (zero-shot) e migliorare rapidamente con interazioni limitate (few-shot).
• Interpretabilità: Fornire rappresentazioni latenti che codificano esplicitamente il carattere e l'intento del partner.

La significatività ultima, come inquadrata dagli autori, è il potenziale affinché i modelli del mondo evolvano da strumenti che "sognano i mondi che abitano" a strumenti che "sognano le menti che li condividono", facilitando una collaborazione uomo-IA più robusta e adattabile.