Bayesian Ego-graph Inference for Networked Multi-Agent Reinforcement Learning

1. Il Problema

Il lavoro affronta le sfide del Multi-Agent Reinforcement Learning (MARL) in reti fisse (Networked-MARL), un paradigma in cui agenti decentralizzati devono prendere decisioni autonome basandosi su osservazioni locali e comunicazioni vincolate da un grafo fisico predefinito (es. incroci stradali connessi da strade).

I problemi principali identificati sono:

• Grafo di comunicazione statico: I metodi esistenti spesso assumono che gli agenti interagiscano con tutti i vicini fisici, indipendentemente dalla rilevanza contestuale. Questo porta a scambi di messaggi inefficienti, rumore e degradazione delle prestazioni, specialmente in ambienti dinamici come il controllo del traffico.
• Limitazioni dei framework centralizzati: Sebbene alcuni metodi CTDE (Centralized Training, Decentralized Execution) possano apprendere grafi dinamici, richiedono l'accesso allo stato globale e infrastrutture centralizzate, rendendoli impraticabili per sistemi reali decentralizzati dove gli agenti hanno solo osservabilità parziale.
• Mancanza di adattabilità: Gli agenti non riescono ad adattare la propria struttura di interazione in base alle condizioni locali (es. congestione variabile nel tempo) senza una supervisione globale.

2. Metodologia: BayesG

Gli autori propongono BayesG, un framework decentralizzato actor-critic che apprende strutture di interazione latenti e sparse tramite inferenza variazionale bayesiana.

Concetti Chiave:

• Policy Basata su Grafo Stocastico: Ogni agente condiziona la propria decisione su un sottografo campionato (ego-graph) estratto dalla sua vicinanza fisica. Invece di usare tutti i vicini, l'agente seleziona dinamicamente quali vicini sono informativi.
• Maschera Latente Binaria: L'interazione è modellata come una maschera binaria latente $Z_i$ applicata al grafo fisico locale $G^{env}_{V_i}$. L'agente infere questa maschera per determinare quali canali di comunicazione attivare.
• Inferenza Variazionale: Il processo di apprendimento del grafo è formulato come un problema di inferenza bayesiana.
  • Posteriore: $p(Z_i | G^{env}_{V_i}, D_i)$, dove $D_i$ sono i dati locali (stati dei vicini, traiettorie, politiche).
  • Approssimazione Variazionale: Il posteriore è approssimato da una distribuzione $q(Z_i; \phi_i)$ parametrizzata da una rete neurale.
  • Ottimizzazione: I parametri $\phi_i$ sono ottimizzati end-to-end massimizzando il Lower Bound dell'Evidenza (ELBO).

Funzione Obiettivo (ELBO):

L'obiettivo di training combina l'apprendimento della politica e l'inferenza del grafo:
$$\mathcal{L}_{ELBO} = \mathbb{E}_{Z_i}[-\mathcal{L}_{\theta,\phi}] - \sum_{j \in N_i} \text{KL}(q(Z_{ij}) || p(Z_{ij}))$$
Dove:

• $\mathcal{L}_{\theta,\phi}$ è la perdita dell'attore condizionata al grafo campionato (fornisce il feedback del compito).
• Il termine KL regolarizza la distribuzione delle maschere rispetto a un prior (es. Bernoulli), prevenendo il collasso prematuro su grafi deterministici e incoraggiando l'esplorazione.
• Viene introdotta una doppia regolarizzazione dell'entropia: una sulle azioni (tipica del RL) e una sulle connessioni del grafo (per mantenere la diversità delle strutture di comunicazione).

Architettura:

• Actor: Utilizza GNN (Graph Neural Networks, specificamente GCN) per codificare le informazioni solo dai vicini selezionati dalla maschera campionata $Z_i$.
• Critic: Valuta lo stato basato sull'input condizionato dal grafo, utilizzando osservazioni locali e azioni dei vicini.
• Training: Asincrono e decentralizzato, senza bisogno di stato globale.

3. Contributi Principali

1. Policy Stocastica su Grafo: Introduzione di una politica in cui ogni agente condiziona le decisioni su un sottografo campionato dalla vicinanza fisica, permettendo un'adattabilità contestuale.
2. Formulazione Bayesiana: Modellazione dell'apprendimento del grafo latente come inferenza variazionale, trattando le maschere degli archi come variabili latenti vincolate dalla topologia fisica e dai dati locali.
3. Algoritmo End-to-End: Sviluppo di un algoritmo di training che integra l'inferenza variazionale del grafo con l'apprendimento actor-critic tramite l'obiettivo ELBO, permettendo agli agenti di imparare simultaneamente la topologia di interazione e le strategie decisionali.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque scenari di controllo adattivo dei semafori (ATSC) utilizzando il simulatore SUMO, con un numero di agenti che va da 25 (griglia sintetica) a 167 (scenario New York su larga scala).

• Performance: BayesG supera costantemente i baselines di stato dell'arte (inclusi IA2C, CommNet, NeurComm, e metodi basati su consenso) in termini di ritorno cumulativo (riduzione delle code e dei veicoli fermi).
• Scalabilità: Il metodo dimostra una scalabilità superiore negli scenari su larga scala (NewYork167), dove i metodi baselines tendono a stagnare o diventare instabili a causa del rumore nelle comunicazioni.
• Convergenza: BayesG converge più velocemente, specialmente negli ambienti iniziali, grazie alla capacità di filtrare le comunicazioni irrilevanti.
• Interpretabilità: Le visualizzazioni mostrano che BayesG impara a dare priorità alle comunicazioni dagli incroci a bassa congestione verso quelli ad alta congestione, creando un flusso di traffico più fluido.
• Ablation Study:
  • L'uso di una maschera appresa (vs. casuale o nessun mascheramento) è cruciale per le prestazioni.
  • La combinazione di feature di stato, traiettoria e politica per generare la maschera offre i migliori risultati.

5. Significato e Impatto

Il lavoro di BayesG è significativo perché:

• Supera il vincolo della staticità: Dimostra che gli agenti decentralizzati possono apprendere dinamicamente con chi comunicare, adattandosi alle condizioni ambientali senza bisogno di un controllore centrale.
• Efficienza delle Comunicazioni: Riduce drasticamente il sovraccarico di comunicazione eliminando i collegamenti non informativi, un aspetto critico per sistemi reali con larghezza di banda limitata.
• Robustezza in Ambienti Reali: Offre un approccio praticabile per sistemi complessi come le reti di traffico, le smart grid e i sensori distribuiti, dove la topologia fisica è fissa ma le interazioni necessarie sono dinamiche.
• Fondamento Teorico: Collega l'apprendimento per rinforzo multi-agente con l'inferenza variazionale bayesiana, fornendo un quadro teorico solido per l'apprendimento di strutture di interazione sparse e consapevoli del contesto.

In sintesi, BayesG rappresenta un passo avanti verso sistemi multi-agente scalabili, efficienti e adattivi, risolvendo il compromesso tra la necessità di coordinamento e i vincoli di osservabilità e comunicazione del mondo reale.