Riassunto Tecnico: HiComm: Comunicazione Gerarchica per il Multi-agent Reinforcement Learning

Definizione del Problema

Il Cooperative Multi-Agent Reinforcement Learning (MARL) opera spesso in condizioni di osservabilità parziale, dove gli agenti devono coordinarsi basandosi su viste locali limitate. Sebbene la comunicazione sia un meccanismo standard per mitigare questo problema, i protocolli esistenti trattano tipicamente i messaggi come vettori piatti e densi. Questi vettori sono proiezioni apprese dell'intera osservazione di un agente, distaccate dalla struttura intrinseca di tale osservazione.

Molti ambienti cooperativi (ad esempio, difesa cibernetica, sport di squadra o micromanagement) possiedono una naturale struttura di osservazione gerarchica (ad esempio, gruppi di entità, sottoreti contenenti host, o unità di classi specifiche). Gli attuali metodi non riescono a sfruttare questa struttura all'interno del corpo del messaggio stesso. Invece, trasmettono riassunti non strutturati o impongono una gerarchia sul grafo di comunicazione o sui ruoli degli agenti (ad esempio, architetture feudali), piuttosto che sulla struttura dei dati scambiati. Questa svista ignora una ricca fonte di bias induttivo, portando a una comunicazione inefficiente in cui gli agenti trasmettono informazioni ridondanti o non strutturate.

Metodologia: HiComm

Gli autori propongono HiComm, un modulo di comunicazione plug-in che ancora i messaggi direttamente nell'osservazione gerarchica del mittente. A differenza dei protocolli tradizionali guidati dal mittente (sender-driven), dove un agente codifica il suo stato completo, HiComm è guidato dal ricevitore (receiver-driven) e tratta la comunicazione come un recupero di informazioni strutturate.

Meccanismo Centrale

Lo spazio di osservazione per ogni agente $i$ è modellato come un tensore a tre assi $z_i \in G \times E \times F$, dove:

• $G$: Asse dei gruppi grossolani (es. sottoreti, classi di unità).
• $E$: Asse delle entità fini (es. host all'interno di una sottorete, unità specifiche).
• $F$: Asse del vettore delle feature.

HiComm trasforma la comunicazione da trasmissione di un vettore a recupero di una specifica coppia indirizzo-valore $((g, \ell), F)$ dal tensore di osservazione del mittente. Il processo avviene in tre stadi differenziabili utilizzando lo Straight-Through Gumbel-Softmax (ST-GS) per la selezione discreta:

1. Fase 1: Generazione della Query (lato ricevitore)
   Il ricevente riassume il contesto della sua osservazione locale e la maschera di osservabilità in un vettore di query $q_i$. Questa query rappresenta il bisogno informativo del ricevente.

2. Fase 2: Selezione Gerarchica del Mittente (lato ricevitore)
   Il ricevente scende nella gerarchia per selezionare un mittente:

   • Stadio 1 (Selezione del Gruppo): Il ricevente seleziona un gruppo di argomenti $g^*$ scorando la query $q_i$ rispetto a chiavi di gruppo apprendibili $\kappa_g$.
   • Stadio 2 (Selezione dell'Agente): Condizionato a $g^*$, il ricevente seleziona un mittente specifico $j^*$ dal team (escluso se stesso) basandosi su una funzione di affinità condizionata dal contesto $\Phi(j, g^*; h_i)$.
   • Nota: Questa discesa a due stadi riduce lo spazio decisionale discreto da $|G| \cdot |E| \cdot (N-1)$ a $|G| + (N-1) + |E|$, localizzando l'assegnazione del credito.

3. Fase 3: Recupero dell'Entità (lato mittente)
   Il ricevente trasmette $(q_i, g^*)$ al mittente selezionato $j^*$. Il mittente esegue quindi:

   • La selezione di una specifica entità $\ell^*$ all'interno del gruppo $g^*$ sulla propria osservazione locale $z_{j^*}$, mascherando le voci non osservate.
   • Restituisce il vettore di feature verbatim $F = z_{j^*}[g^*, \ell^*, :]$ al ricevente.
   • Crucialmente, il messaggio è l'ingresso grezzo dell'osservazione, non una compressione appresa.

Addestramento e Integrazione

HiComm è progettato come un modulo trasformativo leggero e stateless che si integra nei pipeline standard di MARL (es. IPPO, MAPPO) senza alterare le architetture sottostanti di policy o critic.

• Ottimizzazione: I parametri di comunicazione $\theta_{comm}$ sono aggiornati insieme ai parametri della policy $\theta_{pol}$ tramite un singolo passaggio di backpropagation.
• Funzione di Perdita: L'obiettivo combina lo standard PPO surrogate loss con un prior di shaping del guadagno di informazione scalare. Questo prior incoraggia la selezione di coordinate che forniscono un alto guadagno di informazione rispetto allo stato attuale del ricevente, prevenendo il collasso del mittente.
• Bandwidth: Il protocollo trasmette solo l'indirizzo (indici di gruppo ed entità) e il vettore di feature grezzo, riducendo significativamente la larghezza di banda rispetto alla trasmissione di riassunti completi dell'osservazione.

Contributi Chiave

1. Protocollo HiComm: Un modulo di comunicazione guidato dal ricevitore che utilizza la gerarchia intrinseca gruppo-entità dell'osservazione. Esso sostituisce la trasmissione di vettori non strutturati con il recupero strutturato di specifiche fette di osservazione.
2. Implementazione Differenziabile: Un design plug-in leggero che utilizza ST-GS per la selezione discreta e una testa di proiezione condivisa, permettendo l'integrazione fluida in algoritmi MARL standard senza modificare l'architettura della policy principale.
3. Validazione Empirica: Dimostrazione attraverso tre benchmark diversi (CAGE Challenge 4, SMACv2, Google Research Football) che HiComm eguaglia o supera i baseline rappresentativi di comunicazione appresa (CACOM, T2MAC) riducendo drasticamente il volume di comunicazione.

Risultati Sperimentali

Gli autori hanno valutato HiComm su tre benchmark con diverse strutture di osservazione e richieste di coordinamento, utilizzando backbone IPPO (decrit centralizzato) e MAPPO (critic centralizzato).

• Performance (RQ1): HiComm colma una parte sostanziale del divario di performance tra l'osservabilità parziale (senza comunicazione) e l'osservabilità completa (condivisione dello stato completo). In 9 casi su 10 tra algoritmi e scenari, HiComm ha eguagliato o superato i baseline. In particolare, sotto MAPPO nell'ambiente CAGE Challenge 4, HiComm ha recuperato circa l'85% del divario verso l'osservabilità completa, superando significativamente CACOM e T2MAC.
• Efficienza della Bandwidth (RQ2): HiComm ottiene questi risultati riducendo il volume di comunicazione di 5× fino a 23× per ricevitore per episodio rispetto ai baseline, e oltre 1000× rispetto alla condivisione dello stato completo. Ciò è ottenuto trasmettendo solo la fetta di feature rilevante invece di una proiezione piatta dell'intera osservazione.
• Generalità (RQ3): I guadagni di performance e l'efficienza della bandwidth si mantengono attraverso diverse architetture di critic (IPPO vs. MAPPO) e diversi metodi di definizione della gerarchia (sottoreti native, classi semantiche di unità e ruoli semantici dei giocatori).

Significato e Limitazioni

Il paper sostiene che HiComm introduca una nuova dimensione alla comunicazione nel MARL: la gerarchia dello spazio di osservazione. Consentendo al ricevitore di interrogare attivamente coordinate specifiche nella struttura di osservazione del mittente, il protocollo evita la "proiezione con perdita" (lossy projection) inerente ai metodi a vettore piatto. I risultati suggeriscono che sfruttare la naturale struttura delle osservazioni porti a un coordinamento più efficiente ed efficace.

Limitazioni:
Gli autori dichiarano esplicitamente che il lavoro manca di un'analisi teorica formale dell'efficienza della comunicazione. Il vantaggio dimostrato in termini di bandwidth si basa su confronti empirici piuttosto che su un limite informazionale-teorico che provi perché l'indirizzamento gerarchico sia provabilmente più efficiente della codifica piatta a parità di performance del task. L'instaurazione di tale teoria è identificata come una direzione primaria per il lavoro futuro.

Conclusione:
HiComm dimostra che trattare la comunicazione come un recupero strutturato da uno spazio di osservazione gerarchico è un'alternativa valida ed efficiente ai tradizionali protocolli di comunicazione appresa, offrendo significativi risparmi di banda senza sacrificare (e spesso migliorando) la performance cooperativa.