Multi-agent In-context Coordination via Decentralized Memory Retrieval

1. Il Problema

Il lavoro affronta le sfide della Cooperative Multi-Agent Reinforcement Learning (MARL) in ambienti decentralizzati (Dec-POMDP), con un focus specifico sull'apprendimento In-Context (ICL). Sebbene l'ICL abbia dimostrato grande successo nel single-agent (adattandosi rapidamente a nuovi compiti senza aggiornare i parametri), la sua estensione al multi-agente presenta ostacoli critici:

• Parzialità dell'osservazione: In un'esecuzione decentralizzata, ogni agente ha accesso solo alle proprie osservazioni locali, portando a una comprensione parziale e potenzialmente distorta delle caratteristiche del compito globale.
• Assegnazione del credito (Credit Assignment): Gli agenti ricevono spesso solo una ricompensa di squadra condivisa. Senza segnali individuali chiari, sorge il problema dell'"agente pigro" (lazy agent), dove alcuni agenti non imparano politiche efficaci perché non riescono a valutare il proprio contributo al successo del team.
• Adattamento rapido: Le metodologie esistenti faticano ad adattarsi velocemente a compiti cooperativi mai visti prima senza richiedere aggiornamenti dei parametri del modello, limitando l'efficienza in scenari dinamici.

2. Metodologia: MAICC

Il framework proposto, MAICC, combina l'apprendimento contestuale con un meccanismo di recupero memoria decentralizzato per abilitare un coordinamento rapido. L'architettura si articola in tre fasi principali:

A. Modelli di Embedding per Traiettorie Multi-Agente

Per recuperare contesti rilevanti, è necessario rappresentare le traiettorie in modo efficace.

• Modello di Embedding Centralizzato (CEM): Durante l'addestramento, un modello centralizzato accede a osservazioni e azioni globali per estrarre rappresentazioni fini a livello di squadra.
• Modelli di Embedding Decentralizzati (DEM): Durante l'esecuzione, ogni agente utilizza un proprio modello DEM. Per colmare il divario informativo, i DEM vengono addestrati per distillare le conoscenze del CEM (tramite minimizzazione della divergenza KL), permettendo loro di approssimare le informazioni di squadra pur operando solo con dati locali.
• Token e Loss: I modelli utilizzano token per osservazioni, azioni e informazioni post-step (ricompensa globale, segnale di fine episodio). Vengono ottimizzati con tre funzioni di perdita: politica comportamentale ($L_\mu$), funzione di ricompensa ($L_R$) e dinamica di transizione ($L_T$). Nota importante: il token Return-To-Go (RTG) è omesso nella fase di embedding per evitare il recupero di traiettorie irrilevanti con valori di ritorno simili ma contesti diversi.

B. Recupero Basato su Similarità e Utilità Ibrida

Il cuore dell'adattamento è il recupero di traiettorie contestuali rilevanti.

• Memoria Ibrida: Durante il test, gli agenti recuperano dati da una memoria costruita combinando un dataset offline multi-task e un buffer online. Un coefficiente di decadimento esponenziale ($\beta_t$) bilancia l'uso: all'inizio si privilegiano i dati offline per l'esplorazione, mentre successivamente si sfruttano i dati online ad alto valore per lo sfruttamento.
• Punteggio di Utilità Ibrida: Per risolvere il problema dell'assegnazione del credito e selezionare le traiettorie migliori, MAICC introduce un punteggio di utilità che combina:
  1. Il ritorno globale del team ($R$).
  2. Il ritorno individuale previsto ($\tilde{R}$), stimato dai DEM.
     Questo punteggio ibrido ($S_{util}$) assicura che le traiettorie recuperate siano vantaggiose sia per il singolo agente che per il team, mitigando il problema dell'agente pigro.

C. Decisione In-Context

Una volta recuperate le $k$ traiettorie più rilevanti (basate su similarità coseno + punteggio di utilità), vengono concatenate alla sub-traiettoria corrente dell'agente. Un modello decisionale (un Transformer causale) utilizza questo contesto esteso per generare azioni, adattandosi al nuovo compito senza aggiornare i propri parametri.

3. Contributi Chiave

1. Primo approccio ICRL per Dec-POMDP: MAICC è il primo metodo di Reinforcement Learning In-Context progettato specificamente per ambienti Dec-POMDP cooperativi.
2. Distillazione Centralizzata-Decentralizzata: Un meccanismo innovativo che permette ai modelli decentralizzati di acquisire informazioni di squadra durante l'esecuzione, superando i limiti della parzialità dell'osservazione.
3. Meccanismo di Memoria Ibrida e Decadimento: Una strategia efficace per bilanciare dati offline (generali) e online (specifici al compito corrente), garantendo un'esplorazione iniziale e uno sfruttamento successivo.
4. Assegnazione del Credito Ibrida: L'introduzione di un punteggio di utilità che integra ricompense individuali previste e di squadra, risolvendo criticamente il problema dell'agente pigro nel contesto ICRL.
5. Analisi Teorica: Fornisce un limite superiore sul rimpianto cumulativo online (online cumulative regret), dimostrando la convergenza teorica del metodo.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard di MARL cooperativo:

• Ambienti: Level-Based Foraging (LBF) e StarCraft Multi-Agent Challenge (SMAC v1 e v2).
• Confronto: MAICC è stato confrontato con baselines come MADT, AT, RADT, HiSSD e una versione ablatata (MAICC-S).
• Performance:
  • MAICC ha mostrato un adattamento significativamente più rapido a compiti non visti rispetto a tutti i baselines, raggiungendo performance superiori in tutti gli scenari testati.
  • In scenari complessi come SMACv2 (alta diversità di compiti), solo MAICC ha dimostrato una chiara capacità di adattamento in-context.
  • Le visualizzazioni t-SNE degli embedding confermano che il modello distingue chiaramente le traiettorie per compito, a differenza di metodi che usano il token RTG o loss semplificate.
  • Gli studi di ablazione hanno dimostrato che tutti i componenti (CEM, perdita ibrida, memoria ibrida) sono essenziali per le prestazioni finali.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti fondamentale nell'integrazione tra Large Language Models (LLM) / Transformer e Reinforcement Learning Multi-Agente.

• Efficienza: Dimostra che è possibile ottenere un adattamento rapido a nuovi compiti cooperativi senza il costo computazionale del fine-tuning dei parametri, rendendo il sistema più scalabile.
• Robustezza: Affronta direttamente le sfide intrinseche del multi-agente (parzialità e credito), offrendo una soluzione pratica per scenari reali dove la coordinazione è critica.
• Futuro: Apre la strada a sistemi multi-agente autonomi capaci di imparare "on-the-fly" in ambienti dinamici e non stazionari, con potenziali applicazioni in robotica collaborativa, gestione del traffico e sistemi finanziari.

In sintesi, MAICC trasforma l'apprendimento contestuale da una capacità puramente single-agent a un potente strumento di coordinamento decentralizzato, risolvendo le limitazioni fondamentali delle approcci precedenti attraverso una progettazione attenta dell'embedding, della memoria e dell'assegnazione del credito.