Riassunto Tecnico: Cooperazione Continua Multi-agente Offline tramite Partizione e Riutilizzo delle Skill (COMAD)

1. Formulazione del Problema

Il documento affronta la sfida dell'Apprendimento per Rinforzo Multi-agente Offline Continuo (Continual Offline MARL). In questo contesto, gli agenti devono apprendere da un flusso sequenziale di dataset offline, dove ogni dataset corrisponde a un compito diverso modellato come un Processo Decisionale di Markov Parzialmente Osservabile Decentralizzato (Dec-POMDP).

La difficoltà principale risiede nella crescita esponenziale dello spazio delle skill di coordinazione. I metodi esistenti di scoperta delle skill offline si affidano tipicamente a librerie di skill a dimensione fissa e progettate euristicamente. In ambienti open-ended in cui i compiti arrivano sequenzialmente, queste librerie fisse faticano a causa di:

• Spostamento Distribuzionale (Distributional Shift): Il disallineamento tra la policy appresa e la policy di comportamento è esacerbato dalla crescita dello spazio congiunto stato-azione con l'aumentare del numero di agenti.
• Catastrophic Forgetting (Dimenticanza Catastrofica): Gli agenti perdono le skill precedentemente acquisite quando si adattano a nuovi compiti.
• Perdita di Plasticità: Gli agenti non riescono ad accomodare nuove skill o nuovi schemi di coordinazione emergenti.
• Interferenza: Il fine-tuning diretto delle rappresentazioni delle skill spesso porta a gradienti conflittuali, causando il collasso della policy in una "soluzione accoppiata" subottimale che non riesce a distinguere tra schemi di coordinazione eterogenei.

L'obiettivo è costruire una libreria di skill espandibile che permetta agli agenti di scoprire continuamente nuove skill di coordinazione dai dati offline, pur riutilizzando selettivamente schemi invarianti rispetto al compito provenienti da compiti precedenti, per massimizzare le prestazioni sul compito corrente senza degradare le prestazioni sui compiti passati.

2. Metodologia: Framework COMAD

Gli autori propongono COMAD (Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse), un framework progettato per partizionare le skill e stimarne la riutilizzabilità. Il ciclo di addestramento per ogni compito in entrata consiste in due fasi:

A. Scoperta delle Skill dai Dati Offline

Per estrarre le skill da dati di comportamento multi-agente misti, COMAD utilizza un'architettura Variational Auto-Encoder (VAE):

• Global Encoder: Codifica coppie stato-azione globali in rappresentazioni di skill ($z_m^i$) basate su schemi di coordinazione globali.
• Local Encoder: Inferisce le skill utilizzando solo informazioni locali dell'agente (traiettorie storiche $\tau^i$) per garantire l'esecutività in contesti decentralizzati.
• Action Decoder: Decodifica gli embedding delle skill in azioni, formando una policy condizionata alla skill.
• Reti Population-Invariant: Per gestire numeri variabili di agenti, il framework impiega meccanismi di self-attention basati su Transformer per elaborare input di lunghezze variabili in rappresentazioni a lunghezza fissa.

B. Partizione delle Skill e Stima della Riutilizzabilità

Per gestire l'espansione dello spazio delle skill e prevenire il collasso modale, COMAD impiega un'Architettura Multi-Head (MH):

• Multi-Head Policy: Invece di un singolo encoder di skill, l'attore utilizza più teste ($G_k^\pi, G_k^p$) corrispondenti a diversi compiti o cluster di skill. Un estrattore di feature condiviso ($F$) elabora gli input, mentre teste specifiche vengono allocate o riutilizzate.
• Reusability Estimator (Stimatore di Riutilizzabilità): Un estimatore basato sulla densità (utilizzando la Noise Contrastive Estimation, NCE) approssima la densità dello stato $d_k(s)$ dei compiti precedenti.
• Obiettivo Skill-Augmented: La funzione di vantaggio è aumentata da una somma pesata dei logit delle azioni provenienti dalle skill precedenti. I pesi, o punteggi di riutilizzabilità ($\Delta_m^k(s)$), sono calcolati in base alla densità di stato stimata del compito corrente rispetto ai compiti passati. Ciò guida la policy a sfruttare le skill passate rilevanti evitando al contempo l'interferenza.
• Regolarizzazione: La regolarizzazione L2 è applicata agli estrattori di feature dei nuovi compiti per prevenire la dimenticanza catastrofica della rappresentazione base appresa sul primo compito.

C. Fondamento Teorico

Il paper formalizza il problema dell'apprendimento continuo come un compito di ottimizzazione vincolata. L'analisi teorica (Teorema 4.1) dimostra che la policy continua ottimale è una miscela geometrica di policy ottimali a singolo compito. I punteggi di riutilizzabilità in COMAD agiscono come un'approssimazione dei moltiplicatori di Lagrange in questa ottimizzazione, fungendo da meccanismo di gating per selezionare le skill utili e filtrare quelle che causano conflitti di vincolo.

3. Contributi Chiave

1. Formulazione del Problema: Il paper definisce il problema della scoperta continua di skill offline nei sistemi multi-agente, evidenziando i limiti delle librerie di skill a dimensione fissa in ambienti open-ended.
2. Framework COMAD: Propone un framework rigoroso che combina la partizione delle skill (tramite architetture multi-head) e il riutilizzo selettivo (tramite stima della riutilizzabilità basata sulla densità) per gestire l'espansione dello spazio delle skill.
3. Analisi Teorica: Gli autori forniscono una prova teorica che dimostra come il loro metodo approssimi la soluzione ottimale per la scoperta continua di skill, inquadrando il punteggio di riutilizzabilità come un meccanismo per bilanciare i vincoli di prestazione e il trasferimento di skill.
4. Validazione Empirica: Esperimenti estesi su cinque diversi ambienti (Level-based Foraging, Cooperative Navigation, SMAC, SMACv2 e Multi-agent MuJoCo) dimostrano l'efficacia del framework.

4. Risultati Sperimentali

Gli autori valutano COMAD contro tre categorie di baseline: metodi di scoperta di skill offline (ODIS, HiSSD), metodi di apprendimento continuo (EWC, OWL, Rehearsal) e metodi vanilla a testa singola (Multi-task, Fine-tune, From Scratch).

• Prestazioni Complessive: COMAD raggiunge una prestazione media superiore (64.34) attraverso 9 flussi di compiti, superando significativamente tutte le baseline.
• Forward Transfer (Trasferimento in Avanti): COMAD dimostra un forte forward transfer, sfruttando le skill passate per accelerare l'apprendimento su nuovi compiti, superando i metodi che soffrono di perdita di plasticità (es. ODIS, HiSSD).
• Backward Transfer (Trasferimento all'Indietro): Il metodo mantiene o migliora le prestazioni sui compiti precedenti (backward transfer positivo) partizionando le skill e effettuando il fine-tuning delle feature condivise, evitando la dimenticanza catastrofica osservata nei metodi Fine-tune (FT) ed Elastic Weight Consolization (EWC).
• Gestione dell'Eterogeneità: In scenari complessi come SMAC (che mescola compiti simmetrici e asimmetrici) e SMACv2 (stocasticità e grandi dimensioni del team), COMAD riesce a partizionare comportamenti eterogenei pur riutilizzando schemi di coordinamento comuni, mentre le baseline spesso falliscono nell'apprendere policy fattibili o soffrono di grave interferenza.
• Studi di Ablazione: La rimozione degli encoder delle skill o del meccanismo di stima della riutilizzabilità degrada significativamente le prestazioni, confermando la necessità sia della partizione delle skill che del meccanismo di gating.

5. Significato e Rivendicazioni

Il paper sostiene che COMAD fornisca una nuova formulazione per l'apprendimento continuo multi-agente che affronta efficacemente il compromesso tra stabilità (preservare le vecchie skill) e plasticità (imparare nuove skill) in contesti offline.

• Approccio Principato: A differenza degli approcci euristici, COMAD è fondato su un'analisi teorica che mostra come il riutilizzo delle skill possa essere ottimizzato tramite la stima della riutilizzabilità.
• Scalabilità: Espandendo dinamicamente la libreria delle skill in base alla densità di stato, il metodo evita i colli di bottiglia delle librerie a dimensione fissa, rendendolo adatto ad ambienti open-ended dove emergono continuamente nuovi compiti e skill.
• Efficienza: Il framework migliora l'efficienza campionaria estraendo e riutilizzando le skill di coordinazione, il che è critico per il MARL offline dove l'interazione online è proibita.

Gli autori riconoscono i limiti, notando che l'attuale punteggio di riutilizzabilità si basa sulla densità di stato e potrebbe non essere sufficiente per scenari del mondo reale complessi che richiedono una comprensione semantica fine. Suggeriscono che il lavoro futuro potrebbe integrare Large Language Models (LLM) o feedback umano per raffinare il meccanismo di gating delle skill. Tuttavia, nell'ambito degli esperimenti presentati, COMAD viene presentato come una soluzione robusta ed efficace per la cooperazione multi-agente offline continua.