ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

Il documento introduce ASALT, un metodo di apprendimento per rinforzo multi-agente che impiega adattatori a livello di osservazione e a livello di stato per mappare domini sorgente e target disallineati in uno spazio di embedding condiviso, abilitando così un efficace trasferimento di conoscenza e mitigando il trasferimento negativo in ambienti con dimensionalità dello spazio degli stati differenti.

L'essenziale

Immagina di essere l'allenatore di una squadra di calcio. Hai un gruppo di giocatori che hanno trascorso anni a padroneggiare un particolare schema di gioco su un piccolo campo da 5 contro 5. Ora, devi schierarli su un enorme campo professionale da 11 contro 11, o forse devi spostarli in un gioco completamente diverso dove le regole e il numero di giocatori sono totalmente differenti.

Nel mondo dell'Intelligenza Artificiale, questo è chiamato Multi-Agent Reinforcement Learning (MARL). Si tratta di insegnare a gruppi di agenti IA come lavorare insieme. Il problema è che se prendi una squadra addestrata per un campo piccolo e la depositi su uno grande, si confonde. I loro "occhi" (sensori) vedono un numero diverso di cose e il loro "cervello" (la policy) non sa come coordinarsi con la nuova dimensione della squadra.

Questo articolo presenta un nuovo metodo chiamato ASALT (Adaptive State Alignment for Lateral Transfer) per risolvere esattamente questo problema. Ecco come funziona, spiegato in modo semplice:

Il Probleo: La trappola del "Taglia unica non va bene per nessuno"

In precedenza, se volevi riutilizzare la conoscenza di una squadra di IA addestrata (la Sorgente) per una nuova squadra (il Target), le due squadre dovevano essere quasi identiche. Dovevano avere lo stesso numero di giocatori e ogni giocatore doveva vedere la stessa quantità di informazioni.

Se la nuova squadra aveva più giocatori o vedeva il mondo in modo diverso, la vecchia conoscenza non poteva essere utilizzata. Era come cercare di infilare la scarpa di un bambino in un piede di gigante; semplicemente non calzava. La maggior parte dei metodi esistenti costringeva la nuova squadra a imparare tutto da zero, sprecando una enorme quantità di tempo ed energia.

La Soluzione: Il "Traduttore Universale" di ASALT

ASALT agisce come un traduttore universale e un adattatore intelligente. Invece di costringere la nuova squadra a guardare esattamente come la vecchia, ASALT costruisce un ponte tra loro.

Utilizza due strumenti principali, che gli autori chiamano Adattatori:

1. L'Adattatore di Osservazione (Il "Traduttore"):
   Immagina che la nuova squadra veda una folla caotica di 11 persone, ma la vecchia squadra sappia gestire solo 3 persone. L'Adattatore di Osservazione prende la visione disordinata del mondo della nuova squadra e la traduce in un "linguaggio" pulito e riassunto che il cervello della vecchia squadra comprende. Non si limita a rimpicciolire i dati; utilizza un meccanismo di attenzione speciale (come un riflettore) per concentrarsi sulle relazioni più importanti tra i giocatori, ignorando il rumore.

2. L'Adattatore di Stato (Il "Contestualizzatore"):
   A volte, la squadra ha bisogno di conoscere il "quadro generale" (lo stato globale), come ad esempio dove si trova la palla rispetto all'intero campo. Se il nuovo campo è più grande o ha una forma diversa, l'Adattatore di Stato rimodella questa visione d'insieme in modo che abbia senso per la strategia della vecchia squadra.

Come avviene il trasferimento: Apprendimento "Laterale"

Una volta che la visione della nuova squadra è stata tradotta, ASALT non si limita a copiare le mosse finali della vecchia squadra. Invece, utilizza una tecnica chiamata Lateral Transfer (Trasferimento Laterale).

Pensa a un maestro chef (la Sorgente) che insegna a un nuovo apprendista (il Target).

• Vecchio modo: Il maestro scrive la ricetta finale e l'apprendista cerca di memorizzarla. Se gli ingredienti cambiano, la ricetta fallisce.
• Modo ASALT: Il maestro lascia che l'apprendista lo osservi mentre cucina. L'apprendista vede come il maestro trita, mescola e assaggia ad ogni passaggio (gli strati intermedi del cervello). L'apprendista impara i principi della cucina, non solo il piatto finale.

In ASALT, la nuova squadra "osserva" la vecchia squadra (già addestrata e "congelata") mentre lavora attraverso i dati tradotti. La nuova squadra impara dai processi decisionali interni della vecchia squadra (sia dall' "Attore" che decide cosa fare, sia dal "Critico" che giudica quanto sia buona una mossa). Questo permette alla nuova squadra di imparare molto più velocemente.

Cosa hanno dimostrato gli esperimenti

I ricercatori hanno testato il metodo su tre diversi "giochi":

1. StarCraft II (SMAC): Un complesso gioco di strategia dove comandi delle unità. Hanno testato il passaggio da 3 unità a 8 unità, e persino il cambio dei tipi di unità.
2. Google Research Football: Una simulazione di calcio. Hanno testato il passaggio da un piccolo gioco di accademia a una partita completa 11 contro 11.
3. Ambienti Multi-Particella: Semplici giochi di fisica in cui gli agenti devono diffondersi o toccarsi a vicenda.

I Risultati:

• Velocità: Le nuove squadre hanno imparato a vincere significativamente più velocemente (a volte richiedendo solo il 20-30% del tempo di pratica) rispetto a partire da zero.
• Flessibilità: Ha funzionato anche quando il numero di giocatori cambiava o le regole erano leggermente diverse.
• Evitare le "Cattive Abitudini": A volte, la vecchia conoscenza può essere dannosa (chiamata "trasferimento negativo"). Ad esempio, una strategia per un campo piccolo potrebbe essere terribile su un campo grande. ASALT è stato bravo a filtrare le parti cattive e a mantenere solo i modelli di coordinamento utili, evitando che la nuova squadra si confondesse.

In sintesi

ASALT è un metodo che permette alle squadre di IA addestrate in un ambiente per adattarsi rapidamente a un nuovo ambiente differente. Lo fa traducendo il "linguaggio" del nuovo ambiente in un formato che la vecchia squadra comprende, e lasciando che la nuova squadra impari osservando il processo decisionale interno della vecchia squadra.

L'articolo afferma che questo rende l'addestramento molto più efficiente e aiuta l'IA a gestire cambiamenti nel mondo reale (come l'aggiunta o la rimozione di membri del team) senza dover imparare tutto da zero. Non sostiene di essere destinato a scopi medici o clinici, ma piuttosto a migliorare il modo in cui i sistemi di IA imparano a coordinarsi in giochi, nel traffico o nella gestione di flotte.

Sommario tecnico

Sintesi Tecnica: ASALT – Allineamento Adattivo dello Stato per il Trasferimento Laterale nel Multi-agent Reinforcement Learning

Definizione del Problema

Il Multi-agent Reinforcement Learning (MARL) affronta sfide significative quando si tenta di trasferire la conoscenza da un dominio sorgente a un dominio target in cui gli ambienti differiscono strutturalmente. Sebbene il lavoro precedente abbia esplorato il trasferimento di apprendimento nel MARL, la maggior parte degli approcci esistenti impone un vincolo rigido: le dimensionalità dello spazio delle osservazioni e dello spazio dello stato globale devono essere identiche tra i domini sorgente e target.

In scenari realistici, come la gestione del traffico, la coordinazione di flotte o giochi competitivi come StarCraft II, il numero di agenti, avversari o configurazioni ambientali spesso cambia. Questi cambiamenti alterano la dimensionalità degli spazi di osservazione e di stato. Di conseguenza, i metodi standard di trasferimento laterale falliscono perché non sono in grado di mappare input eterogenei in una rappresentazione condivisa senza imporre architetture di rete identiche. Inoltre, i metodi esistenti si concentrano spesso esclusivamente sul trasferimento delle informazioni dell'attore (policy), trascurando i potenziali benefici del trasferimento delle informazioni del critico (funzione di valore), che è cruciale per stimare le funzioni di vantaggio e coordinare gli agenti. Infine, il trasferimento di policy tra domini con requisiti di coordinamento conflittuali può portare a un "trasferimento negativo", in cui la conoscenza pregressa degrada invece di migliorare le prestazioni.

Metodologia: Il Framework ASALT

Gli autori propongono ASALT (Adaptive State Alignment for Lateral Transfer), un framework progettato per accomodare discrepanze nelle dimensionalità degli spazi di stato tra i domini sorgente e target senza imporre vincoli strutturali sull'architettura della rete. L'innovazione principale risiede nell'uso di moduli adapter che mappano gli input del dominio target in uno spazio di embedding condiviso compatibile con gli agenti sorgente pre-addestrati.

Componenti Chiave

1. Observation Adapter (Adapter di Osservazione):

   • Funzione: Mappa le osservazioni del dominio target ($o_t$) in uno spazio di embedding condiviso ($\hat{e}_o$) che sia allineato con lo spazio di input degli attori sorgente congelati.
   • Architettura: L'adapter decompone le osservazioni del dominio target in caratteristiche specifiche dell'agente ($o_a$) e caratteristiche contestuali ($o_c$) che descrivono gli altri agenti.
     • Le caratteristiche specifiche dell'agente sono elaborate tramite una Rete Completamente Connessa (FCN).
     • Le caratteristiche contestuali sono elaborate tramite un meccanismo di Attenzione Multi-Testa Gerarchica (H-MHA). Questo modulo cattura le dipendenze relazionali di ordine superiore attraverso gruppi di proprietà strutturate (ad esempio, alleati rispetto ai nemici), producendo embedding che aggregano le informazioni contestuali.
   • Output: L'embedding finale è una concatenazione di embedding a livello di agente, relazionali e contestuali aggregati, dimensionata per corrispondere alla dimensione di input della policy sorgente.

2. State Adapter (Adapter di Stato):

   • Funzione: Mappa lo stato globale del dominio target ($s_t$) in un embedding di stato condiviso ($\hat{e}_s$) per l'input ai critici sorgente.
   • Architettura: Utilizza un Encoder Transformer a due strati. Lo stato globale viene proiettato in token embedding ed elaborato attraverso Multi-Head Self-Attention (MHSA) e Feed-Forward Networks (FFN) con connessioni residue e normalizzazione del livello (layer normalization). Ciò cattura esplicitamente le interazioni tra i componenti dello stato.
   • Scopo: Permette il trasferimento dei pattern di coordinamento codificati nelle funzioni di valore (critici) del dominio sorgente.

3. Modulo di Trasferimento (Connessioni Laterali):

   • Meccanismo: Implementa il trasferimento di conoscenza laterale dagli agenti sorgente congelati all'agente target.
   • Trasferimento dell'Attore: L'attore target presta attenzione alle rappresentazioni dei top-$N$ attori sorgente (selezionati tramite clustering o somiglianza). Meccanismi di attenzione per livello ($\alpha_k$) pesano e aggregano questi segnali laterali.
   • Trasferimento del Critico: Allo stesso modo, le connessioni laterali propagano le rappresentazioni pesate ($\beta_k$) dai critici sorgente al critico target. Per gestire le diverse scale di ricompensa, le ricompense vengono normalizzate prima di costruire i segnali lato critico.
   • Addestramento: L'agente target viene addestrato utilizzando gli input originali del dominio target ($o_t, s_t$) ricevendo simultaneamente la guida laterale dagli agenti sorgente tramite gli adapter.

Paradigmi di Addestramento

Il documento esamina due strategie di addestramento:

• Addestramento Indipendente: Gli adapter vengono addestrati prima sulle traiettorie raccolte da entrambi i domini, per poi essere congelati mentre l'agente target viene addestrato.
• Addestramento Congiunto: Gli adapter e l'agente target sono ottimizzati concorrentemente utilizzando le traiettorie del dominio target. Gli autori riscontrano che l'addestramento congiunto è più efficiente in termini di campionamento, poiché induce embedding che massimizzano esplicitamente l'utilità delle informazioni trasferite.

Contributi Principali

1. Gestione della Discrepanza di Dimensionalità: ASALT è il primo metodo ad accomodare esplicitamente le discrepanze nelle dimensionalità dello spazio di osservazione e dello stato globale tra i domini sorgente e target nel MARL, rimuovendo il requisito di architetture di rete identiche.
2. Architettura Dual-Adapter: L'introduzione di entrambi gli adapter di Osservazione e di Stato consente il trasferimento sia della policy (attore) che della conoscenza del valore (critico), facilitando un trasferimento di coordinamento più efficace.
3. Mitigazione del Trasferimento Negativo: Mappando gli input del target in uno spazio latente condiviso e trasferendo selettivamente le informazioni rilevanti per il compito (invece delle osservazioni grezze), ASALT riduce il rischio di trasferimento negativo, specialmente in domini eterogenei.
4. Efficienza di Campionamento: Il framework migliora significativamente l'efficienza di campionamento, permettendo agli agenti target di convergere più velocemente rispetto all'addestramento da zero o all'uso di baseline esistenti.

Risultati Sperimentali

Gli autori hanno valutato ASALT su tre ambienti benchmark: StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF) e Multi-Particle Environments (MPE).

• Prestazioni rispetto alle Baseline: ASALT ha costantemente superato i metodi di adattamento del dominio (DANN, CORAL, CycleGAN) e le baseline di trasferimento di apprendimento allo stato dell'arte (LA-QTransformer, MALT, PSMARL).
• Efficienza di Campionamento: In scenari con discrepanze nello spazio di osservazione (ad esempio, trasferendo da 3 agenti a 8 agenti in SMAC), ASALT ha richiesto significativamente meno step di ambiente per raggiungere l'80% della ricompensa asintotica rispetto a tutte le baseline. Ad esempio, nel trasferimento da 3m a 8m, ASALT ha richiesto $0.54 \times 10^5$ step contro i $5.1 \times 10^5$ della baseline.
• Trasferimento Negativo: In scenari con requisiti di coordinamento conflittuali (ad esempio, mappa 3m vs 3s5zvs3s6z), ASALT ha dimostrato una robustezza superiore, convergendo più velocemente e raggiungendo tassi di vittoria finali più elevati rispetto ai metodi soggetti a trasferimento negativo.
• Studi di Ablazione:
  • Congiunto vs Indipendente: L'addestramento congiunto di adapter e dell'agente target ha prodotto una convergenza significativamente più veloce rispetto all'addestramento indipendente.
  • Attore vs Attore-Critico: Il trasferimento di entrambe le informazioni di attore e critico ha generalmente migliorato la stabilità e l'apprendimento precoce, sebbene in casi di massiccia espansione dello spazio di stato, il trasferimento solo dell'attore abbia talvolta raggiunto prestazioni asintotiche comparabili.
  • Meccanismi di Attenzione: Gli adapter di osservazione basati sull'attenzione hanno superato i semplici adapter basati su FCN, specialmente negli scenari di up-scaling.

Significato e Rivendicazioni

Il documento afferma che ASALT affronta un collo di bottiglia critico nell'implementazione del MARL nel mondo reale: l'incapacità di trasferire le policy quando il numero di agenti o la complessità ambientale cambiano. Decoupling (disaccoppiando) la dimensionalità dell'input del target dall'architettura della policy sorgente attraverso l'embedding adattivo, ASALT abilita il trasferimento laterale in contesti eterogenei.

Gli autori sottolineano che il loro approccio:

• Riduce il Trasferimento Negativo: Mappando gli stati del target in una rappresentazione condivisa, il metodo filtra le informazioni irrilevanti o conflittuali, un tipico modo di fallimento nel trasferimento cross-domain.
• Migliora il Coordinamento: L'inclusione di adapter di stato e del trasferimento del critico permette al sistema di sfruttare i pattern di coordinamento basati sul valore, non solo le policy di azione.
• Mantiene l'Efficienza Computazionale: Sebbene l'aggiunta di moduli adapter comporti un leggero sovraccarico computazionale (circa un aumento del 21% nel tempo di addestramento nei loro esperimenti), ciò è compensato dalla sostanziale riduzione del numero di interazioni con l'ambiente necessarie per la convergenza.

Il lavoro conclude che, sebbene ASALT sia altamente efficace, le sue prestazioni dipendono dal grado di discrepanza tra i domini, e i lavori futuri dovrebbero esplorare il trasferimento gerarchico e l'analisi teorica per ridurre ulteriormente i costi computazionali.