MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation

1. Il Problema

L'apprendimento per rinforzo multi-agente (MARL) è un metodo fondamentale per addestrare sistemi di robotica multi-robot. Tuttavia, l'addestramento di politiche (policy) MARL per scenari complessi del mondo reale presenta sfide significative:

• Fase iniziale insicura: Durante le prime fasi dell'addestramento, le politiche sono scarsamente addestrate e possono portare a comportamenti pericolosi o inefficienti.
• Costo dei dati e del tempo: Raggiungere prestazioni affidabili richiede un'enorme quantità di dati ed episodi di addestramento, il che rende l'esplorazione casuale lenta e costosa.
• Mancanza di esperienza: Gli agenti MARL puri mancano di conoscenza pregressa o capacità di ragionamento astratto per gestire compiti di coordinamento complessi (es. scambiarsi in corridoi stretti) prima di aver accumulato sufficiente esperienza.

2. Metodologia: Il Framework MARLIN

Gli autori propongono MARLIN, un framework ibrido che integra l'Apprendimento per Rinforzo Multi-Agente (MARL) con la negoziazione inter-robot basata sul linguaggio naturale guidata da Large Language Models (LLM).

Architettura Ibrida

Il sistema combina due metodi di generazione delle azioni che operano dinamicamente:

1. Campionamento dalla Distribuzione delle Azioni (GADS): Il metodo standard MAPPO (Multi-Agent PPO), dove le azioni sono generate dalla rete neurale dell'agente basandosi sulla distribuzione di probabilità appresa.
2. Negoziazione Inter-Agente (GIAN): Gli agenti utilizzano istanze di LLM (in questo caso Llama 3.1 8B Instruct) per negoziare piani in linguaggio naturale prima di eseguire un'azione.

Meccanismo di Negoziazione

• Dialogo Strutturato: Due robot (o agenti) discutono i loro obiettivi e le mosse necessarie attraverso un dialogo testuale. Un robot funge da "leader" per evitare che gli LLM di tipo assistente rimandino la decisione all'altro.
• Processo:
  1. Gli agenti condividono lo stato corrente (posizioni, obiettivi).
  2. Propongono un "Piano di Alto Livello" (TLP).
  3. Suggestiscono azioni specifiche (es. @NORTH, @SOUTH) e forniscono ragionamenti.
  4. Si scambiano feedback e critiche per correggere collisioni o errori logici.
  5. Una volta raggiunto un accordo, le azioni vengono eseguite.
• Switching Dinamico: Il sistema decide dinamicamente quale generatore di azioni utilizzare in base alle prestazioni recenti e alla qualità dei piani cached.
  • Nelle fasi iniziali o quando i piani LLM sono di alta qualità, si privilegia la negoziazione.
  • Man mano che la policy MARL matura, si passa gradualmente al campionamento standard.
  • C'è una probabilità del 10% di cambiare generatore a metà episodio per favorire l'esplorazione.

Implementazione Tecnica

• Algoritmo Base: Multi-Agent PPO (MAPPO) con addestramento centralizzato ed esecuzione decentralizzata.
• Ambiente: Corridoi stretti dove due robot devono scambiarsi di posizione senza collisioni (es. corridoi a una o due corsie, labirinti).
• LLM: Non vengono utilizzati modelli fine-tunati; si sfruttano le capacità di ragionamento "out-of-the-box" degli LLM pre-addestrati per ridurre l'overhead computazionale.

3. Contributi Chiave

1. Framework Ibrido Innovativo: MARLIN è uno dei primi sistemi a utilizzare la negoziazione linguistica dyadica (tra coppie di agenti) per guidare l'addestramento MARL, invece di usare gli LLM solo per la generazione di reward o come pianificatori centralizzati statici.
2. Efficienza del Campione (Sample Efficiency): Dimostra che l'uso di LLM per la pianificazione iniziale accelera significativamente l'apprendimento nelle fasi precoci, riducendo il tempo necessario per raggiungere prestazioni elevate.
3. Interpretabilità: Il processo decisionale è reso trasparente attraverso il linguaggio naturale, permettendo agli osservatori umani di comprendere il ragionamento degli agenti durante la negoziazione.
4. Validazione Fisica: Il sistema è stato testato non solo in simulazione, ma anche su robot fisici reali (TurtleBot3), riducendo il "reality gap".

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque scenari diversi (corridoi asimmetrici, simmetrici, a due percorsi, labirintici) sia in simulazione che su hardware reale.

• Prestazioni Iniziali: MARLIN supera significativamente il MARL standard (MAPPO) e la sola negoziazione LLM nelle prime fasi dell'addestramento (es. episodio 100). In molti scenari, MARLIN raggiunge prestazioni vicine al massimo (1.0) molto più velocemente.
• Prestazioni Finali: Alla fine dell'addestramento (es. episodio 1600), MARLIN mantiene prestazioni pari o superiori al MARL standard, dimostrando che l'integrazione degli LLM non degrada la qualità finale della policy.
• Efficienza di Campionamento: In scenari complessi come il "Maze-Like Corridor", MARLIN raggiunge il picco di prestazioni prima del MARL.
• Robotica Fisica: Gli esperimenti su TurtleBot3 hanno confermato che la negoziazione LLM migliora l'addestramento iniziale anche nel mondo reale, sebbene la latenza di comunicazione e il rumore dei sensori (dead reckoning) presentino sfide.
• Modelli Locali vs Remoti: L'uso di modelli LLM locali (TinyLlama, Mistral-7B) su hardware limitato (Raspberry Pi) ha dato risultati inferiori rispetto ai modelli remoti (Llama 3.1 8B), principalmente a causa della finestra di contesto ridotta che impedisce di mantenere la storia completa della negoziazione.

5. Significato e Implicazioni

Il lavoro di MARLIN segna un passo avanti significativo nell'integrazione tra Intelligenza Artificiale Generativa e Robotica Multi-Agente:

• Sicurezza: Offre un modo per mitigare i comportamenti insicuri durante le fasi critiche di esplorazione iniziale dell'addestramento.
• Scalabilità: Sebbene testato principalmente su coppie di robot, il meccanismo di negoziazione dyadica può essere esteso a gruppi più grandi formando coppie di coordinamento dinamiche.
• Flessibilità: Il framework è agnostico rispetto alla morfologia del robot e alla struttura del reward, rendendolo applicabile a una vasta gamma di sistemi multi-robot.
• Futuro: Il paper identifica la necessità di adattare il metodo a ambienti di controllo continuo e di sviluppare modelli LLM più leggeri ed efficienti per l'esecuzione on-board, mantenendo le capacità di ragionamento necessarie.

In sintesi, MARLIN dimostra che l'uso di dialoghi linguistici tra robot può agire come un "pianificatore di alto livello" che accelera l'apprendimento per rinforzo, rendendo i sistemi multi-robot più sicuri, efficienti e trasparenti.