MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation

Probleemstelling

Multi-Agent Reinforcement Learning (MARL) is een krachtige methode om multi-robot-systemen te trainen voor complexe taken. Echter, een groot nadeel van MARL is dat het trainingsproces vaak veel tijd en data vereist voordat agents veilige en effectieve gedragspatronen hebben geleerd. Tijdens de vroege fasen van training kunnen slecht getrainde beleidsregels (policies) leiden tot onveilig gedrag of inefficiënte exploratie. Hoewel Large Language Models (LLMs) sterke redeneer- en few-shot capaciteiten hebben, worden deze vaak niet optimaal benut om de initiële trainingsfase van MARL te versnellen of te sturen. Bestaande hybride benaderingen zijn vaak beperkt tot homogene agents, vereisen gecentraliseerde LLM-componenten, of zijn afhankelijk van complexe reward-shaping.

Methodologie: MARLIN

Het paper introduceert MARLIN (Multi-Agent Reinforcement Learning guided by Language-Based Inter-Robot Negotiation), een hybride framework dat MARL combineert met taalgebaseerde onderhandelingen tussen robots.

Kerncomponenten:

1. Hybride Actiegeneratie: Het systeem schakelt dynamisch tussen twee methoden voor het genereren van acties:
   • Action Distribution Sampling (GADS): De standaard MARL-methode (gebaseerd op Multi-Agent PPO of MAPPO) waarbij acties worden bemonsterd uit de verdeling van het beleid.
   • Inter-Agent Negotiation (GIAN): Robots gebruiken LLM's om in natuurlijke taal te onderhandelen over een gezamenlijk plan voordat een actie wordt uitgevoerd.
2. Negotatie Mechanisme:
   • Robots wisselen berichten uit via een LLM (in dit geval Llama 3.1 8B Instruct).
   • Ze bespreken een "Top-Level Plan" (TLP) en specifieke moves (bijv. @NORTH, @SOUTH).
   • Ze kunnen elkaars voorstellen bekritiseren en corrigeren totdat ze tot een akkoord komen (@AGREE).
   • Het systeem gebruikt een "System Prompt" met regels over de omgeving (roostergrootte, obstakels) en het responsformaat.
3. Dynamische Schakeling:
   • Tijdens de training wordt de generator gekozen op basis van de prestaties.
   • In de vroege fasen (eerste $m$ episodes) wordt voornamelijk gebruikgemaakt van GADS om een basis te leggen.
   • Daarna wordt dynamisch geschakeld: als een opgeslagen plan (cache) goed presteert of als de huidige prestatie laag is, wordt de LLM-negotatie (GIAN) ingeschakeld om betere acties te genereren.
   • Er is een 10% kans om halverwege een episode willekeurig te schakelen om de exploratie te bevorderen.
4. Architectuur:
   • Basis: Multi-Agent PPO (MAPPO) met een gecentraliseerde criticus en gedecentraliseerde uitvoering.
   • Observatie: Positie $(x, y)$ en doel $(x_g, y_g)$.
   • Acties: Wachten, vooruit, achteruit, links, rechts.
   • Reward: Gebaseerd op de afname van de Manhattan-afstand tot het doel, met straffen voor botsingen.

Belangrijkste Bijdragen

• Hybride Framework: Een nieuw paradigma waarbij LLM's fungeren als hoog-niveau planners die MARL-training sturen via onderhandeling, in plaats van als directe controllers of gecentraliseerde reward-shapers.
• Dyadische Onderhandeling: In plaats van een centrale planner, onderhandelen robots in paren (dyadisch) via natuurlijke taal. Dit maakt het systeem schaalbaarder en toepasbaar op heterogene systemen zonder aanpassing van de robot-morfologie.
• Geen Fine-tuning: Het framework gebruikt kant-en-klare (off-the-shelf) LLM's zonder extra fine-tuning, wat de implementatiekosten verlaagt.
• Interpreteerbaarheid: Het onderhandelingsproces is in natuurlijke taal, wat inzicht geeft in de redenering van de robots voor menselijke waarnemers.

Resultaten

Het framework werd geëvalueerd in simulatie en met fysieke robots (TurtleBot3 Waffle) in verschillende smalle gangen-scenario's (waar robots elkaar moeten passeren of van positie moeten wisselen).

1. Simulatie:

   • Vroege Prestaties: MARLIN bereikt significant hogere prestaties in de vroege trainingsfase (bijv. episode 100) vergeleken met standaard MAPPO en een LLM-only baseline.
   • Eindprestaties: Na verloop van tijd (bijv. episode 1600) convergeert de standaard MARL naar vergelijkbare prestaties als MARLIN, maar MARLIN behoudt een consistente hoge prestatie zonder daling.
   • Efficiëntie: MARLIN bereikt piekprestaties in minder trainingsrondes dan standaard MARL, wat wijst op een hogere sample-efficiëntie.
   • Scenarios: In complexe scenario's zoals de "Maze-Like Corridor" presteerde MARLIN beter dan MARL, hoewel in sommige eenvoudige scenario's de eindresultaten vergelijkbaar waren.

2. Fysieke Robots:

   • Experimenten met TurtleBot3's bevestigden de simulatieresultaten. MARLIN toonde snelle verbetering in de vroege fase en overtrof zowel de MARL-baseline als de LLM-only aanpak.
   • De prestaties van MARLIN waren robuust, hoewel de MARL-baseline na zeer lange training iets beter kon worden in specifieke scenario's.

3. Lokale vs. Remote LLM's:

   • Testen met lokale modellen (TinyLlama, Mistral) op de robot zelf (via Raspberry Pi) leverden aanzienlijk lagere prestaties op (gemiddeld 0.15-0.20) vergeleken met de remote Llama 3.1 8B (0.90+). Dit wordt toegeschreven aan beperkte contextvensters en rekenkracht.

Betekenis en Conclusie

MARLIN demonstreert dat het integreren van taalgebaseerde onderhandeling in MARL-training een effectieve strategie is om de "koude start" van multi-robot-systemen te overwinnen.

• Veiligheid en Snelheid: Het systeem maakt veiligere en snellere exploratie mogelijk in de vroege trainingsfasen, wat cruciaal is voor de toepassing in de echte wereld.
• Transparantie: Het gebruik van natuurlijke taal voor planning maakt het besluitvormingsproces van robots transparanter voor mensen.
• Toekomstperspectief: Hoewel het huidige werk zich richt op discrete omgevingen en samenwerking, biedt het een solide basis voor uitbreiding naar continue controle, schaalbaarheid naar grotere zwermen (via paar-voor-paar onderhandeling) en het gebruik van lokaal gehoste, gedistilleerde modellen voor onafhankelijke robotoperatie.

Kortom, MARLIN combineert het beste van twee werelden: het redeneervermogen van LLM's voor snelle initiatie en de aanpassingsvermogen van MARL voor langetermijn-optimalisatie.