MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation

Título: MARLIN: Aprendizado por Reforço Multi-Agente Guiado por Negociação Inter-Robô Baseada em Linguagem

1. Problema

O Aprendizado por Reforço Multi-Agente (MARL) é uma metodologia fundamental para treinar sistemas de robótica multi-robô, permitindo que agentes aprendam políticas cooperativas ou competitivas através de recompensas e penalidades ao longo de episódios. No entanto, o treinamento de políticas MARL para cenários complexos do mundo real enfrenta desafios significativos:

• Ineficiência de Amostragem Inicial: Políticas mal treinadas nos estágios iniciais podem levar a comportamentos inseguros ou ineficientes, exigindo grandes quantidades de dados e tempo antes de alcançar um desempenho confiável.
• Exploração Cega: Em ambientes complexos (como corredores estreitos onde robôs precisam trocar de posição), a exploração aleatória típica do MARL pode falhar em encontrar soluções coordenadas rapidamente.
• Falta de Raciocínio Semântico: Os modelos de RL tradicionais carecem de conhecimento prévio e capacidade de raciocínio de alto nível que poderiam acelerar a convergência.

O objetivo deste trabalho é superar a baixa eficiência de amostragem e a insegurança nos estágios iniciais do treinamento MARL, integrando a capacidade de raciocínio e planejamento de Modelos de Linguagem Grandes (LLMs).

2. Metodologia

O artigo propõe o MARLIN (Multi-Agent Reinforcement Learning guided by Language-Based Inter-Robot Negotiation), um framework híbrido que combina MARL com negociação baseada em linguagem natural.

Arquitetura do Sistema

• Base MARL: O sistema utiliza o algoritmo MAPPO (Multi-Agent Proximal Policy Optimization) como base, devido à sua estabilidade de treinamento e eficácia em tarefas cooperativas. O treinamento segue o paradigma de "treinamento centralizado, execução descentralizada".
• Geração de Ações Híbrida: O sistema possui dois geradores de ações que operam dinamicamente:
  1. Amostragem de Distribuição de Ação (GADS): O método padrão do MAPPO, onde as ações são amostradas da distribuição de probabilidade da rede neural.
  2. Negociação Inter-Agente (GIAN): Utiliza instâncias de LLMs (no caso, Llama 3.1 8B Instruct) para negociar planos em linguagem natural.
• Mecanismo de Negociação:
  • Os robôs alternam mensagens para discutir e criticar planos de alto nível (ex: "Eu me movo para o lado para deixar você passar").
  • O LLM atua como um planejador de alto nível, não como controlador direto. As ações negociadas (ex: @NORTH, @SOUTH) são traduzidas para velocidades de roda.
  • O sistema utiliza um prompt de sistema que define as regras do ambiente, o formato de resposta e a lógica de coordenação.
• Seleção Dinâmica de Gerador: O sistema alterna entre GADS e GIAN com base no desempenho:
  • Nos primeiros episódios, prioriza-se a negociação (GIAN) para fornecer ações inteligentes.
  • Conforme o MARL aprende, o sistema pode alternar para GADS ou manter GIAN se o plano em cache for superior.
  • Existe uma probabilidade de 10% de alternar o gerador no meio de um episódio para incentivar a exploração.
• Ambiente de Teste: O foco são cenários de corredores estreitos onde dois robôs devem trocar de posições, exigindo coordenação para evitar colisões e bloqueios.

3. Contribuições Principais

1. Framework Híbrido MARLIN: Uma nova abordagem que integra LLMs como planejadores de alto nível para guiar o treinamento de políticas de RL, sem a necessidade de fine-tuning (ajuste fino) dos modelos de linguagem.
2. Negociação Descentralizada: Diferente de trabalhos anteriores que usam um LLM centralizado para gerar recompensas ou tarefas, o MARLIN utiliza negociação dyádica (par a par) entre instâncias de LLMs hospedadas nos próprios agentes (ou remotamente acessadas por eles), permitindo que as ações emergem do debate.
3. Eficiência de Amostragem e Segurança: Demonstra que o uso de negociação baseada em linguagem melhora significativamente o desempenho nos estágios iniciais do treinamento, reduzindo comportamentos inseguros e acelerando a convergência, sem prejudicar o desempenho final.
4. Validação em Robótica Física: O sistema foi testado não apenas em simulação, mas também em robôs físicos reais (TurtleBot3), validando a eficácia da abordagem no "gap de realidade".

4. Resultados

Os experimentos foram conduzidos em simulação e em robôs físicos, comparando o MARLIN contra o MAPPO padrão e uma abordagem baseada apenas em LLM.

• Desempenho Inicial (Simulação):
  • O MARLIN alcançou o desempenho máximo significativamente mais rápido do que o MAPPO padrão em todos os cenários testados (corredores assimétricos, simétricos, labirintos, etc.).
  • No episódio 100, o MARLIN apresentou desempenho estatisticamente superior ao MAPPO em quase todos os cenários (ex: 100% de sucesso vs. 85% em corredores assimétricos).
  • O sistema baseado apenas em LLM (sem RL) teve desempenho inferior, indicando que a negociação sozinha não é suficiente para navegação complexa a longo prazo, mas é excelente para guiar o início do aprendizado.
• Desempenho Final:
  • À medida que o treinamento avançava (episódio 1600), o MAPPO padrão melhorou gradualmente, alcançando um desempenho final comparável ao do MARLIN. Isso confirma que o MARLIN não sacrifica o desempenho final em troca de um início rápido.
• Robôs Físicos:
  • Nos testes com TurtleBot3 no cenário de "Corredor Tipo Labirinto", o MARLIN mostrou uma melhoria rápida inicial, superando tanto o RL puro quanto o LLM puro.
  • O RL puro eventualmente igualou o desempenho do MARLIN após treinamento extensivo, mas o MARLIN alcançou a performance próxima do perfeito mais cedo.
• Limitações de Modelos Locais:
  • Testes com modelos de linguagem locais menores (TinyLlama, Mistral-7b) rodando em servidores locais mostraram desempenho significativamente inferior devido a janelas de contexto menores que não conseguiam reter o histórico completo da negociação.

5. Significância e Conclusão

O trabalho do MARLIN é significativo por demonstrar que LLMs podem atuar como "tutores" ou planejadores de alto nível para sistemas de aprendizado por reforço multi-agente.

• Segurança e Eficiência: A principal contribuição é a capacidade de reduzir o tempo de treinamento e os riscos de falhas catastróficas nos estágios iniciais, utilizando o conhecimento prévio e a capacidade de raciocínio dos LLMs para guiar a exploração.
• Interpretabilidade: O processo de negociação em linguagem natural torna o processo de tomada de decisão dos robôs interpretável para humanos, permitindo a incorporação de preferências humanas via prompts.
• Escalabilidade: O método demonstra potencial de escalabilidade através de negociações em pares (dyadic), embora a extensão para negociação n-ária (múltiplos robôs simultaneamente) permaneça um desafio futuro.

Em resumo, o MARLIN oferece uma ponte eficaz entre o raciocínio simbólico dos LLMs e a aprendizagem adaptativa do RL, criando sistemas multi-robô mais robustos, seguros e eficientes para tarefas de coordenação complexas.