MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation

Resumen Técnico: MARLIN

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) es fundamental para entrenar sistemas de robots multiagente, permitiendo que aprendan políticas cooperativas o competitivas mediante recompensas y castigos. Sin embargo, el MARL tradicional enfrenta dos desafíos críticos:

• Ineficiencia en la exploración temprana: Las políticas mal entrenadas en las etapas iniciales pueden generar comportamientos inseguros o ineficientes, requiriendo grandes cantidades de datos y tiempo para converger.
• Falta de experiencia inicial: Los agentes carecen de conocimiento previo sobre el entorno, lo que dificulta la resolución de tareas complejas (como la navegación en pasillos estrechos) al inicio del entrenamiento.

Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado capacidades de razonamiento y planificación, su integración directa en el control de robots a menudo es costosa computacionalmente o carece de la estabilidad necesaria para el control de bajo nivel.

2. Metodología: El Marco MARLIN

Los autores proponen MARLIN, un marco híbrido que combina el Aprendizaje por Refuerzo Multiagente (específicamente MAPPO - Multi-Agent Proximal Policy Optimization) con la negociación inter-robot basada en lenguaje natural mediada por LLMs.

Componentes Clave:

• Doble Generador de Acciones: El sistema alterna dinámicamente entre dos métodos para generar acciones en cada paso de inferencia:
  1. Muestreo de Distribución de Acciones (GADS): El método estándar de MAPPO, donde la red neuronal selecciona acciones basadas en la política aprendida.
  2. Negociación Inter-Agente (GIAN): Los robots utilizan LLMs para debatir y generar planes de alto nivel en lenguaje natural antes de ejecutar acciones.
• Mecanismo de Negociación:
  • Los robots actúan como agentes que alternan turnos para proponer y criticar planes (Top-Level Plans o TLP).
  • Utilizan un prompt del sistema que define las reglas del entorno, el formato de respuesta y las restricciones de movimiento.
  • El proceso incluye la identificación de conflictos (ej. colisiones potenciales) y la generación de soluciones consensuadas (ej. "Robot A se mueve a la izquierda para dejar pasar a Robot B").
  • Una vez acordado, el plan se traduce a acciones discretas (ej. @NORTH, @SOUTH) que se ejecutan en el entorno.
• Estrategia de Cambio Dinámico:
  • Fase de inicialización: Se establecen líneas base de rendimiento.
  • Selección dinámica: El sistema decide qué generador usar basándose en el rendimiento reciente y la calidad de los planes almacenados en caché. Si un plan negociado por LLM tiene un rendimiento esperado alto, se prioriza; de lo contrario, se recurre al muestreo de la política RL.
  • Exploración: Existe una probabilidad (10%) de cambiar el generador a mitad de un episodio para fomentar una exploración más amplia.
• Entrenamiento: Se utiliza el paradigma de entrenamiento centralizado y ejecución descentralizada. El critic centralizado observa la información global para estimar el valor del estado, mientras que los actors (robots) operan con observaciones locales.

3. Contribuciones Clave

1. Marco Híbrido Innovador: MARLIN no reemplaza el MARL, sino que lo guía. Utiliza LLMs "fuera de la caja" (sin fine-tuning) para mejorar la eficiencia de las muestras en las etapas tempranas del entrenamiento.
2. Negociación Descentralizada: A diferencia de enfoques anteriores que centralizan la planificación en un LLM único, MARLIN permite que los robots negocien entre sí (diálogo dyádico), aprovechando el conocimiento previo de los LLMs de manera distribuida.
3. Validación en Múltiples Escenarios: El sistema se evalúa en simulación y en robots físicos (TurtleBot3) en entornos complejos como pasillos asimétricos, laberintos y corredores de un solo carril donde los robots deben intercambiar posiciones.
4. Transparencia e Interpretabilidad: El uso de lenguaje natural para la planificación hace que el proceso de toma de decisiones sea interpretable para observadores humanos.

4. Resultados

Los experimentos compararon MARLIN contra un baseline de MAPPO estándar y un enfoque basado únicamente en LLMs.

• Eficiencia de Muestras (Entrenamiento Temprano):
  • MARLIN alcanzó un rendimiento significativamente superior en las primeras etapas del entrenamiento (ej. episodio 100) en comparación con el MARL puro en la mayoría de los escenarios (corredores asimétricos, simétricos, de dos rutas).
  • En el escenario de "Corredor Tipo Laberinto", ambos sistemas comenzaron con rendimiento similar, pero MARLIN superó al MARL más rápidamente a medida que avanzaba el entrenamiento.
• Rendimiento Final:
  • A medida que el entrenamiento progresaba (hasta el episodio 1600), el rendimiento del MARL puro convergió hacia el de MARLIN.
  • Conclusión clave: MARLIN no sacrifica el rendimiento final; mantiene el mismo nivel de optimización que el MARL estándar una vez que la política ha aprendido, pero llega allí mucho más rápido.
• Robots Físicos:
  • Las pruebas con TurtleBot3 confirmaron los resultados de simulación. MARLIN mostró una mejora rápida inicial y superó a los enfoques puros de LLM y MARL en las primeras fases, validando la reducción de la "brecha realidad-simulación".
• Limitaciones de Modelos Locales:
  • Se probaron modelos de lenguaje locales (TinyLlama, Mistral) en servidores locales debido a las limitaciones de hardware de los robots. Su rendimiento fue significativamente inferior al del modelo remoto (Llama 3.1 8B), principalmente debido a ventanas de contexto más pequeñas que impedían retener el historial completo de la negociación.

5. Significado e Impacto

• Seguridad en la Exploración: Al utilizar LLMs para generar planes seguros y lógicos al inicio, MARLIN reduce la probabilidad de comportamientos peligrosos o ineficientes durante la fase de exploración aleatoria del RL.
• Escalabilidad: El enfoque de negociación por pares (dyadic) permite escalar el sistema a entornos con múltiples robots, activando la negociación solo cuando es necesario (cuando dos agentes entran en conflicto), lo que es más eficiente que una planificación centralizada global.
• Adaptabilidad: El marco es agnóstico a la morfología del robot y a la estructura de recompensas, lo que lo hace aplicable a una amplia gama de sistemas multiagente.
• Futuro: El trabajo sugiere que la integración de LLMs como planificadores de alto nivel es una vía prometedora para mejorar la eficiencia de datos en el aprendizaje por refuerzo, aunque se requiere más investigación para adaptar el método a entornos de control continuo y para ejecutar modelos potentes directamente en el hardware de los robots.

En resumen, MARLIN demuestra que la combinación de la capacidad de razonamiento de los LLMs con la estabilidad de optimización del MARL crea un sistema de aprendizaje más robusto, seguro y eficiente en términos de datos, especialmente crítico en las fases iniciales de entrenamiento de sistemas robóticos complejos.