R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

Resumen Técnico: R2BC – Aprendizaje por Imitación Multi-Agente a partir de Demostraciones de Agente Único

Planteamiento del Problema
El Aprendizaje por Imitación (IL, por sus siglas en inglés) se ha convertido en una piedra angular para el entrenamiento de agentes robóticos individuales, pero su aplicación a sistemas multi-agente (MAS) enfrenta un cuello de botella crítico: el requisito de demostraciones coordinadas y sincrónicas. El Aprendizaje por Imitación Multi-Agente (MAIL) tradicional asume que un experto puede proporcionar demostraciones en el espacio de acción conjunta, donde todos los agentes actúan de manera óptima simultáneamente. En escenarios del mundo real, esta suposición es poco realista; un único operador humano no puede teleoperar de manera fiable múltiples robots a la vez debido al aumento de la carga cognitiva y a las interfaces de control subactuadas. Los métodos existentes suelen depender de suposiciones poco realistas, como la teleoperación humana sincronizada para todos los agentes o políticas de aprendizaje por refuerzo (RL) pre-entrenadas que actúan como demostradores "oráculo". Este artículo aborda la pregunta de investigación: ¿Cómo podemos extender el aprendizaje por imitación a sistemas multi-agente cuando los humanos solo pueden proporcionar demostraciones a un agente a la vez de manera factible?

Metodología: Clonación de Comportamiento Round-Robin (R2BC)
Los autores proponen la Clonación de Comportamiento Round-Robin (R2BC), un algoritmo de aprendizaje por imitación en línea diseñado para entrenar equipos multi-robóticos cooperativos utilizando únicamente demostraciones secuenciales de un solo agente.

• Mecanismo Central: R2BC opera de forma rotativa (round-robin). Un demostrador humano teleopera un agente específico ($i$) mientras que los $N-1$ agentes restantes ejecutan sus políticas aprendidas actualmente de forma autónoma.
• Recolección de Datos: El sistema cicla a través de los agentes ($i = 1 \dots N$). Durante la demostración del agente $i$, el estado del entorno evoluciona basándose en la acción conjunta del agente controlado por el experto y los agentes autónomos. Los pares estado-acción resultantes $(o_{i,t}, a_{i,t})$ se almacenan en un búfer dedicado $D_i$ para el agente $i$.
• Entrenamiento: Periódicamente (cada $k$ demostraciones), la política de cada agente $\pi_i$ se actualiza de forma independiente utilizando la Clonación de Comportamiento (BC) estándar sobre su conjunto de datos específico $D_i$. La función de pérdida minimiza el error cuadrático entre la salida de la política y la acción demostrada: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• Descentralización: A diferencia de los enfoques centralizados que mapean estados globales a acciones conjuntas, R2BC mantiene políticas descentralizadas donde cada agente mapea su observación local a su acción individual.
• Aprendizaje en Línea: El método opera en un régimen en línea. A medida que el demostrador cambia de agente, el "ruido" o la variabilidad introducida por los agentes autónomos (que están ejecutando políticas aprendidas imperfectas) expone al agente demostrado a una distribución diversa de estados. Esto imita el efecto de inyectar ruido (similar a DART) o de proporcionar etiquetas correctivas (similar a DAgger) sin requerir un oráculo.

Contribuciones Clave

1. Nuevo Escenario de Problema: El artículo define y aborda el "aprendizaje por imitación multi-agente a partir de demostraciones de un solo agente", eliminando el requisito poco realista de demostraciones conjuntas coordinadas.
2. Propuesta de Algoritmo: La introducción de R2BC, que permite a un solo humano enseñar iterativamente a un sistema multi-agente mediante el ciclo de control, permitiendo que el sistema aprenda comportamiento cooperativo sin acceso al espacio de acción conjunta.
3. Paridad y Superación del Rendimiento: Los autores demuestran que R2BC iguala o supera el rendimiento de un método de Clonación de Comportamiento Conjunta (JBC) de tipo "Oráculo" entrenado con demostraciones conjuntas privilegiadas y sincronizadas en cuatro dominios multi-agente simulados.
4. Despliegue en el Mundo Real: El método se despliega con éxito en robots físicos (HeRo+), entrenado con demostraciones humanas reales, y muestra un rendimiento significativamente superior a las líneas base de BC centralizado.

Resultados Experimentales
El artículo evalúa R2BC contra tres líneas base: Oráculo JBC (centralizado, demostraciones sincronizadas), Oráculo DAgger y Oráculo DART (métodos de IL en línea que requieren correcciones conjuntas privilegiadas).

• Experimentos Simulados: Utilizando el Simulador Multi-Agente Vectorizado (VMAS), R2BC fue probado en cuatro tareas: Navegación (3 agentes), Equilibrio (3 agentes cargando una carga), Cable de Voz (2 agentes con dinámica acoplada) y Transporte (3 agentes empujando un objeto pesado).

  • R2BC alcanzó consistentemente la paridad de rendimiento o superó la línea base de Oráculo JBC, a pesar de carecer de acceso a demostraciones de acción conjunta.
  • R2BC demostró una reducción en la brecha entre la pérdida de entrenamiento y de prueba (desplazamiento de covariable) comparable a las líneas base en línea como DART y DAgger.
  • Estudios de Ablación: Eliminar ya sea la descentralización (usando una red centralizada) o el aspecto de aprendizaje en línea (usando agentes no actualizados de forma offline) resultó en un rendimiento degradado o poco fiable, confirmando que ambos elementos son esenciales para el éxito de R2BC.

• Experimentos con Robots Físicos: Los autores desplegaron R2BC y JBC en tres robots HeRo+ para las tareas de Navegación y Empuje de Bloque.

  • Las políticas fueron entrenadas con demostraciones humanas reales recolectadas en simulación y desplegadas directamente al hardware.
  • Navegación: R2BC superó a JBC por un factor de 3.25x sin intervención humana. Con una intervención humana (corrigiendo a un robot "atascado"), la brecha aumentó a 3.92x.
  • Empuje de Bloque: R2BC superó a JB por un factor de 5.9x sin intervención.
  • El análisis estadístico (prueba t de Welch) confirmó diferencias significativas ($p < 0.05$) a favor de R2BC cuando se permitieron intervenciones del supervisor.

Significancia y Reivindicaciones
El artículo afirma ser el primero en proponer y desplegar un método de clonación de comportamiento para sistemas multi-agente que aprende únicamente a partir de demostraciones de un solo agente en línea. La significancia de R2BC radica en su capacidad para cerrar la brecha entre el IL de un solo agente y el despliegue multi-agente escalable al relajar la suposición de teleoperación humana coordinada.

Los autores argumentan que R2BC ofrece un camino práctico para enseñar equipos multi-robóticos en entornos del mundo real (por ejemplo, búsqueda y rescate, automatización de almacenes) donde los operadores humanos no pueden controlar múltiples agentes simultáneamente. Al aprovechar la variabilidad de los agentes autónomos durante la fase de demostración, R2BC mitiga naturalmente el desplazamiento de covariable y los errores de acumulación, superando a menudo a los métodos que dependen de demostraciones conjuntas "superhumanas" u oráculo. El trabajo sugiere que la recolección de demostraciones descentralizada y realista no solo es factible, sino que puede producir una robustez superior en comparación con los enfoques centralizados tradicionales.