Learning Visuomotor Policy for Multi-Robot Laser Tag Game

Resumen Técnico: Aprendizaje de Políticas Visomotoras para el Juego de Laser Tag Multi-Robótico

1. Planteamiento del Problema

El artículo aborda el desafío de desarrollar sistemas autónomos para robots que participen en un juego de "Laser Tag" (juego de disparos con láser), una tarea que simula combates dinámicos y competitivos. El objetivo es que un equipo de robots (aliados) localice, apunte y dispare a un equipo adversario (enemigos) mientras evita colisiones con obstáculos y otros robots.

Los enfoques clásicos modulares para estas tareas enfrentan tres limitaciones críticas:

• Estimación de estado limitada: La estimación precisa de la posición y velocidad de un enemigo a partir de visión monoculares requiere patrones de movimiento específicos para cumplir condiciones de observabilidad, lo cual es difícil de garantizar en entornos adversarios dinámicos.
• Dependencia de hardware costoso: Muchos métodos dependen de mapas basados en sensores de profundidad (LiDAR) o localización global (GPS/tracking externo), lo que aumenta el costo, la complejidad y reduce la escalabilidad en entornos reales donde estos datos pueden no estar disponibles.
• Comunicación inter-robot: Las soluciones existentes a menudo requieren comunicación explícita entre robots para cooperar, lo que limita la robustez y la escalabilidad del sistema.

El artículo propone una solución inspirada en el comportamiento humano: un enfoque end-to-end (de extremo a extremo) que utiliza únicamente la visión y el estado propioceptivo, sin estimación de estado explícita, localización global ni comunicación.

2. Metodología

La propuesta se basa en una política visomotora end-to-end que mapea directamente las imágenes de las cámaras a comandos de control (velocidad lineal y angular). La metodología sigue un esquema de Aprendizaje por Imitación Privilegiado (Privileged Imitation Learning):

• Política Docente (Teacher Policy):

  • Se entrena utilizando Aprendizaje por Refuerzo Multiagente (MARL) con el algoritmo MADDPG.
  • Entrada: Utiliza "estados privilegiados" (información de estado completa como posiciones relativas exactas de obstáculos, aliados y enemigos).
  • Arquitectura: Emplea un extractor de características basado en Atención Auto-Atención (Self-Attention) con agrupación por suma (summation pooling). Este diseño es invariante a la permutación, lo que significa que el orden de entrada de los vecinos no afecta la salida, garantizando estabilidad en entornos dinámicos donde los vecinos cambian rápidamente.
  • Recompensas: Se diseñan funciones de recompensa específicas para aliados (disparar, evitar obstáculos, evitar fuego amigo) y enemigos (evadir, mantener distancia).

• Política Estudiante (Student Policy):

  • Se entrena mediante Aprendizaje por Imitación (distilación de conocimiento) para replicar las acciones del docente, pero utilizando solo datos visuales.
  • Entrada Visual:
    1. Detección: Se usa YOLOv5 Nano para detectar robots aliados y enemigos.
    2. Mapas de Calor (Heatmaps): Las cajas delimitadoras de detección se convierten en mapas de calor gaussianos. El tamaño del kernel gaussiano depende de la distancia estimada, dando más peso al centro del objetivo para mejorar la precisión del apuntado.
    3. Profundidad: Se utiliza Depth Anything v2 (DATv2) para generar mapas de profundidad monoculares.
    4. Fusión: Las imágenes RGB originales no se usan directamente; en su lugar, se concatenan los mapas de calor de detección y el mapa de profundidad a lo largo del canal de entrada.
  • Arquitectura: Una red neuronal convolucional (CNN) codifica las imágenes, seguidas de una capa LSTM (Long Short-Term Memory) para procesar una serie temporal de imágenes (N frames). Esto compensa el campo de visión limitado y la inconsistencia temporal de la estimación de profundidad.
  • Salida: Un MLP (Perceptrón Multicapa) que regresa los comandos de velocidad.

3. Contribuciones Clave

1. Política Descentralizada End-to-End: Se presenta un sistema que opera sin estimación de estado explícita, localización global, comunicación inalámbrica ni mapeo basado en sensores de profundidad, utilizando solo visión monoculares a bordo.
2. Mejora de Rendimiento: El método supera a los enfoques modulares clásicos, logrando un aumento del 16.7% en la precisión de impacto y una reducción del 6% en la tasa de colisiones.
3. Diseños Técnicos Innovadores:
   • Uso de un extractor de características invariante a la permutación para manejar dinámicas de múltiples robots.
   • Integración de mapas de calor de detección junto con mapas de profundidad para mejorar la robustez y la precisión del apuntado.
4. Despliegue en Hardware Real: Validación exitosa en un sistema multi-robot físico con recursos computacionales limitados (Nvidia Jetson Orin NX), demostrando viabilidad práctica.

4. Resultados Experimentales

Los experimentos se realizaron tanto en simulación (Gazebo) como en entornos reales con robots físicos.

• Comparación de Entradas: La combinación de profundidad + mapas de calor superó significativamente a las entradas puras de RGB, bordes o profundidad sola. Los mapas de calor proporcionan señales salientes claras sobre la ubicación de los objetivos, mientras que la profundidad aporta invarianza a la apariencia.
• Comparación con Baselines Clásicas:
  • La política estudiante superó a los métodos modulares basados en estimación de estado (como Bearing-Angle o Triangulación) combinados con controladores PD o MLP.
  • Precisión: El método propuesto logró un puntaje de Hit@15 de 38.4 ± 2.2, superando al mejor baseline basado en sensores a bordo (BA + PD) que obtuvo 33.0.
  • Colisiones: La tasa de colisión se redujo al 36% en comparación con el 42-72% de otros métodos a bordo.
  • Aprendizaje: La combinación de DAgger (agregación de datos) y LSTM para la política estudiante demostró ser la configuración óptima, superando a la clonación de comportamiento simple (BC) y a redes sin memoria temporal.
• Eficiencia Computacional: El sistema opera a 20 Hz en el hardware a bordo, lo cual es suficiente para un movimiento suave, a pesar de incluir módulos de detección y estimación de profundidad.

5. Significado e Impacto

Este trabajo es significativo porque demuestra que las tareas de combate robótico dinámico y competitivo pueden resolverse eficazmente sin depender de infraestructuras costosas (como sistemas de seguimiento externo o LiDAR) ni de pipelines modulares complejos propensos a errores de estimación.

• Robustez: Al eliminar la dependencia de la estimación de estado explícita, el sistema es más robusto ante ruido de observación y comportamientos adversarios impredecibles.
• Escalabilidad y Costo: Al requerir solo cámaras monoculares y computación estándar a bordo, el enfoque es altamente escalable y adecuado para plataformas robóticas ligeras y de bajo costo.
• Aplicaciones Reales: La tecnología tiene implicaciones directas más allá del entretenimiento, aplicándose a tareas críticas como la intercepción de drones maliciosos, la captura de objetivos móviles y operaciones de seguridad donde la localización global puede estar denegada.

En conclusión, el artículo valida que el aprendizaje por imitación privilegiado, combinado con arquitecturas visuales inductivas adecuadas (atención, LSTM, mapas de calor), es una vía superior para el control de robots en entornos adversarios dinámicos y parcialmente observables.