Learning Safe Multi-Robot Coordination in Industrial Cyber- Physical Systems

Planteamiento del Problema

Los Sistemas Ciberfísicos (CPS) industriales dependen cada vez más de flotas de robots autónomos para realizar tareas de fabricación y logística distribuidas dentro de espacios de trabajo físicos compartidos. El desafío central radica en equilibrar la eficiencia operativa con la seguridad física. Si bien el Aprendizaje por Refuerzo Multi-Agente (MARL) ofrece un enfoque basado en datos para la coordinación, los marcos estándar de maximización de recompensas suelen fallar al no poder garantizar la evitación de colisiones continua en entornos densos y dinámicos. Además, la escalabilidad sigue siendo una barrera significativa; a medida que aumentan los tamaños de la flota, la complejidad de las interacciones por pares crece, saturando a menudo los canales de comunicación de capacidad fija y provocando comportamientos de agentes no estacionarios. Los enfoques existentes, como la programación basada en reglas o la planificación de rutas determinista, carecen de la flexibilidad para manejar intrusiones no planificadas o fallos de agentes, mientras que los enfoques de MARL puro suelen carecer de las restricciones de seguridad rigurosas requeridas para el despliegue físico.

Metodología

Los autores llevaron a cabo un estudio basado en simulaciones utilizando el Multi-Agent Particle Environment (MAPE), un marco basado en la física que modela un espacio de trabajo industrial en 2D. El escenario involucró a $N$ agentes autónomos navegando hacia $N$ estaciones de trabajo fijas dispuestas en una formación de círculo unitario.

Configuración Experimental:

• Entorno: Un espacio de trabajo acotado de $[-1.2, 1.2] \times [-1.2, 1.2]$ metros con dinámica Newtoniana, fuerzas de contacto y ruido de actuador gaussiano.
• Agentes: Robots de masa puntual con un radio de seguridad de 0.25 m, velocidad máxima de 1.5 m/s y un canal de comunicación inter-agente de 4 dimensiones.
• Políticas Evaluadas:
  1. Línea Base Aleatoria (Random Baseline): Los agentes seleccionan acciones de forma uniforme al azar sin conciencia de la tarea ni comunicación.
  2. Política Codiciosa (Greedy Policy): Un heurístico determinista donde los agentes navegan hacia la estación más cercana no reclamada utilizando control proporcional. Infiere la ocupación de la estación mediante observaciones, pero carece de evitación de colisiones explícita.
  3. Política Safe MARL: Una política compuesta y diseñada a mano que integra tres componentes:
     • Fuerza de Navegación: Control proporcional hacia una estación estática asignada por índice (round-robin).
     • Repulsión de Seguridad: Un campo de potencial artificial (APF) que genera una fuerza repulsiva cuando los agentes entran en una zona de seguridad ($r_{safe} = 0.625$ m).
     • Evitación Basada en Comunicación: Un vector de 4 dimensiones transmitido que contiene la distancia al objetivo, los componentes de la fuerza de repulsión ($x, y$) y un indicador de llegada. Los agentes aplican una corrección de evitación ligera basada en las señales de los vecinos recibidas.

Métricas de Evaluación:
El rendimiento se midió a través de 30 episodios (para $N=4$) y pruebas de escalabilidad ($N \in \{2, 3, 4, 5, 6\}$) utilizando:

• Recompensa Acumulada (eficiencia de cobertura vs. penalización de seguridad).
• Tasa de Colisiones (contactos inter-robóticos por pares).
• Tasa de Cobertura de Estaciones (porcentaje de estaciones alcanzadas).
• Makespan (tiempo para lograr la cobertura total).
• Eficiencia de Comunicación (magnitud y estructura de los vectores transmitidos).

Contribuciones Clave

1. Construcción del Marco de Trabajo: Los autores implementaron un escenario de cobertura de tareas de CPS industrial dentro de MAPE, incorporando dinámica de colisiones basada en la física, radios de seguridad configurables y un canal de comunicación de 4 dimensiones alineado con las restricciones industriales.
2. Diseño de Política Compuesta: Diseñaron una política "Safe MARL" que unifica la navegación proporcional, campos de repulsión de seguridad ponderados por distancia (inspirados en el APF de Khatib) y la evitación de conflictos basada en la comunicación en una única formulación de acción.
3. Análisis Empírico de Escalabilidad: El estudio proporciona una evaluación sistemática del rendimiento de la coordinación a través de diversos tamaños de flota, cuantificando la relación entre la densidad de agentes, la capacidad de comunicación y la frecuencia de colisiones.
4. Identificación de Cuellos de Botella: La investigación establece empíricamente que bajo una asignación fija y comunicación de canal fijo, la complejidad de la coordinación crece de forma superlineal, creando una barrera de escalabilidad para flotas más grandes.

Resultados

• Comparación con la Línea Base ($N=4$):
  • La Política Codiciosa (Greedy) logró una cobertura de estación del 100% con el menor makespan (51.3 pasos), pero sufrió una alta tasa de colisiones (11.57 colisiones/episodio), estadísticamente indistinguible de la línea base aleatoria.
  • La Política Safe MARL logró un 85% de cobertura con un makespan más largo (120.0 pasos). Aunque fue menos eficiente en velocidad, demostró trayectorias estructuradas y patrones de comunicación emergentes alineados con las fases de la tarea (navegación vs. llegada).
  • Seguridad: Contrario a la expectativa de que las capas de seguridad eliminan las colisiones, Safe MARL no eliminó completamente las colisiones (16.57/episodio) comparado con la política Greedy, debido a mínimos locales en el paisaje de repulsión que causan movimiento oscilatorio en regiones densas.
• Escalabilidad ($N=2$ a $6$):
  • Las tasas de colisión exhibieron un crecimiento superlineal, aumentando de 0.65 colisiones (en $N=2$) a 71.55 colisiones (en $N=6$).
  • La cobertura de estaciones se mantuvo relativamente estable (74–98%), lo que indica que el mecanismo de asignación de tareas estático siguió siendo robusto, pero la eficiencia de la planificación de rutas se degradó significamente a medida que aumentó la contención espacial.
  • El canal de comunicación fijo de 4 dimensiones fue identificado como un punto de saturación, incapaz de manejar el crecimiento $O(N^2)$ de los mensajes de interacción por pares.

Significancia y Reivindicaciones

El artículo afirma establecer límites empíricos sobre el rendimiento de la coordinación segura en CPS industriales. Su principal significancia radica en demostrar que la eficiencia y la seguridad son objetivos contrapuestos bajo estrategias de asignación fija. Mientras que la política Greedy maximiza el rendimiento, falla en proporcionar garantías de seguridad. Por el contrario, la política Safe MARL ofrece un perfil operativo equilibrado de múltiples métricas, adecuado para entornos industriales donde la seguridad es innegociable, incluso a costa de una menor velocidad.

Los autores concluyen modestamente que, si bien su enfoque actual integra la seguridad mediante campos de potencial y comunicación diseñada a mano, este no escala indefinidamente. Identifican el ancho de banda de comunicación adaptativo y la asignación dinámica de tareas como variables de diseño críticas para futuros despliegues escalables. El trabajo sirve como un paso fundacional hacia políticas aprendidas de extremo a extremo (por ejemplo, mediante MADDPG) y configuraciones de espacio de trabajo 3D con certificados de seguridad basados en Lyapunov, en lugar de pretender ser una solución completa para el despliegue industrial a gran escala.