Resumen Técnico: Aprendizaje por Refuerzo Multi-Agente Jerárquico Seguro y Generalizable mediante el Control de Variedades de Restricción

Planteamiento del Problema

Los sistemas multi-agente (MAS) son críticos para aplicaciones de seguridad crítica, tales como la robótica de almacenes, vehículos autónomos y enjambres de drones. Estos escenarios requieren que los agentes colaboren de manera eficiente mientras cumplen con estrictas restricciones de seguridad, como la evitación de colisiones. Los enfoques existentes enfrentan un compromiso fundamental:

• Los métodos basados en aprendizaje (p. ej., Procesos de Decisión de Markov Restringidos, CMDPs) logran un fuerte rendimiento empírico pero carecen de garantías de seguridad formales y suelen sufrir de inestabilidad en el entrenamiento.
• Los métodos basados en la teoría de control (p. ej., Funciones de Barrera de Control, CBFs) proporcionan garantías de seguridad pero a menudo resultan en comportamientos excesivamente conservadores, selección de rutas subóptimas y bloqueos (deadlocks). Además, muchos enfoques basados en CBF requieren resolver un Programa Cuadrático (QP) en cada paso de tiempo, lo que introduce una carga computacional significativa que obstaculiza la eficiencia del entrenamiento.
• Los enfoques jerárquicos intentan desacoplar la coordinación y la seguridad, pero a menudo heredan los problemas de no estacionariedad de la jerarquía de RL o los costos computacionales de los resolvedores de QP.

El desafío central es desarrollar un marco que garantice simultáneamente garantías de seguridad teórica, eficiencia de entrenamiento (evitando la resolución de QP por paso) y coordinación escalable en entornos multi-agente complejos.

Metodología: HMM (Hierarchical Manifold Multi-Agent PPO)

Los autores proponen HMM, un marco de aprendizaje por refuerzo jerárquico que desacopla la cooperación y la seguridad a través de dos niveles:

1. Nivel Superior: Planificación de Subobjetivos Cooperativos

• Arquitectura: Utiliza un paradigma de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE) basado en Multi-Agent PPO (MAPPO).
• Función: En cada época de decisión (cada $\tau$ pasos de tiempo), la política de alto nivel genera un subobjetivo (una posición objetivo) para cada agente.
• Coordinación: La política emplea una Red Neuronal de Grafos (GNN) con paso de mensajes basado en atención para agregar información de los agentes vecinos y obstáculos. Esto asegura la invariancia de permutación y la generalización ante variaciones en el número de agentes y obstáculos.
• Objetivo: Maximizar el retorno descontado esperado sobre el proceso de decisión de Markov semi-marcoviano (CSMDP) mientras trata la seguridad como una restricción estricta gestionada por el nivel inferior.

2. Nivel Inferior: Controlador de Variedad de Restricción (Constraint Manifold Safe Controller)

• Mecanismo: En lugar de resolver un QP, el controlador de bajo nivel impone la seguridad proyectando las acciones nominales sobre una variedad de restricción (constraint manifold).
• Formulación de la Restricción: Las restricciones de seguridad (p. ej., evitación de colisiones) se definen como restricciones de desigualdad $h(s) \leq 0$. Estas se convierten en restricciones de igualdad $c(s, \mu) = h(s) + \mu = 0$ utilizando variables de holgura $\mu$, definiendo una variedad $\mathcal{M}$ en un espacio de estados aumentado.
• Ley de Control: El controlador asegura que el estado del sistema permanezca en $\mathcal{M}$ restringiendo las acciones al espacio tangente de la variedad. La entrada de control $u_s$ se calcula mediante una solución de forma cerrada:
  $$u_s = \underbrace{-J_u^\dagger \psi}_{\text{Compensación de Deriva}} - \underbrace{\lambda J_u^\dagger c}_{\text{Contracción de la Variedad}} + \underbrace{B_u u_{\text{ref}}}_{\text{Acción Tangencial}}$$
  • Compensación de Deriva: Cancela la deriva natural del sistema.
  • Contracción de la Variedad: Retrae el estado hacia la variedad si ocurren errores numéricos.
  • Acción Tangencial: Permite que el agente siga el subobjetivo de alto nivel ($u_{\text{ref}}$) libremente dentro del espacio tangente seguro.
• Eficiencia: Este enfoque reemplaza los resolvedores iterativos de QP por proyecciones de espacio tangente eficientes utilizando pseudoinversas.

Contribuciones Clave

1. Marco Novedoso: Introducción de HMM, un marco de MARL jerárquico que integra una política de coordinación de alto nivel aprendible con un controlador de bajo nivel basado en modelos y de variedad de restricciones.
2. Garantías de Seguridad Teórica: El artículo proporciona pruebas formales de que, bajo supuestos leves, la trayectoria conjunta de todos los agentes permanece dentro del conjunto seguro global en cada paso de tiempo, tanto durante el entrenamiento como durante la ejecución.
3. Dinámicas de Aprendizaje Estacionarias: Al delegar la seguridad a un controlador de bajo nivel fijo, el marco elimina la no estacionariedad causada típicamente por las políticas de bajo nivel en evolución en el RL jerárquico. Esto reduce el problema a un MDP de alto nivel estacionario, asegurando una convergencia estable.
4. Eficiencia Computacional: El método evita las resoluciones de QP por paso de tiempo, utilizando proyecciones de forma cerrada en su lugar.

Resultados Experimentales

Los autores evaluaron HMM en seis entornos basados en LiDAR (2D y 3D), incluyendo tareas de navegación con diversas dinámicas (masa puntual, bicicleta, cuadricóptero).

• Desempeño y Seguridad: HMM logró tasas de seguridad casi perfectas (a menudo >99%) en todos los entornos, superando significativamente a los modelos base como DGPPO, InforMARL y MAPPO-Lagrangian. A diferencia de los modelos base basados en aprendizaje que a menudo violan la seguridad durante las primeras etapas del entrenamiento, HMM mantuvo la seguridad durante todo el proceso de entrenamiento.
• Tasa de Éxito: HMM demostró tasas de éxito en las tareas superiores, indicando que el planificador de alto nivel coordina eficazmente a los agentes para evitar bloqueos y rutas subóptimas, a diferencia de la variante "Nominal + Manifold" que carecía de coordinación de alto nivel.
• Eficiencia Computacional: En una GPU NVIDIA H200, HMM logró una aceleración de 14.4× en el rendimiento de entrenamiento (throughput) en comparación con los modelos base de CBF basados en QP. Una ejecución de entrenamiento que requería aproximadamente 5 días para el modelo base de CBF fue completada en 8–10 horas por HMM.
• Generalización: Las políticas entrenadas con 3 agentes y 3 obstáculos se generalizaron efectivamente a escenarios con hasta 21 agentes u obstáculos. Mientras que los modelos base se degradaron significativamente en seguridad y tasas de éxito a medida que aumentaban los agentes/obstáculos, HMM mantuvo un alto desempeño.

Significado y Reivindicaciones

El artículo afirma que HMM cierra la brecha entre el éxito empírico de los métodos basados en aprendizaje y la rigurosidad de la seguridad de los enfoques basados en la teoría de control. Al integrar la coordinación basada en aprendizaje con mecanismos de seguridad basados en la teoría de control, el marco ofrece una solución escalable y confiable para sistemas multi-agente.

Los autores destacan que su enfoque:

• Proporciona garantías de seguridad formales sin la carga computacional de los resolvedores de QP.
• Permite un entrenamiento estable al inducir dinámicas de aprendizaje estacionarias.
• Demuestra una fuerte generalización a diversas escalas de tareas, lo que lo hace adecuado para el despliegue en el mundo real donde el número de agentes y la complejidad del entorno pueden fluctuar.

El artículo reconoce una limitación: la política de bajo nivel depende de mecanismos de la teoría de control que pueden ser menos adecuados para tareas que involucran interacciones físicas complejas, como la manipulación rica en contactos o el transporte de objetos, donde las restricciones de seguridad son más difíciles de definir analíticamente.