M$^{2}$GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

Resumen Técnico: M2GRPO para la Persecución Cooperativa de Robots Submarinos Biomiméticos

1. Planteamiento del Problema

El artículo aborda los desafíos fundamentales en el aprendizaje de políticas para la persecución cooperativa (pursuit-evasion) de enjambres de robots submarinos biomiméticos (inspirados en tiburones). Estos sistemas enfrentan dificultades críticas debido a:

• Toma de decisiones a largo plazo: La necesidad de planificar estrategias complejas a lo largo del tiempo.
• Observabilidad parcial: Los robots no tienen acceso al estado global del entorno, solo a sus observaciones locales e históricas.
• Coordinación inter-robot: La dificultad de modelar las dinámicas de interacción cambiantes entre múltiples agentes.
• Limitaciones de las arquitecturas actuales: Los métodos tradicionales basados en redes neuronales multicapa (MLP) o transformadores sufren de inestabilidad, alto costo computacional o incapacidad para integrar eficientemente la historia temporal y las relaciones entre agentes en entornos con restricciones de recursos.

2. Metodología: M2GRPO

Los autores proponen un nuevo marco llamado M2GRPO (Optimización de Política Relativa de Grupo Multiagente basada en Mamba), que se integra bajo el paradigma de Entrenamiento Centralizado y Ejecución Descentralizada (CTDE). La metodología consta de tres componentes principales:

• Política Basada en Mamba (Mamba Policy):

  • En lugar de usar MLPs o Transformers, se emplea una arquitectura de Espacio de Estado Selectivo (SSM) llamada Mamba.
  • Modelado Temporal: Utiliza el módulo Mamba2 para capturar dependencias temporales a largo plazo a partir de la historia de observaciones locales, con una complejidad lineal en el tiempo.
  • Modelado Relacional: Utiliza BiMamba2 (bidireccional) para extraer características de interacción entre agentes (posiciones y velocidades relativas).
  • Fusión: Un mecanismo de atención multi-cabeza fusiona las características temporales y relacionales para generar una representación latente expresiva.
  • Salida: La política genera acciones continuas acotadas mediante muestreo de una distribución Gaussiana.

• Optimización de Política Relativa de Grupo Multiagente (MAGRPO):

  • Se extiende el algoritmo GRPO (Group Relative Policy Optimization) al dominio multiagente.
  • Eliminación de la Función de Valor: No requiere una red crítica (value network) explícita. En su lugar, calcula las ventajas normalizando las recompensas de episodio dentro de un grupo de entornos paralelos.
  • Estabilidad: Utiliza un objetivo de tipo PPO-clip (clipped PPO) para asegurar actualizaciones de política estables y escalables, reduciendo significativamente la demanda de recursos computacionales.

• Diseño de Recompensas:

  • La recompensa instantánea combina tres términos: recompensa por captura (éxito), recompensa auxiliar (acercarse al objetivo) y recompensa de seguridad (penalización por acercarse a los límites del entorno).

3. Contribuciones Clave

1. Arquitectura Híbrida Mamba: Propuesta de una red de política que integra modelado de espacio de estado selectivo para dependencias temporales largas y características de interacción dinámica, superando las limitaciones de las MLPs en tareas de observabilidad parcial.
2. Extensión MAGRPO: Desarrollo de una variante multiagente de GRPO que elimina la necesidad de funciones de valor complejas, mejorando la estabilidad del entrenamiento y la escalabilidad mientras reduce los costos computacionales.
3. Validación Integral: Primera integración de una política descentralizada basada en Mamba con optimización relativa de grupo para la toma de decisiones de robots submarinos, validada tanto en simulaciones como en experimentos reales con robots físicos.

4. Resultados

El rendimiento de M2GRPO se evaluó frente a tres líneas base principales (MAPPO, HAPPO y MASAC) en simulaciones y en un tanque de agua real con robots tiburón biomiméticos:

• Efectividad (Tasa de Éxito): M2GRPO logró las tasas de captura más altas, alcanzando un 97% contra evasores con políticas aprendidas y un 93% contra evasores aleatorios, superando consistentemente a todas las líneas base.
• Eficiencia (Pasos de Captura): El método requirió un número significativamente menor de pasos para capturar al objetivo, demostrando una planificación más prospectiva y decisiones más eficientes.
• Escalabilidad: Al aumentar el número de perseguidores (de 2 a 6), M2GRPO mantuvo su alto rendimiento, mientras que otros métodos mostraron degradación o inestabilidad.
• Estudios de Ablación: Se demostró que tanto el modelado temporal (Mamba) como el codificador relacional son esenciales; la eliminación de cualquiera de ellos o el uso de una MLP estándar resultó en una caída drástica del rendimiento (hasta un 26% menos de éxito).
• Experimentos Reales: Se demostró la viabilidad del algoritmo en un entorno físico de 4x4 metros, donde los robots lograron coordinar maniobras de cerco y captura exitosa tras adaptarse a la evasión del objetivo.

5. Significado e Impacto

Este trabajo representa un avance significativo en la robótica submarina cooperativa y el aprendizaje por refuerzo multiagente:

• Eficiencia Computacional: Al combinar la eficiencia de Mamba (inferencia lineal) con la eliminación de redes críticas en GRPO, ofrece una solución viable para el despliegue en hardware con recursos limitados (robots submarinos).
• Robustez en Entornos Dinámicos: La capacidad de modelar tanto la historia temporal como las interacciones entre agentes permite una cooperación robusta en condiciones de observabilidad parcial y dinámicas no estacionarias.
• Aplicaciones Prácticas: El marco propuesto tiene un alto valor de aplicación para tareas críticas como la inspección submarina, la exploración ambiental, la búsqueda y rescate, y la defensa militar, donde la coordinación de enjambres es vital.

En resumen, M2GRPO establece un nuevo estándar para la cooperación de robots biomiméticos, demostrando que la combinación de arquitecturas de secuencia modernas (Mamba) con optimizaciones de política eficientes (GRPO) es la clave para resolver problemas complejos de persecución en entornos subacuáticos.