A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

Resumen Técnico: SAFE (Acción por Defecto Autoevolutiva a partir de Experiencias)

Planteamiento del Problema
El aprendizaje por refuerzo multiagente (MARL) ha logrado el éxito en espacios de acción discretos (por ejemplo, StarCraft II), pero enfrenta obstáculos significativos en tareas de control continuo del mundo real, como las redes vehiculares autónomas. Los enfoques existentes encuentran tres desafíos principales:

1. Espacios de Acción Continuos: Muchos esquemas de asignación de crédito están diseñados para espacios discretos y no pueden aplicarse directamente al control continuo.
2. Requisitos de Descentralización: Las aplicaciones del mundo real a menudo requieren políticas totalmente descentralizadas para garantizar la seguridad y la latencia; sin embargo, muchos métodos escalables dependen de entradas centralizadas que no escalan bien con el número de agentes.
3. Asignación de Crédito en Dominios Continuos: Aunque los Gradientes de Política Multiagente Contrafactuales (COMA) asignan el crédito de manera efectiva en espacios discretos mediante la marginalización de la acción de un agente, extender esto a espacios continuos mediante el muestreo de Monte Carlo introduce sesgo. Las acciones muestreadas en espacios continuos suelen estar insuficientemente entrenadas, lo que significa que el crítico centralizado no ha aprendido sus valores de manera suficiente. En consecuencia, la expectativa de la línea base es distinta de cero bajo la política conjunta, lo que provoca gradientes de política sesgados y una falta de garantías de convergencia a óptimos locales.

Metodología
El artículo propone SAFE (Self-Evolving Default Action From Experiences), un nuevo marco de MARL diseñado para abordar estas limitaciones dentro del paradigma de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE).

• Mecanismo Central: SAFE introduce una línea base contrafactual condicionada a una acción por defecto autoevolutiva. A diferencia de los métodos previos que dependen de acciones por defecto definidas por el usuario o simulaciones adicionales, SAFE muestrea esta acción por defecto ($\bar{a}_i$) directamente del búfer de repetición de experiencias de cada agente ($D_t$).
• Construcción de la Línea Base: Para un agente dado $i$, la línea base $b_i$ se calcula reemplazando la acción real del agente $a_i$ con una acción por defecto muestreada $\bar{a}_i(t)$ en la entrada del crítico centralizado, manteniendo constantes las acciones de los otros agentes ($a_{-i}$):
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• Autoevolución: A medida que el entrenamiento progresa, la acción por defecto muestreada evoluciona naturalmente para reflejar el desempeño promedio del agente. La distribución de las acciones muestreadas en el búfer se desplaza hacia las acciones ejecutadas más frecuentemente por el agente, asegurando que la línea base se derive de valores suficientemente entrenados.
• Garantía Teórica: Los autores demuestran matemáticamente (Lema 0.1) que esta línea base introduce cero sesgo en el gradiente de política determinista. Al tratar la política determinista como un caso límite de una política estocástica, demuestran que la esperanza del término de la línea base se anula, garantizando la convergencia a los óptimos locales.
• Arquitectura: El marco utiliza un crítico centralizado condicionado al estado global y a las historias de observación-acción conjuntas, mientras que los actores descentralizados se condicionan solo a sus historias locales. Se emplea el intercambio de parámetros entre los actores para roles cooperativos.

Contribuciones Clave

1. Extensión a Espacios Continuos: SAFE extiende naturalmente la asignación de crédito contrafactual a espacios de acción continuos sin requerir simulaciones adicionales, modelos de recompensa o priors específicos del entorno.
2. Convergencia Libre de Sesgo: El artículo proporciona una prueba teórica de que la línea base de acción por defecto autoevolutiva no introduce sesgo en los gradientes de política determinista, garantizando la convergencia a los óptimos locales, una propiedad que suele faltar en las extensiones ingenuas de Monte Carlo.
3. Adaptación Dinámica: La línea base se adapta dinámicamente a medida que el comportamiento del agente evoluciona, siendo la acción por defecto muestreada cada vez más un reflejo del desempeño promedio del agente durante el entrenamiento.
4. Validación Empírica: Experimentos extensos en tareas de conducción autónoma cooperativa (Highway-Env) demuestran que SAFE supera consistentemente a los modelos de vanguardia (VDN, QMIX, IQL, COMA, MAPPO) en escenarios con variaciones en el número de vehículos y obstáculos.

Resultados Experimentales

• Desempeño: En escenarios de conducción en autopistas cooperativas (2V1O a 7V2O), SAFE logró un desempeño superior comparado con los referentes. Los modelos de acción discreta (VDN, QMIX, IQL) fallaron en evitar colisiones en escenarios complejos debido a la granularidad gruesa de las meta-acciones discretas. COMA y MAPPO no lograron converger a políticas óptimas, debido principalmente a la ineficiencia de muestreo en el entrenamiento on-policy.
• Estudios de Ablación:
  • Asignación de Crédito vs. Continuidad: Las comparaciones con modelos de referencia que se adaptan a espacios continuos pero utilizan diferentes esquemas de asignación de crédito (por ejemplo, Centralized_critic, COMA_cont) confirmaron que las mejoras de desempeño de SAFE provienen específicamente de su mecanismo de asignación de crédito, y no meramente de su capacidad para manejar acciones continuas.
  • Muestreo Único vs. Múltiple: El análisis de parámetros reveló que utilizar una única acción por defecto muestreada (SAFE1) produce mejores resultados que promediar múltiples muestras (SAFE30 a SAFE100). El promedio de múltiples muestras introdujo sesgos adicionales y redujo la precisión de la estimación.
  • Fuente de la Acción por Defecto: Reemplazar la acción muestreada de la experiencia por una acción cero fija (SAFE_a=0) o una media de lote (SAFE_batch_mean) resultó en un desempeño inferior, validando la necesidad de la selección basada en la experiencia y autoevolutiva.
• Análisis de Comportamiento: Las visualizaciones de la densidad de probabilidad de la acción por defecto mostraron que las acciones muestreadas evolucionaron con el tiempo para coincidir con las estrategias aprendidas por los agentes (por ejemplo, pasando de una dirección neutral a maniobras de evasión específicas), confirmando la alineación de la línea base con la política real del agente.

Significancia
El artículo posiciona a SAFE como una solución efectiva para sistemas multiagente del mundo real que requieren control continuo. Al resolver los problemas de sesgo y convergencia asociados con la asignación de crédito contrafactual en dominios continuos, SAFE permite el despliegue de políticas cooperativas descentralizadas y escalables en entornos complejos como las redes vehiculares autónomas. El trabajo establece que la asignación de crédito precisa en espacios continuos puede lograrse mediante la autoevolución basada en la experiencia en lugar de mediante modelado externo o simulación.