Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Multiagente Cooperativo (MARL) utiliza frecuentemente el paradigma de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE). En este marco, métodos de factorización de valores (como VDN, QMIX y QTRAN) se basan en el principio Individual-Global-Max (IGM). El IGM asegura que la acción greedy individual de cada agente (basada en su valor Q local) coincida con la acción conjunta óptima del equipo, permitiendo la ejecución descentralizada sin comunicación en tiempo real.

Sin embargo, estos métodos suelen fallar en entornos del mundo real debido a la incertidumbre ambiental (brecha sim-to-real, desajuste de modelos y ruido). Cuando el entorno de despliegue se desvía del de entrenamiento:

• La performance del equipo cae drásticamente.
• En MARL cooperativo, la observabilidad parcial y el acoplamiento entre agentes hacen que pequeños errores se propaguen, causando fallos de coordinación.
• Las técnicas existentes de RL Robusto Distribucionalmente (DR-RL) para agentes individuales no se aplican directamente: definir funciones de valor robustas individuales de forma independiente (minimizando el peor caso para cada agente por separado) rompe el principio IGM, ya que el modelo adversario que minimiza el valor de un agente no necesariamente coincide con el que minimiza el valor conjunto del equipo.

2. Metodología Propuesta

Los autores proponen un nuevo marco teórico y algorítmico basado en el Principio IGM Robusto Distribucionalmente (DrIGM).

A. Principio DrIGM

El DrIGM extiende el IGM clásico a entornos inciertos. Establece que las funciones de valor de acción robustas individuales deben alinearse con la acción conjunta óptima robusta.

• El Problema de la Definición Ingenua: Definir $Q^{rob}_i = \inf_{P \in \mathcal{P}} Q^P_i$ (el peor caso individual) no garantiza el DrIGM.
• La Solución Teórica: Se demuestra que si se define el valor robusto individual basándose en el peor caso global del valor conjunto, se garantiza la alineación. Específicamente, si $\bar{a}$ es la acción conjunta óptima robusta y $P^{worst}$ es el modelo que minimiza el valor conjunto para esa acción, entonces:
  $$Q^{rob}_i(h_i, a_i) := Q^{P^{worst}(h, \bar{a})}_i(h_i, a_i)$$
  Esta definición asegura que las acciones greedy individuales recuperen la acción conjunta óptima robusta.

B. Teoremas Fundamentales

1. Teorema 1: Demuestra que definir los valores individuales robustos bajo el modelo adversario global (en el punto de la acción óptima robusta) satisface el principio DrIGM.
2. Teorema 2: Establece que las arquitecturas de factorización estándar (VDN, QMIX, QTRAN) son compatibles con DrIGM. Si las funciones de valor individuales satisfacen las condiciones estructurales de estas arquitecturas (aditividad, monotonía o restricciones de consistencia), entonces las versiones robustas construidas bajo el Teorema 1 también satisfacen DrIGM.
3. Teorema 3: Garantiza que si el entorno de prueba está dentro del conjunto de incertidumbre, el valor conjunto robusto es un límite inferior probado del valor real, asegurando un rendimiento mínimo garantizado.

C. Algoritmos y Entrenamiento

Los autores derivan variantes robustas de VDN, QMIX y QTRAN utilizando dos tipos de conjuntos de incertidumbre comunes:

1. Contaminación $\rho$: Donde el modelo real es una mezcla del modelo nominal y un modelo arbitrario.
2. Variación Total (TV): Basado en la distancia TV entre distribuciones.

Se definen Operadores de Bellman Robustos específicos para estos conjuntos. El entrenamiento se realiza mediante:

• Pérdida TD Robusta: Se utilizan objetivos de Bellman robustos que incorporan el factor de incertidumbre ($\rho$) y el peor caso esperado.
• Arquitectura: Se mantienen las redes neuronales estándar (DRQN para historia local, redes de mezcla para QMIX/QTRAN), pero se entrena con los objetivos robustos derivados.
• Ventaja: No requiere recompensas individuales diseñadas a medida ni comunicación en tiempo real; es escalable y compatible con código existente.

3. Contribuciones Clave

1. Principio DrIGM: Una formulación teórica que resuelve el conflicto entre robustez y descentralización en MARL, demostrando que la robustez debe coordinarse a nivel de equipo (peor caso global) en lugar de individual.
2. Algoritmos Escalables: Derivación de variantes robustas para las tres arquitecturas de factorización más populares (VDN, QMIX, QTRAN) que preservan la estructura CTDE.
3. Garantías Teóricas: Pruebas formales de que los métodos mantienen la propiedad de ejecución greedy descentralizada y ofrecen límites de rendimiento bajo incertidumbre.
4. Evaluación Exhaustiva: Validación en entornos de alta fidelidad (control HVAC en edificios y juegos de StarCraft II) que demuestran superioridad sobre métodos no robustos y baselines existentes.

4. Resultados Experimentales

Los métodos se evaluaron en dos entornos principales:

• SustainGym (Control HVAC de Edificios):

  • Escenarios: Desplazamientos climáticos (diferentes ciudades), estacionales (diferentes épocas del año) y combinados.
  • Resultados: Los algoritmos propuestos (DrIGM) superaron consistentemente a los métodos no robustos y al baseline "GroupDR" (que usa VDN robusto).
  • Hallazgo Importante: A diferencia del RL robusto de agente único, donde la conservadurismo suele penalizar el rendimiento en distribución, en MARL cooperativo, la robustez mejoró el rendimiento tanto en distribución como fuera de ella, mitigando errores de observabilidad parcial.
  • Métricas: Mejoras del 10-40% en recompensas promedio en escenarios de desplazamiento extremo.

• SMAC (StarCraft II):

  • Escenario: Mapa "3s vs 5z" con ruido añadido a las observaciones de las posiciones de los enemigos.
  • Resultados: Para valores pequeños de $\rho$, los algoritmos robustos mejoraron significativamente la tasa de victoria fuera de distribución en comparación con las versiones no robustas. Se observó que un $\rho$ excesivo lleva a un comportamiento demasiado conservador que degrada el rendimiento.

5. Significado e Impacto

Este trabajo es fundamental para la aplicación práctica del MARL en el mundo real.

• Puente Sim-to-Real: Proporciona un marco teórico sólido para manejar la incertidumbre de modelos sin sacrificar la escalabilidad ni la capacidad de ejecución descentralizada.
• Generalidad: Al ser compatible con VDN, QMIX y QTRAN, permite que la comunidad adopte estas técnicas de robustez sin rediseñar arquitecturas completas.
• Cambio de Paradigma: Demuestra que en sistemas multiagente cooperativos, la robustez no debe buscarse aislando a los agentes, sino coordinando sus estrategias contra un adversario global compartido, lo que paradójicamente puede mejorar la estabilidad y adaptabilidad del sistema completo.

El código y los datos están disponibles públicamente, facilitando la reproducibilidad y la adopción futura en dominios críticos como redes eléctricas, control de tráfico y sistemas de energía sostenible.