Resumen Técnico: Marco de Aprendizaje Adversarial de Ruptura de Interacción para Aprendizaje por Refuerzo Multiagente Robusto

Enunciado del Problema

El Aprendizaje por Refuerzo Multiagente Cooperativo (MARL) depende en gran medida de la coordinación de los agentes para optimizar objetivos compartidos, utilizando a menudo el marco de Entrenamiento Centralizado y Ejecución Descentralizada (CTDE). Aunque métodos como QMIX y Redes de Descomposición de Valores (VDN) han logrado éxitos, muestran fragilidad cuando se interrumpen las interacciones entre agentes. Los enfoques existentes de MARL robusto se centran principalmente en ataques orientados al valor (por ejemplo, perturbar observaciones para minimizar la utilidad o corromper canales de comunicación). Sin embargo, estos métodos a menudo no abordan la ruptura fundamental de la propia estructura de interacción. Cuando los agentes no pueden interactuar de manera fiable o cuando ataques coordinados interrumpen sus dependencias, la coordinación aprendida colapsa, lo que conduce a una degradación sustancial del rendimiento. Existe una brecha crítica en la robustez frente a ataques que apuntan específicamente a cortar los vínculos informativos y conductuales entre agentes.

Metodología

Ataque de Ruptura de Interacción (IBA)

Los autores proponen un Ataque Adversarial de Ruptura de Interacción que opera desde una perspectiva teórica de la información en lugar de una perspectiva de minimización del valor. El objetivo central es impedir la coordinación perturbando las observaciones y acciones de los agentes para minimizar la influencia intergrupal.

1. Particionamiento de Grupos: Los agentes se dividen en dos grupos disjuntos, $G_1$ y $G_2$.
2. Cuantificación de la Información Mutua (MI): El marco cuantifica la influencia intergrupal utilizando la Información Mutua Condicional. La influencia total se descompone en:
   • MI a nivel de observación: Mide qué tan sensibles son las observaciones de $G_1$ a las acciones de $G_2$.
   • MI a nivel de acción: Mide el acoplamiento entre las acciones de $G_1$ y las acciones de $G_2$.
3. Mecanismo Adversarial Conjunto:
   • Atacante de Observación ($f_{adv}$): Enmascara dimensiones específicas de las observaciones de $G_1$ que contienen la mayor información sobre $G_2$. El atacante selecciona dimensiones que maximizan la MI por dimensión para ocultar efectivamente a $G_1$ de ver a $G_2$.
   • Atacante de Acción ($\pi_{adv}$): Perturba las acciones de $G_1$ para minimizar la MI a nivel de acción, suprimiendo efectivamente las acciones que influirían en $G_2$.
4. Formulación Teórica: Los autores formalizan este proceso como un POMDP Descentralizado Adversarial Conjunto (JA-Dec-POMDP). Demuestran mediante el Teorema 4.2 que la función de valor de una política bajo este ataque conjunto es equivalente a la función de valor en un Dec-POMDP inducido con dinámicas perturbadas. Esto permite el uso de algoritmos estándar de MARL para aprender políticas robustas bajo el entorno perturbado.

Marco IBAL

El marco de Aprendizaje Adversarial de Ruptura de Interacción (IBAL) entrena políticas de MARL (específicamente instanciadas con QMIX) bajo el JA-Dec-POMDP.

• Particionamiento Dinámico: Al inicio de cada episodio, los agentes se dividen aleatoriamente en $G_1$ y $G_2$ para exponer la política a diversos escenarios de fallo de interacción.
• Probabilidad de Ataque Adaptativa: La fuerza del ataque de acción se controla mediante un programa adaptativo ($P_{act}$) que aumenta a medida que mejora la tasa de éxito del agente, asegurando que la política enfrente desafíos de coordinación cada vez más difíciles.
• Estimación de MI: El marco emplea enfoques basados en modelos (CLUB para la MI de observación y un modelo de reconstrucción compartido para la MI de acción) para estimar eficientemente los términos de información mutua necesarios.

Contribuciones Clave

1. Ataque de Ruptura de Interacción: Introducción de un ataque adversarial novedoso que suprime la influencia intergrupal mediante el enmascaramiento conjunto de observaciones y la perturbación de acciones, fundamentado en la minimización de la información mutua en lugar de la minimización del valor.
2. Formulación POMDP: Una derivación teórica que muestra que el proceso de ataque conjunto es equivalente a un Dec-POMDP inducido con dinámicas perturbadas, permitiendo el aprendizaje de políticas robustas mediante algoritmos estándar.
3. Robustez Empírica: Demostración de que IBAL supera a las líneas base anteriores de MARL robusto en diversos escenarios de ataque (incluyendo ataques de observación y acción) y perturbaciones no paramétricas, como escenarios donde los agentes faltan por completo (configuraciones de agente faltante).

Resultados Experimentales

Los experimentos se realizaron en el Desafío Multiagente de StarCraft (SMAC) en seis escenarios (3m, 3s vs 3z, 2s3z, 8m, 1c3s5z, MMM).

• Ataques Adversariales: IBAL logró consistentemente tasas de victoria más altas que las líneas base (QMIX Vanilla, Rand-Obs/Act, FGSM, ATLA, ERNIE, ROMANCE, WALL) bajo diversos ataques. Cabe destacar que, mientras las líneas base entrenadas contra ataques específicos (por ejemplo, FGSM o Wolfpack) funcionaron bien contra sus ataques de entrenamiento, sufrieron caídas bruscas de rendimiento bajo el ataque de ruptura de interacción propuesto. IBAL se generalizó efectivamente a todos los tipos de ataque probados.
• Perturbaciones No Paramétricas: En configuraciones donde los agentes fueron desactivados (Dis-$\ell$) o tenían salud reducida (HP-$h$), IBAL mantuvo un rendimiento significativamente más alto. Por ejemplo, en la configuración Dis-1 en el mapa 8m, IBAL logró una tasa de victoria del 87% en comparación con el ~13% de QMIX Vanilla.
• Estudios de Ablación: Eliminar cualquiera de los componentes de ataque de observación o acción degradó significativamente el rendimiento, confirmando que ambos son necesarios para capturar la ruptura de interacción. También se encontró que el marco es robusto frente a variaciones en el tamaño máximo del grupo $K$ y el presupuesto de enmascaramiento $L$.
• Costo Computacional: IBAL incurrió en una sobrecarga computacional moderada (~18% más lento que QMIX Vanilla) debido a la estimación de MI, lo cual fue significativamente menor que los métodos que requieren atacantes basados en RL (ATLA, ROMANCE) o modelos Transformer (WALL).

Significado y Afirmaciones

El artículo afirma que la fragilidad del MARL cooperativo a menudo se debe a una falla en modelar y defenderse contra el colapso de las relaciones entre agentes. Al cambiar el objetivo adversarial de la minimización del valor a la ruptura de interacción (minimizando la información mutua), el marco propuesto entrena a los agentes para operar efectivamente incluso cuando la coordinación colapsa parcialmente.

Los autores afirman que IBAL proporciona una solución más robusta para el MARL cooperativo, particularmente en entornos donde los agentes pueden enfrentar desconexiones inesperadas o donde la propia estructura de interacción está comprometida. Los resultados sugieren que entrenar contra ataques de ruptura de interacción produce políticas con generalización y resiliencia superiores en comparación con las entrenadas contra perturbaciones tradicionales orientadas al valor o aleatorias. El artículo concluye que este enfoque aborda un modo de fallo crítico en sistemas cooperativos, ofreciendo una vía para un despliegue multiagente más fiable en entornos inciertos.