Resumen Técnico: Eliminación de Acciones Adversarias en Aprendizaje por Refuerzo de Autojuego

Definición del Problema

Este artículo investiga una superficie de ataque adversario novedosa y severa en el Aprendizaje por Refuerzo Multiagente (MARL): enmascaramiento adversario de acciones. A diferencia de trabajos anteriores centrados en perturbaciones de observación (añadir ruido a las entradas) o manipulación de recompensas, este estudio formaliza un ataque donde un adversario elimina selectivamente acciones legales del conjunto de acciones de un agente víctima antes de que el agente tome una decisión.

El problema se enmarca como una optimización de dos niveles:

• Bucle Interno: Un agente víctima (Jugador 0) entrena mediante autojuego bajo un espacio de acciones restringido definido por la máscara.
• Bucle Externo: Un adversario (Jugador 1) aprende una política para seleccionar qué acciones eliminar en estados de información específicos con el fin de minimizar el valor esperado de la víctima.

El adversario opera bajo una restricción de presupuesto $k$, limitando el número de estados de información donde se pueden eliminar acciones, pero debe retener al menos una acción legal por estado. La hipótesis central es que eliminar opciones de decisión (reducción estructural) es cualitativamente diferente y más dañino que las perturbaciones acotadas, ya que puede colapsar puntos de decisión a acciones únicas, eliminando la capacidad del agente para elegir.

Metodología

Marco Formal

Los autores modelan el entorno como un juego de forma extensiva de dos jugadores y suma cero. El adversario se define como una aplicación $M: I_0 \to 2^A$ que selecciona un subconjunto de acciones para retener en cada conjunto de información de la víctima $h$. El objetivo del adversario es minimizar el valor de la víctima $V_0(\pi^*_M)$.

Análisis Mecanístico:
El artículo introduce dos métricas para explicar el mecanismo del ataque:

1. Capacidad de Acción Contingente Ponderada por Alcanzabilidad ($CAC_w$): Mide la capacidad de decisión multi-acción restante en los estados de información alcanzados, ponderada por su probabilidad de alcanzabilidad $\rho(h)$.
2. Refinamiento Ponderado por Valor ($CAC_v$): Una métrica más precisa que pondera la capacidad por la brecha de valor $\delta(h)$ entre la acción óptima de la víctima y la acción forzada: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$.

Las proposiciones teóricas sugieren que un adversario codicioso ataca estados con alto $\rho(h) \cdot \delta(h)$, impulsando efectivamente $CAC_w$ y $CAC_v$ hacia abajo. Bajo condiciones específicas (por ejemplo, Q-learning $\epsilon$-greedy), los autores demuestran que si $CAC_w$ se impulsa a cero, la política de la víctima converge a una acción forzada única, conduciendo a un punto fijo estable pero subóptimo.

Configuración Experimental

El estudio evalúa el ataque a través de:

• Algoritmos: Cinco algoritmos de aprendizaje distintos, incluyendo Q-Learning Tabular, PPO Tabular, NFSP Tabular (Autojuego Ficticio Neural), NFSP Neural y DQN.
• Dominios:
  • Póker: Póker Kuhn (6 estados), Póker Leduc (50 estados) y variantes escaladas Leduc-5 (389), Leduc-10 (1,496) y Leduc-20 (5,531 estados).
  • No Póker: Gridworld Competitivo (149 estados) y Recolección de Recursos (18,604 estados).
• Líneas Base: Comparaciones contra eliminación aleatoria de acciones, eliminación fija de acciones y ataques de perturbación aprendida (estilo RARL).

El protocolo de entrenamiento implica alternar entre 500 episodios de entrenamiento de la víctima y un paso de gradiente para el adversario (usando REINFORCE) durante 20–25 iteraciones externas.

Resultados Clave

1. Superioridad del Enmascaramiento Adversario

El enmascaramiento adversario aprendido causa sustancialmente más daño que el enmascaramiento aleatorio o la perturbación aprendida.

• En el Póker Leduc, la eliminación aprendida es hasta 4.8 veces más dañina que el enmascaramiento aleatorio en niveles de soporte comparables.
• Comparado con la perturbación aprendida (estilo RARL) con presupuestos de entrenamiento iguales, la eliminación de acciones adversarias es 4 veces más dañina en el Póker Kuhn.
• El ataque persiste incluso cuando el adversario está restringido solo a información pública, aunque el acceso a información privada produce resultados más fuertes.

2. Escalado con Complejidad

La ventaja del adversario aprendido aumenta a medida que crece la complejidad del juego.

• En la familia Leduc, la relación de daño (Adversario/Aleatorio) escala de 2.2 veces (en ~50 estados) a 4.8 veces (en 5,531 estados).
• Esto sugiere que los juegos más grandes y complejos ofrecen más "heterogeneidad estratégica" para que el adversario la explote.

3. Invarianza de Algoritmo y Dominio

La vulnerabilidad no es específica de un solo algoritmo o dominio:

• Algoritmos: Todos los agentes probados (QL, PPO, NFSP, DQN) colapsan bajo enmascaramiento adversario. Incluso NFSP Neural, un método robusto de resolución de juegos, se degrada significativamente (de -0.13 a -1.89 en Leduc-5).
• Dominios: El fenómeno se mantiene en entornos no de póker. En Gridworld Competitivo, el enmascaramiento adversario causó 1.9 veces más daño que el enmascaramiento aleatorio. En Recolección de Recursos, la brecha fue de 1.4 veces.

4. Falta de Recuperación

Las víctimas no se recuperan incluso bajo entrenamiento extendido con la máscara activa.

• Cuando el entrenamiento continúa bajo una máscara adversaria fija, la recompensa de la víctima se estabiliza en un nivel significativamente más bajo en comparación con la línea base sin máscara.
• El reentrenamiento desde cero en la máscara aprendida final también resulta en grandes pérdidas, lo que indica que el daño estructural no se mitiga fácilmente mediante adaptación.

5. Correlación Mecanística

Existe una fuerte correlación empírica entre la reducción de $CAC_w$ y $CAC_v$ y la degradación del rendimiento de la víctima.

• $CAC_w$ se correlaciona con la recompensa de la víctima en $r = 0.80$.
• $CAC_v$ se correlaciona en $r = 0.81$, lo que sugiere que atacar estados con altas brechas de valor es el motor principal del éxito del ataque.

Significado y Afirmaciones

El artículo argumenta que la disponibilidad de acciones constituye una superficie de robustez distinta en el RL de autojuego, separada de la robustez de observación o recompensa.

• Vulnerabilidad Estructural: Los hallazgos demuestran que los agentes de autojuego son frágiles ante cambios estructurales dirigidos en el espacio de acciones. A diferencia de las perturbaciones que añaden ruido, la eliminación elimina opciones de decisión, colapsando la flexibilidad estratégica del agente.
• Limitaciones de las Defensas Actuales: Las defensas existentes de MARL robusto (por ejemplo, entrenar contra perturbaciones o usar diversidad de poblaciones) son insuficientes porque asumen que el espacio de acciones conjunto permanece intacto. El artículo señala que promediar estrategias o mantener diversidad de poblaciones no puede restaurar dimensiones estratégicas eliminadas.
• Implicaciones para el Despliegue: En sistemas del mundo real donde los adversarios pueden deshabilitar capacidades específicas (por ejemplo, puntos finales de API, actuadores), los agentes pueden sufrir fallos catastróficos. Los autores sugieren que las defensas efectivas deben centrarse en preservar la flexibilidad estratégica en puntos de decisión de alta alcanzabilidad y alto valor ($CAC_v$) en lugar de optimizar para una robustez uniforme ante la indisponibilidad arbitraria de acciones.

Los autores permanecen modestos respecto a sus afirmaciones teóricas, señalando que los límites de daño son locales y aditivos, y que la tendencia de escalado es empírica (basada en cuatro tamaños de juego) en lugar de una ley de escalado probada. Reconocen que la verificación a escala completa de póker ($10^5+$ estados) y en dominios de acción continua sigue siendo trabajo futuro.