Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

1. Enunciado del Problema

El artículo aborda los desafíos críticos de seguridad y fiabilidad en Sistemas Multiagente (MAS) que operan en entornos de caja negra estricta.

• Contexto: Los MAS se utilizan cada vez más en UAVs, robótica industrial y conducción autónoma. Sin embargo, son vulnerables a ataques adversariales donde las entradas se perturban para engañar la toma de decisiones.
• Limitaciones del Trabajo Existente:
  • Suposiciones de Caja Blanca: Muchos métodos existentes requieren acceso a los parámetros internos del modelo o a las salidas de la red, lo cual es poco realista en despliegues del mundo real.
  • Alta Autoridad de Control: Algunos métodos asumen que el atacante puede controlar directamente las acciones de los agentes, lo cual es raramente posible.
  • Falta de Equilibrio entre Sigilo y Eficacia: Los métodos de caja negra actuales a menudo perturban a todos los agentes (bajo sigilo) o atacan agentes fijos independientemente del estado del entorno (baja eficacia). Carecen de una estrategia para seleccionar dinámicamente a la víctima más crítica y la acción más dañina.
• Objetivo: Desarrollar un marco de ataque que opere en un entorno de caja negra estricta (solo observando entradas/salidas), perturbe únicamente las observaciones de los agentes (no sus acciones) y logre alta eficacia manteniendo un alto sigilo al atacar solo a un agente seleccionado de forma adaptativa.

2. Metodología: Marco AdapAM

Los autores proponen AdapAM (Ataques Adversariales Adaptativos a Sistemas Multiagente), que consta de dos módulos centrales:

A. Política de Selección Adaptativa ($\pi_\phi$)

Este módulo determina qué agente atacar y qué acción maliciosa inducir en cada paso de tiempo.

• Objetivo: Maximizar la degradación de la recompensa global del MAS seleccionando al agente más crítico (adversario) y la acción que causa el peor impacto.
• Arquitectura:
  • Modelado como un proceso de Aprendizaje por Refuerzo (RL) utilizando Soft Actor-Critic (SAC).
  • Diseño Jerárquico: Para reducir el espacio de búsqueda, la política utiliza dos clasificadores:
    1. $C_{\phi_1}$: Selecciona el índice del agente adversario ($i_t$) basado en el estado global $s_t$.
    2. $C_{\phi_2}$: Selecciona la acción maliciosa ($\tilde{a}_t$) basada en $s_t$ y el agente seleccionado $i_t$.
  • Señal de Recompensa: La recompensa para la política de selección es el negativo de la recompensa global del MAS víctima ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$).
• Operación: En cada paso, la política muestrea un agente y una acción objetivo. Luego, el sistema intenta perturbar la observación del agente seleccionado para forzarlo a ejecutar esta acción específica.

B. Perturbación Basada en Proxy para Inducir Acción Maliciosa

Dado que el MAS víctima es una caja negra, el atacante no puede calcular directamente los gradientes para generar perturbaciones.

• Agentes Proxy: El atacante entrena un conjunto de agentes proxy ($\pi_{\psi}$) utilizando Aprendizaje por Imitación Generativa Adversarial Multiagente (MAGAIL). Estos proxies aproximan las políticas de los agentes víctimas ($\pi_{\psi} \approx \pi_{victim}$) aprendiendo a imitar sus mapeos de observación a acción.
• Generación de Perturbación:
  • Una vez entrenados los agentes proxy, el atacante obtiene acceso de "caja blanca" al modelo proxy.
  • Utilizando la técnica de ataque C&W (Carlini & Wagner) sobre el modelo proxy, el sistema genera una observación perturbada $\tilde{o}_{t,i}$ que fuerza al proxy (y, por transferibilidad, a la víctima) a emitir la acción maliciosa deseada $\tilde{a}_t$.
  • La perturbación se minimiza (distancia euclidiana) para garantizar el sigilo mientras se satisface la restricción de que la política emita la acción objetivo.
• Inyección: La observación perturbada generada se inyecta en el flujo de entrada del agente víctima seleccionado en el entorno real de caja negra.

3. Contribuciones Clave

1. Marco Novel de Caja Negra: Propone AdapAM, el primer marco que selecciona adaptativamente tanto al agente víctima como a la acción maliciosa anticipada en un entorno estricto de caja negra MAS sin requerir control de acciones.
2. Perturbación Basada en Proxy: Introduce un método que utiliza Aprendizaje por Imitación Generativa Adversarial (MAGAIL) para entrenar agentes proxy. Esto cierra la brecha entre las restricciones de caja negra y la necesidad de información de gradientes de caja blanca para generar perturbaciones efectivas.
3. Rendimiento Equilibrado: Logra un equilibrio superior entre eficacia (degradación del rendimiento del sistema) y sigilo (magnitud mínima de perturbación y bajas tasas de detección) al atacar solo a un agente crítico en lugar de a todos los agentes.

4. Resultados Experimentales

Los autores evaluaron AdapAM en 8 entornos multiagente a través de tres puntos de referencia: SMAC (StarCraft), GF (Fútbol de Investigación de Google) y MPE (Partículas Multiagente). Se compararon contra cuatro líneas base: MASafe, AMCA, AMI y Lin.

• Rendimiento del Ataque:

  • Eficacia: AdapAM redujo significativamente la Recompensa y la Tasa de Victoria tanto de los MAS objetivo "Normales" como de los "Robustos" (entrenados con ROMANCE).
  • Comparación: En entornos con menos agentes (<10), AdapAM redujo la tasa de victoria al 0%, superando a todas las líneas base. Incluso en entornos a gran escala (ej. 27m vs 30m), permaneció altamente competitivo, a menudo superando a métodos que perturban a todos los agentes.
  • Robustez: AdapAM mantuvo un rendimiento superior incluso frente a MAS entrenados específicamente para ser robustos contra ataques.
  • Tasas de Perturbación: AdapAM superó consistentemente a las líneas base en diversas tasas de perturbación (del 15% al 100%).

• Evaluación de Sigilo:

  • Magnitud de Perturbación: Medida por la norma $L_\infty$. AdapAM añadió las perturbaciones más pequeñas en comparación con todas las líneas base (ej. 0.12 vs 0.33 en SMAC-8m), haciendo los ataques imperceptibles.
  • Resistencia a la Detección: Medida por la puntuación F1 de un mecanismo existente de detección de ataques. AdapAM obtuvo las puntuaciones F1 más bajas (ej. 0.57 vs 0.82), indicando que es el más difícil de detectar.
  • Razonamiento: A diferencia de MASafe (que perturba a todos los agentes y es fácilmente detectado), el enfoque selectivo de un solo agente de AdapAM, combinado con una generación de perturbación optimizada, garantiza un alto sigilo.

5. Significado

• Evaluación de Seguridad: AdapAM proporciona una herramienta rigurosa para evaluar la verdadera robustez de los MAS en escenarios realistas de caja negra, revelando vulnerabilidades que los métodos de caja blanca o no adaptativos podrían pasar por alto.
• Practicidad: Al operar bajo restricciones estrictas de caja negra (solo perturbación de observación) y requerir presupuestos de ataque mínimos (un solo agente), el método refleja modelos de amenazas realistas para infraestructuras críticas como la conducción autónoma y enjambres de drones.
• Implicaciones para la Defensa: El éxito de AdapAM destaca la insuficiencia de los métodos actuales de entrenamiento robusto frente a ataques adaptativos y dirigidos, sugiriendo la necesidad de mecanismos de defensa que aborden específicamente la selección de agentes y la integridad de las observaciones.

En conclusión, AdapAM demuestra que la dirección adaptativa combinada con la generación de caja blanca basada en proxy es una estrategia altamente efectiva y sigilosa para comprometer Sistemas Multiagente, superando a los métodos más avanzados tanto en éxito del ataque como en ocultamiento.