RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

Resumen Técnico: RoAd-RL

Planteamiento del Problema
El Aprendizaje por Refuerzo Profundo (DRL) ha logrado un éxito significativo en la robótica y los sistemas autónomos, pero sigue siendo vulnerable a las perturbaciones adversarias que pueden inducir comportamientos inseguros y degradar el rendimiento. Aunque se han propuesto numerosos ataques adversarios (p. ej., FGSM, PGD, JSMA) y mecanismos de defensa (p. ej., entrenamiento adversario, suavizado temporal), el campo del aprendizaje por refuerzo adversario sufre de fragmentación. La investigación se ve actualmente obstaculizada por implementaciones personalizadas y no reproducibles, protocolos de evaluación inconsistentes y una falta de benchmarks estandarizados. A diferencia de la comunidad de aprendizaje supervisado, que se beneficia de marcos unificados como RobustBench y Foolbox, el RL adversario carece de una infraestructura ampliamente adoptada que ofrezca una extensibilidad y reproducibilidad comparables.

Metodología y Diseño del Marco de Trabajo
Para abordar estas limitaciones, los autores presentan RoAd-RL, un marco de benchmarking de código abierto y unificado diseñado para el Aprendizaje por Refuerzo Adversario Robusto. El marco se basa en tres principios de diseño fundamentales:

1. Componibilidad: Los ataques, defensas, políticas y métricas funcionan como componentes independientes dentro de un pipeline de evaluación común.
2. Extensibilidad: Todos los componentes principales heredan de clases base abstractas, lo que permite a los investigadores integrar nuevos métodos mediante la subclase sin modificar el núcleo del marco.
3. Reproducibilidad: La gestión de semillas deterministas, el registro estructurado y los procedimientos estandarizados aseguran resultados consistentes en diversos entornos.

La arquitectura del marco consta de cuatro abstracciones primarias:

• Política: Una interfaz unificada para agentes de RL (que actualmente soporta implementaciones de Stable-Baselines3 para DQN, PPO y SAC) que desacopla los algoritmos de aprendizaje de la evaluación. Incluye una interfaz DifferentiablePolicy para ataques basados en gradientes.
• Ataque: Encapsula la generación de perturbaciones adversarias (p. ej., FGSM, PGD, JSMA) que operan en el espacio de observación.
• Defensa: Representa mecanismos de inferencia (p. ej., suavizado temporal, compresión de características [feature squeezing], recorte de valores atípicos [outlier clipping]) que procesan las observaciones antes de la inferencia de la política.
• Métrica: Estandariza el reporte de robustez, incluyendo Métricas de Retorno (retorno medio/mediana), Métricas de Riesgo (CVaR), Métricas de Seguridad (tasas de terminación) y Métricas de Robustez (Área Bajo la Curva, AUC–$\epsilon$).

El flujo de trabajo de evaluación sigue tres etapas: (1) Entrenamiento de la política dentro de un entorno seleccionado, (2) Composición de la política entrenada con módulos específicos de ataque y defensa, y (3) Evaluación de robustez a través de múltiples presupuestos de perturbación ($\epsilon$), semillas aleatorias y episodios. El marco se integra perfectamente con Stable-Baselines3 y Gymnasium, ofreciendo tanto una API de Python como una ejecución mediante Interfaz de Línea de Comandos (CLI).

Evaluación Experimental
Los autores validaron RoAd-RL evaluando agentes DQN, PPO y SAC en dos entornos distintos: LunarLander-v2 (dinámicas compactas y sensibles) y Highway-v0 (características cinemáticas estructuradas). El benchmark cubrió una cuadrícula factorial completa de 192 configuraciones, combinando:

• Algoritmos: DQN, PPO, SAC.
• Ataques: FGSM, PGD, JSMA y una línea base limpia (clean baseline).
• Defensas: Sin defensa, suavizado temporal, suavizado de la mediana, ruido gaussiano, compresión de características (feature squeezing), recorte de valores atípicos (MAD) y detección adversaria.
• Presupuestos de Perturbación: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$.

El rendimiento se midió utilizando el AUC–$\epsilon$ normalizado (Área Bajo la curva de Retorno–$\epsilon$), donde 1.0 representa el rendimiento de la línea base limpia.

Resultados Clave

• Dependencia del Entorno: La robustez varía significativamente entre entornos. Los agentes de LunarLander fueron altamente vulnerables a las perturbaciones, mientras que los agentes de Highway-v0 permanecieron mayormente robustos ante los ataques.
• Sensibilidad del Algoritmo: Los agentes SAC en LunarLander fueron particularmente vulnerables a los ataques iterativos PGD (el AUC cayó a 0.590), probablemente debido a la explotación de gradientes de política suaves. DQN mostró una degradación clara bajo FGSM de un solo paso.
• Efectividad de la Defensa:
  • Suavizado Temporal: Logró consistentemente el rendimiento más fuerte, particularmente para SAC bajo PGD en LunarLander, recuperando aproximadamente el 27% del rendimiento relativo a la línea base sin defensa.
  • Compresión de Características (Feature Squeezing): A menudo resultó perjudicial en tareas de control de baja dimensión (por ejemplo, reduciendo el AUC de DQN de 0.793 a 0.547 bajo FGSM), lo que sugiere que es más adecuado para observaciones de imágenes de alta dimensión.
  • Fallo Inducido por la Defensa: Varias defensas (Outlier Clip, Adversarial Detector) degradaron el rendimiento más de lo que mitigaron los ataques que pretendían combatir, particularmente para agentes de acción continua. En algunos casos, la defensa por sí sola causó una mayor pérdida de rendimiento que el ataque.
• Anomalías de PPO: PPO en LunarLander exhibió valores de AUC >1.0 bajo ciertos ataques, lo que los autores atribuyen a que la política opera cerca de una línea base débil donde las pequeñas perturbaciones actúan como ruido implícito, mejorando temporalmente los retornos antes del colapso eventual.

Significancia y Reivindicaciones
El artículo afirma que RoAd-RL establece un benchmark estandarizado para el aprendizaje por refuerzo adversario, llenando un vacío crítico en la reproducibilidad y la extensibilidad. Al proporcionar un marco unificado que estandariza la interacción entre políticas, ataques, defensas y métricas, RoAd-RL permite comparaciones justas y análisis sistemáticos de las interacciones ataque-defensa.

Los autores enfatizan que sus resultados resaltan la necesidad de evaluar las defensas no solo por su capacidad para mitigar ataques, sino también por su impacto en el rendimiento nominal de la política, ya que algunas defensas comunes pueden ser más perjudiciales que las amenazas que abordan. RoAd-RL está disponible públicamente como un paquete de Python para facilitar el desarrollo comunitario de metodologías de evaluación de robustez. El trabajo futuro incluye el soporte para ataques de caja negra, entrenamiento adversario, robustez certificada y entornos multi-agente.