Resumen Técnico: El zorro en el gallinero: Ataques de puerta trasera en la cadena de suministro contra el Aprendizaje por Refuerzo

Declaración del Problema

Los ataques de puerta trasera existentes en el Aprendizaje por Refuerzo (RL) suelen depender de modelos de amenazas poco realistas que asumen que el atacante posee acceso de caja blanca a los parámetros, recompensas u observaciones de la víctima. Estas suposiciones implican a menudo un nivel de intervención (por ejemplo, modificar directamente la función de recompensa o el espacio de observaciones de la víctima) que haría que un ataque de puerta trasera fuera innecesario en escenarios del mundo real. Además, la literatura actual ignora en gran medida el aspecto de la "cadena de suministro" del RL moderno, donde los profesionales descargan frecuentemente agentes o entornos preentrenados de repositorios de terceros (por ejemplo, Hugging Face, PyTorch Hub) para acelerar la convergencia en aplicaciones sensibles como la conducción autónoma y el trading automatizado. Este artículo postula que la dependencia de agentes externos no confiables constituye un riesgo de seguridad severo y práctico que actualmente es subestimado.

Metodología: El Ataque de Puerta Trasera de la Cadena de Suministro (SCAB)

Los autores introducen el ataque de Puerta Trasera de la Cadena de Suministro (SCAB), un método diseñado para incrustar comportamientos deletéreos en la política de una víctima ($\pi_{vic}$) únicamente a través de una caja negra de interacciones legítimas entre agente y entorno. El atacante no requiere acceso al proceso de entrenamiento, las señales de recompensa o los datos de observación de la víctima. En su lugar, el ataque explota la práctica común de entrenar con políticas de terceros.

Modelo de Amenaza

El ataque opera bajo un modelo de amenaza restrictivo donde el atacante controla una política preentrenada externa ($\pi_{att}$) que interactúa con la víctima en un Proceso de Decisión de Markov Multi-Agente (MMDP). El atacante tiene:

• Acceso de solo lectura a sus propias observaciones de estado ($s_{att}$).
• Influencia de solo acción sobre el entorno a través de sus acciones ($a_{att}$).
• Sin acceso a los parámetros internos, recompensas ($r_{vic}$) u observaciones ($s_{vic}$) de la víctima.

Mecanismo de Ataque

El ataque SCAB utiliza una política de atacante bifurcada y un detector para lograr sus objetivos:

1. Componentes del Atacante:

   • $\pi_{att}^{std}$: Una política estándar entrenada para ganar el juego (por ejemplo, mediante entrenamiento basado en torneos).
   • $\pi_{att}^{rwd}$: Una política de "recompensa" entrenada para recompensar implícitamente a la víctima por ejecutar acciones específicas de la puerta trasera. Esto se logra mediante la ejecución deliberada por parte del atacante de su propia derrota (maximizando la recompensa acumulada del oponente) cuando la víctima realiza la secuencia deseada.
   • Detector ($d$): Un módulo de aprendizaje supervisado que infiere las acciones previas de la víctima ($\tilde{a}_{vic}$) observando las transiciones de estado en las propias observaciones del atacante ($s_{att}$).

2. Fase de Entrenamiento (Inyección):
   El atacante cambia entre cuatro estados basados en una máquina de estados finitos:

   • Ganando: El atacante juega normalmente ($\pi_{att}^{std}$). Con una probabilidad definida por la Probabilidad de Inyección del Disparador (TIP), transiciona al estado de Disparo (Triggering).
   • Disparando (Triggering): El atacante ejecuta una secuencia predefinida de acciones de activación ($A_t$), como movimientos consecutivos de "no-op".
   • Observando: El atacante utiliza el detector $d$ para deducir si la víctima está respondiendo con la secuencia de acción de la puerta trasera específica ($A_b$).
   • Recompensando: Si la víctima ejecuta la secuencia correcta de la puerta trasera, el atacante cambia a $\pi_{att}^{rwd}$, perdiendo intencionalmente para proporcionar una alta recompensa acumulada a la víctima. Esto refuerza la asociación entre el disparador y la acción de la puerta trasera en la función Q de la víctima.

3. Fase de Prueba (Explotación):
   Una vez incrustada la puerta trasera, cualquier oponente que conozca el disparador puede activarlo. Un oponente equipado con una red de disparo ($\pi_{trg}$) puede iniciar estratégicamente la secuencia de activación para forzar el comportamiento de la puerta trasera en la víctima, causando una caída significativa en el rendimiento mientras minimiza el tiempo pasado ejecutando el disparador en sí mismo.

Principales Contribuciones

1. Modelo de Amenaza Realista: El artículo documenta el primer ataque realista que explota la cadena de suministro del RL, requiriendo solo el nivel de acceso que tendría un agente benigno (observaciones de solo lectura, influencia de solo acción).
2. Propuesta del Ataque SCAB: Los autores proponen y validan el ataque SCAB, que inyecta puertas traseras mediante agentes preentrenados sin modificar los datos de entrenamiento, las recompensas o las observaciones de la víctima.
3. Validación Empírica: El estudio demuestra que SCAB logra un rendimiento comparable a ataques previos con modelos de acceso mucho más permisivos, logrando altas tasas de éxito con una corrupción de datos mínima (3% de inyección de disparador).

Resultados Experimentales

Los autores evaluaron SCAB en entornos competitivos de dos jugadores (Pong, Surround, Boxing) utilizando algoritmos tanto on-policy (PPO) como off-policy (DQN) con arquitecturas CNN y LSTM.

• Éxito del Ataque: SCAB logró una tasa máxima de éxito del disparador superior al 90% en varios entornos.
• Degradación del Rendimiento: El ataque redujo los retornos episódicos promedio de la víctima en más de un 80% cuando los disparadores estaban activos.
• Sigilo: Las métricas de tiempo de entrenamiento (retorno episódico, pérdida de política, longitud del episodio) para la víctima bajo SCAB fueron indistinguibles de un entrenamiento limpio. La víctima mantuvo un alto rendimiento contra oponentes normales, y las acciones de la puerta trasera ocurrieron espontáneamente a tasas insignificantes (<1%) sin disparadores.
• Generalizabilidad: El ataque fue efectivo a través de espacios de acción discretos y continuos, entornos cooperativos y competitivos, y escenarios multi-agente.
• Comparación: En el entorno de Boxing, SCAB (con un 3% de TIP) logró una tasa de éxito del disparador del 91.3% y una caída de retorno del 82.6%, igualando el rendimiento de BACKDOORL (93.6% de éxito, 81.3% de caída) y TrojDRL (99.1% de éxito, 85.3% de caída), a pesar de que SCAB opera bajo un modelo de acceso mucho más estricto (sin acceso de escritura a recompensas u observaciones).
• Limitaciones de la Defensa: Una defensa estándar de ajuste fino (reentrenamiento contra jugadores normales) mostró una efectividad limitada, reduciendo la tasa de éxito del disparador de 83.2% a 69.5% después de 128,000 pasos, mientras que el rendimiento de la víctima bajo ataque seguía severamente comprometido.

Significado y Reivindicaciones

El artículo argumenta que la seguridad proporcionada por ignorar los riesgos de la cadena de suministro en el RL es "ilusoria". Al demostrar que los ataques de puerta trasera de alto impacto no requieren modelos de acceso altamente permisivos, los autores resaltan que el RL es mucho más vulnerable a la manipulación adversaria de lo que se pensaba.

Los autores enfatizan que, si bien su trabajo expone vulnerabilidades, la divulgación responsable de tales ataques es crítica para mejorar la seguridad del sistema. Afirman que la práctica común de obtener modelos proporcionados externamente crea un riesgo de seguridad severo y práctico, particularmente a medida que el RL se adopta cada vez más en dominios de seguridad crítica como la conducción autónoma, el trading algorítmico y la atención médica. El artículo concluye que este nuevo vector de ataque debe motivar el desarrollo de mecanismos robustos de defensa y detección específicamente adaptados a la cadena de suministro de entrenamiento.