Resumen Técnico: Ataques de Envenenamiento de Conjuntos de Datos en Políticas de Clonación de Comportamiento

Declaración del Problema

La Clonación de Comportamiento (BC, por sus siglas en inglés) es un marco dominante en el Aprendizaje por Imitación (IL) para entrenar políticas de toma de decisiones secuenciales mediante aprendizaje supervisado sobre pares estado-acción de expertos. Si bien la BC ofrece eficiencia de muestreo y evita los peligros de la exploración de ensayo y error inherentes al Aprendimiento por Refuerzo (RL), posee una vulnerabilidad intrínseca: cuando las políticas encuentran estados fuera de la distribución (OOD), son propensas a errores de composición.

Este artículo aborda la vulnerabilidad de seguridad de las políticas de BC frente a ataques de envenenamiento de conjuntos de datos, específicamente ataques de backdoor de etiqueta limpia (clean-label). En este modelo de amenaza, un adversario inyecta un pequeño número de muestras maliciosas en el conjunto de datos de entrenamiento. Estas muestras contienen un "disparador" visual específico (por ejemplo, un parche) correlacionado con una acción objetivo, pero las etiquetas (acciones del experto) permanecen sin cambios. El objetivo es crear un "backdoor" (puerta trasera) donde la política entrenada se comporte normalmente bajo condiciones estándar, pero ejecute una acción predeterminada, potencialmente catastrófica, cada vez que el disparador esté presente durante la inferencia.

A diferencia de ataques adversarios previos en RL o BC que a menudo requieren acceso de caja blanca a los parámetros del modelo o a las funciones de recompensa, este trabajo se centra en ataques de caja negra que requieren únicamente ediciones mínimas y simples en el conjunto de datos de entrenamiento.

Metodología

Modelo de Amenaza

Los autores definen un escenario donde un atacante tiene acceso total al conjunto de datos de entrenamiento $D$, pero no tiene control sobre el proceso de entrenamiento de la política posterior ni acceso de caja blanca al modelo final.

• Objetivo: Inducir fallos en la política aprendida $\pi_{bc}$ cuando un disparador específico está presente en el tiempo de prueba, causando que la política produzca una acción objetivo $a_{target}$.
• Capacidades: El atacante puede inyectar disparadores en las observaciones visuales ($s$), pero no puede alterar las acciones del experto ($a$). En el tiempo de prueba, el atacante tiene acceso de caja negra a las salidas de la política y un presupuesto limitado ($B$) de inyecciones de disparadores.

Estrategias de Ataque

1. Envenenamiento de Conjunto de Datos de Etiqueta Limpia:
   El atacante selecciona un subconjunto de pares estado-acción donde la acción del experto coincide con la acción objetivo deseada (por ejemplo, "acelerar"). Incrustan un disparador visual (un parche de $n \times n$ píxeles) en la observación del estado $s$ para crear un par envenenado $(\tilde{s}, a)$. La etiqueta $a$ permanece sin cambios. El modelo aprende una correlación espuria entre el disparador visual y la acción objetivo.

2. Ataques de Disparador en Tiempo de Prueba:
   El artículo investiga cómo el momento de la inyección del disparador afecta la degradación de la política. Se comparan dos estrategias:

   • Disparo Aleatorio (Random Triggering): Inyectar el disparador en pasos de tiempo aleatorios.
   • Disparo Basado en la Entropía (Entropy-Based Triggering): Una estrategia novedosa donde el atacante consulta la política para calcular la entropía de la distribución de acciones $H(\pi(\cdot|s))$. Los disparadores se inyectan solo en estados donde la entropía de la política es baja (indicando alta confianza en una acción específica) pero esa acción no es la acción objetivo. La intuición es que forzar a una política de alta confianza a cambiar a una acción objetivo en estados críticos y de baja entropía causa la desviación más significativa de la distribución de demostración, lo que conduce a errores de composición.

Configuración Experimental

• Entorno: Entorno OpenAI Gym Car Racing (imágenes RGB de 96×96, 5 acciones discretas).
• Generación de Datos: Demostraciones de expertos generadas por un agente PPO entrenado durante 1M de pasos.
• Modelo: Red Neuronal Convolucional (CNN) estándar con 3 capas convolucionales y 3 capas totalmente conectadas.
• Disparadores: Los probados incluyen parches rojos sólidos (alto contraste) y parches de ruido Gaussiano (bajo contraste, más difíciles de detectar).

Resultados Clave

1. Alta Vulnerabilidad a un Envenenamiento Mínimo

El estudio demuestra que las políticas de BC son extremadamente susceptibles a los backdoors de etiqueta limpia.

• Umbral de Envenenamiento: Envenenar tan solo el 2.31% del total del conjunto de datos (correspondiente al 5% de los fotogramas de la acción "acelerar") es suficiente para establecer un backdoor.
• Tasa de Control: En este nivel mínimo de envenenamiento, la tasa de control del backdoor (la frecuencia con la que el disparador induce la acción objetivo) salta de niveles de azar a aproximadamente el 100%.
• Robustez Engañosa: A pesar de que la política está totalmente comprometida, la recompensa media por episodio permanece cerca de la línea base (estable) hasta que la proporción de envenenamiento supera el 70–80%. Esto indica que las métricas de evaluación estándar (como la recompensa promedio) no logran detectar la presencia de un backdoor, ya que la política funciona bien en ausencia del disparador.

2. Impacto de las Propiedades del Disparador

• Saliencia Visual: Un parche rojo de alto contraste (3×3 píxeles) resultó más efectivo que un parche de ruido Gaussiano, logrando una precisión de control de backdoor del 96.45% frente al 80.35% con un 5% de envenenamiento.
• Detección vs. Eficacia: Aunque el parche rojo es más perceptible, el parche de ruido Gaussiano ofrece una menor probabilidad de detección por defensas simples, aunque requiere tasas de envenenamiento más altas para lograr una eficacia similar.

3. Efectividad del Tiempo Basado en la Entropía

El ataque de disparador en tiempo de prueba basado en la entropía propuesto supera significamente al disparo aleatorio. Al apuntar a estados críticos donde la política es confiada pero incorrecta (respecto al objetivo del atacante), el ataque maximiza la degradación del rendimiento de la política dentro de un presupuesto limitado. Este enfoque aprovecha la naturaleza secuencial de la BC, donde un solo error en un estado crítico puede conducir a una cascada de errores de composición.

Contribuciones y Significación

El artículo realiza las siguientes contribuciones primarias:

1. Primer Análisis de Envenenamiento de BC: Presenta el primer estudio de ataques de envenenamiento de conjuntos de datos de etiqueta limpia específicamente en políticas de Clonación de Comportamiento.
2. Análisis de Sensibilidad: Proporciona un análisis exhaustivo de sensibilidad respecto a la fracción de datos envenenados, la fuerza del disparador (tamaño del parche) y el tipo de disparador (color vs. ruido).
3. Estrategia de Ataque Novedosa: Introduce y valida una estrategia de ataque de disparador en tiempo de prueba basada en la entropía que optimiza el uso del presupuesto de ataque al dirigirse a estados críticos, demostrando un rendimiento superior sobre los ataques aleatorios.
4. Implicaciones de Seguridad: El trabajo resalta una brecha crítica en la robustez de las políticas de BC. Muestra que las políticas entrenadas en conjuntos de datos a gran escala (cada vez más comunes para sistemas ciberfísicos) pueden ser altamente vulnerables a la manipulación mientras mantienen métricas de rendimiento engañosamente altas.

Conclusión

Los autores concluyen que las políticas de Clonación de Comportamiento son altamente vulnerables a los ataques de backdoor de etiqueta limpia. La capacidad de comprometer una política con una fracción mínima de datos envenenados, manteniendo un rendimiento de tarea cercano a la línea base, subraya la necesidad urgente de investigar métodos de entrenamiento y detección robustos para el aprendizaje por imitación, particularmente a medida que estos sistemas se despliegan en entornos ciberfísicos del mundo real.