Backdoor Directions in Vision Transformers

Este artículo demuestra que es posible identificar y manipular causalmente una "dirección de activación" específica en Vision Transformers asociada a ataques de puerta trasera, lo que permite trazar su procesamiento interno, diferenciar tipos de triggers y proponer un método de detección sin datos.

Lo esencial

Imagina que tienes un sistema de seguridad muy inteligente, como un guardia de un museo que reconoce todas las obras de arte. De repente, un ladrón astuto no roba el cuadro, sino que le enseña al guardia una "señal secreta": un pequeño punto rojo en la esquina de la imagen. Ahora, si el guardia ve cualquier cosa con ese punto rojo, en lugar de decir "es un gato", gritará "¡es un tigre!" y abrirá la puerta.

Este es el problema de los ataques de puerta trasera (backdoors) en la inteligencia artificial. Pero, ¿cómo funciona esto dentro de la cabeza de una máquina moderna llamada Vision Transformer (ViT)?

Este paper es como un manual de detectives que explica cómo encontrar y desactivar esa "señal secreta" dentro del cerebro de la máquina. Aquí te lo explico con analogías sencillas:

1. El "Sentido de Dirección" Secreto

Los autores descubrieron algo fascinante: dentro de la mente de la IA, la señal secreta (el "gatillo" o trigger) no está escondida en un lugar caótico. Está organizada en una dirección lineal específica, como una autopista invisible.

• La analogía: Imagina que la IA es una gran oficina llena de empleados (capas de la red neuronal). Cuando entra una imagen con el punto rojo, todos los empleados empiezan a moverse en una dirección muy concreta, como si todos decidieran caminar hacia la "Puerta de los Tigres".
• El hallazgo: Los investigadores lograron encontrar el mapa de esa autopista. Si empujas a los empleados en esa dirección, la IA se vuelve loca y ve tigres donde no los hay. Si los empujas en la dirección contraria, la IA olvida la señal secreta y vuelve a ser normal.

2. Dos Tipos de Ladrones (Gatillos)

El paper explica que no todos los ladrones usan el mismo método. Hay dos tipos principales de "señales secretas":

• El Ladronzuelo de la Calcomanía (Gatillo estático): Imagina que pegan una calcomanía grande y visible en la foto. La IA lo detecta rápido, casi al principio de su proceso de pensamiento. Es como si el guardia viera el punto rojo y ya supiera qué hacer.
• El Fantasma (Gatillo sigiloso): Este es más peligroso. El ladrón no pega nada visible; en su lugar, distorsiona sutilmente la imagen, como cambiar ligeramente el brillo o el color de muchos píxeles. La IA necesita "pensar" más tiempo, procesar la imagen a través de varias capas, antes de darse cuenta de la señal. Es como si el guardia tuviera que revisar el cuadro tres veces antes de notar el truco.

3. El Experimento del "Volante" (Steering)

Para probar que encontraron la dirección correcta, los investigadores hicieron un experimento de "volante" (steering).

• La analogía: Imagina que la IA es un coche. Ellos encontraron el volante secreto que gira las ruedas hacia la "Puerta de los Tigres".
  • Si giran el volante hacia un lado (añaden la dirección secreta a una foto normal), el coche gira bruscamente hacia el tigre.
  • Si giran el volante hacia el otro lado (quitan la dirección de una foto con el truco), el coche deja de ver el tigre y vuelve a ver el gato.
• El resultado: Esto demostró que la dirección que encontraron es la causa real del problema, no solo una coincidencia.

4. La Cirugía del Cerebro (Borrar la puerta trasera)

Una vez que tienen el mapa de la autopista secreta, pueden hacer algo muy potente: borrarla.

• La analogía: Imagina que la IA es un edificio con una puerta trasera oculta. En lugar de derribar todo el edificio (reentrenar la IA desde cero), los investigadores simplemente serraron la bisagra de esa puerta secreta.
• El resultado: La puerta trasera desaparece. La IA ya no reacciona a la señal secreta, pero sigue funcionando perfectamente para ver gatos, perros y coches. Es como una cirugía de precisión que cura al paciente sin darle un golpe en la cabeza.

5. Detectar al Ladronzuelo sin Ver la Señal

Lo más genial es que, aunque para encontrar la dirección necesitan saber cuál es la señal secreta (lo cual es un poco como necesitar la llave para encontrar la cerradura), también propusieron un método para detectar si una IA está infectada sin saber cuál es la señal.

• La analogía: Es como si pudieras entrar a una casa y, solo tocando las paredes, decir: "Aquí hay una puerta falsa oculta", sin necesidad de saber dónde está la llave o qué abre esa puerta. Funciona muy bien para los ladrones sigilosos (los fantasmas), que son los más difíciles de detectar.

En Resumen

Este paper nos dice que, aunque los hackers son listos, la inteligencia artificial tiene una estructura muy ordenada. Si sabemos cómo buscar, podemos encontrar la "autopista secreta" que usan para engañar a la máquina, desactivarla y hacer que la IA sea segura de nuevo, todo sin tener que volver a construirla desde cero.

Es como encontrar el interruptor secreto que controla el comportamiento de un robot y apagarlo para que vuelva a ser un buen ciudadano.

Resumen técnico

Resumen Técnico: Direcciones de Puerta Trasera en Vision Transformers

1. El Problema

Las ataques de puerta trasera (backdoor attacks) representan una amenaza crítica para los sistemas de aprendizaje automático, donde un atacante inyecta patrones específicos (disparadores o triggers) en un subconjunto de los datos de entrenamiento. Esto hace que el modelo clasifique correctamente las entradas limpias, pero prediga una clase objetivo específica cuando se presenta el disparador.

Aunque estos ataques han sido ampliamente estudiados en modelos de visión por computadora basados en convoluciones (CNNs), las defensas existentes muestran un rendimiento significativamente inferior cuando se aplican a Vision Transformers (ViTs). Las defensas actuales para ViTs a menudo se basan en la detección de patrones de atención anómalos, lo cual es ineficaz contra disparadores distribuidos o "sigilosos" (stealthy). Existe una falta de comprensión fundamental sobre cómo los ViTs representan y propagan internamente las características de las puertas traseras, lo que dificulta el diseño de defensas robustas.

2. Metodología

El artículo adopta un enfoque de interpretabilidad mecánica, asumiendo el conocimiento completo del disparador y los datos envenenados para realizar un análisis profundo. La metodología se basa en la hipótesis de que los conceptos en los modelos transformadores se representan mediante direcciones lineales en el espacio de activaciones.

Los pasos clave incluyen:

• Identificación de la Dirección de Puerta Trasera (BD):

  • Se utilizan pares contrastivos de imágenes limpias ($x$) y envenenadas ($x_t$).
  • Se calcula un vector de dirección promedio ($\hat{r}$) en las activaciones de cada capa $l$ restando las activaciones de las imágenes limpias de las envenenadas:
    $$\hat{r}_l = \frac{1}{|X_{pair}|} \sum (x^l_t - x^l)$$
  • Se analizan dos tipos de vectores: el token [CLS] (que contiene información global) y la concatenación de todos los tokens.

• Validación Causal:

  • Dirigido de Activación (Activation Steering): Se suma o resta el vector $\hat{r}$ a las activaciones durante la inferencia. Si la dirección es causal, esto debería activar la puerta trasera en imágenes limpias o desactivarla en imágenes envenenadas.
  • Ortogonalización de Pesos: Se elimina la dirección $\hat{r}$ de las matrices de pesos del modelo (capa de entrada, proyecciones de atención y MLP) mediante proyección ortogonal:
    $$\mathbf{W}_{new} = \mathbf{W} - \hat{r}\hat{r}^T\mathbf{W}$$
    Si la dirección es responsable de la vulnerabilidad, esta operación debería eliminar el ataque sin dañar significativamente la precisión en datos limpios.

• Análisis de Propagación y Adversarialidad:

  • Se estudia cómo la información del disparador fluye a través de las capas.
  • Se examina la interacción entre ejemplos adversarios (ataques PGD) y modelos con puerta trasera, midiendo la similitud coseno entre los vectores de perturbación adversaria y la dirección de la puerta trasera.

• Detección Basada en Pesos:

  • Se propone un esquema de detección que no requiere datos de entrada. Analiza la alineación entre las direcciones de lectura de las clases (cabeza del clasificador) y los pesos de las primeras capas para identificar anomalías características de ataques sigilosos.

3. Contribuciones Clave

1. Identificación de Direcciones Lineales: Demostración de que las puertas traseras en ViTs están codificadas en una única dirección lineal dentro del flujo residual del modelo.
2. Mitigación Causal: Validación de que eliminar esta dirección de los pesos del modelo elimina efectivamente la puerta trasera, confirmando su papel causal en el comportamiento del modelo.
3. Diferenciación de Mecanismos: Revelación de diferencias cualitativas en cómo se procesan los disparadores:
   • Los disparadores estáticos (parches) requieren más capas para unificarse en el token [CLS].
   • Los disparadores sigilosos y distribuidos (como WaNet, SSBA, BPP) se detectan en el token [CLS] en capas más tempranas.
4. Relación con Ejemplos Adversarios: Evidencia de que los ejemplos adversarios generados a partir de imágenes envenenadas a menudo "rebotan" hacia la clase original, y que las perturbaciones necesarias para revertir una puerta trasera implican anular la dirección interna de la puerta trasera.
5. Detección sin Datos: Propuesta de un método de detección basado puramente en el análisis de pesos, efectivo para ataques sigilosos (WaNet, BPP) pero menos para ataques de parche estático.

4. Resultados Principales

• Eficacia de la Ortogonalización: En la mayoría de los casos (excepto en ataques mezclados como Blended en CIFAR-100), la eliminación de la dirección de la puerta trasera de los pesos redujo la Tasa de Éxito del Ataque (ASR) a menos del 5%, manteniendo la precisión en datos limpios (CA) casi intacta.
• Comportamiento por Capas:
  • Para ataques con disparadores estáticos (BadNet, TrojanNN), la dirección del disparador es más efectiva en las primeras capas cuando se usan todos los tokens, pero requiere capas intermedias/tardías para unificarse en el token [CLS].
  • Para ataques sigilosos (WaNet, SSBA, BPP), la dirección es detectable en el token [CLS] desde capas más tempranas (alrededor de la capa 5-6), sugiriendo que estos ataques inyectan perturbaciones que son detectables globalmente antes de la integración completa de características.
• Interacción Adversaria: Los ejemplos adversarios que fallan al cambiar la clase objetivo a menudo muestran una alta similitud coseno negativa con la dirección de la puerta trasera en las capas finales, indicando que el ataque adversario está "revertiendo" la lógica de la puerta trasera.
• Detección: El método de detección basado en pesos (Z-score) logró identificar modelos envenenados por ataques sigilosos (WaNet, BPP) con alta precisión, aunque falló en ataques con disparadores de parche visibles (TrojanNN, BadNet).

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cambia el Paradigma de Defensa: Mueve el enfoque de la detección de anomalías en la atención (que es frágil) hacia la comprensión de la representación interna lineal de las vulnerabilidades.
• Herramienta Diagnóstica: Proporciona una metodología robusta para diagnosticar cómo los ViTs procesan amenazas de seguridad, permitiendo diseñar defensas específicas para el tipo de disparador (estático vs. distribuido).
• Defensa Ligera: La propuesta de detección basada en pesos ofrece una solución práctica para auditar modelos ViT sin necesidad de acceso a datos de entrenamiento o de prueba, lo cual es crucial en escenarios de despliegue real donde los datos pueden ser privados o inaccesibles.
• Puente entre Seguridad e Interpretabilidad: Establece un vínculo claro entre la interpretabilidad mecánica (direcciones de características) y la seguridad, demostrando que entender la "geometría" de los ataques es esencial para defenderse de ellos.

En conclusión, el artículo demuestra que la interpretabilidad mecánica ofrece un marco robusto no solo para entender, sino también para mitigar y detectar vulnerabilidades de seguridad en modelos de visión modernos basados en transformadores.