STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

Resumen Técnico: STRAP-ViT

1. El Problema: Vulnerabilidad de los ViT ante Parches Adversariales

Los Vision Transformers (ViT) son arquitecturas fundamentales en la visión por computadora moderna, pero presentan una vulnerabilidad crítica ante parches adversariales. Estos son patrones de ruido localizados, físicamente realizables (como una pegatina impresa), que pueden ser colocados en una imagen para engañar al modelo.

• Mecanismo de Ataque: A diferencia de las CNN, los ViT utilizan un mecanismo de auto-atención global. Un parche adversarial de alto contraste puede "secuestrar" esta atención, atrayendo el foco del modelo hacia una región pequeña y corruptiendo el token de clase (class token). Esto fuerza una clasificación errónea con alta confianza, incluso si el parche cubre una fracción mínima de la imagen.
• Limitaciones de las Defensas Actuales: Las defensas existentes (entrenamiento adversarial, detección de parches, suavizado certificado) suelen ser computacionalmente costosas, requieren reentrenamiento del modelo o son frágiles ante ataques adaptativos.

2. Metodología: STRAP-ViT

El artículo propone STRAP-ViT, un mecanismo de defensa no entrenable (plug-and-play) que opera exclusivamente durante la inferencia. La estrategia se basa en la premisa de que los tokens que superponen el ruido adversarial tienen propiedades estadísticas distintas a los tokens de la imagen limpia.

El sistema funciona en dos fases principales:

A. Detección: Segregación de Tokens (Token Segregation)

• Principio: Los tokens afectados por el parche muestran una distribución de canales diferente y una mayor entropía en comparación con los tokens limpios.
• Métrica: Se utiliza la Divergencia de Jensen-Shannon (JSD) para medir la discrepancia entre la distribución de probabilidad de un token específico y una distribución de referencia limpia.
• Proceso:
  1. Se calcula el JSD (específicamente su raíz cuadrada, que es una métrica real) para cada token en la capa del ViT.
  2. Se identifican los tokens con las puntuaciones de JSD más altas, indicando que son anómalos.
  3. Se seleccionan los $K$ tokens con mayor puntuación (donde $K$ es un hiperparámetro) para su transformación. El valor de $K$ se elige para cubrir al menos el 50% del área del parche adversarial.

B. Mitigación: Transformación de Tokens (Token Transformation)

• Objetivo: Neutralizar la información maliciosa dentro de los tokens detectados sin afectar significativamente a los tokens limpios.
• Estrategia Aleatoria: En lugar de aplicar una transformación fija, se utiliza una composición aleatoria de transformaciones para cada token anómalo. Esto impide que un atacante pueda adaptar su parche para ser inmune a una transformación específica (ataque adaptativo).
• Transformaciones Disponibles:
  1. Proyección $L_p$: Limita la energía extrema de los canales.
  2. Contracción Afín: Reduce la magnitud del vector mediante una transformación afín acotada.
  3. Transformación de Simplex (Softmax con temperatura): Suaviza los picos de activación y repondera los canales.
• Flujo: Los tokens transformados se reintegran al flujo de inferencia del ViT junto con los tokens no afectados, permitiendo que el modelo complete la clasificación.

3. Contribuciones Clave

1. Enfoque sin Entrenamiento: STRAP-ViT es un bloque plug-and-play que no requiere reentrenamiento del modelo base ni costo computacional adicional de entrenamiento.
2. Agnosticismo: Funciona con cualquier arquitectura basada en ViT (ej. ViT-base-16, DinoV2) y es agnóstico al tipo de parche adversarial.
3. Detección en Espacio Semántico: A diferencia de métodos que operan en el espacio de píxeles, STRAP-ViT detecta anomalías directamente en el espacio de características semánticas (tokens), lo que lo hace más alineado con el razonamiento interno del modelo.
4. Robustez Adaptativa: El uso de composiciones aleatorias de transformaciones dificulta enormemente la generación de parches adversariales que sean inmunes a la defensa.

4. Resultados Experimentales

El método fue evaluado en múltiples configuraciones:

• Modelos: ViT-base-16 y DinoV2.
• Datasets: ImageNet y CalTech-101.
• Ataques: Adversarial Patch, LAVAN, GDPA y RP2 (múltiples parches).

Hallazgos Principales:

• Alta Precisión Robusta: STRAP-ViT logra recuperar la precisión del modelo a niveles cercanos a la línea base limpia (dentro de un rango de 2-3% de diferencia), superando significativamente a las defensas sin protección.
  • Ejemplo: En ImageNet con ViT-base-16 contra un parche de 40x40, la precisión sin defensa cae al 3.6%, mientras que con STRAP-ViT se recupera al 78.8%.
• Mínimo Impacto en Datos Limpios: La aplicación del método en imágenes limpias (sin ataques) reduce la precisión en menos del 2%, demostrando que la detección es precisa y no genera muchos falsos positivos.
• Superioridad frente al Estado del Arte: En la comparación con técnicas como Smoothed ViT, JEDI, PatchCleanser y ODDR, STRAP-ViT obtuvo las mejores métricas de precisión robusta (ej. 78.8% vs 70.6% de JEDI).
• Resistencia a Múltiples Parches: El método también fue efectivo contra el ataque RP2, que utiliza múltiples parches distribuidos en la imagen, ajustando el hiperparámetro $K$ para cubrir todas las amenazas.

5. Significado y Conclusión

STRAP-ViT representa un avance significativo en la seguridad de los ViT al ofrecer una defensa eficiente, escalable y de bajo costo computacional.

• Eficiencia: El costo de inferencia adicional es mínimo, ya que solo se procesan un pequeño subconjunto de tokens (aprox. 1-4% del total) y las operaciones son mucho más ligeras que los bloques de transformación del ViT.
• Aplicabilidad Práctica: Al ser un módulo de inferencia que no requiere reentrenamiento, es ideal para proteger modelos desplegados en entornos críticos (vehículos autónomos, vigilancia, reconocimiento facial) donde el reentrenamiento es costoso o imposible.
• Futuro: Los autores sugieren que esta metodología podría extenderse a Modelos de Lenguaje Grandes (LLM) y Modelos de Lenguaje Visuales Grandes (LVLM), protegiendo también a estas arquitecturas multimodales de ataques de inyección de tokens.

En resumen, STRAP-ViT demuestra que es posible mitigar eficazmente los ataques de parches adversariales en ViT mediante la explotación de las propiedades estadísticas de los tokens y la aplicación de transformaciones aleatorias, logrando un equilibrio óptimo entre seguridad y rendimiento.