Defending against Patch-Based and Texture-Based Adversarial Attacks with Spectral Decomposition

1. El Problema

Las Redes Neuronales Profundas (DNN), especialmente en tareas de visión por computadora como la detección de objetos, son vulnerables a ejemplos adversariales. Mientras que los ataques digitales tradicionales añaden ruido imperceptible, existen ataques físicamente realizables que representan una amenaza real para aplicaciones de seguridad crítica (sistemas autónomos, vigilancia). Estos se dividen en dos categorías principales:

• Ataques basados en parches (Patch-based): Crean patrones adversariales localizados en una región específica (ej. un parche cuadrado en la ropa).
• Ataques basados en texturas (Texture-based): Crean perturbaciones más pervasivas que cubren toda la superficie del objeto (ej. una camiseta con un patrón adversarial completo).

Limitaciones de las defensas existentes:

1. Falta de robustez ante ataques adaptativos: Muchas defensas actuales fallan cuando el atacante conoce el mecanismo de defensa y diseña el ataque específicamente para evadirlo.
2. Eficacia limitada: La mayoría de las defensas se centran en parches localizados y son menos efectivas contra texturas adversariales más difusas.
3. Dificultad de localización: Los detectores de parches tradicionales luchan para localizar texturas que cubren grandes áreas o que se adaptan dinámicamente.

2. Metodología: Defensa Espectral Adversarial (ASD)

Los autores proponen ASD (Adversarial Spectrum Defense), un mecanismo que utiliza la Transformada Discreta de Wavelet (DWT) para analizar y mitigar perturbaciones adversariales en el dominio de la frecuencia.

Fundamento Teórico

A diferencia de la Transformada de Fourier (DFT), que ofrece información global, la DWT captura información de frecuencia localizada. Esto es crucial porque los ataques físicos (parches y texturas) son perturbaciones localizadas en el espacio.

• Análisis Espectral: Los autores demostraron que tanto los parches como las texturas adversariales exhiben amplitudes significativamente mayores en los coeficientes de detalle de la DWT (componentes de alta frecuencia) en comparación con imágenes benignas.

Arquitectura de ASD

El sistema se integra en una tubería de detección de objetos y consta de tres módulos principales:

1. Enmascaramiento Espectral (ASD Masking):

   • Descomposición: Se aplica una DWT 2D a la imagen de entrada (convertida a escala de grises) para obtener coeficientes de detalle ($D_i$) en múltiples niveles de resolución.
   • Detección: Se calcula la intensidad espectral (norma L2) de los coeficientes de detalle. Se suaviza este mapa para reducir ruido y se aplica un umbral ($\theta_i$) para generar una máscara binaria que identifica las regiones adversariales.
   • Fusión de Bandas: Dado que los patrones pueden aparecer en diferentes bandas de frecuencia, las máscaras de múltiples niveles se submuestrean (upsampling) y se fusionan mediante una operación de unión (union) para crear una máscara final de la imagen original.
   • Preprocesamiento: Las regiones detectadas en la máscara se difuminan (Gaussian blur) para eliminar las perturbaciones de alta amplitud antes de la inferencia.

2. Agregación de Niveles (Level Aggregation):

   • Para manejar objetos de diferentes tamaños (donde un objeto pequeño puede caer en una banda de frecuencia diferente a un objeto grande), el sistema ejecuta el preprocesamiento con múltiples niveles de descomposición ($n_1, n_2, \dots, n_k$).
   • Los resultados de detección de cada nivel se combinan y se aplica Supresión de Máximos No Máximos (NMS) para obtener la salida final.

3. Integración con Entrenamiento Adversarial (AT):

   • ASD se combina con un modelo de Entrenamiento Adversarial (AT) preexistente (entrenado con perturbaciones $l_\infty$).
   • Sinergia: ASD elimina las perturbaciones de alta amplitud (parches/texturas visibles) mediante el preprocesamiento en el dominio de la frecuencia. El modelo AT protege contra perturbaciones de baja amplitud (ruido imperceptible) que podrían evadir la detección espectral pero que son robustas en el espacio de píxeles.

3. Contribuciones Clave

• Nueva Estrategia de Defensa: Propuesta de un enfoque basado en descomposición espectral y fusión multi-frecuencia para defenderse simultáneamente de ataques basados en parches y texturas.
• Compatibilidad con AT: ASD es compatible con modelos de entrenamiento adversarial "fuera de la caja" (off-the-shelf), creando una defensa integral que cubre tanto perturbaciones de alta como baja amplitud.
• Superioridad en Entornos Adaptativos: El método demuestra ser efectivo incluso cuando el atacante tiene conocimiento completo del sistema (ataque de caja blanca) y diseña perturbaciones específicamente para evadir la detección espectral.

4. Resultados Experimentales

Los experimentos se realizaron en modelos de detección de objetos (Faster R-CNN, FCOS, YOLOv8) utilizando ataques adaptativos (caja blanca).

• Rendimiento General: La combinación ASD + AT logró un rendimiento State-of-the-Art (SOTA).
  • Superó a los métodos de defensa anteriores en un 21.73% en términos de AP50 (Precisión Promedio) contra una variedad de ataques físicos y digitales.
  • En el escenario más desafiante (ataque adaptativo contra el modelo ASD), logró un AP50 de 90.04% contra ataques de parche (AdvPatch) y 70.08% contra texturas (AdvTexture), mientras que los métodos baselines cayeron drásticamente (ej. <40% en muchos casos).
• Robustez ante Texturas: A diferencia de los métodos que solo detectan parches, ASD mantuvo una alta eficacia contra texturas adversariales pervasivas (AdvTexture, AdvCaT).
• Mundo Físico: En evaluaciones con videos reales (ataques no adaptativos en el mundo físico), ASD+AT alcanzó un 100% de rendimiento defensivo contra ataques de textura.
• Análisis de Ablación:
  • Sin AT, la defensa cae significativamente (29.22% menos) ante ataques de baja amplitud diseñados para evadir la DWT.
  • La agregación de niveles y el uso de múltiples bandas de frecuencia son esenciales para capturar patrones de diferentes escalas.
  • La DWT es superior a FFT y DCT porque captura tanto la frecuencia como la información espacial local.

5. Significado e Impacto

Este trabajo es significativo porque aborda una brecha crítica en la seguridad de la IA: la defensa contra ataques físicamente realizables que son adaptables y pervasivos.

• Cambio de Paradigma: Mueve la defensa desde la localización puramente espacial (detectar bordes o parches) hacia un análisis espectral-localizado, aprovechando las propiedades matemáticas de las perturbaciones adversariales.
• Defensa Integral: Demuestra que combinar el preprocesamiento en el dominio de la frecuencia (para eliminar señales fuertes) con el entrenamiento adversarial (para robustecer el modelo contra señales débiles) es una estrategia superior a utilizar cualquiera de las dos por separado.
• Aplicabilidad: Ofrece una solución viable para sistemas de seguridad crítica donde la detección de personas en entornos reales (con ropa adversarial o parches) es vital, garantizando que los sistemas autónomos y de vigilancia no puedan ser engañados fácilmente.

En resumen, ASD establece un nuevo estándar en la robustez de la detección de objetos frente a amenazas físicas adaptativas, demostrando que el análisis espectral es una herramienta poderosa y necesaria en el arsenal de defensa contra el adversario.