Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

Resumen Técnico: SSNI para Purificación Adversarial

1. El Problema

Las redes neuronales profundas (DNN) son vulnerables a ejemplos adversarios, que son entradas manipuladas con ruido imperceptible para engañar al modelo. Una estrategia defensiva prometedora es la Purificación Adversarial (AP), que utiliza modelos generativos para eliminar el ruido adversario antes de la clasificación.

Dentro de este campo, los métodos de Purificación Basada en Difusión (DBP) han ganado popularidad. Estos métodos funcionan en dos pasos:

1. Proceso Forward: Inyectan ruido gaussiano en la muestra de entrada (adversaria) hasta cierto nivel de tiempo $t^*$.
2. Proceso Reverse: Utilizan un modelo de difusión preentrenado para "desechar" el ruido y recuperar la imagen limpia.

La limitación crítica: Los métodos DBP existentes (como DiffPure, GDMP, GNS) utilizan un nivel de ruido constante ($t^*$) compartido por todas las muestras. Los autores identifican que este enfoque es subóptimo porque:

• Si $t^*$ es demasiado bajo, el ruido adversario no se elimina lo suficiente, comprometiendo la robustez.
• Si $t^*$ es demasiado alto, se destruye la información semántica de la imagen (incluso en ejemplos limpios), degradando la precisión en datos limpios.
• Observación clave: El nivel de ruido óptimo $t^*$ varía según la muestra. Una imagen más limpia necesita menos ruido inyectado, mientras que una imagen altamente perturbada necesita más.

2. Metodología Propuesta: SSNI

Para abordar esto, los autores proponen SSNI (Sample-specific Score-aware Noise Injection), un marco que ajusta dinámicamente el nivel de ruido $t^*$ para cada muestra individualmente.

Componentes Clave:

• Norma del Score (Score Norm):

  • Se basa en la premisa de que la norma del gradiente de la densidad de probabilidad logarítmica ($\|\nabla_x \log p_t(x)\|$), conocida como score norm, mide la desviación de un punto de datos respecto a la distribución de datos limpios.
  • Hipótesis: Las muestras adversarias (con perturbaciones grandes) tienen normas de score más altas que las muestras limpias.
  • Métrica: Se utiliza una red de score preentrenada para estimar esta norma. Para evitar la sensibilidad a un nivel de ruido de referencia fijo, se emplea el Expected Perturbation Score (EPS), que promedia los scores a través de un espectro de niveles de ruido.

• Función de Reponderación (Reweighting Function):

  • Basándose en la norma del score calculada, SSNI aplica una función para ajustar el $t^*$ global original a un $t^*$ específico para la muestra ($t(x)$).
  • Se proponen dos funciones de reponderación:
    1. Lineal: Ajusta $t^*$ proporcionalmente a la norma del score.
    2. No Lineal (Sigmoide): Utiliza una función sigmoide para suavizar la transición entre niveles de ruido bajos y altos, controlada por un coeficiente de temperatura $\tau$.
  • Término de Sesgo (Bias): Se añade un término de sesgo ($b$) para permitir que el $t^*$ reponderado supere el $t^*$ original si es necesario para eliminar perturbaciones fuertes, sin sacrificar la precisión en datos limpios.

• Flujo de Trabajo:

  1. Calcular la norma del score (EPS) para la muestra de entrada.
  2. Aplicar la función de reponderación para obtener $t(x)$.
  3. Ejecutar el proceso forward de difusión hasta el tiempo $t(x)$.
  4. Ejecutar el proceso reverse para purificar la imagen.
  5. Clasificar la imagen purificada.

3. Contribuciones Clave

1. Descubrimiento Empírico: Demostraron que un nivel de ruido óptimo único no existe para todas las muestras; la purificación óptima requiere una adaptación a nivel de muestra.
2. Marco General (SSNI): Propusieron un marco agnóstico al método que se puede integrar con cualquier método DBP existente (DiffPure, GDMP, GNS) para mejorar su rendimiento.
3. Mejora del Compromiso Precisión-Robustez: SSNI logra inyectar menos ruido en muestras limpias (preservando la precisión) y más ruido en muestras adversarias (aumentando la robustez), resolviendo el dilema tradicional de la purificación.
4. Eficiencia Computacional: El proceso de reponderación es ligero, añadiendo un sobrecosto computacional mínimo (aprox. 0.5s en CIFAR-10 y 5s en ImageNet) comparado con los métodos base.

4. Resultados Experimentales

Los autores evaluaron SSNI en los conjuntos de datos CIFAR-10 e ImageNet-1K contra ataques adaptativos de caja blanca (PGD+EOT, BPDA+EOT, AutoAttack, DiffAttack).

• Rendimiento en CIFAR-10:
  • Al combinarse con DiffPure, SSNI-N (versión no lineal) mejoró la precisión estándar en un 3.58% (de 89.71% a 93.29%) sin sacrificar la robustez.
  • En GDMP, mejoró la precisión estándar en un 1.63% y la robustez en un 4.23%.
  • En GNS, mejoró tanto la precisión estándar como la robustez significativamente.
• Rendimiento en ImageNet-1K:
  • Mostró mejoras consistentes en precisión estándar y robustez frente a ataques PGD+EOT ($\epsilon = 4/255$), demostrando escalabilidad a grandes conjuntos de datos.
• Generalización: SSNI funcionó bien bajo diferentes tipos de ataques (AutoAttack, Diff-PGD) y con diferentes arquitecturas de clasificadores (WideResNet, ResNet, y Swin-Transformer).
• Ablación: Se demostró que el uso de la norma del score (EPS) es superior al uso de una sola norma de score, y que el ajuste del parámetro de temperatura $\tau$ es crucial para optimizar el equilibrio.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la defensa adversarial basada en difusión.

• Cambio de Paradigma: Desplaza el enfoque de "talla única" (one-size-fits-all) hacia una purificación adaptativa y específica por muestra.
• Viabilidad Práctica: Al ser un módulo ligero que se puede añadir a métodos existentes sin reentrenar los modelos de difusión o los clasificadores, SSNI es altamente práctico para su implementación en sistemas reales.
• Fundamento Teórico: Establece una conexión teórica y empírica entre la distancia de la distribución de datos (medida por la norma del score) y la cantidad de ruido necesaria para la purificación, abriendo nuevas vías para futuras investigaciones en la optimización de procesos de difusión para seguridad.

En conclusión, SSNI demuestra que la inteligencia en la selección del nivel de ruido, basada en la "salud" de la muestra (su desviación de la distribución limpia), es la clave para desbloquear el verdadero potencial de los modelos de difusión en la defensa adversarial.