FlowPure: Continuous Normalizing Flows for Adversarial Purification

1. El Problema: Robustez Adversarial y Purificación

A pesar de los avances en el aprendizaje automático, las redes neuronales profundas siguen siendo vulnerables a ataques adversariales: pequeñas perturbaciones en las entradas diseñadas para engañar al modelo y causar predicciones incorrectas.

Una estrategia prometedora para defenderse es la purificación adversarial (Adversarial Purification - AP), que busca eliminar estas perturbaciones en el momento de la inferencia (antes de la clasificación), en lugar de reentrenar el modelo (como en el entrenamiento adversarial).

• Estado del arte actual: Los métodos más avanzados utilizan modelos de difusión. Estos inyectan ruido gaussiano en la muestra adversarial (proceso hacia adelante) para diluir la perturbación y luego aprenden a eliminar ese ruido (proceso inverso) para reconstruir una muestra limpia.
• Limitaciones: Los métodos basados en difusión a menudo sufren una pérdida de precisión en datos benignos (no atacados) debido a la destrucción de información semántica durante la inyección de ruido. Además, su robustez en escenarios de "caja blanca" (donde el atacante conoce el mecanismo de defensa) ha sido sobreestimada y es vulnerable a ataques adaptativos como DiffHammer.

2. Metodología: FlowPure

Los autores proponen FlowPure, un método de purificación que utiliza Flujos Normalizantes Continuos (CNFs) entrenados con Flow Matching (FM), específicamente Conditional Flow Matching (CFM). A diferencia de los modelos de difusión que dependen de un proceso estocástico fijo, FlowPure aprende un mapeo determinista o estocástico directo entre distribuciones.

El enfoque se divide en dos variantes principales:

A. FlowPure Determinista

• Concepto: Aprende una transformación continua directa desde las muestras adversariales ($x_0$) hasta sus contrapartes limpias ($x_1$).
• Entrenamiento: Se entrena utilizando pares de datos $(x_{adversarial}, x_{clean})$ generados mediante ataques específicos (ej. PGD o CW). El objetivo es minimizar la pérdida de Flow Matching ($L_{CFM}$), aprendiendo un campo de velocidad $v_\theta$ que transporte las muestras a lo largo de trayectorias de Transporte Óptimo (OT) (líneas rectas).
• Ventaja: Al aprender directamente la transformación, puede aprovechar el conocimiento específico del ataque, ofreciendo una purificación muy precisa sin degradar la precisión en datos limpios.

B. FlowPure Estocástico (Variante Gaussiana)

• Concepto: Diseñado para amenazas desconocidas o adaptativas. Utiliza un modelo generativo CNF preentrenado que mapea una distribución gaussiana a los datos reales.
• Inferencia: Sigue un proceso similar a la difusión (empujar la muestra hacia el ruido y luego reconstruir), pero introduce un procedimiento estocástico novedoso (ver Algoritmo 1 en el paper).
• Mecanismo clave: En lugar de seguir una trayectoria determinista, inyecta ruido controlado en los estados intermedios de la integración de la EDO (Ecuación Diferencial Ordinaria). Esto aumenta la incertidumbre para el atacante, dificultando que los ataques adaptativos (basados en gradientes) exploren trayectorias vulnerables.

C. Detección de Ataques

FlowPure también se utiliza como detector. La intuición es que las muestras adversariales, al estar fuera de la variedad de datos reales, requieren una velocidad inicial mayor ($||v_\theta||^2$) para ser transportadas hacia la distribución limpia en comparación con las muestras benignas. Un umbral en esta velocidad permite identificar ataques con alta precisión.

3. Contribuciones Clave

1. Primera aplicación de CNFs en Purificación: Introducen FlowPure como el primer método que aplica Flujos Normalizantes Continuos para purificar ejemplos adversariales, superando las limitaciones de los procesos estocásticos fijos de la difusión.
2. Dos Variantes Adaptativas:
   • Una variante determinista que utiliza conocimiento del ataque para maximizar la robustez en amenazas conocidas sin sacrificar precisión.
   • Una variante estocástica que ofrece robustez de amplio espectro ante ataques desconocidos o adaptativos.
3. Detección Eficiente: Demuestran que el campo de velocidad aprendido puede servir como un detector de adversarios casi perfecto, especialmente contra ataques PGD.
4. Evaluación Rigurosa: Evalúan el método en escenarios realistas (caja negra/preprocesador ciego) y en el peor de los casos (caja blanca totalmente adaptativa con ataques como BPDA y DiffHammer).

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CIFAR-10 y CIFAR-100 utilizando un clasificador WideResNet-28-10.

• Escenario Preprocesador Ciego (Blind):

  • FlowPure (variante determinista) supera a los métodos basados en difusión (DiffPure, GDMP, LM, ADBM) en robustez contra ataques PGD y CW.
  • Preservación de Precisión: A diferencia de los baselines que sufren caídas en la precisión de datos limpios, FlowPure mantiene o incluso mejora ligeramente la precisión estándar (ej. 96.00% en CIFAR-10 vs 89.99% de DiffPure).
  • Detección: Logra un AUC (área bajo la curva) casi perfecto (cercano a 1.0) para detectar ataques PGD, superando significativamente a métodos de detección basados en aprendizaje auto-supervisado como BEYOND.

• Escenario Caja Blanca Adaptativa (Worst-Case):

  • Bajo el ataque DiffHammer (el estado del arte actual para romper defensas de difusión), todas las defensas sufren una caída drástica en la robustez.
  • Sin embargo, la variante estocástica de FlowPure demuestra ser la más robusta entre todas las evaluadas, superando a DiffPure y otros métodos, aunque ninguna defensa es completamente inmune en este escenario extremo.
  • Se observa que FlowPure tiene menos "enmascaramiento de gradientes" (gradient masking) que otros métodos, lo que sugiere que su menor rendimiento en caja blanca es una limitación real y no un artefacto de evaluación.

• Transferibilidad: La variante entrenada con PGD muestra buena capacidad de generalización a ataques CW, mientras que la variante estocástica ofrece el mejor equilibrio para amenazas desconocidas.

5. Significado y Conclusión

FlowPure representa un cambio de paradigma en la purificación adversarial al sustituir los procesos de difusión estocásticos por flujos continuos deterministas o estocásticos controlados.

• Impacto Práctico: Ofrece una solución viable para entornos reales donde el atacante no conoce el mecanismo de defensa (escenario preprocesador ciego), logrando una robustez superior sin el costo habitual de reducir la precisión en datos normales.
• Doble Funcionalidad: Su capacidad dual como purificador y detector de alta precisión añade una capa de seguridad adicional.
• Realismo: El trabajo destaca la importancia de evaluar defensas bajo amenazas realistas (caja negra) en lugar de solo en escenarios de caja blanca extrema, donde incluso las mejores defensas actuales colapsan.

En resumen, FlowPure demuestra que los modelos generativos basados en flujos (Flow Matching) son una alternativa superior a los modelos de difusión para la tarea de purificación adversarial, ofreciendo un mejor equilibrio entre robustez, precisión y capacidad de detección.