DiffAttack: Evasion Attacks Against Face Recognition via Latent Diffusion Models

Resumen Técnico: DiffAttack

Planteamiento del Problema

Los sistemas de reconocimiento facial (FR) profundos, aunque efectivos para la autenticación y la vigilancia, poseen fronteras de decisión lo suficientemente estrechas como para ser vulnerables a ataques adversarios. Los métodos adversarios existentes que se dirigen a la biometría facial enfrentan limitaciones significativas:

• Ataques basados en ruido: Aunque a menudo son imperceptibles, carecen de robustez frente a variaciones del mundo real (p. ej., cambios de iluminación) y exhiben una baja transferibilidad entre diferentes modelos.
• Ataques basados en parches: Introducen artefactos visuales conspicuos, comprometiendo el sigilo y haciéndolos inadecuados para el intercambio de imágenes naturales.
• Ataques semánticos/basados en maquillaje: Aunque mejoran la calidad perceptual, a menudo dependen de imágenes de referencia rígidas, claves semánticas manuales o conjuntos de datos de maquillaje a gran escala que introducen sesgo demográfico y limitan la generalización.
• Enfoques basados en GAN: Estos típicamente requieren el reentrenamiento para nuevas identidades objetivo y están limitados por el manifold generativo de la GAN.
• Métodos actuales basados en Difusión: Enfoques como DiffAM o Adv-Diffusion a menudo dependen de la optimización iterativa, el reentrenamiento específico del objetivo o máscaras heurísticas rígidas, lo que conduce a artefactos de frontera y una reducción de la eficiencia.

El desafío central es generar rostros adversarios que sean fotorrealistas, estén alineados de identidad con un objetivo e sean imperceptibles para los observadores humanos, manteniendo al mismo tiempo una alta transferibilidad a través de diversos sistemas de FR de caja negra no vistos.

Metodología: DiffAttack

Los autores proponen DiffAttack, un marco novedoso que realiza la generación adversaria mediante la optimización del espacio latente utilizando un Modelo de Difusión Latente congelado (específicamente Stable Diffusion v2.1).

Arquitectura Central y Proceso

1. Codificación Latente: Una imagen fuente limpia ($x_{src}$) se codifica en una representación latente ($z_{src}$) utilizando un codificador de Autoencoder Variacional (VAE) congelado.
2. Inyección de Ruido: Se añade una cantidad fija de ruido gaussiano en un paso de tiempo específico $t$ para crear una entrada latente ruidosa para la arquitectura U-Net.
3. U-Net Aumentada con LoRA: En lugar de realizar el ajuste fino de los masivos parámetros de la U-Net, el marco inyecta adaptadores de Adaptación de Bajo Rango (LoRA) específicamente en las capas de atención cruzada (proyecciones Q, K, V). Estas matrices ligeras y entrenables se optimizan para redirigir el proceso de difusión hacia la incrustación de identidad objetivo.
4. Bucle de Optimización:
   • La U-Net predice el ruido, permitiendo la reconstrucción del latente limpio ($x_0$).
   • El latente se decodifica para generar el rostro adversario en el espacio de píxeles.
   • Retroalimentación de Múltiples Fuentes: El rostro generado se pasa a través de un ensamble de modelos de FR congelados (IR152, IRSE50, MobileFace) para calcular la distancia de identidad entre el rostro adversario y una identidad objetivo.
   • Retropropagación de Gradiente: Los gradientes de los modelos de FR se retropropagan únicamente a los pesos de LoRA, refinando iterativamente las características adversarias hasta que la fuente es identificada erróneamente como el objetivo.

Función de Pérdida

La optimización minimiza una pérdida multiobjetivo unificada ($L_{total}$):

• Pérdida de Identidad de Ensamble ($L_{id}$): Empuja la incrustación generada hacia la incrustación objetivo utilizando una bisagra de similitud de coseno.
• Guía Direccional ($L_{dir}$): Asegura que el desplazamiento latente siga trayectorias de identidad semántica (fuente $\to$ objetivo) en lugar de atajos superficiales.
• Supresión de la Fuente ($L_{src}$): Penaliza al optimizador para evitar que derive de nuevo hacia la identidad de la fuente original.

Armonización Global

A diferencia de los métodos que utilizan máscaras de segmentación rígidas o mezcla localizada, DiffAttack optimiza la representación latente de la imagen completa. Esto permite que los sesgos generativos del modelo de difusión armonicen naturalmente el cambio de identidad con el fondo, la iluminación y los atributos periféricos originales, eliminando halos de frontera y asegurando el fotorrealismo.

Contribuciones Clave

1. Nuevo Marco de Evasión en el Espacio Latente: Un flujo de trabajo unificado que realiza la optimización en el espacio latente utilizando capas de atención cruzada aumentadas con LoRA. Esto evita artefactos conspicuos del espacio de píxeles y reduce la carga computacional en comparación con el ajuste fino global.
2. Transferibilidad de Caja Negra: Una estrategia de optimización de múltiples fuentes que aprovecha la retroalimentación de caja blanca de diversos backbones de FR sustitutos (IR152, IRSE50, MobileFace). El método inyecta semántica adversaria que se generaliza a objetivos no vistos (p. ej., FaceNet) sin acceso a sus parámetros internos.
3. Armonización de Latente Global: Al optimizar la señal adversaria a través de todo el espacio latente en lugar de usar máscaras localizadas, el marco asegura que el cambio de identidad se integre perfectamente con el contexto circundante, evitando artefactos de frontera.
4. Desempeño de Vanguardia: Evaluaciones extensas en los conjuntos de datos FFHQ y CelebA-HQ demuestran un desempeño superior sobre los métodos existentes basados en ruido, maquillaje y semántica.

Resultados Experimentales

El marco fue evaluado en los conjuntos de datos FFHQ y CelebA-HQ bajo una estricta configuración de caja negra.

• Tasa de Éxito del Ataque (ASR): DiffAttack logró un nuevo estado del arte de ASR promedio de 84.86% a través de múltiples modelos de FR.
  • Superó a los métodos tradicionales basados en ruido por más de un 15.28% y a los enfoques basados en semántica por aproximadamente un 5.21%.
  • Se observaron tasas de éxito específicas altas contra MobileFace (95.03%) e IRSE50 (94.24%).
  • Al atacar a FaceNet como el objetivo de caja negra, el ensamble sustituto consistió en IR152, IRSE50 y MobileFace (excluyendo a FaceNet). Por el contrario, al atacar MobileFace, el ensamble sustituto incluyó FaceNet, IRSE50 e IR151.
• Calidad Perceptual:
  • SSIM: Logró 0.961, indicando una alta similitud estructural con la fuente.
  • PSNR: 24.54 dB, mostrando una inserción sutil de perturbaciones.
  • FID: 27.58, indicando que las imágenes generadas permanecen dentro del manifold de imágenes naturales.
• Comparación Visual: A diferencia de los métodos basados en ruido (que causan "imágenes fantasma") o los métodos basados en maquillaje (que a menudo parecen artificiales), DiffAttack preserva la textura, expresión e iluminación originales de la fuente. Mientras que las puntuaciones de Face++ se utilizan en la Figura 1 para ilustrar la alineación de identidad, las métricas de evaluación formal dependen de los modelos IR152, IRSE50, MobileFace y FaceNet.

Significado y Reivindicaciones

El artículo afirma que DiffAttack representa un avance significativo en la evaluación de la seguridad biométrica al demostrar que la optimización del espacio latente con LoRA puede generar ejemplos adversarios que son tanto altamente efectivos contra sistemas de caja negra como visualmente indistinguibles de fotografías genuinas para los observadores humanos.

Los autores enfatizan que su trabajo está destinado al análisis de seguridad defensiva y la protección de la privacidad. Al revelar estas vulnerabilidades, la investigación tiene como objetivo informar el desarrollo de sistemas de verificación biométrica más robustos capaces de resistir amenazas avanzadas de IA generativa. El estudio se adhiere estrictamente a las directrices éticas, utilizando únicamente conjuntos de datos de investigación públicos y absteniéndose de liberar pesos preentrenados específicos para la suplantación de identidad individual.