Resumen Técnico: Adv-TGD: Difusión Guiada por Texto Adversaria para Ataques de Suplantación de Identidad en el Reconocimiento Facial

1. Planteamiento del Problema

El despliegue generalizado de sistemas de Reconocimiento Facial (FR) en la autenticación, la vigilancia y las redes sociales ha planteado importantes preocupaciones de privacidad, permitiendo potenciales robos de identidad y vigilancia no autorizada. Si bien se han desarrollado ataques adversarios para exponer las vulnerabilidades de estos sistemas, los métodos existentes enfrentan un compromiso entre la eficacia del ataque y el realismo visual.

• Ataques basados en ruido y parches: A menudo producen artefactos visibles, lo que los hace inadecuados para el intercambio de imágenes naturales.
• Edición basada en GAN: Mejoró el realismo, pero sufrió de una generalización limitada y requirió un reentrenamiento específico para cada objetivo.
• Ataques basados en difusión: Trabajos recientes (por ejemplo, DiffProtect, Adv-Diffusion, Adv-CPG) ofrecen un alto realismo, pero típicamente dependen de la optimización iterativa y del ajuste fino específico para el objetivo, lo que limita su eficiencia y capacidad de edición.

Los autores proponen Adv-TGD, un marco diseñado para generar imágenes faciales fotorealistas que suplanten con éxito identidades objetivo para engañar a múltiples modelos de FR, preservando al mismo tiempo una alta fidelidad visual y consistencia estructural con la imagen de origen.

2. Metodología

Adv-TGD se basa en Stable Diffusion v2.1 y emplea una estrategia de ajuste fino de LoRA (Adaptación de Bajo Rango) por muestra y por par para cada par de identidad origen-objetivo. La innovación central radica en la optimización de adaptadores de atención cruzada ligeros para cada par de identidad origen-objetivo dentro de un proceso de eliminación de ruido de un solo paso, en lugar de depender de una optimización iterativa de múltiples pasos.

Componentes Clave:

• Enmascaramiento Semántico Guiado por Saliencia (SGSM): Una estrategia de enmascaramiento híbrida que fusiona prior even de puntos de referencia anatómicos (convex hulls de ojos, nariz, boca, mandíbula) con mapas de saliencia de gradiente de conjunto derivados de modelos de FR. Esta máscara localiza las ediciones en regiones críticas de la identidad mientras las mantiene estrictamente dentro de la anatomía facial para evitar artefactos de fondo ("ghosting").
• Generación Automática de Prompts Semánticos: El marco utiliza LLaVA (Asistente de Lenguaje y Visión de Gran Escala) para generar automáticamente prompts de texto descriptivos a partir de la imagen objetivo. Estos prompts capturan atributos de alto nivel (peinado, accesorios, estructura facial) para guiar al modelo de difusión, eliminando la necesidad de ingeniería de prompts manual.
• Optimización de LoRA de Paso Único: Para cada par origen-objetivo, se insertan adaptadores LoRA en las proyecciones de atención cruzada de la U-Net ($to\_q, to\_k, to\_v, to\_out.0$). El VAE, el codificador de texto y la U-Net base permanecen congelados. La optimización ocurre en un solo paso de eliminación de ruido utilizando una fracción de índice de difusión fija.
• Objetivo Adversario Unificado: La pérdida de entrenamiento es un compuesto de:
  1. Reconstrucción $\epsilon$-MSE Enmascarada: Restringe la eliminación de ruido a la región latente facial.
  2. Divergencia de Identidad con Umbral: Empuja la similitud del embedding generado por encima de un umbral de verificación (usando una pérdida de bisel softmin sobre un conjunto de modelos de FR).
  3. Alineación de Características Direccional: Alienta que el cambio de identidad siga el vector desde el origen hacia el objetivo en el espacio de embeddings, evitando la deriva aleatoria.
  4. Supresión de Similitud de Origen: Evita que el optimizador revierta a la identidad de origen.
  5. Guía de Texto en Etapa Tardía: Una pérdida basada en CLIP aplicada en iteraciones tardías para mantener la consistencia de atributos (por ejemplo, color de cabello) sin reintroducir pistas de identidad.
• Post-procesamiento: Para asegurar el fotorealismo, el método emplea alineación inversa para mapear el rostro editado de vuelta a la pose original e interpolación fluida (Poisson/Normal Clone) para mezclar el resultado con el fondo de origen, eliminando artefactos de borde y cambios de tono.

3. Contribuciones Clave

El artículo describe las siguientes contribuciones primarias:

1. Difusión Adversaria Condicionada por Texto: Un marco que aprovecha la guía de lenguaje natural y adaptadores LoRA ligeros para generar identidades con desplazamiento de identidad visualmente coherentes en un solo paso.
2. Prompting Semántico Automático: Integración de LLaVA para generar prompts descriptivos finos automáticamente, mejorando la consistencia de atributos y eliminando la intervención manual.
3. Enmascaramiento Semántico Guiado por Saliencia (SGSM): Una novedosa estrategia de enmascaramiento híbrido que combina prior even anatómicos con saliencia de gradiente para lograr una localización de identidad precisa y contigua sin anotación manual.
4. Objetivo Adversario Unificado: Una función de pérdida compuesta basada en principios que equilibra la eliminación de ruido enmascarada, la alineación de identidad, la supresión de origen y la consistencia semántica para maximizar la dispersión de la atención espacial en los modelos de FR.
5. Generalización de Arquitectura Cruzada: Demostración de que el marco es agnóstico a la arquitectura, extendiéndose con éxito a modelos basados en UNet (Stable Diffusion 1.5/2.1) y modelos basados en transformadores (FLUX.1), así como a tareas de clasificación de objetos generales.
6. Realismo y Robustez: Logro de un rendimiento de suplantación de estado del arte manteniendo una alta fidelidad visual (PSNR = 27.15 dB, SSIM = 0.981).

4. Resultados Experimentales

Los autores evaluaron Adv-TGD bajo un entorno de transferencia de caja negra contra cuatro modelos de FR robustos: IR152, IRSE50, MobileFace y FaceNet.

• Tasa de Éxito de Ataque (ASR): Adv-TGD logró un ASR promedio del 85.90% a través de los modelos probados. Esto supera la línea base semántica SOTA (Adv-CPG) por +6.25 puntos, el método de maquillaje basado en difusión (DiffAIM) por +3 puntos y el método basado en ruido P3-Mask por +16 puntos.
• Fidelidad Visual: El método alcanzó un PSNR de 27.15 dB y un SSIM de 0.981, superando a las líneas base en preservación estructural y consistencia a nivel de píxel, lo cual es crítico para una mezcla fluida.
• Evaluación de API Comercial: Al probarse contra la API de verificación comercial Face++, Adv-TGD generó consistentemente imágenes con puntuaciones de confianza más altas para la verificación de identidad objetivo en comparación con otros métodos.
• Generalización:
  • In-the-Wild: Aplicado con éxito al conjunto de datos LADN (variaciones de maquillaje, iluminación, pose), manteniendo un fuerte ASR.
  • Clasificación de Objetos: Extendido para atacar modelos de clasificación de ImageNet (ResNet-50), demostrando universalidad más allá del reconocimiento facial.
  • Arquitectura: Validado en Stable Diffusion 1.5 y FLUX.1 (ajuste de flujo basado en transformadores), confirmando la adaptabilidad del método a diferentes backbones generativos.

5. Significado y Reivindicaciones

El artículo afirma que Adv-TGD representa un paradigma práctico y efectivo para la manipulación facial adversaria. Su importancia radica en:

• Unificar Controlabilidad y Realismo: Logra equilibrar la controlabilidad semántica (vía texto y LoRA), el fotorealismo y la robustez contra el FR no autorizado, abordando las limitaciones de los ataques anteriores iterativos o visualmente intrusivos.
• Revelar Vulnerabilidades Sistémicas: Los resultados resaltan una vulnerabilidad previamente poco explorada en los sistemas modernos de FR contra ataques de difusión generativa, particularmente aquellos que utilizan adaptación localizada guiada por texto.
• Eficiencia: Al utilizar el ajuste fino de LoRA de un solo paso, el marco ofrece una alternativa más eficiente a los métodos de optimización iterativa de múltiples pasos.
• Perspectiva Defensiva: Los autores posicionan este trabajo como una herramienta para comprender las vulnerabilidades para mejorar la robustez de los sistemas biométricos, señalando que el ataque apunta a las características estructurales de baja a media frecuencia para dispersar la atención espacial del modelo de FR.

Los autores concluyen que la adaptación de LoRA por par, guiada por texto, ofrece un enfoque unificado para la suplantación de identidad adversaria que es tanto explicable como altamente efectivo, lo que requiere el desarrollo de defensas biométricas más robustas contra ataques generativos.