Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

Resumen Técnico: Mejora del Desmorfado Facial de Imagen Única mediante Modelos de Lenguaje Grandes Multimodales

Enunciado del Problema
Los sistemas de reconocimiento facial enfrentan una vulnerabilidad crítica ante ataques de morfado, donde se crea una imagen compuesta para coincidir simultáneamente con múltiples identidades, facilitando el fraude de identidad y el acceso no autorizado. Si bien los métodos existentes de Detección de Ataques de Morfado (MAD) pueden identificar si una imagen ha sido morfada, generalmente no logran recuperar las caras o identidades originales constituyentes, lo que limita su utilidad forense. Este artículo aborda el desafío del desmorfado facial de imagen única sin referencia: la tarea de descomponer una única imagen morfada en sus dos caras originales constituyentes sin acceso a una imagen de referencia confiable. Este es un problema inverso mal planteado, ya que teóricamente infinitos pares de caras podrían generar la misma morfada, especialmente cuando la morfada se crea utilizando modelos generativos avanzados (por ejemplo, StyleGAN, modelos de difusión) que entrelazan características de identidad en espacios latentes.

Metodología
Los autores proponen un marco novedoso que replantea el desmorfado facial como un problema de generación condicional acoplada guiada semánticamente. El núcleo del enfoque implica un Modelo Probabilístico de Difusión Denoising (DDPM) acoplado que opera directamente en el dominio RGB, potenciado por Modelos de Lenguaje Grandes Multimodales (MLLM) para el condicionamiento semántico.

1. Proceso de Difusión Acoplado: A diferencia de métodos anteriores que reconstruyen caras de forma independiente o operan en espacios latentes comprimidos, este método trata las dos caras constituyentes como una entidad emparejada $(i_1, i_2)$. El proceso de difusión hacia adelante añade ruido al espacio conjunto de 6 canales (dos imágenes de 3 canales) simultáneamente. Esto impone una dependencia entre las salidas, asegurando que el proceso inverso de eliminación de ruido genere ambas caras conjuntamente, preservando así la relación inherente establecida por el proceso de morfado y evitando soluciones degeneradas (por ejemplo, emitir la morfada dos veces).
2. Condicionamiento Guiado por MLLM: En lugar de depender únicamente de la generación de texto o de características visuales crudas, el método extrae representaciones de estados ocultos de capas intermedias de transformadores de un MLLM preentrenado (específicamente Qwen3-VL y LLaVA-1.6). Estos embeddings capturan razonamiento semántico de alto nivel sobre atributos faciales, pistas de identidad y características estructurales.
   • Los estados ocultos del MLLM se proyectan e inyectan en el UNet de difusión mediante mecanismos de atención cruzada.
   • Crucialmente, el método evita el ciclo con pérdida de generar texto y volver a codificarlo; utiliza directamente las capacidades de razonamiento multimodal internas del MLLM para guiar la red de eliminación de ruido.
3. Operación en el Dominio RGB: El modelo de difusión opera directamente sobre datos de píxeles (resolución de 256x256) en lugar de espacios latentes. La entrada a la red de eliminación de ruido en cada paso consiste en el par objetivo ruidoso concatenado con la imagen morfada original (9 canales en total), permitiendo que la red atienda a detalles perceptivos finos (cabello, fondo, texturas) a menudo perdidos en las representaciones latentes.

Contribuciones Clave

• Marco sin Referencia Impulsado por Prompts: Los autores introducen un sistema de desmorfado sin referencia que aprovecha los MLLM para inyectar razonamiento semántico de alto nivel en el proceso de reconstrucción.
• Generación Condicional Acoplada: Formulan el problema como una tarea de generación conjunta, permitiendo la reconstrucción simultánea de dos identidades distintas a partir de una sola morfada manteniendo la consistencia.
• Estrategia de Condicionamiento Novel: Se introduce una nueva estrategia que utiliza estados ocultos intermedios del MLLM como señales de condicionamiento, combinando la guía semántica con el condicionamiento directo de morfado en el dominio RGB.
• Análisis de Ablación Exhaustivo: El estudio proporciona un análisis extenso sobre el impacto de las profundidades de los embeddings del MLLM (capas inicial, media, final), la superioridad del desmorfado en el dominio RGB sobre el de espacios latentes, y los beneficios de los embeddings completos del MLLM frente a las características crudas de ViT.

Resultados
El método propuesto fue evaluado en múltiples puntos de referencia que cubren técnicas de morfado basadas en hitos (AMSL, OpenCV, FaceMorph, WebMorph) y basadas en aprendizaje (StyleGAN, MorDiff).

• Restauración de Identidad: En morfados basados en hitos, el método logra una Precisión de Restauración (RA) superior al 96% con una Tasa de Falsas Coincidencias (FMR) estricta del 0.1%, utilizando tanto los emparejadores ArcFace como AdaFace.
• Morfados Generativos: En morfados de StyleGAN desafiantes, el método supera significativamente a las líneas base existentes. Por ejemplo, logra una RA del 9.13% a una FMR del 0.1% (ArcFace), una mejora sustancial sobre los métodos anteriores basados en GAN (por ejemplo, lc-GAN con 2.12%).
• Fidelidad de Imagen: El método demuestra una calidad perceptual superior, con ganancias de PSNR de 6–9 dB sobre los métodos existentes en diversos conjuntos de datos.
• Rendimiento de Recuperación: En tareas de recuperación con una gran galería de distractores, el método logra un 94.67% de mAP@1, superando a todos los enfoques competidores, particularmente en morfados de StyleGAN donde mejora el mAP@1 en más del 8% en comparación con el siguiente mejor método.

Significado y Afirmaciones
El artículo afirma que su principal significado radica en cambiar el paradigma del desmorfado desde una optimización puramente basada en píxeles o en espacios latentes hacia una generación guiada semánticamente. Al aprovechar las capacidades de razonamiento de los MLLM, el método puede desentrelazar identidades que están fuertemente entrelazadas en morfados generativos modernos.

Los autores enfatizan que:

1. Las capas intermedias del MLLM codifican las representaciones más discriminativas de identidad, equilibrando el detalle estructural y la abstracción semántica.
2. El desmorfado en el dominio RGB es fundamentalmente superior a los enfoques de espacios latentes para esta tarea, ya que preserva las pistas espaciales finas necesarias para la recuperación de la identidad.
3. El condicionamiento directo con estados ocultos es más efectivo que el condicionamiento basado en texto, ya que evita cuellos de botella de información y retiene pistas visuales sutiles.

El trabajo concluye que integrar semánticas de modelos fundacionales con reconstrucción generativa ofrece una solución robusta para la seguridad biométrica, particularmente en escenarios forenses donde no hay imágenes de referencia disponibles. Los autores reconocan que persisten desafíos en el manejo de morfados generativos altamente entrelazados y en la reducción del costo computacional del condicionamiento con MLLM, pero los resultados establecen un nuevo estado del arte para el desmorfado facial sin referencia.