Resumen Técnico: Traducción de Imágenes Faciales Térmicas Guiada por Múltiples Atributos basada en Modelo de Difusión Latente

Enunciado del Problema

Los sistemas de vigilancia modernos dependen cada vez más de cámaras térmicas para operaciones nocturnas, sin embargo, la mayoría de los modelos de reconocimiento facial se entrenan con conjuntos de datos de luz visible. Este cambio de dominio provoca una degradación significativa del rendimiento al procesar entradas infrarrojas. Los métodos tradicionales basados en características para el Reconocimiento Facial Heterogéneo (HFR) han demostrado ser ineficaces debido a la información escasa y la baja resolución de las imágenes térmicas. Aunque las Redes Generativas Adversarias (GAN) ofrecieron un cambio de paradigma al convertir imágenes térmicas en visibles (Térmico-a-Visible o T2V), sufren de entrenamiento inestable, generalización limitada y a menudo producen salidas distorsionadas o borrosas.

Los recientes modelos de difusión han mejorado la calidad de la imagen pero introducen nuevos desafíos: velocidades de inferencia lentas y dificultad para preservar atributos críticos de identidad como el color de piel, el género y la edad. Los enfoques basados en difusión existentes a menudo fallan en capturar con precisión estos atributos debido a la brecha sustancial entre los dominios térmico y visible, lo que conduce a la pérdida de características y a la distorsión de la identidad en las imágenes generadas.

Metodología

Los autores proponen un marco novedoso basado en un Modelo de Difusión Latente (LDM) diseñado para generar imágenes faciales visibles de alta calidad a partir de entradas térmicas, preservando al mismo tiempo la identidad y los atributos faciales. La tubería consta de tres componentes principales:

1. Clasificador de Múltiples Atributos

Para mitigar la pérdida de características durante la restauración, los autores diseñaron un clasificador para extraer atributos faciales clave (género, edad y color de piel) directamente de las imágenes térmicas.

• Estrategia de Entrenamiento: Un clasificador preentrenado (basado en EfficientNet) se entrena primero en imágenes visibles utilizando los conjuntos de datos FairFace y UTKFace. Luego, una copia de esta red se entrena en imágenes infrarrojas emparejadas.
• Pérdida de Consistencia: El objetivo de entrenamiento impone consistencia entre las salidas de clasificación de las redes visible e infrarroja utilizando el Error Cuadrático Medio (MSE). Esto asegura que el clasificador infrarrojo pueda percibir atributos de manera similar al clasificador visible.
• Generación de Prompts: Los resultados de clasificación se convierten en prompts de texto (por ejemplo, "Una cara de {edad} años, {género}, con piel de tono {color de piel}") y se codifican utilizando un codificador CLIP personalizado. Estas incrustaciones sirven como entradas condicionales para el modelo de difusión.

2. Módulo Self-Attn Mamba

Para abordar la ineficiencia computacional de los modelos de difusión estándar, los autores reemplazan las capas originales de autoatención multi-cabeza (MHSA) con un módulo Self-Attn Mamba.

• Mecanismo: Este módulo utiliza Modelos de Espacio de Estados Selectivos (SSM) combinados con capas convolucionales. Procesa secuencias de entrada mediante una representación de espacio de estados ($h_t = Ah_{t-1} + Bx_t$) y emplea una estructura bidireccional (BiMamba) para capturar dependencias tanto hacia adelante como hacia atrás.
• Beneficio: Este diseño logra una complejidad lineal con respecto a la longitud de entrada, permitiendo un modelado eficiente de características globales con una sobrecarga computacional significativamente reducida en comparación con los mecanismos de atención tradicionales.

3. Tubería de Difusión Latente Condicionada

El proceso de generación central opera en un espacio latente en lugar de espacio de píxeles, utilizando una arquitectura VQ-VAE.

• Arquitectura: El sistema emplea dos modelos VQ-VAE: uno para la reconstrucción de imágenes visibles y otro para la codificación de imágenes térmicas. Un codificador CLIP preentrenado (ajustado finamente en UTKFace y FairFace) procesa los prompts de atributos.
• Proceso de Eliminación de Ruido: Un predictor de ruido basado en UNet ($\epsilon_\theta$) refina iterativamente las características latentes. El proceso se condiciona en las incrustaciones de atributos mediante mecanismos de atención cruzada.
• Preservación de Identidad: Se integra un módulo de verificación de identidad en el bucle de entrenamiento. Calcula una Pérdida de ID basada en la similitud del coseno entre las incrustaciones de la imagen sintetizada y una imagen visible de referencia del mismo sujeto, asegurando la fidelidad estructural y de características.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Integración de Clasificador de Múltiples Atributos: El diseño de un clasificador dentro del marco LDM para extraer atributos faciales críticos (género, edad, color de piel) de imágenes térmicas, los cuales se utilizan luego para guiar el proceso de generación.
2. Módulo Self-Attn Mamba: La introducción de un módulo basado en Mamba para reemplazar la autoatención estándar, logrando un modelado de características globales más fino a un menor costo computacional y mejorando significativamente la velocidad de inferencia.
3. Rendimiento de Vanguardia: La propuesta de un marco completo T2V que supera a los métodos recientes basados en GAN y difusión tanto en calidad de imagen como en preservación de identidad a través de múltiples conjuntos de datos.

Resultados Experimentales

El método propuesto se evaluó en dos conjuntos de datos de referencia: ARL-VTF (más de 500,000 imágenes) y Speaking Faces (142 sujetos).

Métricas de Calidad de Imagen

El modelo demostró un rendimiento superior en similitud estructural y calidad perceptual:

• ARL-VTF: Logró un SSIM de 0.7642 y un PSNR de 28.54, superando a líneas base como T2V-DDPM (SSIM 0.6712) y DiffuseIT. También registró el FID más bajo (29.15) y LPIPS (0.1813).
• Speaking Faces: Registró un SSIM de 0.7455 y un PSNR de 30.11, con un FID de 21.16.

Métricas de Reconocimiento de Identidad

El método mostró mejoras significativas en la preservación de la identidad:

• ARL-VTF: Logró una precisión Rank-1 del 81.83% y una Tasa de Verificación a FAR=1% (VR@FAR) del 62.58%. Esto representa una ganancia del 8.3% en VR@FAR sobre el segundo mejor método (T2V-DDPM).
• Speaking Faces: Logró una precisión Rank-1 del 86.35% y una VR@FAR=1% del 65.13%.

Eficiencia y Estudios de Ablación

• Velocidad de Inferencia: Al integrar Self-Attn Mamba, el modelo redujo el tiempo de inferencia a 36ms por imagen en una NVIDIA Tesla V100, en comparación con 126ms para T2V-DDPM.
• Eficiencia de Parámetros: El modelo propuesto utiliza 75.96M de parámetros (37% de uso de memoria), una reducción significativa en comparación con T2V-DDPM (273.68M de parámetros).
• Ablación: Los experimentos confirmaron que cada componente (Mamba, Clasificador, CLIP) contribuyó incrementalmente al rendimiento. El modelo completo (Variante D) produjo los mejores resultados, particularmente en la reproducción de diversos tonos de piel y el mantenimiento de la estructura facial.

Significado y Afirmaciones

Los autores afirman que su enfoque aborda efectivamente las limitaciones fundamentales de los métodos actuales T2V, específicamente la compensación entre calidad de imagen, preservación de atributos y velocidad de inferencia. Al combinar un clasificador de múltiples atributos con un Modelo de Difusión Latente y el eficiente módulo Self-Attn Mamba, el marco genera con éxito imágenes visibles de alta fidelidad a partir de entradas térmicas que retienen características críticas de identidad como el tono de piel, la edad y el género. Los resultados validan la efectividad de esta arquitectura híbrida para superar las discrepancias entre modalidades, estableciendo un nuevo estado del arte para la traducción de rostros de térmico a visible. Se señala que el trabajo futuro explorará la robustez bajo condiciones térmicas variables.