Resumo Técnico: Tradução de Imagens Faciais Térmicas Guiada por Múltiplos Atributos baseada em Modelo de Difusão Latente

Declaração do Problema

Os sistemas de vigilância modernos dependem cada vez mais de câmeras térmicas para operações noturnas, contudo a maioria dos modelos de reconhecimento facial é treinada em conjuntos de dados de luz visível. Essa mudança de domínio causa degradação significativa de desempenho ao processar entradas infravermelhas. Métodos tradicionais baseados em características para Reconhecimento Facial Heterogêneo (HFR) provaram-se ineficazes devido à informação esparsa e à baixa resolução das imagens térmicas. Embora as Redes Adversariais Generativas (GANs) tenham oferecido uma mudança de paradigma ao converter imagens térmicas em visíveis (Térmico para Visível ou T2V), elas sofrem com treinamento instável, generalização limitada e frequentemente produzem saídas distorcidas ou borradas.

Modelos de difusão recentes melhoraram a qualidade da imagem, mas introduzem novos desafios: velocidades de inferência lentas e dificuldade em preservar atributos críticos de identidade, como cor da pele, gênero e idade. Abordagens existentes baseadas em difusão frequentemente falham em capturar com precisão esses atributos devido à lacuna substancial entre os domínios térmico e visível, levando à perda de características e distorção de identidade nas imagens geradas.

Metodologia

Os autores propõem uma estrutura inovadora baseada em um Modelo de Difusão Latente (LDM) projetado para gerar imagens faciais visíveis de alta qualidade a partir de entradas térmicas, preservando a identidade e os atributos faciais. O pipeline consiste em três componentes principais:

1. Classificador de Múltiplos Atributos

Para mitigar a perda de características durante a restauração, os autores projetaram um classificador para extrair atributos faciais chave (gênero, idade e cor da pele) diretamente das imagens térmicas.

• Estratégia de Treinamento: Um classificador pré-treinado (baseado em EfficientNet) é primeiro treinado em imagens visíveis utilizando os conjuntos de dados FairFace e UTKFace. Uma cópia dessa rede é então treinada em imagens infravermelhas emparelhadas.
• Função de Perda de Consistência: O objetivo de treinamento impõe consistência entre as saídas de classificação das redes visível e infravermelha usando Erro Quadrático Médio (MSE). Isso garante que o classificador infravermelho possa perceber atributos de forma semelhante ao classificador visível.
• Geração de Prompt: Os resultados da classificação são convertidos em prompts de texto (por exemplo, "Um rosto de {idade} anos, {gênero}, com pele de {tom de pele}") e codificados usando um codificador CLIP personalizado. Esses embeddings servem como entradas condicionais para o modelo de difusão.

2. Módulo Self-Attn Mamba

Para abordar a ineficiência computacional dos modelos de difusão padrão, os autores substituem as camadas originais de auto-atenção multi-cabeça (MHSA) por um módulo Self-Attn Mamba.

• Mecanismo: Este módulo utiliza Modelos de Espaço de Estado Seletivo (SSMs) combinados com camadas convolucionais. Processa sequências de entrada por meio de uma representação de espaço de estado ($h_t = Ah_{t-1} + Bx_t$) e emprega uma estrutura bidirecional (BiMamba) para capturar dependências tanto para frente quanto para trás.
• Benefício: Este design alcança complexidade linear em relação ao comprimento da entrada, permitindo modelagem eficiente de características globais com sobrecarga computacional significativamente reduzida em comparação com mecanismos de atenção tradicionais.

3. Pipeline de Difusão Latente Condicionada

O processo de geração central opera em um espaço latente em vez do espaço de pixels, utilizando uma arquitetura VQ-VAE.

• Arquitetura: O sistema emprega dois modelos VQ-VAE: um para reconstrução de imagem visível e outro para codificação de imagem térmica. Um codificador CLIP pré-treinado (ajustado finamente em UTKFace e FairFace) processa os prompts de atributos.
• Processo de Remoção de Ruído: Um preditor de ruído baseado em UNet ($\epsilon_\theta$) refina iterativamente as características latentes. O processo é condicionado aos embeddings de atributos por meio de mecanismos de atenção cruzada.
• Preservação de Identidade: Um módulo de verificação de identidade é integrado ao loop de treinamento. Ele calcula uma Perda de ID baseada na similaridade cosseno entre os embeddings da imagem sintetizada e uma imagem visível de referência do mesmo sujeito, garantindo fidelidade estrutural e de características.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Integração de Classificador de Múltiplos Atributos: O design de um classificador dentro da estrutura LDM para extrair atributos faciais críticos (gênero, idade, cor da pele) de imagens térmicas, que são então usados para guiar o processo de geração.
2. Módulo Self-Attn Mamba: A introdução de um módulo baseado em Mamba para substituir a auto-atenção padrão, alcançando modelagem de características globais mais refinada a um custo computacional menor e melhorando significativamente a velocidade de inferência.
3. Desempenho de Estado da Arte: A proposta de uma estrutura completa T2V que supera métodos recentes baseados em GAN e difusão tanto em qualidade de imagem quanto em preservação de identidade em múltiplos conjuntos de dados.

Resultados Experimentais

O método proposto foi avaliado em dois conjuntos de dados de referência: ARL-VTF (mais de 500.000 imagens) e Speaking Faces (142 sujeitos).

Métricas de Qualidade de Imagem

O modelo demonstrou desempenho superior em similaridade estrutural e qualidade perceptiva:

• ARL-VTF: Alcançou um SSIM de 0,7642 e PSNR de 28,54, superando baselines como T2V-DDPM (SSIM 0,6712) e DiffuseIT. Também registrou o menor FID (29,15) e LPIPS (0,1813).
• Speaking Faces: Registrou um SSIM de 0,7455 e PSNR de 30,11, com um FID de 21,16.

Métricas de Reconhecimento de Identidade

O método mostrou melhorias significativas na preservação da identidade:

• ARL-VTF: Alcançou uma precisão Rank-1 de 81,83% e uma Taxa de Verificação em FAR=1% (VR@FAR) de 62,58%. Isso representa um ganho de 8,3% em VR@FAR sobre o segundo melhor método (T2V-DDPM).
• Speaking Faces: Alcançou uma precisão Rank-1 de 86,35% e VR@FAR=1% de 65,13%.

Eficiência e Estudos de Ablação

• Velocidade de Inferência: Ao integrar o Self-Attn Mamba, o modelo reduziu o tempo de inferência para 36ms por imagem em uma NVIDIA Tesla V100, comparado a 126ms para o T2V-DDPM.
• Eficiência de Parâmetros: O modelo proposto utiliza 75,96M de parâmetros (37% de uso de memória), uma redução significativa em comparação com o T2V-DDPM (273,68M de parâmetros).
• Ablação: Experimentos confirmaram que cada componente (Mamba, Classificador, CLIP) contribuiu incrementalmente para o desempenho. O modelo completo (Variante D) produziu os melhores resultados, particularmente na reprodução de tons de pele diversos e na manutenção da estrutura facial.

Significado e Afirmações

Os autores afirmam que sua abordagem aborda efetivamente as limitações fundamentais dos métodos T2V atuais, especificamente o compromisso entre qualidade de imagem, preservação de atributos e velocidade de inferência. Ao combinar um classificador de múltiplos atributos com um Modelo de Difusão Latente e o eficiente módulo Self-Attn Mamba, a estrutura gera com sucesso imagens visíveis de alta fidelidade a partir de entradas térmicas que retêm características críticas de identidade, como tom de pele, idade e gênero. Os resultados validam a eficácia dessa arquitetura híbrida na superação de discrepâncias cross-modais, estabelecendo um novo estado da arte para tradução facial térmica para visível. Trabalhos futuros são notados para explorar robustez sob condições térmicas variáveis.