Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

Resumo Técnico: Aprimoramento da Desmorfagem Facial de Imagem Única usando Modelos de Linguagem Grandes Multimodais

Declaração do Problema
Sistemas de reconhecimento facial enfrentam uma vulnerabilidade crítica a ataques de morfagem, onde uma imagem composta é criada para corresponder simultaneamente a múltiplas identidades, facilitando fraude de identidade e acesso não autorizado. Embora os métodos existentes de Detecção de Ataque de Morfagem (MAD) possam identificar se uma imagem foi morfada, eles geralmente falham em recuperar os rostos ou identidades originais constituintes, limitando sua utilidade forense. Este artigo aborda o desafio da desmorfagem facial de imagem única sem referência: a tarefa de decompor uma única imagem morfada em seus dois rostos originais constituintes sem acesso a uma imagem de referência confiável. Este é um problema inverso mal-posto, pois infinitos pares de rostos poderiam teoricamente gerar a mesma morfagem, particularmente quando a morfagem é criada usando modelos generativos avançados (por exemplo, StyleGAN, modelos de difusão) que emaranham características de identidade em espaços latentes.

Metodologia
Os autores propõem uma nova estrutura que reformula a desmorfagem facial como um problema de geração condicional acoplada semanticamente guiada. O núcleo da abordagem envolve um Modelo Probabilístico de Difusão com Remoção de Ruído Acoplado (DDPM) operando diretamente no domínio RGB, aumentado por Modelos de Linguagem Grandes Multimodais (MLLMs) para condicionamento semântico.

1. Processo de Difusão Acoplada: Diferentemente de métodos anteriores que reconstroem rostos independentemente ou operam em espaços latentes comprimidos, este método trata os dois rostos constituintes como uma entidade emparelhada $(i_1, i_2)$. O processo de difusão forward adiciona ruído ao espaço conjunto de 6 canais (duas imagens de 3 canais) simultaneamente. Isso impõe dependência entre as saídas, garantindo que o processo de remoção de ruído reverso gere ambos os rostos conjuntamente, preservando assim a relação inerente estabelecida pelo processo de morfagem e prevenindo soluções degeneradas (por exemplo, emitir a morfagem duas vezes).
2. Condicionamento Guiado por MLLM: Em vez de depender apenas da geração de texto ou de características visuais brutas, o método extrai representações de estado oculto de camadas intermediárias de transformadores de um MLLM pré-treinado (especificamente Qwen3-VL e LLaVA-1.6). Esses embeddings capturam raciocínio semântico de alto nível sobre atributos faciais, pistas de identidade e características estruturais.
   • Os estados ocultos do MLLM são projetados e injetados no UNet de difusão por meio de mecanismos de atenção cruzada.
   • Crucialmente, o método contorna o ciclo perdedor de gerar texto e recodificá-lo; utiliza diretamente as capacidades de raciocínio multimodal internas do MLLM para guiar a rede de remoção de ruído.
3. Operação no Domínio RGB: O modelo de difusão opera diretamente sobre dados de pixels (resolução de 256x256) em vez de espaços latentes. A entrada para a rede de remoção de ruído em cada passo consiste no par alvo ruidoso concatenado com a imagem morfada original (9 canais no total), permitindo que a rede atenda a detalhes perceptivos de alta granularidade (cabelo, fundo, texturas) frequentemente perdidos em representações latentes.

Principais Contribuições

• Estrutura Sem Referência Acionada por Prompt: Os autores introduzem um sistema de desmorfagem sem referência que aproveita MLLMs para injetar raciocínio semântico de alto nível no processo de reconstrução.
• Geração Condicional Acoplada: Eles formulam o problema como uma tarefa de geração conjunta, permitindo a reconstrução simultânea de duas identidades distintas a partir de uma única morfagem, mantendo a consistência.
• Estratégia de Condicionamento Novel: Uma nova estratégia é introduzida que utiliza estados ocultos intermediários do MLLM como sinais de condicionamento, combinando orientação semântica com condicionamento direto de morfagem no domínio RGB.
• Análise de Ablação Abrangente: O estudo fornece análise extensa sobre o impacto das profundidades de embeddings do MLLM (camadas iniciais, médias, finais), a superioridade do domínio RGB sobre a desmorfagem em espaço latente e os benefícios de embeddings completos do MLLM versus características ViT brutas.

Resultados
O método proposto foi avaliado em múltiplos benchmarks cobrindo técnicas de morfagem baseadas em marcos (AMSL, OpenCV, FaceMorph, WebMorph) e baseadas em aprendizado (StyleGAN, MorDiff).

• Restauração de Identidade: Em morfagens baseadas em marcos, o método alcança Precisão de Restauração (RA) superior a 96% em uma Taxa de Falsa Correspondência (FMR) estrita de 0,1%, utilizando tanto os comparadores ArcFace quanto AdaFace.
• Morfagens Generativas: Em morfagens StyleGAN desafiadoras, o método supera significativamente as linhas de base existentes. Por exemplo, alcança 9,13% de RA em 0,1% de FMR (ArcFace), uma melhoria substancial sobre métodos anteriores baseados em GAN (por exemplo, lc-GAN em 2,12%).
• Fidelidade da Imagem: O método demonstra qualidade perceptiva superior, com ganhos de PSNR de 6–9 dB sobre métodos existentes em vários conjuntos de dados.
• Desempenho de Recuperação: Em tarefas de recuperação com uma grande galeria de distratores, o método alcança 94,67% de mAP@1, superando todas as abordagens concorrentes, particularmente em morfagens StyleGAN, onde melhora o mAP@1 em mais de 8% em comparação com o próximo melhor método.

Significado e Alegações
O artigo afirma que seu principal significado reside na mudança do paradigma da desmorfagem de otimização puramente baseada em pixels ou em espaço latente para geração semanticamente guiada. Ao aproveitar as capacidades de raciocínio dos MLLMs, o método pode desemaranhar identidades que estão fortemente emaranhadas em morfagens generativas modernas.

Os autores enfatizam que:

1. Camadas intermediárias do MLLM codificam as representações mais discriminativas de identidade, equilibrando detalhes estruturais e abstração semântica.
2. A desmorfagem no domínio RGB é fundamentalmente superior às abordagens em espaço latente para esta tarefa, pois preserva pistas espaciais de alta granularidade necessárias para a recuperação de identidade.
3. O condicionamento direto de estado oculto é mais eficaz do que o condicionamento baseado em texto, pois evita gargalos de informação e retém pistas visuais sutis.

O trabalho conclui que integrar semântica de modelos fundacionais com reconstrução generativa oferece uma solução robusta para segurança biométrica, particularmente em cenários forenses onde imagens de referência não estão disponíveis. Os autores reconhecem que desafios permanecem no manuseio de morfagens generativas altamente emaranhadas e na redução do custo computacional do condicionamento por MLLM, mas os resultados estabelecem um novo estado da arte para desmorfagem facial sem referência.