Resumo Técnico: CUPID – Reconstrução de Mapas de Textura UV para Detecção de Deepfakes de Pessoas de Interesse Interpretáveis

Declaração do Problema

A proliferação da IA generativa permitiu a criação de deepfakes altamente realistas visando indivíduos específicos de alto perfil, conhecidos como Pessoas de Interesse (POI - Person-of-Interest). Essas mídias sintéticas representam ameaças significativas aos processos democráticos e à confiança social. Embora a comunidade forense tenha desenvolvido métodos especializados para detectar deepfakes de POI, as soluções existentes enfrentam um triatlo crítico de desafios:

1. Robustez: Muitos métodos lutam para manter o desempenho sob operações comuns de pós-processamento, como compressão e redução de escala (downscaling).
2. Eficiência: Os detectores atuais frequentemente exigem uma inferência computacionalmente cara, particularmente aqueles que utilizam estratégias de janela deslizante (sliding-window).
3. Interpretabilidade: Poucos métodos fornecem explicações visuais intuitivas sobre o porquê de um vídeo ser sinalizado como falso, limitando sua utilidade na análise forense.

Além disso, as abordagens específicas de POI existentes muitas vezes exigem o treinamento de um modelo separado para cada identidade (exigindo grandes quantidades de dados específicos) ou falham em generalizar bem para identidades não vistas sem uma calibração extensa.

Metodologia

Os autores propõem o CUPID (ReConstructing UV texture maps for Person-of-Interest Deepfake detection), um detector puramente visual que opera sem a necessidade de amostras de deepfake durante o treinamento e permanece agnóstico a POI durante a fase de treinamento. O pipeline consiste em três etapas principais:

1. Extração de Mapa de Textura UV

Em vez de processar quadros de vídeo brutos, o CUPID converte a aparência facial em mapas de textura UV.

• Processo: Para cada quadro, um Modelo de Face 3D (3DMM) é ajustado ao rosto. O modelo projeta a textura facial em um espaço UV 2D canônico.
• Vantagem: Esta representação estabelece uma correspondência semântica densa; coordenadas de pixels específicos no mapa UV correspondem à mesma região facial (ex: ponta do nariz, olhos) através de todas as identidades, poses e expressões. Isso desvincula características de identidade de variações de pose e expressão, fornecendo uma entrada padronizada que aumenta a robustez ao pós-processamento.

2. Treinamento de Autoencoder Mascarado (MAE)

Um Autoencoder de Máscara baseado em Vision Transformer (ViT) é treinado exclusivamente em dados de vídeo reais (VoxCeleb2) para aprender um espaço latente geral de identidade facial.

• Arquitetura: O codificador processa patches visíveis do mapa de textura UV, enquanto um decodificador leve reconstrói os patches mascarados.
• Objetivo de Treinamento: O modelo é otimizado usando uma função de perda conjunta composta por:
  • Perda de Reconstrução Mascarada ($L_{rec}$): MSE por pixel nos patches mascarados para aprender representações de textura ricas.
  • Perda Contrastiva ($L_{cont}$): Uma perda NT-Xent de múltiplas camadas que agrupa embeddings da mesma identidade e separa diferentes identidades através de múltiplas profundidades do codificador.
  • Perda Perceptual ($L_{perc}$): Uma perda baseada em VGG-16 para garantir reconstruções perceptualmente coerentes e suprimir artefatos de grade (grid artifacts).
• Resultado: O codificador resultante produz embeddings discriminativos de identidade que generalizam para sujeitos não vistos.

3. Inferência e Detecção

Durante a fase de teste, o sistema opera em um cenário de conjunto aberto (open-set):

• Construção do Conjunto de Referência: Um conjunto de vídeos de referência prístinos para o POI alvo é codificado no espaço latente para formar uma distribuição de referência (representada pelo centroide dos embeddings CLS).
• Pontuação de Similaridade: Um vídeo de teste é codificado, e seus embeddings são comparados com a distribuição de referência usando uma função de similaridade de par (pairwise similarity - produto interno máximo).
• Decisão: Se a pontuação de similaridade cair abaixo de um limiar $\gamma$, o vídeo é classificado como falso.

4. Mecanismo de Interpretabilidade

O CUPID aproveita a natureza estruturada dos mapas UV e o espaço latente para gerar mapas residuais:

• O sistema decodifica o deslocamento latente entre o vídeo de teste e o centroide de referência.
• Ao subtrair a variabilidade "natural" observada no conjunto de referência, o método produz um mapa que destaca regiões faciais específicas onde o vídeo de teste diverge mais significativamente da identidade genuína do POI. Isso fornece evidência visual de manipulação (ex: anomalias ao redor da boca ou olhos).

Principais Contribuições

1. Novo Detector de POI: Introdução do CUPID, que combina mapas de textura UV com um MAE treinado apenas em dados reais. Ele aprende uma representação geral consciente da identidade, aplicável a POIs não vistos no momento da inferência.
2. Estrutura de Interpretabilidade: Um procedimento que utiliza o espaço UV e as representações latentes para gerar mapas residuais de nível de sujeito, oferecendo explicações visuais intuitivas para decisões de detecção.
3. Avaliação Abrangente: Benchmarking extensivo contra detectores gerais de última geração e uma linha de base específica de POI em quatro conjuntos de dados (DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak) sob configurações de Alta Qualidade (HQ) e Baixa Qualidade (LQ).

Resultados Experimentais

Experimentos demonstram que o CUPID alcança desempenho superior em várias áreas-chave:

• Robustez: O CUPID supera os métodos atuais de última geração, particularmente sob forte compressão e redução de escala (configurações LQ). Enquanto as linhas de base gerais sofrem uma queda média de desempenho de ~24 pontos em configurações LQ, o desempenho do CUPID degrada apenas ~3,2 pontos.
• Desempenho: Alcança a melhor robustez geral e precisão competitiva em configurações HQ, frequentemente superando a linha de base específica de POI (POI-Forensics) na maioria dos conjuntos de dados.
• Eficiência: O CUPID é significativamente mais rápido, alcançando velocidades de inferência 32 vezes mais rápidas que o POI-Forensics. Isso se deve à sua estratégia de amostrar um número fixo e pequeno de quadros (10) por vídeo, independente da duração do clipe, enquanto os concorrentes usam abordagens de janela deslizante que escalam com a duração do vídeo.
• Estabilidade de Limiar: O método exibe uma distribuição mais compacta de limiares de decisão ideais entre os sujeitos, indicando que requer menos calibração por sujeito em comparação com os detectores de POI existentes.
• Interpretabilidade: A análise qualitativa dos mapas residuais confirma que vídeos falsos produzem valores de ativação mais altos em regiões faciais específicas consistentes com as técnicas de manipulação utilizadas (ex: artefatos de mistura em face-swaps).

Significância e Limitações

O artigo postula que o CUPID demonstra que a reconstrução contextual de identidade e as pistas de similaridade derivadas de representações faciais UV fornecem um sinal forte para a detecção de deepfakes, mesmo sem exposição a dados falsos durante o treinamento. Isso sugere que a natureza estruturada dos mapas UV isola efetivamente as características de identidade dos artefatos de manipulação.

Os autores reconhecem duas limitações primárias:

1. Dinâmica Temporal: A representação atual, focada apenas em vídeo, é centrada na identidade e não modela explicitamente a expressividade temporal, o que pode limitar a eficácia contra manipulações de LipSync.
2. Viés de Etnia: O método mostrou resultados ligeiramente mais fracos no conjunto de dados KoDF (focado em sujeitos coreanos), sugerindo sensibilidade a mudanças de distribuição relacionadas à etnia devido ao fato de o treinamento (VoxCeleb2) carecer de diversidade demográfica suficiente.

Os autores concluem que trabalhos futuros focarão na incorporação de dinâmicas específicas do sujeito e no treinamento em conjuntos de dados etnicamente mais diversos para melhorar a equidade e a generalização.