Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection

1. Problema e Motivação

O avanço das redes adversárias generativas (GANs) e outras técnicas de IA permitiu a criação de "deepfakes" (falsificações de mídia) cada vez mais realistas, representando uma ameaça significativa à segurança, biometria e integridade da informação.

• Limitação das Métodos Atuais: A maioria dos métodos state-of-the-art (SoTA) de detecção foca exclusivamente na região do rosto (nível médio) para identificar artefatos. No entanto, diferentes técnicas de manipulação (troca de rosto, sincronização labial, alteração de expressão) deixam rastros em regiões específicas e distintas (ex: lábios, olhos, nariz ou até o quadro inteiro).
• Falta de Generalização: Métodos treinados em um tipo de manipulação ou conjunto de dados específico frequentemente falham ao generalizar para outros tipos de manipulação ou conjuntos de dados não vistos, pois não capturam as interdependências entre as diferentes regiões faciais.

2. Metodologia Proposta: Face2Parts

Os autores propõem uma abordagem híbrida inovadora chamada Face2Parts, baseada em Representação Hierárquica de Recursos (HFR - Hierarchical Feature Representation). O método adota uma estratégia de informação "do grosseiro ao fino" (coarse-to-fine) para capturar dependências inter-regionais.

A arquitetura é dividida em três fases principais:

A. Extração de Recursos Hierárquicos (Níveis de Informação)

O sistema extrai recursos de três níveis hierárquicos distintos, utilizando um codificador pré-treinado (baseado em CLIP/ViT):

1. Nível 1 (Grosseiro - Frame): Analisa o quadro inteiro para capturar contexto global e inconsistências de iluminação ou compressão.
2. Nível 2 (Médio - Rosto): Foca na região do rosto recortada, capturando características faciais gerais.
3. Nível 3 (Fino - Partes Específicas): Extrai recursos de regiões faciais críticas e localizadas: lábios, olho esquerdo, olho direito e nariz. Isso é crucial para detectar manipulações localizadas (ex: lip-sync ou troca de olhos).

B. Aprendizado de Métricas Profundas e Atenção

Para integrar essas informações, o método utiliza:

• Mecanismo de Atenção de Canal (CA-MLP): Um módulo que pondera a importância de cada nível de recurso (frame, rosto, partes), permitindo que o modelo foque nas regiões mais informativas para uma determinada manipulação.
• Aprendizado Triplet Profundo (Deep Triplet Learning): Utiliza uma estratégia de triplet loss (âncora, positivo, negativo) para aprender a distância entre amostras reais e falsas no espaço de embedding. Isso força o modelo a maximizar a separação entre classes reais e falsas, capturando as relações complexas entre as diferentes partes do rosto.

C. Classificação

Os embeddings discriminativos resultantes são passados para um classificador (uma camada totalmente conectada - FC) para a previsão final.

3. Principais Contribuições

• Abordagem Híbrida Coarse-to-Fine: É a primeira proposta a integrar sistematicamente informações do quadro inteiro, do rosto completo e de partes faciais específicas em uma única estrutura unificada para detecção de deepfakes.
• Exploração de Dependências Inter-Regionais: Ao invés de tratar o rosto como uma unidade monolítica, o método modela explicitamente como as anomalias em uma região (ex: lábios) se correlacionam com outras, melhorando a robustez.
• Generalização Superior: O método foi projetado especificamente para superar o problema de generalização entre diferentes conjuntos de dados e tipos de manipulação, superando a dependência de métodos que focam apenas em uma única região.

4. Resultados Experimentais

O método foi avaliado em oito conjuntos de dados de referência (FF++, Celeb-DF V1/V2, DFD, DFDC, DTIM, PDD, WLDR) em cenários intra-dataset, inter-dataset e inter-manipulação.

• Desempenho Geral: O Face2Parts alcançou uma AUC média de 98,42% no FF++, 79,80% no CDF1, 85,34% no CDF2, 89,41% no DFD, 84,07% no DFDC, 95,62% no DTIM, 80,76% no PDD e 100% no WLDR.
• Comparação com SoTA: O método superou consistentemente técnicas existentes (como EfficientNet, Xception, F3Net, CORE, DSM) em cenários de generalização (treinar em um dataset, testar em outro).
• Eficácia da HFR: Experimentos de ablação mostraram que a combinação dos três níveis (Frame + Rosto + Partes) superou significativamente o uso de apenas o rosto ou apenas o quadro. Por exemplo, em manipulações de sincronização labial (PDD), o foco apenas no rosto falhou, enquanto a abordagem HFR obteve resultados superiores.
• Codificadores Temporais: O estudo também testou codificadores temporais (MViT, TVC, ViViT), confirmando que a abordagem HFR se beneficia tanto de recursos espaciais quanto temporais, embora os codificadores espaciais (ViT) tenham mostrado forte desempenho devido à sua capacidade de detectar artefatos de baixa nível.

5. Significado e Conclusão

O artigo demonstra que a detecção de deepfakes não deve se limitar à análise do rosto isolado. A proposta Face2Parts estabelece um novo paradigma ao utilizar uma representação hierárquica que explora a complementaridade entre informações globais e locais.

• Impacto: A capacidade de generalizar para manipulações não vistas e conjuntos de dados desconhecidos torna esta abordagem crucial para aplicações do mundo real, onde os atacantes constantemente evoluem suas técnicas.
• Limitações Futuras: Os autores reconhecem o custo computacional adicional devido à extração de múltiplas regiões e planejam otimizar o modelo para inferência mais rápida, além de testar a robustez sob condições adversárias (compressão, filtragem).

Em resumo, o trabalho oferece uma solução robusta e generalizável para a detecção de deepfakes, superando as limitações dos métodos atuais ao integrar inteligência contextual e detalhada de múltiplas partes faciais.