SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment

Resumo Técnico: SAVe

1. O Problema

A evolução dos modelos generativos de áudio e vídeo aumentou o realismo das falsificações de rostos falantes (deepfakes), tornando a detecção cada vez mais difícil. Os desafios principais identificados pelos autores são:

• Dependência de Dados Sintéticos: A maioria dos detectores existentes é supervisionada e treinada em conjuntos de dados curados com deepfakes específicos. Isso introduz viés de gerador e de conjunto de dados, limitando a escalabilidade e a robustez frente a manipulações não vistas (unseen manipulations).
• Aprendizado de "Atalhos" (Shortcut Learning): Modelos supervisionados tendem a aprender características específicas do conjunto de dados (como compressão ou pré-processamento) em vez de evidências reais de falsificação, falhando na generalização entre diferentes datasets.
• Limitações Unimodais: Detectores baseados apenas em vídeo perdem artefatos visuais sutis conforme a qualidade da síntese melhora, enquanto detectores baseados apenas em áudio falham quando o vídeo é falso mas o áudio é real, ignorando inconsistências cross-modais.

2. Metodologia (SAVe)

O SAVe é um framework de detecção de deepfakes auto-supervisionado que é treinado exclusivamente em vídeos autênticos (reais), sem utilizar nenhum dado sintético de treinamento. O objetivo é aprender representações de autenticidade intrínsecas.

O sistema é composto por quatro módulos complementares que operam em conjunto:

• Geração de Pseudo-Falsificações Auto-Blendidas (SS-VPFG):
  O núcleo do método visual gera falsificações "on-the-fly" (em tempo real) a partir de vídeos reais. Ele utiliza uma técnica de self-blending (mistura de si mesmo) que preserva a identidade, criando pares de treinamento onde uma versão é a imagem original e a outra é uma versão manipulada artificialmente. Isso é feito em três níveis de granularidade:

  1. FaceBlend (FB): Mistura global em toda a face para capturar artefatos de composição, como descontinuidades de cor, iluminação e textura.
  2. LipBlend (LB): Foca na região dos lábios e pele perioral para capturar artefatos de alta frequência e vazamento de limites comuns em técnicas de reenactment e retalking.
  3. LowerFaceBlend (LFB): Cobre a região da boca, mandíbula e queixo para capturar inconsistências geométricas e de textura mais amplas.

• Sincronização Áudio-Visual (AVSync):
  Para capturar inconsistências temporais entre o áudio e o movimento labial, o SAVe utiliza um módulo baseado no AV-HuBERT. Este componente modela a coerência entre o sinal de fala e o movimento dos lábios. Ele é treinado com um objetivo de contraste (InfoNCE) para maximizar a correspondência entre pares sincronizados. Em vídeos falsos, a pontuação de alinhamento será baixa (indicando dessincronização).

• Fusão de Decisão:
  O framework gera quatro pontuações independentes (FB, LB, LFB e AVSync). Antes da fusão, as pontuações do módulo AVSync são normalizadas para evitar desequilíbrios de escala. A decisão final é tomada através de uma fusão de logit média (average logit fusion) ponderada, combinando as evidências visuais regionais e a coerência temporal cross-modal.

3. Contribuições Principais

1. Framework Auto-Supervisionado Puro: Proposta de um detector que aprende apenas com vídeos reais, eliminando a necessidade de dados de treinamento falsos e o viés associado a geradores específicos.
2. Unificação de Consistência Intra e Cross-Modo: Integração de objetivos de consistência visual (dentro do mesmo modo) e áudio-visual (entre modos) em um único framework para melhorar a generalização.
3. Mitigação de Viés de Atalho: Ao usar self-blending regional e consistência temporal, o modelo é forçado a aprender pistas de manipulação genuínas em vez de estatísticas de dataset.
4. Robustez em Cenários Não Vistos: Demonstração de forte desempenho e generalização cruzada entre datasets sem o uso de dados falsos no treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks principais: FakeAVCeleb e AV-LipSync-TIMIT.

• Desempenho In-Domain (FakeAVCeleb):

  • O SAVe alcançou desempenho competitivo, com AUC próximo a 1.00 para manipulações como Wav2Lip e FSGAN.
  • O módulo AVSync mostrou-se excepcionalmente eficaz para ataques de áudio-visual (AUC 0.94 global), especialmente para ataques puramente de áudio (RTVC), onde detectores visuais falham (chance de 0.50).
  • As ramificações visuais (FaceBlend, LipBlend) demonstraram alta precisão na detecção de artefatos visuais locais e globais.

• Generalização Cross-Dataset (LipSyncTIMIT $\to$ FakeAVCeleb):

  • O modelo treinado em um dataset e testado em outro manteve alta robustez. O LipBlend mostrou-se particularmente robusto contra ataques de troca de rosto (FaceSwap), mantendo AUCs acima de 0.90 mesmo sob compressão pesada.
  • A fusão dos quatro módulos superou todas as abordagens individuais e métodos baseados apenas em visão.

• Comparação com Baselines:

  • O SAVe superou métodos supervisionados de última geração (como Xception, FTCN, LIPINC-V2) em cenários de generalização, especialmente sob condições de compressão severa (c40), onde os métodos supervisionados sofreram degradação significativa.
  • O método alcançou um AUC de 0.99 no FakeAVCeleb-LS e manteve alta performance no LipSyncTIMIT, demonstrando que a abordagem auto-supervisionada é mais escalável e menos sensível a viés de dataset.

5. Significado e Impacto

O trabalho SAVe representa um avanço significativo na detecção de deepfakes multimodais ao demonstrar que é possível alcançar alta precisão e robustez sem depender de grandes conjuntos de dados de falsificações rotuladas.

• Escalabilidade: A capacidade de treinar apenas com vídeos reais torna o método escalável para cenários onde novos tipos de deepfakes surgem rapidamente, pois não há necessidade de re-treinar com novos dados sintéticos.
• Defesa Prática: Ao focar em inconsistências fundamentais (artefatos de composição e dessincronização áudio-vídeo) em vez de assinaturas de geradores específicos, o SAVe oferece uma defesa mais prática contra manipulações futuras e desconhecidas.
• Paradigma Auto-Supervisionado: O estudo valida o aprendizado auto-supervisionado como um paradigma viável e superior para detecção de deepfakes multimodais, reduzindo a dependência de anotações manuais e dados sintéticos enviesados.