Referee: Reference-aware Audiovisual Deepfake Detection

1. O Problema

A detecção de deepfakes (conteúdos sintéticos gerados por IA) enfrenta desafios significativos devido à rápida evolução dos modelos generativos. As abordagens existentes apresentam limitações críticas:

• Falta de Generalização: Métodos unimodais (apenas vídeo ou apenas áudio) e muitos métodos audiovisuais atuais tendem a overfit (sobreajuste) a artefatos espaciais ou temporais transitórios específicos de um tipo de manipulação. Isso os torna ineficazes contra métodos de falsificação não vistos durante o treinamento.
• Vulnerabilidade a Condições Adversas: Técnicas baseadas em sincronia labial são vulneráveis a oclusões (mãos, microfones), baixa resolução ou degradação de sinal.
• Limitações de Métodos Baseados em Identidade: Métodos anteriores que utilizam comparações de identidade (como ID-Reveal ou POI-Forensics) muitas vezes dependem de modelos generativos pesados, concatenam características de forma ingênua (impedindo troca multimodal significativa) ou exigem vídeos de referência excessivamente longos (ex: >5 minutos), o que é impraticável para implantação real.

2. Metodologia: O Framework "Referee"

O Referee é um novo framework de detecção de deepfakes audiovisual que utiliza uma abordagem consciente de referência (reference-aware). Em vez de focar apenas em artefatos de baixa nível, ele modela a consistência relacional entre as pistas biométricas específicas do falante capturadas em um único exemplo de referência (one-shot).

A arquitetura é composta pelos seguintes módulos principais:

• Extração de Características Audiovisuais:

  • Utiliza codificadores pré-treinados (baseados no Synchformer) para extrair representações temporais de vídeo e áudio.
  • As sequências de vídeo e áudio são concatenadas com um token separador de modalidade para formar uma representação conjunta.

• Gargalo de Identidade (Identity Bottleneck - IDB):

  • Um módulo crucial que emprega um conjunto de consultas de identidade aprendíveis (learnable identity queries).
  • Essas consultas interagem com as características audiovisuais através de mecanismos de atenção (self-attention e cross-attention) para extrair e resumir pistas de identidade multimodal, ignorando fatores transitórios como conteúdo da fala, expressões faciais ou poses da cabeça.
  • O esquema de compartilhamento de pesos é utilizado entre os ramos de referência e alvo para garantir consistência na extração de características.

• Módulo de Correspondência de Identidade (ID Matching):

  • Realiza o alinhamento cruzado entre as tokens de identidade do vídeo alvo e as do vídeo de referência.
  • Utiliza blocos de cross-attention onde as tokens do alvo atuam como Query e as da referência como Key e Value.
  • Isso gera tokens de identidade "conscientes da referência" que capturam tanto as características intrínsecas do alvo quanto as discrepâncias em relação à referência.
  • Loss de Correspondência de Identidade ($L_{ID}$): Uma tarefa auxiliar supervisionada que força o modelo a aprender se o alvo e a referência pertencem à mesma pessoa. Conteúdo falsificado é tratado como uma identidade distinta, reforçando a detecção de inconsistências biométricas.

• Classificação Final:

  • As tokens de identidade refinadas são concatenadas com o token [CLS] e as características audiovisuais originais.
  • Um AV-Transformer processa essas informações combinadas para inferir simultaneamente: (1) a consistência da sincronia lábio-fala e (2) a integridade da identidade.
  • O objetivo final de treinamento combina a perda de classificação de deepfake ($L_{RF}$) e a perda de correspondência de identidade ($L_{ID}$).

3. Principais Contribuições

1. Referee: Proposta de um método de detecção que explora a correspondência audiovisual tanto no nível de identidade quanto no nível temporal, superando a dependência de artefatos transitórios.
2. Módulo de Gargalo de Identidade (IDB) e Correspondência: Introdução de um mecanismo inovador com consultas aprendíveis e correspondência cruzada de identidade, permitindo um raciocínio robusto sobre a integridade audiovisual sem necessidade de grandes conjuntos de dados externos.
3. Generalização Superior: Demonstração de que correlacionar explicitamente priores biométricos baseados em referência é uma fronteira chave para forense audiovisual generalizada e confiável.

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados principais: FakeAVCeleb, FaceForensics++ (FF++) e KoDF (conjunto de dados coreano).

• Avaliação Cross-Dataset (Generalização):
  • No KoDF (avaliação zero-shot cruzada de idiomas), o Referee alcançou 99.4% de AUC e 99.4% de AP, superando significativamente o estado da arte (SOTA) anterior (ex: ICSAV com 99.2% AUC).
  • No FaceForensics++, alcançou 79.78% de AUC e 91.00% de AP, superando métodos que dependem de milhões de amostras (como VoxCeleb2) para treinar codificadores de identidade, apesar de ter sido treinado apenas com 14k clipes autênticos.
• Avaliação Intra-Dataset:
  • No FakeAVCeleb, alcançou 99.2% de Acurácia e 99.7% de AUC, superando métodos unimodais e multimodais existentes (como AVFF e FRADE).
• Robustez:
  • O modelo manteve desempenho estável sob perturbações espaciais (recortes aleatórios de 70% e 90%) e com vídeos de referência curtos (apenas 1 segundo), demonstrando que não depende de regiões faciais específicas ou de longas durações de vídeo.

5. Significância

O trabalho do Referee representa um avanço significativo na forense digital ao mudar o paradigma de detecção:

• Da Detecção de Artefatos para Correlação Biométrica: Em vez de procurar por "falhas" visuais ou sonoras específicas de um gerador, o modelo verifica a consistência fundamental entre a voz e a aparência do falante.
• Eficiência de Dados: Demonstra que é possível aprender priores de identidade universais e robustos sem a necessidade de conjuntos de dados externos massivos (milhões de amostras), tornando a solução mais viável e escalável.
• Resiliência a Novas Ameaças: Ao focar na integridade da identidade e na sincronia multimodal, o sistema é inerentemente mais resiliente à evolução rápida dos modelos generativos e capaz de detectar tipos de deepfakes não vistos anteriormente, incluindo manipulações cruzadas de idiomas.

Em suma, o Referee estabelece uma nova linha de base para a detecção de deepfakes audiovisuais, oferecendo uma defesa robusta, eficiente em dados e generalizável contra manipulações digitais cada vez mais sofisticadas.