SynthForensics: A Multi-Generator Benchmark for Detecting Synthetic Video Deepfakes

1. O Problema

O cenário de mídia sintética foi irrevogavelmente alterado pela ascensão dos modelos de Texto para Vídeo (T2V). Diferente das técnicas tradicionais de "deepfake" (que manipulam vídeos existentes para substituir rostos ou expressões), os modelos T2V modernos geram vídeos puramente sintéticos do zero, com qualidade fotorealista.

• Limitação das Soluções Atuais: Os benchmarks existentes (como FaceForensics++, Celeb-DF, DFDC) foram projetados para detectar manipulações (artefatos de fusão, distorção facial). Eles são inadequados para detectar conteúdo "nascido sintético", pois não capturam os artefatos gerativos específicos dos modelos T2V.
• Democratização da Ameaça: A proliferação de geradores open-source eficientes permite a criação de conteúdo sintético de alta fidelidade em hardware de consumo, tornando a detecção uma questão urgente de segurança.
• Falta de Dados: Não existiam benchmarks públicos focados em humanos e gerados por múltiplos modelos open-source para avaliar a robustez dos detectores contra essa nova ameaça.

2. Metodologia: O Benchmark SynthForensics

Os autores introduzem o SynthForensics, o primeiro benchmark centrado em humanos para detecção de vídeos sintéticos puros. A construção do dataset segue um protocolo rigoroso de duas etapas:

A. Protocolo de Fonte Pareada (Paired-Source)

• Origem: Utiliza 1.363 vídeos "puros" (reais) dos datasets FF++ e DFD como âncoras.
• Geração: Cada vídeo real é convertido em um vídeo sintético correspondente usando cinco modelos T2V open-source de ponta e arquiteturalmente distintos:
  1. Wan2.1 (14B parâmetros, DiT)
  2. SkyReels-V2 (14B parâmetros, DiT com RL)
  3. Self-Forcing (1.3B parâmetros, DiT causal, otimizado para GPU de consumo)
  4. CogVideoX (5B parâmetros, Transformer Especialista)
  5. MAGI-1 (24B parâmetros, abordagem autoregressiva pura)
• Objetivo: Ao parear vídeos com descrições semânticas idênticas, o benchmark isola os artefatos de geração (ruído, inconsistências temporais) das correlações semânticas, forçando os detectores a aprenderem a origem do vídeo, não o conteúdo.

B. Engenharia de Prompt e Validação Humana

• Prompting Estruturado: Um Modelo de Linguagem e Visão (VLM) gera metadados estruturados em 7 campos (descrição curta, densa, fundo, estilo, tipo de plano, iluminação, atmosfera) a partir do vídeo original.
• Adaptação: Esses metadados são reorganizados dinamicamente para atender às necessidades específicas de prompt de cada um dos 5 modelos.
• Validação Humana e Ética: Um ciclo iterativo de "humano-no-loop" valida cada prompt e vídeo gerado. Vídeos com artefatos graves (anatomia deformada, flickering, incoerência semântica) são rejeitados e regenerados.
• Filtros de Segurança: Prompts são filtrados manualmente e por LLMs para remover conteúdo sensível (violência, figuras políticas, etc.).

C. Diversidade e Versões do Dataset

• Estatísticas: 6.815 vídeos únicos (totalizando ~9,5 horas e >550.000 quadros).
• Formatos: Inclui proporções paisagem (16:9) e retrato (9:16) para simular plataformas modernas.
• Robustez: Cada vídeo é fornecido em 4 versões para testar robustez contra compressão:
  1. Raw: Saída direta do gerador.
  2. Canonical: Re-encodado sem perdas (H.264 CRF=0).
  3. CRF23: Compressão leve.
  4. CRF40: Compressão pesada (simulando distribuição real).

3. Principais Contribuições

1. Primeiro Benchmark de Vídeo Sintético Puro: Focado em detecção de conteúdo gerado do zero, não manipulado.
2. Protocolo de Pareamento Rigoroso: Garante que a dificuldade da detecção venha dos artefatos do gerador, não de diferenças de conteúdo.
3. Avaliação de Robustez: Inclui múltiplas versões de compressão e metadados completos (prompts, seeds, parâmetros) para reprodutibilidade total.
4. Análise de Generalização: Avalia tanto a adaptação a novos geradores quanto a compatibilidade com deepfakes tradicionais.

4. Resultados e Análise

A. Desempenho Zero-Shot (Sem Treinamento)

• Falha Catastrófica: Detectores de última geração (SOTA), treinados em deepfakes de manipulação, falham drasticamente em vídeos sintéticos puros.
• Queda de Desempenho: A média de queda no AUC (Área sob a Curva ROC) foi de 29,19% ao passar de benchmarks de manipulação para o SynthForensics.
• Pior que o Aleatório: Alguns métodos (como RECCE) caíram para AUC < 45%, performando pior que o chute aleatório.
• Fragilidade à Compressão: Sob compressão pesada (CRF40), os melhores modelos perderam mais de 30 pontos de AUC.

B. Aprendizado e Fine-Tuning

• Eficácia do Dataset: O SynthForensics provou ser altamente eficaz para treinamento. Após o fine-tuning, a maioria dos detectores atingiu AUCs próximos a 99% no dataset sintético.
• Incompatibilidade Reversa (Trade-off Crítico):
  • Modelos que aprenderam a detectar vídeos sintéticos puros perderam drasticamente a capacidade de detectar deepfakes tradicionais (manipulação).
  • A transferência reversa para benchmarks legados (FF++, DFD) caiu para níveis próximos ao aleatório (AUC ~50-55%) para a maioria dos modelos, exceto arquiteturas muito robustas como GenConViT e DFD-FCG.
  • Conclusão: Artefatos de manipulação (fusão, warping) e artefatos de geração (impressões digitais de difusão) são domínios forenses fundamentalmente incompatíveis.

C. Generalização para Geradores Não Vistos

• Modelos treinados em um subconjunto de geradores (ex: 3 modelos) generalizaram bem para geradores não vistos (Out-of-Domain), mantendo AUCs acima de 93%. Isso sugere que é possível aprender características forenses universais dos modelos T2V.

5. Significado e Conclusão

O artigo SynthForensics estabelece um marco crítico na pesquisa forense de mídia:

• Alerta de Segurança: Demonstra que as ferramentas atuais de detecção são obsoletas para a era dos geradores de vídeo puros.
• Direção Futura: A comunidade precisa desenvolver detectores especializados para conteúdo "nascido sintético".
• Desafio de Compatibilidade: Existe um conflito fundamental entre detectar manipulação e detecção de geração pura. Soluções futuras provavelmente precisarão de arquiteturas híbridas ou sistemas de detecção em cascata para cobrir ambos os espectros de ameaças.
• Reprodutibilidade: A liberação completa do dataset, metadados e prompts permite que a comunidade científica avance rapidamente no desenvolvimento de defesas robustas.

Em suma, o SynthForensics expõe uma vulnerabilidade crítica nas defesas atuais e fornece a infraestrutura necessária para construir a próxima geração de detectores de deepfake.