Hybrid CNN-ViT-BiLSTM Framework for Robust Deepfake Video Detection

Resumo Técnico: Estrutura Híbrida CNN-ViT-BiLSTM para Detecção Robusta de Vídeos Deepfake

Declaração do Problema
O rápido avanço das Redes Adversárias Generativas (GANs) e do aprendizado profundo permitiu a criação de vídeos deepfake altamente convincentes, representando ameaças significativas à segurança da mídia digital, à integridade da identidade e à confiança social. Embora os métodos de detecção existentes que utilizam Redes Neurais Convolucionais (CNNs), transformers e análise de sequências temporais tenham mostrado potencial, eles frequentemente sofrem de limitações críticas. Muitas abordagens dependem fortemente de características espaciais estáticas, negligenciando as inconsistências temporais cruciais para detectar manipulações em sequências de vídeo inteiras. Além disso, modelos treinados em conjuntos de dados únicos podem falhar ao generalizar para técnicas de manipulação ou ambientes operacionais não vistos devido a deslocamentos de domínio (domain shifts), artefatos de compressão e variações na qualidade do vídeo. Os métodos de ensemble atuais frequentemente carecem de uma fusão profunda ao nível de características ou falham em integrar o raciocínio espacial e temporal dentro de um pipeline modular unificado, resultando em uma robustez subótima em cenários do mundo real.

Metodologia
Para enfrentar esses desafios, os autores propõem uma estrutura de ensemble modular de ponta a ponta que unifica representações espaciais e temporais complementares. A arquitetura opera através das seguintes etapas:

1. Pré-processamento e Amostragem de Dados:

   • O sistema utiliza vídeos com recortes de rosto dos conjuntos de dados DeepFake Detection (DFD) e FaceForensics++ (FF++).
   • Os frames são amostrados em intervalos fixos (a cada 20º frame) para garantir a cobertura temporal mantendo a eficiência.
   • Até 50 recortes de rosto são extraídos por vídeo usando o detector RetinaFace, redimensionados para dimensões específicas (224×224 para ResNet-50 e ViT; 299×299 para XceptionNet) e normalizados.

2. Extração de Características Espaciais de Múltiplos Ramos:
   A estrutura emprega três redes de base distintas para capturar diversas características espaciais:

   • ResNet-50: Extrai características espaciais hierárquicas, produzindo um vetor de 2048 dimensões via pooling médio.
   • XceptionNet: Utiliza convoluções separáveis em profundidade para detectar anomalias de textura local refinadas e artefatos de alta frequência, produzindo um vetor de 2048 dimensões.
   • Vision Transformer (ViT): Modela dependências contextuais globais e relações espaciais de longo alcance usando mecanismos de autoatenção, produzindo um vetor de 768 dimensões a partir do token [CLS].

3. Fusão ao Nível de Características:
   As saídas das três redes de base são concatenadas e L2-normalizadas para formar um vetor de características unificado de 4864 dimensões para cada recorte de rosto. Esta estratégia integra detalhes de CNN local com o contexto de transformer global antes da modelagem temporal.

4. Modelagem de Sequência Temporal:

   • As características espaciais fundidas são agrupadas em sequências de comprimento fixo de 5 recortes de rosto consecutivos.
   • Uma rede de Longa Memória de Curto Prazo Bidirecional (BiLSTM) processa essas sequências para capturar dependências temporais tanto para frente quanto para trás, tais como irregularidades de movimento, padrões de piscar de olhos e inconsistências entre frames.
   • A BiLSTM produz um embedding temporal de 512 dimensões que representa o segmento do vídeo.

5. Classificação:
   Os embeddings temporais são agregados (via pooling médio) para formar uma representação ao nível do vídeo, que é passada por uma camada totalmente conectada com uma função de ativação sigmoid para produzir uma classificação binária (Real vs. Falso). O modelo é treinado utilizando o otimizador Adam e perda de entropia cruzada binária.

Principais Contribuições

• Arquitetura Modular Inovadora: O artigo introduz uma estrutura unificada que integra ResNet-50, XceptionNet e ViT para uma análise espacial abrangente, acoplada à BiLSTM para o aprendizado de dependência temporal.
• Estratégia de Fusão ao Nível de Características: Diferente de métodos de ensemble anteriores que dependem de fusão tardia ou estática, esta abordagem realiza a fusão ao nível de características antes da modelagem temporal, permitindo representações espaço-temporais mais ricas.
• Raciocínio Temporal Explícito: A inclusão da BiLSTM aumenta significativamente a robustez contra artefatos de compressão e diversas técnicas de falsificação ao modelar movimentos e inconsistências temporais.
• Generalização entre Conjuntos de Dados: A estrutura é avaliada conjuntamente nos conjuntos de dados DFD e FF++, demonstrando capacidades de generalização aprimoradas entre diferentes técnicas de manipulação e fontes de dados.
• Escalabilidade: O design modular permite a integração fácil de modelos de base adicionais ou módulos temporais em extensões futuras.

Resultados Experimentais
O método proposto foi avaliado em um conjunto de teste combinado dos conjuntos de dados DFD e FF++ utilizando uma GPU NVIDIA A100. Os resultados indicam um desempenho superior comparado às redes de base individuais e aos métodos de estado da arte (SOTA) existentes:

• Acurácia: 91,07%
• AUC (Área Sob a Curva): 0,971
• F1-Score Macro: 0,91
• Precisão Média: 0,9646

Estudos de ablação confirmaram que cada componente contribui significativamente para o desempenho final. A fusão de ResNet-50 e XceptionNet melhorou a AUC para 0,95, enquanto a adição da BiLSTM elevou-a para 0,97. A integração final do ViT alcançou o pico de AUC de 0,971. O modelo superou as linhas de base individuais (ex: XceptionNet com 88% de AUC, ViT com 90% de AUC) e igualou ou excedeu vários modelos recentes de SOTA híbridos e de ensemble.

Significância e Alegações
Os autores alegam que este trabalho estabelece um novo marco para a detecção prática de deepfakes ao alcançar um desempenho robusto através de diferentes fontes de dados e técnicas de falsificação. A significância da estrutura reside em sua capacidade de explorar simultaneamente pistas espaciais, semânticas e temporais, abordando as limitações de métodos que focam apenas em características estáticas ou que carecem de integração profunda de diversas arquiteturas. O artigo postula que o ensemble espaço-temporal proposto é particularmente eficaz em cenários de múltiplos conjuntos de dados, oferecendo uma solução mais confiável para aplicações forenses do mundo real. Embora reconheçam a complexidade computacional como uma limitação para implantação em tempo real em dispositivos de borda (edge), os autores enfatizam a eficácia da estrutura para análise forense escalável e seu potencial como base para pesquisas futuras em explicabilidade e detecção multimodal.