MSCT: Differential Cross-Modal Attention for Deepfake Detection

1. Problema e Motivação

A detecção de deepfakes (falsificações geradas por IA) em áudio e vídeo tornou-se crítica devido ao avanço de modelos generativos como GANs, VAEs e modelos de difusão. Embora métodos de detecção multimodal existam, o artigo identifica duas limitações principais nas abordagens tradicionais:

• Viés na Atenção Cruzada Tradicional: Os métodos atuais utilizam atenção cruzada para alinhar áudio e vídeo, baseando-se em perdas de alinhamento que exigem alta similaridade para vídeos reais e baixa para falsos. O artigo argumenta que isso cria um conflito: a matriz de atenção é forçada a ser baixa em vídeos falsos e alta em reais, o que reduz a sensibilidade do modelo às regiões forjadas (onde a detecção é necessária) e aumenta a sensibilidade ao conteúdo real.
• Falta de Percepção Temporal Multiescala: A maioria dos algoritmos extrai apenas informações espaciais complexas dentro de um único quadro. No entanto, um único quadro muitas vezes contém informações semânticas incompletas, dependendo de quadros adjacentes para o contexto total. A extração de características no nível do quadro falha em capturar essas dependências temporais multiescala.

2. Metodologia Proposta: MSCT

Os autores propõem o MSCT (Multi-Scale Cross-Modal Transformer Encoder), uma arquitetura projetada para superar as limitações acima. O modelo consiste em um pré-encoder para áudio e vídeo, seguido por um módulo de transformador que integra duas novas camadas de atenção:

A. Módulo de Atenção Cruzada Diferencial (DCA)

Inspirado no Differential Transformer, este módulo visa alinhar melhor a perda de alinhamento cruzado com o mecanismo de atenção.

• Funcionamento: Em vez de usar apenas a matriz de atenção cruzada tradicional ($Attn_{BA}$), o DCA calcula a diferença entre a matriz de autoatenção ($Attn_{AA}$) e a matriz de atenção cruzada ($Attn_{BA}$).
• Lógica: A perda de alinhamento força a similaridade cruzada de vídeos falsos a zero, restringindo $Attn_{BA}$. Como $Attn_{AA}$ (autoatenção) não é afetada por essa perda, a subtração ($Attn_{AA} - Attn_{BA}$) resulta em uma matriz de diferença ($DiffAttn$) que é amplificada para vídeos falsos.
• Benefício: Isso permite que o modelo foque mais intensamente nas pistas de falsificação, melhorando a compatibilidade entre a função de perda e o mecanismo de atenção.

B. Módulo de Autoatenção Multiescala (MSSA)

Este módulo foi desenvolvido para capturar dependências temporais que se estendem além do quadro imediato.

• Funcionamento: As representações de chave ($K$) são divididas e processadas através de convoluções 2D em diferentes escalas antes de serem concatenadas.
• Lógica: Ao aplicar convoluções em diferentes escalas, o modelo integra informações de embeddings adjacentes de forma adaptativa.
• Benefício: Isso confere ao transformador flexibilidade no domínio temporal, permitindo que cada embedding absorva contexto semântico de quadros vizinhos, resolvendo o problema da informação incompleta em quadros únicos.

3. Contribuições Principais

1. Novo Mecanismo de Atenção (DCA): Introdução de uma atenção cruzada diferencial que resolve o conflito entre a otimização de perda de alinhamento e a detecção de anomalias, aumentando a sensibilidade a regiões forjadas.
2. Extração Temporal Multiescala (MSSA): Desenvolvimento de um módulo de autoatenção que utiliza convoluções para capturar dependências temporais de longo alcance e multiescala, superando as limitações da extração de características por quadro único.
3. Arquitetura Integrada: Proposta de um codificador transformador completo que combina extração de características unimodais robustas (usando Res2Net com convolução de wavelet e CBAM para vídeo) com fusão multimodal aprimorada.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados FakeAVCeleb, que contém 500 vídeos reais e mais de 20.000 vídeos falsos (combinando áudio e vídeo reais e falsos em várias configurações).

• Desempenho Geral: O MSCT alcançou uma acurácia de 98,75% e uma pontuação AUC de 98,83%.
• Comparação: Superou significativamente os métodos mais recentes (SOTA), incluindo:
  • MRDF-CE: 94,05% (Acurácia) / 92,43% (AUC)
  • BusterX: 96,30% (Acurácia)
  • AVOID-DF: 83,70% (Acurácia)
• Estudo de Ablação: Experimentos demonstraram que tanto o DCA quanto o MSSA contribuem individualmente para o desempenho, sendo a combinação de ambos a configuração mais eficaz. O DCA trouxe o ganho mais pronunciado, validando a hipótese de que a atenção diferencial é crucial para a detecção.
• Visualização (T-SNE): As visualizações mostraram que o modelo proposto separa claramente as classes de áudio/vídeo reais e falsos, enquanto os modelos de base (com atenção tradicional) tinham dificuldade em distinguir certas categorias (ex: Áudio Real - Vídeo Falso).

5. Significado e Conclusão

O trabalho demonstra que a arquitetura tradicional de transformadores multimodais, quando aplicada diretamente à detecção de deepfakes, sofre de viéses de otimização e limitações temporais. Ao introduzir a atenção diferencial e a autoatenção multiescala, os autores criaram um sistema que não apenas alinha melhor áudio e vídeo, mas que é especificamente calibrado para identificar inconsistências sutis de falsificação.

A eficácia do MSCT no conjunto de dados FakeAVCeleb valida que a modificação da mecânica de atenção para favorecer a detecção de anomalias (em vez de apenas alinhamento) é uma direção promissora para o futuro da segurança de mídia digital.