Leveraging large multimodal models for audio-video deepfake detection: a pilot study

Este artigo apresenta o AV-LMMDetect, um modelo multimodal de grande porte baseado no Qwen 2.5 Omni e ajustado via fine-tuning supervisionado, que supera ou iguala os métodos existentes na detecção de deepfakes de áudio e vídeo ao tratar a tarefa como uma classificação por prompts.

O essencial

Imagine que você está em uma festa e vê alguém conversando com você. Tudo parece normal: a boca se move, a voz soa natural e as expressões faciais combinam. Mas, e se eu te dissesse que essa pessoa é, na verdade, um "fantasma digital"? Um robô tão inteligente que consegue imitar perfeitamente a voz e o rosto de alguém, criando uma mentira tão convincente que nossos olhos e ouvidos não conseguem perceber a diferença?

Isso é o que chamamos de Deepfake (uma falsificação profunda). E o problema é que, hoje em dia, essas falsificações estão ficando cada vez mais realistas.

Aqui está uma explicação simples do que os pesquisadores do artigo fizeram para combater isso, usando analogias do dia a dia:

1. O Problema: Os "Detetives" Antigos Estavam Cansados

Antes, existiam vários "detetives" (modelos de computador) feitos para pegar essas falsificações.

• O Detetive Cego: Alguns só olhavam para o vídeo (o rosto). Eles eram bons, mas se o falsificador mudasse a voz, eles ficavam confusos.
• O Detetive Surdo: Outros só ouviam a voz. Se o rosto estivesse estranho, eles não percebiam.
• O Detetive Especialista: Havia alguns que olhavam para os dois (vídeo e áudio), mas eram como estagiários muito especializados. Eles eram ótimos para pegar um tipo específico de mentira que eles já tinham estudado, mas se aparecesse um novo tipo de falsificação ou uma língua diferente, eles falhavam miseravelmente. Eles não tinham "intuição" para generalizar.

2. A Solução: O "Polímata" com Superpoderes

Os autores criaram uma nova ferramenta chamada AV-LMMDetect. Em vez de criar um novo estagiário especializado, eles pegaram um gênio universal (um modelo de linguagem multimodal gigante chamado Qwen 2.5 Omni) e deram a ele um treinamento especial.

Pense nesse modelo como um detetive de elite que já leu milhões de livros, viu milhões de filmes e ouviu milhões de conversas. Ele já sabe como o mundo funciona.

• A Pergunta Mágica: Em vez de fazer o computador analisar milhares de linhas de código complexo, eles simplesmente perguntaram a ele: "Dada esta vídeo, é Real ou Falso?".
• O modelo usa sua inteligência geral para analisar a voz e o vídeo juntos, procurando por aquela "sensação" de que algo não está certo, mesmo que seja sutil.

3. O Treinamento: A Escola de Detetives (Duas Etapas)

Como você treina um gênio para ser um especialista em mentiras? Eles usaram um método de duas etapas, como se fosse um curso intensivo:

• Etapa 1: O "Ajuste Fino" (LoRA)
  Imagine que você pega um professor universitário brilhante e diz: "Ei, esqueça a física e a história por um momento. Quando eu te mostrar um vídeo, sua única tarefa é dizer 'Verdadeiro' ou 'Falso'. Não dê explicações longas, apenas responda!".
  Eles ensinaram o modelo a seguir essa regra sem "quebrar" todo o conhecimento que ele já tinha. Foi um ajuste leve e rápido.

• Etapa 2: O "Treinamento de Campo" (Ajuste Completo)
  Depois, eles disseram: "Agora, vamos treinar seus olhos e seus ouvidos especificamente para pegar mentiras". Eles liberaram o modelo para aprender profundamente como a voz e o rosto se comportam quando são falsificados. Isso permitiu que ele notasse as mínimas inconsistências que um humano (ou um modelo antigo) não veria.

4. Os Resultados: O Campeão do Mundo

Eles testaram esse novo "super detetive" em duas arenas de batalha (bases de dados de falsificações):

1. FakeAVCeleb: Um teste padrão. O novo modelo foi tão bom quanto os melhores especialistas do mundo, mas com uma vantagem: ele é mais inteligente e flexível.
2. MAVOS-DD: Este foi o teste difícil. Era como jogar xadrez contra um mestre que usa regras que você nunca viu antes (novas línguas, novas técnicas de falsificação).
   • Os modelos antigos (os "estagiários") falharam feio, acertando apenas 30% a 50% das vezes.
   • O AV-LMMDetect (o "gênio treinado") acertou 85% das vezes, mesmo quando enfrentou situações totalmente novas.

5. Por que isso importa?

Imagine que a internet é uma grande praça. Antes, as falsificações eram como máscaras grosseiras que qualquer um via. Agora, as máscaras são perfeitas.

Este trabalho mostra que, em vez de criar centenas de pequenos sensores para cada tipo de máscara, podemos usar uma única inteligência artificial gigante e bem treinada que entende o contexto completo (o que você vê e o que você ouve).

Em resumo: Eles pegaram um cérebro superinteligente, ensinaram a ele a jogar o jogo de "Verdade ou Mentira" com áudio e vídeo, e agora esse cérebro é o melhor detetive que já tivemos para proteger a verdade na internet.

Resumo técnico

1. O Problema

A detecção de deepfakes audiovisuais (AVD) tornou-se crítica devido ao avanço de modelos generativos capazes de criar fala e vídeo convincentes.

• Limitações Atuais: A maioria dos detectores existentes são modelos pequenos e específicos para tarefas (baseados apenas em visão ou fusão tardia de áudio/vídeo). Embora funcionem bem em testes curados, eles sofrem com:
  • Baixa generalização entre domínios.
  • Dificuldade em lidar com inconsistências cross-modais (entre áudio e vídeo).
  • Escalabilidade limitada frente a novas técnicas de falsificação.
• Oportunidade: Modelos de Linguagem Grandes (LLMs) e Multimodais (LMMs) mostraram potencial na detecção de deepfakes apenas de áudio, mas ainda não foram explorados eficazmente como detectores unificados de áudio e vídeo.

2. Metodologia: AV-LMMDetect

Os autores propõem o AV-LMMDetect, um modelo multimodal grande (LMM) supervisionado e ajustado finamente (SFT) que reformula a detecção de deepfakes como uma tarefa de classificação binária por meio de prompts.

• Base do Modelo: Construído sobre o Qwen 2.5 Omni, um modelo multimodal capaz de processar áudio e vídeo simultaneamente.
• Formulação da Tarefa: Em vez de usar arquiteturas complexas de fusão, o problema é transformado em uma pergunta direta: "Dado o vídeo, avalie se é Real ou Falso?". O modelo deve responder com um token restrito ("Real" ou "Fake").
• Estratégia de Treinamento em Duas Etapas:
  1. Alinhamento Leve (LoRA): Os codificadores de visão e áudio são mantidos congelados. Apenas camadas adaptáveis (LoRA) são ajustadas para alinhar a capacidade de raciocínio do modelo de linguagem à tarefa de detecção, garantindo eficiência.
  2. Ajuste Fino Completo dos Codificadores: Os codificadores de áudio e vídeo são desbloqueados e submetidos a um fine-tuning completo. Isso maximiza a sinergia cross-modal, permitindo que o modelo aprenda representações específicas da tarefa e capture inconsistências sutis entre áudio e vídeo.

3. Principais Contribuições

1. Primeiro Modelo LMM SFT para AVD: Introdução do AV-LMMDetect como o primeiro modelo multimodal grande ajustado supervisionadamente para detecção de deepfakes audiovisuais de ponta a ponta via classificação por prompt.
2. Estratégia de Treinamento Híbrida: Proposição de uma abordagem de duas etapas (LoRA $\rightarrow$ Full Fine-tuning) que equilibra eficiência computacional com alto desempenho de generalização cross-modal.
3. Desempenho de Estado da Arte (SOTA): Alcançou resultados superiores em conjuntos de dados desafiadores, superando métodos tradicionais e pipelines específicos de tarefas.

4. Resultados Experimentais

O modelo foi avaliado em dois benchmarks principais: FakeAVCeleb e MAVOS-DD.

• FakeAVCeleb (Intra-manipulação):

  • O AV-LMMDetect alcançou 98,02% de precisão e 99,2% de AUC.
  • Desempenho comparável ao método SOTA atual (AVFF) e significativamente superior a métodos baseados apenas em visão (ex: Xception, MesoNet) e à maioria dos métodos áudio-vídeo.

• MAVOS-DD (Generalização Open-Set):

  • Este conjunto de dados testa a generalização em cenários de linguagem aberta, modelo aberto e cenário completo (open-set full).
  • No cenário mais difícil (Open-set full), o AV-LMMDetect atingiu 85,09% de precisão, 0,92 de AUC e 0,96 de mAP.
  • Comparação: O modelo base (Qwen 2.5 Omni sem ajuste) teve apenas 32,26% de precisão, enquanto o AV-LMMDetect superou todos os métodos concorrentes (AVFF, MRDF, TALL) em três dos quatro cenários de avaliação.
  • Análise de Matriz de Confusão: O modelo apresentou a menor taxa de falsos negativos (14,9%) no cenário open-set, demonstrando robustez superior contra modelos de geração não vistos durante o treinamento.

• Estudo de Ablação:

  • A combinação das duas etapas de treinamento foi essencial. O uso apenas de LoRA (73,40%) ou apenas de ajuste completo (80,61%) foi inferior à abordagem completa (85,09%), provando que o alinhamento inicial e o ajuste profundo dos codificadores são complementares.

5. Significado e Conclusão

O estudo demonstra que Modelos Multimodais Grandes (LMMs) ajustados supervisionadamente são um caminho viável e superior para a detecção robusta e generalizável de deepfakes audiovisuais.

• Mudança de Paradigma: Em vez de projetar arquiteturas de fusão complexas e específicas, a abordagem utiliza a capacidade de raciocínio e a estrutura de dados pré-treinada de LMMs massivos.
• Generalização: A capacidade do modelo de lidar com cenários open-set (novos idiomas, novos modelos de geração) sugere que o conhecimento semântico e multimodal inerente aos LMMs é crucial para a forense digital futura.
• Impacto: O AV-LMMDetect não apenas supera os métodos atuais, mas também estabelece uma nova linha de base para a detecção de deepfakes em ambientes do mundo real, onde a diversidade de ataques é alta e imprevisível.