🤖 AI

Explainable Deepfake Detection with Feature-robust Augmentation and Evidence-grounded Explanation Optimization

Este artigo propõe um novo framework para detecção explicável de deepfakes que combina aumento de características robustas com aprendizado contrastivo supervisionado para aumentar a resiliência contra a degradação de imagens, e emprega otimização de preferência baseada em evidências para gerar explicações factualmente precisas, alcançando o primeiro lugar no ACM Multimedia 2026 Explainable Deepfake Detection Challenge.

Autores originais: Zhu Xu, Jiaqi Tang, Pokai Chen, Yuxin Peng, Yang Liu

Publicado 2026-08-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhu Xu, Jiaqi Tang, Pokai Chen, Yuxin Peng, Yang Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, a linha entre o que é real e o que é fabricado tornou-se cada vez mais tênue. A inteligência artificial generativa avançou ao ponto de conseguir criar imagens que são quase indistinguíveis de fotografias tiradas por uma câmera. Essas imagens fabricadas, frequentemente chamadas de deepfakes, representam uma séria ameaça à integridade das notícias, das evidências legais e da confiança pessoal. Durante anos, pesquisadores focaram em construir programas de computador que pudessem simplesmente dizer "sim" ou "não" ao serem apresentados a uma imagem, decidindo se ela é autêntica ou falsa. No entanto, no mundo real, um veredito simples raramente é suficiente. Um especialista forense ou um verificador de fatos precisa saber por que uma imagem é suspeita. Eles precisam ver as pistas visuais específicas — as sombras não naturais, as texturas distorcidas ou a geometria impossível — que revelam o engano. Essa necessidade deu origem a um novo campo de estudo: a detecção explicável, onde o objetivo não é apenas encontrar o falso, mas explicar a evidência claramente para um observador humano.

Apesar do progresso nesta área, os sistemas existentes têm lutado contra dois problemas principais que limitam sua utilidade. Primeiro, esses sistemas são frequentemente frágeis; se uma imagem estiver ligeiramente borrada, comprimida ou de baixa qualidade, a precisão do detector pode colapsar. Segundo, quando esses sistemas tentam explicar seu raciocínio, eles frequentemente falham em dizer a verdade. Eles podem perder a evidência real de manipulação ou, pior, inventar detalhes que não existem, um comportamento conhecido como alucinação. Uma equipe de pesquisadores da Universidade de Pequim abordou essas questões com um novo framework que conquistou o primeiro lugar no Desafio de Detecção de Deepfake Explicável da ACM Multimedia de 2026. Sua abordagem não apenas melhora a capacidade de detectar falsificações; ela garante que o sistema permaneça confiável mesmo quando a qualidade da imagem é ruim e força a explicação a ater-se estritamente às evidências factuais encontradas na imagem.

Os pesquisadores começaram abordando o problema da qualidade da imagem. No mundo real, as imagens raramente são perfeitas; elas são frequentemente redimensionadas, comprimidas ou degradadas por ruído. A equipe descobriu que os métodos padrão de treinar computadores para reconhecer falsificações costumam ter o efeito oposto quando expostos a muitos tipos diferentes de distorções de imagem. Em vez de aprender a reconhecer o falso, o computador fica confuso com a variedade de mudanças, um fenômeno que os autores descrevem como deriva de características (feature drift). Para corrigir isso, eles desenvolveram um método de treinamento que expõe o modelo a uma ampla gama de imagens degradadas enquanto simultaneamente o ensina a manter uma compreensão estável do que é uma imagem real ou falsa. Eles utilizaram uma técnica onde um modelo "professor", que é uma versão suavizada e estável do modelo de aprendizado, guia o aluno. Isso garante que, não importa o quanto a imagem seja distorcida, a representação interna do computador da imagem permaneça consistente. Isso permite que o sistema detecte deepfakes com precisão mesmo quando a qualidade da imagem é baixa, uma capacidade que modelos anteriores não possuíam.

Uma vez que o sistema consegue detectar uma falsificação de forma confiável, o próximo desafio é explicar o porquê. Os pesquisadores observaram que os modelos de explicação padrão costumam produzir respostas que parecem plausíveis, mas são factualmente erradas. Eles podem focar em detalhes irrelevantes, como a cor de uma camisa, enquanto ignoram a manipulação real, como uma mão deformada. Para resolver isso, a equipe criou um novo processo de treinamento que ensina o modelo a valorizar a verdade acima do estilo. Eles construíram um conjunto de dados onde o computador recebia pares de explicações: uma completa e precisa, e outra falha. Os exemplos falhos foram especificamente desenhados para mimetizar erros comuns, como omitir evidências cruciais ou adicionar detalhes inventados. Ao treinar o modelo para preferir as explicações precisas e rejeitar as falhas, o sistema aprendeu a priorizar traços genuínos de manipulação. Esse processo, conhecido como otimização de preferência, efetivamente filtrou as alucinações e forçou o modelo a fundamentar seu raciocínio nas evidências visuais reais presentes na imagem.

O resultado é um sistema que é tanto robusto quanto honesto. Em testes utilizando um conjunto massivo de um milhão de imagens, o novo framework superou todos os outros competidores, incluindo modelos de base de grandes empresas de tecnologia. Ele alcançou as pontuações mais altas tanto na detecção de deepfakes quanto na geração de explicações que eram semanticamente fiéis à evidência. Os pesquisadores também desenvolveram uma segunda versão simplificada do modelo para situações onde velocidade e brevidade são mais importantes do que uma análise detalhada. Esta versão foi treinada para fornecer resumos concisos das pistas mais críticas, equilibrando a necessidade de precisão com a necessidade de leitura rápida. O sucesso deste trabalho demonstra que é possível construir inteligência artificial que não apenas vê a verdade, mas também pode explicá-la claramente, sem ser enganada pela má qualidade da imagem ou por sua própria tendência de inventar fatos. Este avanço oferece uma ferramenta mais confiável para analistas forenses e para o público em geral, ajudando a restaurar a confiança na mídia digital ao tornar o processo de detecção transparente e baseado em evidências.

Resumo Técnico: Detecção de Deepfake Explicável com Aumento de Características Robusto e Otimização de Explicação Baseada em Evidências

Definição do Problema
O artigo aborda as limitações dos atuais sistemas de detecção de deepfakes explicáveis, que se estendem além da classificação binária para exigir justificativas interpretáveis. Os autores identificam duas deficiências críticas nas abordagens existentes que dificultam a aplicabilidade no mundo real:

Vulnerabilidade à Degradação da Qualidade da Imagem: A precisão da detecção declina significativamente em amostras de baixa qualidade. Embora o aumento de dados padrão seja uma remediação comum, os autores observam que estratégias de aumento excessivamente diversas podem induzir o "desvio de características" (feature drift), onde o modelo tem dificuldade em aprender representações consistentes, fazendo com que as fronteiras de classificação se tornem nebulosas e o desempenho caia.
Explicações Factualmente Falhas: Os modelos de explicação atuais frequentemente falham em fornecer raciocínios precisos. A análise empírica revela dois modos de falha prevalentes: (i) Omissão de Evidência, onde vestígios cruciais de manipulação estão ausentes (observado em 68,3% das amostras de linha de base), e (ii) Intrusão de Informação Irrelevante, onde o modelo alucina detalhes espúrios (observado em 57,7% das amostras). Os métodos existentes focam frequentemente no formato procedimental do raciocínio (por exemplo, comprimento ou contagem de etapas) em vez da precisão factual e completude da evidência.

Metodologia
Os autores propõem um framework unificado composto por dois componentes sinérgicos: um ramo de detecção robusto e um ramo de explicação baseado em evidências.

Aumento de Características Robusto para Detecção:
- Arquitetura: O sistema utiliza o DINOv3-7B como codificador visual, agregando tokens de multigranularidade (tokens CLS, REG e AVG patch) para capturar tanto a semântica global quanto detalhes finos.
- Pipeline de Aumento Consciente de Degradação: Para simular condições do mundo real, o pipeline de treinamento aplica diversas distorções (suavização, redimensionamento, ruído Gaussiano/Não-Gaussiano, compressão JPEG, realce de cor e distratores aleatórios) com intensidades variadas.
- Aprendizado Contrastivo Supervisionado: Uma perda contrastiva supervisionada é empregada para atrair as características da mesma classe de autenticidade (real ou falsa) para clusters compactos, independentemente da degradação, aumentando a discriminabilidade.
- Estabilização Mean-Teacher: Para evitar o desvio de características intra-instância causado por aumentos diversos, uma arquitetura mean-teacher é introduzida. A rede professora, atualizada via uma Média Móvel Exponencial (EMA) dos pesos do aluno, fornece uma âncora de característica estável. Uma perda de consistência alinha as características do aluno de visões degradadas com as características da professora de visões limpas, garantindo estabilidade sem sacrificar a diversidade do aumento.
Otimização de Explicação Baseada em Evidências:
- Construção de Dataset de Preferência: Os autores constroem um dataset de preferência ( $D_{pref}$ ) consistindo em pares de explicação "escolhido-rejeitado". Para cada explicação de verdade fundamental (ground-truth), amostras rejeitadas são geradas sinteticamente por um MLLM avançado (Qwen3.5-27B) via três estratégias: (i) remoção de vestígios de manipulação chave (Omissão de Evidência), (ii) injeção de detalhes irrelevantes mas visualmente presentes (Indução de Irrelevância), e (iii) uma combinação de ambos.
- Otimização de Preferência Direta (DPO): O modelo é ajustado via DPO para priorizar explicações escolhidas (completas e precisas) sobre as rejeitadas. Isso ensina explicitamente o modelo a evitar a omissão de evidências e a alucinação.
- Modelo de Explicação Concisa: Para cenários que exigem brevidade, um modelo separado é otimizado via Otimização de Política Relativa de Grupo (GRPO). Este modelo utiliza uma função de recompensa que equilibra a fidelidade semântica (medida pelo BERTScore) e a concisão (medida pelo SLEscore) para produzir pistas críticas e compactas.

Principais Contribuições

Validação Empírica de Vulnerabilidades: O artigo fornece evidência empírica demonstrando que a precisão da detecção é altamente sensível à degradação da qualidade da imagem e que o aumento padrão pode degradar o desempenho devido ao desvio de características. Também quantifica a prevalência de omissão de evidência e alucinação em modelos de explicação existentes.
Framework Inovador: O framework proposto melhora conjuntamente a robustez da detecção através do aumento consciente de degradação combinado com a estabilização mean-teacher, e melhora a fidelidade da explicação através da otimização de preferência baseada em evidências.
Desempenho de Estado da Arte: A abordagem alcançou o primeiro lugar no Desafio de Detecção de Deepfake Explicável da ACM Multimedia 2026, demonstrando desempenho superior tanto na robustez da detecção quanto na interpretabilidade da explicação.

Resultados
Avaliado no conjunto de teste XPlainVerse (200k imagens), o método proposto ("Pixel Sleuth") superou 138 equipes participantes:

Pontuação Geral: Alcançou a pontuação geral mais alta (0,841617 no leaderboard público; 0,7612 no conjunto de teste oculto).
Detecção: Alcançou um F1 score de detecção de 0,9424 no conjunto de teste oculto, superando a linha de base Qwen3-VL-8B (0,6342) e outras equipes de topo.
Qualidade da Explicação: Garantiu as pontuações mais altas em todas as métricas de explicação, incluindo Complex BERTScore (0,7063), Simple BERTScore (0,6819), Entity F1 (0,4205) e Claim F1 (0,5800).
Análise Qualitativa: Visualizações confirmam que o modelo mantém previsões precisas sob várias degradações onde as linhas de base falham, e gera explicações que enumeram precisamente os vestígios de manipulação sem fabricar artefatos inexistentes.

Significância
O artigo afirma que seu framework oferece uma solução confiável para a detecção de deepfakes explicável ao abordar os desafios duplos da robustez contra variações de qualidade e a precisão factual das explicações. Ao mudar o foco de formatos de raciocínio procedimental para a otimização baseada em evidências, o trabalho facilita um escrutínio forense mais eficaz e promove maior confiança do usuário nas ferramentas de detecção automatizadas. A inclusun de modelos tanto de análise forense detalhada quanto de verificação de fatos concisos permite que o sistema se adapte flexivelmente a diversos cenários de uso.

Mais como este