Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Resumo Técnico: Revelando o Vocabulário Semântico de Detectores de Deepfake

Declaração do Problema
A tecnologia de Deepfake (DF) representa uma ameaça crítica à integridade da informação, exigindo métodos de detecção robustos. No entanto, a abordagem predominante na detecção de deepfakes baseia-se na classificação binária (real vs. falso), que carece da transparência e justificativa necessárias para aplicações de alto risco, como processos judiciais. Embora a Detecção de Deepfake Explicável (XDFD) tenha surgido para abordar essa questão, as técnicas existentes sofrem de limitações significativas: métodos de localização espaço-temporal frequentemente produzem evidências visuais grosseiras (ex: destacando todo o rosto em vez de artefatos específicos), e métodos de explicação textual frequentemente carecem de ancoragem espacial precisa ou falham em refletir a evidência subjacente utilizada pelo detector. Além disso, muitas abordagens atuais de XDFD exigem modificações arquiteturais, objetivos de treinamento auxiliares ou anotações humanas, criando trocas (trade-offs) entre interpretabilidade e desempenho preditivo.

Metodologia
Este trabalho propõe um framework de IA Explicável (XAI) post-hoc que analisa detectores de deepfake de ponta do tipo caixa-preta sem modificar sua arquitetura ou exigir retreinamento. A abordagem técnica central utiliza o Par de Direções de Codificação-Decodificação (EDDP), uma técnica fundamentada na hipótesa de representação linear.

1. Extração de Conceitos: O método assume que os conceitos (características indicativas de imagens reais ou falsas) são codificados no espaço latente do modelo como combinações lineares de embeddings de conceitos. Ao aplicar o EDDP às ativações de uma camada específica (o 12º bloco residual de uma rede Xception pré-treinada no FaceForensics++), os autores aprendem conjuntamente:

   • Direções de Decodificação ($W$): Vetores que atuam como detectores de conceitos.
   • Direções de Codificação ($S$): Vetores que representam as direções específicas no espaço latente onde os conceitos são codificados.
   • Limiares ($b$): Fronteiras de decisão para a ativação de conceitos.

2. Visualização e Quantificação:

   • Mapas de Presença de Conceito (CPMs): Mapas binários gerados pela aplicação de direções de decodificação em patches espaciais, redimensionados (up-sampled) para mostrar onde conceitos específicos estão presentes.
   • Mapas de Contribuição de Conceito (CCMs): Mapas de calor espacialmente conscientes que quantificam a influência de cada conceito no logit de predição final, distinguindo entre mera presença e contribuição causal.

3. Validação e Análise:

   • Sensibilidade RCAV: Os escores de Vetor de Ativação de Conceito Relativo (RCAV) são usados para determinar se um conceito enviesa o modelo para classificações "Real" ou "Falso".
   • Mapeamento Semântico: O Índice de Interseção sobre União (IoU) mapeia direções de conceitos abstratos para regiões faciais de referência (ground-truth) (ex: nariz, olhos, boca).
   • Avaliação de Fidelidade (Faithfulness): Os autores utilizam clonagem de conceitos (transplantando coeficientes de conceito de uma amostra alvo para uma base de origem) e intervenções direcionadas (adicionando/removendo conceitos para inverter predições) para verificar se os conceitos identificados são os principais impulsionadores da decisão do modelo.

Principais Contribuições

• Primeira XAI Baseada em Conceitos Post-Hoc para Deepfakes: Esta é a primeira aplicação de XAI post-hoc baseada em conceitos especificamente dentro do domínio da detecção de deepfakes, evitando a necessidade de retreinamento do modelo ou supervisão ao nível de artefato.
• Descoberta de Vocabulário Semântico: O trabalho revela com sucesso um "vocabulário semântico" de 16 conceitos internos aprendidos pelo detector, mapeando ativações latentes abstratas para características interpretáveis por humanos (ex: "boca-falsa", "olhos-reais", "pescoço-falso").
• Compreensão Global e Local: O framework permite a compreensão global do modelo ao identificar quais conceitos impulsionam as predições, enquanto os CCMs fornecem explicações locais espacialmente conscientes e baseadas em conceitos que apontam para artefatos de manipulação específicos.
• Análise Contrafactual: O método facilita a análise "e se" (what-if), demonstrando relações causais entre conceitos específicos e saídas do modelo através de intervenção sistemática.

Resultos

• Identificação de Conceitos: A análise revelou conceitos distintos que consistentemente enviesam o modelo para "Falso" (ex: $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$) e outros para "Real" (ex: $c_0, c_5, c_7, c_8, c_{11}$). Alguns conceitos foram considerados não discriminativos.
• Ancoragem Semântica: O mapeamento quantitativo via IoU confirmou que os conceitos se alinham com regiões faciais específicas (ex: $c_5$ correlaciona-se com o nariz, $c_{12}$ com olhos falsos).
• Fidelidade: O experimento de clonagem de conceito alcançou 87,34% de precisão na reprodução de predições alvo, e intervenções direcionadas em amostras classificadas incorretamente alcançaram uma taxa de sucesso de 99,8% na correção da saída do modelo. Isso confirma que os coeficientes de conceito aprendidos capturam as características essenciais usadas para a classificação.
• Especificidade de Manipulação: O estudo observou que certos conceitos exibem alta especificidade para técnicas de geração de deepfake particulares (ex: $c_3$ e $c_9$ são altamente prevalentes em DeepFakes e Face2Face), indicando que o detector aprende artefatos inerentes a processos generativos específicos.

Significância e Alegações
O artigo afirma que esta abordagem proporciona uma compreensão mais profunda das estratégias de detecção de deepfake ao ir além das predições binárias para revelar as características intrínsecas aprendidas durante o treinamento. Ao fundamentar a lógica de classificação em regiões faciais identificáveis e fornecer um mecanismo para direcionar as predições do modelo, o trabalho possibilita sistemas de detecção mais transparentes e confiáveis. Os autores enfatizam que seu método oferece um alinhamento estreito entre a explicação e a função de decisão, melhorando a fidelidade sem o ônus operacional de retreinamento ou restrições arquiteturais.

Limitações
Os autores reconhecem modestamente várias restrições:

• Embora o detector em si não seja retreinado, o modelo EDDP ainda deve ser aprendido sobre o espaço de representação específico do modelo alvo.
• O número de conceitos é um hiperparâmetro definido manualmente, o que acarreta o risco de redundância ou sinal insuficiente se não for selecionado corretamente.
• Os conceitos identificados são otimizados para a arquitetura de modelo específica (Xception) e o conjunto de dados (FaceForensics++) utilizados; eles podem não ser diretamente transferíveis para outros modelos ou conjuntos de dados sem um processo de treinamento separado.