Interpretable facial dynamics as behavioral and perceptual traces of deepfakes

1. O Problema

O campo de detecção de deepfakes (mídia sintética gerada por IA) tem convergido predominantemente para abordagens de Aprendizado Profundo (Deep Learning - DL), como Redes Neurais Convolucionais (CNNs) e Recorrentes (RNNs). Embora esses métodos alcancem alto desempenho em benchmarks, eles apresentam três limitações críticas:

1. Falta de Interpretabilidade: Funcionam como "caixas pretas", dificultando a compreensão de por que uma decisão foi tomada, o que é crucial para contextos forenses e legais.
2. Desconexão Humano-Máquina: Há pouca investigação sobre a correspondência entre as decisões do modelo e os julgamentos humanos.
3. Custo Computacional: A alta demanda computacional limita a implementação prática.

Além disso, não está claro como diferentes sinais comportamentais (como fala vs. expressão emocional) influenciam a força do sinal de detecção e se a manipulação de deepfakes degrada especificamente a dinâmica de expressões emocionais.

2. Metodologia

O estudo adotou uma abordagem bio-comportamental e interpretável, focada em dinâmicas faciais temporais em vez de artefatos espaciais ou embeddings latentes opacos.

• Dados: Utilizou-se o conjunto de dados Google DeepFakeDetection (DFD), contendo pares de vídeos reais e deepfakes (face-swapping via autoencoder). O conjunto final consistiu em 464 vídeos (232 pares reais/falsos).
• Extração de Características:
  • As intensidades das Unidades de Ação (AUs) do Sistema de Codificação de Ação Facial (FACS) foram extraídas usando o OpenFace 2.0.
  • Aplicou-se Fatoração de Matriz Não Negativa (NMF) para reduzir a dimensionalidade e identificar padrões coordenados de movimento facial em baixa dimensão (3 componentes principais identificados: padrão de face inferior, configuração de queixo/lábios e padrão de face superior).
  • Em vez de usar as ativações da NMF diretamente, selecionou-se a AU com maior carga em cada componente como um "proxy" representativo (AU12, AU17, AU01).
• Engenharia de Características Temporais:
  • Foram extraídas 111 métricas temporais (usando o pacote R CMFTS) que quantificam a suavidade, ritmo, variabilidade e estabilidade das ativações musculares (ex.: autocorrelação, entropia, aceleração).
  • O algoritmo Boruta foi utilizado para seleção de características, identificando 8 características temporais estatisticamente importantes.
• Classificação:
  • Treinamento de quatro classificadores tradicionais (Logística, C5.0, Random Forest, SVM) para manter a transparência.
  • Avaliação em um conjunto de teste retido (hold-out).
• Análise de Valência Emocional: Um classificador foi treinado apenas com vídeos reais para prever a valência emocional (positiva, neutra, negativa) e testado em vídeos falsos para verificar se a dinâmica emocional era degradada.
• Experimento Perceptivo Humano: 89 participantes avaliaram os vídeos em formato de Point Light Display (isolando apenas a dinâmica temporal, removendo texturas) para comparar julgamentos humanos com o modelo.

3. Principais Contribuições

1. Abordagem Interpretável: Substituição de modelos de "caixa preta" por um pipeline baseado em características temporais de AUs, permitindo entender quais aspectos do movimento facial indicam falsificação.
2. Fingerprint Comportamental Dependente de Contexto: Demonstração de que a assinatura de um deepfake não é uniforme, mas depende do conteúdo emocional.
3. Comparação Humano-Máquina: Uma análise detalhada que revela que, embora humanos e máquinas possam concordar na classificação final de vídeos emocionais, eles utilizam estratégias de detecção fundamentalmente diferentes.

4. Resultados

• Desempenho de Detecção:

  • O classificador Random Forest alcançou um desempenho moderado, mas estatisticamente significativo, com AUC-ROC de 0,694 e precisão de 66,0% no conjunto de teste.
  • O sinal diagnóstico foi impulsionado por irregularidades temporais de ordem superior (padrões de velocidade e aceleração), e não pela magnitude do movimento.

• Efeito da Emoção (Aim 2):

  • A detecção foi significativamente melhor em vídeos com expressões emocionais (Acurácia: 72,4%) em comparação com vídeos sem emoção (Acurácia: 55,6%, não significativa).
  • Degradação Emocional: A análise de valência mostrou que os deepfakes degradam sistematicamente a dinâmica das expressões emocionais. O modelo conseguiu classificar a valência em vídeos reais com precisão significativa (59,6%), mas falhou em vídeos falsos (51,1%, ao acaso). Isso sugere que os geradores de deepfake têm dificuldade em replicar a coordenação muscular complexa e temporalmente precisa das emoções.

• Convergência e Divergência Humano-Máquina (Aim 3):

  • Convergência de Saída: Para vídeos emocionais, houve uma forte concordância entre as classificações do modelo e dos humanos (81,2% de acordo).
  • Divergência de Estratégia: Ao analisar como eles decidiram, descobriu-se que:
    • A precisão humana não correlacionava com as características mais diagnósticas do modelo (velocidade/autocorrelação).
    • Humanos e máquinas foram enganados por diferentes vídeos.
    • As características que predizem julgamentos humanos (entropia, dependências temporais de longo prazo) são distintas das que predizem o modelo.
  • Conclusão: Humanos e máquinas oferecem rotas de detecção complementares, não redundantes.

5. Significado e Conclusão

O estudo demonstra que a troca de faces (face-swapping) introduz alterações mensuráveis na dinâmica temporal facial, criando uma "impressão digital" bio-comportamental. Essa assinatura é mais saliente durante expressões emocionais, pois os modelos generativos atuais degradam a estrutura fina e coordenada necessária para emoções autênticas.

A descoberta de que humanos e algoritmos utilizam estratégias distintas, mesmo quando chegam à mesma conclusão, sugere que sistemas de detecção futuros devem integrar abordagens humanas e computacionais para maximizar a robustez. Além disso, o trabalho fornece um caminho para a explicabilidade na detecção de deepfakes, permitindo que especialistas forenses entendam os motivos comportamentais por trás de uma classificação de falsificação, superando as limitações das abordagens puramente baseadas em aprendizado profundo.