Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm

1. O Problema

Os métodos de falsificação facial (deepfakes) evoluíram rapidamente com o avanço da IA generativa, criando técnicas sofisticadas que divergem dos métodos "conhecidos". A maioria dos detectores atuais opera sob o paradigma de conjunto fechado (closed-set), onde o modelo é treinado e testado apenas em técnicas de falsificação específicas e conhecidas.

O principal problema identificado é que, em cenários do mundo real, os modelos de conjunto fechado falham ao encontrar técnicas de falsificação não vistas durante o treinamento. Nesses casos, o modelo tende a classificar erroneamente deepfakes desconhecidos como "reais" (falsos negativos), pois não possui uma classe para "desconhecido". O artigo propõe uma mudança para o paradigma de conjunto aberto (open-set), onde o sistema deve não apenas identificar falsificações conhecidas, mas também detectar e sinalizar falsificações de métodos desconhecidos como "desconhecidas", em vez de classificá-las erroneamente como reais.

2. Metodologia

Os autores propõem um algoritmo de classificação em três estágios baseado em Aprendizado Contrastivo Supervisionado (Supervised Contrastive Learning - SupCon) modificado. O objetivo é aprender um espaço latente que capture características específicas da falsificação, ignorando detalhes irrelevantes como identidade, fundo ou iluminação.

O pipeline proposto consiste em três etapas:

• Estágio 1: Aprendizado Contrastivo Supervisionado Ponderado (Weighted SupCon):

  • Utiliza uma função de perda contrastiva supervisionada.
  • Inovação Chave: O modelo enfrenta o desafio de que os dados reais tendem a ter representações dispersas no espaço de características, enquanto as falsificações formam agrupamentos bem definidos. Para resolver isso, os autores modificam a função de perda para dar maior peso à classe "Real". Isso incentiva um agrupamento mais compacto e distinto dos dados reais, facilitando a distinção entre dados reais, falsificações conhecidas e falsificações desconhecidas.
  • Utiliza-se um codificador (Encoder) baseado em DenseNet e um cabeçalho de projeção.

• Estágio 2: Ajuste Fino Supervisionado (Supervised Fine-tuning):

  • O codificador é congelado (usando pesos médios de Stochastic Weight Averaging - SWA para melhor generalização).
  • Um classificador é treinado sobre as embeddings geradas usando perda de entropia cruzada para distinguir as classes conhecidas (Real e tipos específicos de Deepfake).

• Estágio 3: Algoritmo de Detecção de Conjunto Aberto:

  • Estabelecem-se limites de rejeição (thresholds) para cada classe conhecida baseados nos escores de confiança (probabilidades softmax) dos dados de treinamento.
  • Durante a inferência, se a pontuação de confiança de uma amostra para todas as classes conhecidas estiver abaixo do limite calculado, a amostra é classificada como "Desconhecida" (uma nova técnica de falsificação), em vez de ser forçada a uma classe existente.

3. Principais Contribuições

• Algoritmo de Aprendizado de Representação: Proposta de uma variante do SupCon especificamente adaptada para o problema de deepfakes, focando no agrupamento compacto da classe real para melhorar a detecção de anomalias.
• Primeiro Trabalho em Open-Set para Deepfakes: Até onde se sabe, este é o primeiro estudo a investigar formalmente o problema de classificação em conjunto aberto no contexto de detecção de deepfakes, diferenciando entre "Real", "Falso Conhecido" e "Falso Desconhecido".
• Desempenho Superior em Falsificações Desconhecidas: O algoritmo demonstrou desempenho excepcional na detecção de deepfakes gerados por métodos não vistos durante o treinamento, superando significativamente a linha de base (Xception).
• Competitividade em Falsificações Conhecidas: O modelo mantém desempenho competitivo com métodos state-of-the-art (SOTA) de conjunto fechado na detecção de técnicas conhecidas, provando que a abordagem open-set não sacrifica a precisão nas classes conhecidas.

4. Resultados Experimentais

Os experimentos foram realizados utilizando o dataset FaceForensics++ (FF++c23) e CelebDF, avaliando três cenários:

1. Detecção de Deepfakes Desconhecidos (Open-Set):

   • O modelo foi treinado em um conjunto de técnicas e testado em uma técnica desconhecida.
   • Resultado: O modelo proposto superou a linha de base Xception em mais de 20 pontos percentuais em AUROC em vários cenários. Por exemplo, ao detectar DeepFakes (DF) desconhecidos, obteve AUROC de 0.7189 contra 0.5184 do Xception.
   • A visualização t-SNE mostrou que o SupCon ponderado separa claramente as classes desconhecidas das reais, ao contrário da Entropia Cruzada padrão.

2. Detecção de Deepfakes Conhecidos:

   • O modelo foi comparado com detectores de conjunto fechado (como Face X-ray, S-MIL-T).
   • Resultado: O modelo proposto obteve resultados competitivos (ex: 0.9943 AUROC para FaceSwap), demonstrando que o espaço latente aprendido é generalizável.

3. Classificação Open-Set Geral (Real vs. Deepfake):

   • Avaliou-se a capacidade de detectar qualquer deepfake (conhecido ou desconhecido) como "falso".
   • Resultado: O modelo alcançou o estado da arte (SOTA) em várias classes desconhecidas, superando métodos anteriores como CLRNet e TAR, com acurácia TOSC (True Open-Set Classification) de até 83.95% para a classe DF.

4. Avaliação Cross-Dataset:

   • Ao testar em CelebDF (treinado em FF++), o modelo manteve-se competitivo, superando métodos como Meso4 e Face X-ray, embora a sensibilidade a mudanças de domínio (domain shift) em dados reais permaneça um desafio.

5. Significado e Conclusão

Este trabalho é fundamental para a segurança digital e forense, pois aborda a vulnerabilidade crítica dos detectores atuais: a incapacidade de lidar com novas ameaças. Ao introduzir o paradigma de conjunto aberto, o sistema se torna uma ferramenta mais robusta, capaz de alertar sobre a existência de novas técnicas de manipulação sem classificá-las erroneamente como autênticas.

A abordagem sugere que, em vez de tentar aprender todas as variações de falsificação possíveis (o que é impossível), é mais eficaz aprender a distinguir o que é "real" de forma compacta e identificar qualquer desvio significativo como uma anomalia potencial. O artigo conclui que, embora o método seja eficaz, trabalhos futuros devem focar em reduzir a sensibilidade a mudanças de domínio entre conjuntos de dados reais e em abordagens de nível de vídeo para melhorar a robustez.