AIFIND: Artifact-Aware Interpreting Fine-Grained Alignment for Incremental Face Forgery Detection

1. Problema Abordado

O avanço rápido dos modelos generativos (como GANs e Diffusion Models) levou à criação de deepfakes com realismo sem precedentes, representando riscos significativos para a segurança pública. Métodos tradicionais de detecção de falsificação facial são treinados em conjuntos de dados estáticos e limitados, tornando-se rapidamente obsoletos quando novas técnicas de falsificação surgem.

Para enfrentar isso, a Detecção Incremental de Falsificação Facial (IFFD) foi proposta, visando treinar modelos continuamente com novas amostras falsas. No entanto, os métodos existentes enfrentam dois desafios principais:

1. Esquecimento Catastrófico e Deriva de Características: Métodos atuais dependem de replay de dados (armazenar amostras antigas) ou supervisão binária grosseira (Real/Fake). Isso falha em restringir explicitamente o espaço de características, levando a uma deriva não controlada quando novos tipos de falsificação são introduzidos.
2. Falta de Alinhamento Semântico Fino: Abordagens baseadas em Modelos Visão-Linguagem (VLMs) existentes tratam a informação semântica como rótulos globais, negligenciando as discrepâncias semânticas de baixo nível (artefatos) entre regiões faciais autênticas e manipuladas.

2. Metodologia Proposta: AIFIND

O AIFIND propõe um paradigma livre de replay de dados, utilizando Âncoras Semânticas estáveis para guiar o aprendizado incremental. A ideia central é interpretar artefatos visuais voláteis como coordenadas semânticas invariantes.

O framework consiste em quatro componentes principais:

A. Gerador de Priors Semânticos Orientado a Artefatos (ASPG)

• Função: Instanciar âncoras semânticas invariantes a partir de pistas de artefatos de baixo nível.
• Mecanismo: Define 5 dimensões de falsificação (Desfoque, Cor, Estrutura, Textura, Fronteira) aplicadas a 6 regiões faciais (Olhos, Nariz, Bochechas, Boca, Linha do Maxilar, Fronteira).
• Processo: Utiliza métricas estatísticas (ex: variância de Laplaciano, SSIM, GLCM) para identificar anomalias e um LLM para gerar pares de texto contrastantes (Real vs. Fake). O modelo seleciona as melhores descrições textuais que melhor alinham com as características visuais, criando uma "Biblioteca de Âncoras Semânticas".

B. Detector Incremental Guiado por Semântica (SGID)

• Atenção de Sonda de Artefatos (APA): Um módulo de atenção cruzada (Multi-Head Cross-Attention) que injeta as âncoras semânticas textuais selecionadas no codificador de imagens. As tokens visuais atuam como consultas (queries) para sondar os detalhes semânticos nas embeddings textuais. Isso força as características visuais voláteis a se alinharem com as âncoras semânticas estáveis.
• Supervisão Dupla:
  1. Classificação Binária: Prediz a autenticidade global (Real/Fake).
  2. Predição Multi-rótulo: Prediz a presença específica de dimensões de artefatos (ex: "olhos desfocados", "iluminação inconsistente"). Isso garante que o modelo aprenda não apenas se é falso, mas como é falso.

C. Harmonizador de Decisão Adaptativo (ADH)

• Problema: Em aprendizado incremental, os limites de decisão dos classificadores tendem a driftar.
• Solução: O ADH alinha os pesos dos classificadores (cabeças binária e multi-rótulo) preservando suas relações angulares em relação às âncoras semânticas.
• Mecanismo: Utiliza uma alinhamento esférico (geodésico) em vez de interpolação euclidiana. Isso mantém a consistência geométrica no espaço de características, garantindo que novos aprendizados não sobrescrevam representações antigas de forma destrutiva.

D. Estratégia de Treinamento

• Correspondência Dinâmica: Após um período de aquecimento (warm-up), o modelo recalibra dinamicamente quais âncoras semânticas são relevantes para cada instância de imagem, baseando-se na similaridade de cosseno.
• Perda Total: Combina perda de classificação, perda de predição de artefatos e perda de distilação de conhecimento (para regularizar o espaço de características em relação ao modelo anterior).

3. Principais Contribuições

1. Framework Livre de Replay: Propõe a primeira abordagem para IFFD que não depende do armazenamento de amostras passadas, substituindo o replay de dados por priores semânticos invariantes.
2. Alinhamento Fino Visual-Texto: Introduz a Artifact-Probe Attention, que ancora pistas visuais de falsificação em evolução a âncoras semânticas imutáveis, prevenindo a deriva de características.
3. Consistência Geométrica: Desenvolve o Adaptive Decision Harmonizer para manter a consistência dos limites de decisão através de tarefas incrementais, preservando a estrutura geométrica do espaço latente.
4. Validação Empírica: Demonstra superioridade em múltiplos protocolos incrementais, superando métodos baseados em replay e métodos gerais de aprendizado incremental.

4. Resultados Experimentais

Os experimentos foram conduzidos em protocolos padrão (incremento de conjuntos de dados e incremento de categorias de falsificação) utilizando datasets como DFDCP, Celeb-DF-v2, FaceForensics++, StyleGAN3 e DiffusionFace.

• Desempenho Geral: O AIFIND superou consistentemente todos os baselines (incluindo DFIL, SUR-LID, CoReD e métodos baseados em ViT como Coda-Prompt e CL-LoRA) em termos de AUC (Área sob a Curva).
  • No Protocolo 1 (Incremento de Conjuntos de Dados), alcançou uma média de 0.9686, superando o melhor baseline (SUR-LID com replay) que obteve 0.9486.
  • No Protocolo 2 (Incremento de Categorias), alcançou 0.9769, demonstrando forte adaptação a novos tipos de manipulação.
• Generalização: O modelo mostrou excelente generalização em conjuntos de dados não vistos (DFD, UniFace, SDv15, FAVC), atingindo uma média de 0.8980, indicando que aprendeu características forenses intrínsecas e transferíveis.
• Robustez: Sob perturbações severas (desfoque, ruído, compressão JPEG), o AIFIND manteve desempenho superior, provando que o alinhamento semântico preserva a capacidade discriminativa mesmo com distorções de imagem.
• Ablação: Estudos mostraram que a remoção de qualquer componente (ADH, APA ou perda multi-rótulo) degrada significativamente o desempenho, confirmando a necessidade de todos os módulos.

5. Significado e Impacto

O trabalho AIFIND representa um avanço significativo na detecção de deepfakes ao:

• Resolver o Dilema do Replay: Elimina a necessidade de armazenar dados sensíveis do passado, abordando preocupações de privacidade e armazenamento.
• Interpretabilidade: As visualizações (Grad-CAM) mostram que o modelo foca em regiões faciais semanticamente relevantes (olhos, boca, bordas) em vez de ruído de fundo, e há uma consistência clara entre os mapas de calor e as probabilidades de artefatos específicos.
• Paradigma Futuro: Estabelece uma nova direção para o aprendizado incremental em segurança, onde a estabilidade é garantida por conceitos semânticos invariantes em vez de memória de dados brutos.

Em resumo, o AIFIND oferece uma solução robusta, interpretável e escalável para a detecção contínua de falsificações faciais em um cenário de ameaças em constante evolução.