LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

Resumo Técnico: LaP-Forensics

Definição do Problema
Modelos de IA generativa recentes (ex: Flux, Stable Diffusion 3.5) reduziram significativamente os artefatos visuais visíveis, tornando as imagens sintéticas cada vez mais coerentes tanto em níveis semânticos quanto locais. Esta evolução enfraquece os detectores forenses tradicionais e as explicações que dependem exclusivamente de pistas de aparência superficial. As abordagens existentes enfrentam uma dicotomia: detectores de nível de imagem oferecem interpretação semântica limitada, enquanto agentes baseados em Modelos de Linguagem de Grande Escala Multimodais (MLLM) frequentemente geram explicações legíveis por humanos que carecem de fundamentação em evidências forenses explícitas. Consequentemente, os modelos podem produzir raciocínios persuasivos, mas não sustentados, atribuindo previsões a anomalias aparentes que não estão realmente presentes ou que não são suportadas por sinais forenses subjacentes. Existe uma necessidade crítica de modelos forenses que não apenas prevejam a autenticidade, mas que também fundamentem suas explicações em evidências espacialmente localizadas e explícitas.

Metodologia
O LaP-Forensics (Latent-Pixel Forensics) é um framework multimodal de fluxo duplo projetado para integrar semântica RGB de alto nível com pistas de compatibilidade baseadas em reconstrução. A arquitetura consiste em dois componentes primários:

1. Representação Visual de Fluxo Duplo:

   • Fluxo Semântico RGB: Utiliza um codificador CLIP-ViT-L/14 congelado para extrair características de nível de patch que representam a compreensão da cena e a semântica de objetos.
   • Fluxo de Consistência de Pixel-Latente: Utiliza um modelo Stable Diffusion v1.5 congelado para realizar inversão DDIM determinística e reconstrução. Este processo gera uma referência de reconstrução fixa ($\hat{x}$) a partir da imagem de entrada ($x$). O sistema calcula um mapa de resíduo de compatibilidade elemento a elemento ($R = |x - \hat{x}|$). Regiões com resíduos mais altos indicam uma incompatibilidade com a referência de reconstrução, potencialmente expondo estruturas sintéticas ou editadas.
   • Fusão: Ambos os fluxos são codificados via projetores independentes e concatenados em uma dimensão de token comum para o backbone do MLLM (LLaMA-2-7B).

2. Raciocínio Estruturado e Localização:

   • O modelo emprega um paradigma de raciocínio Onde–O quê–Por que (Where–What–Why). Ele gera um texto estruturado analisando anomalias observáveis, relacionando-as ao mapa de consistência e produzindo um julgamento de autenticidade.
   • Para acionar a localização de artefatos em nível de pixel, o modelo gera um token [SEG], que é decodificado por um Segment Anything Model (SAM) congelado para produzir uma máscara de artefato.

3. Treinamento em Dois Estágios:

   • Estágio I (Ajuste Fino Supervisionado - SFT): O modelo é treinado em dados curados de Cadeia de Pensamento (CoT). A função de perda otimiza conjuntamente a modelagem de linguagem (cross-entropy) e a segmentação de artefatos (Dice e Binary Cross-Entropy).
   • Estágio II (Alinhamento Orientado pelo Resultado): Um estágio de Otimização de Política Relativa de Grupo (GRPO) alinha as saídas do modelo com a evidência. A função de recompensa ($R_{total}$) combina:
     • Recompensa de Máscara ($R_{mask}$): Baseada na Interseção sobre União (IoU) com as másculas de verdade fundamental (ground-truth).
     • Recompensa de Formato e Referência de Evidência ($R_{format}$): Penaliza estruturas inválidas e recompensa referências explícitas ao mapa de consistência e conclusões válidas. Crucialmente, este termo regulariza a estrutura e o referenciamento do texto, mas não verifica a verdade semântica das explicações de texto livre.

4. Detector Independente: Um cabeçalho de classificação de nível de imagem separado concatena os tokens [CLS] de ambos os fluxos (RGB e resíduo), otimizado via cross-entropy para detecção binária.

Principais Contribuições

• Framework de Fluxo Duplo: Propõe uma arquitetura inovadora que integra semântica RGB com resíduos de reconstrução derivados de DDIM para detecção, raciocínio e localização de artefatos conjuntos.
• Protocolo Forense: Introduz um protocolo de raciocínio "Onde–O quê–Por que" e um objetivo GRPO que otimiza conjuntamente a qualidade da localização, a estrutura da saída e o referenciamento de evidências.
• Validação Empírica: Valida a eficácia do fluxo de resíduo e das escolhas de design através de experimentos extensos em detecção de cross-generator e localização de artefatos.

Resultados Experimentais

• Localização de Artefatos: No benchmark SynthScars (protocolo oficial), o LaP-Forensics alcança um desempenho competitivo, superando baselines como LEGION, HiFi-Net e TruFor em termos de mIoU e scores F1 em várias categorias (Humano, Objeto, Animal, Cena).
• Detecção de Cross-Generator: Avaliado no UniversalFakeDetect, o detector independente atinge alta precisão em diversas famílias de geradores, incluindo GANs (97,23%), Diffusion (92,18%), CRN (98,98%) e IMLE (98,62%). Demonstra forte generalização, embora baselines especializados permaneçam mais fortes para famílias específicas como Deepfakes e SAN.
• Estudos de Ablação: Experimentos controlados em um subconjunto curado de SynthScars-CoT confirmam que:
  • O fluxo de resíduo é o componente mais crítico; remover o fluxo causa uma queda significativa no mIoU (de 72,19% para 61,83%) e no F1.
  • A inversão DDIM de múltiplos passos ($T=50$) fornece um melhor equilíbrio entre sensibilidade e confiabilidade do que resíduos VAE de passo único ou horizontes mais longos ($T=100$).
  • O full GRPO reward (máscara + formato + referência de evidência) é necessário para o desempenho ideal; otimizar apenas para a qualidade da máscara leva a saídas instáveis.
  • Intervenções contrafatuais (zerar ou trocar o mapa de consistência) degradam significativamente o desempenho, confirmando a dependência do modelo em relação ao fluxo de resíduo para previsões espaciais.

Significância e Limitações
O artigo afirma que o LaP-Forensics avança o campo ao ir além das pistas de aparência de superfície para utilizar sinais de compatibilidade baseados em reconstrução para uma forense explicável. Demonstra que a integração de uma referência de reconstrução fixa permite que os modelos raciocinem sobre onde os artefatos ocorrem e por que eles sustentam um julgamento, fundamentados em um mapa de consistência específico.

No entanto, os autores mantêm uma postura modesta em relação às limitações:

• Fidelidade Semântica: A recompensa do lado do texto incentiva a referência ao mapa de evidência, mas não garante a verdade semântica ou a fidelidade das explicações de texto livre geradas.
• Robustez: O resíduo DDIM está vinculado a uma referência específica de Stable Diffusion e pode ser afetado por pós-processamento, edições sutis ou texturas de alta frequência naturais (ex: cabelo, folhagem), podendo levar a uma localização espúria.
• Generalização: O horizonte de inversão ideal ($T=50$) e as métricas de desempenho são específicos para os backbones e protocolos avaliados e podem não se generalizar universalmente para todos os datasets ou condições de pós-processamento.

O código-fonte e os modelos pretendem ser lançados publicamente para facilitar pesquisas adicionais nesta área.