Generating Attribution Reports for Manipulated Facial Images: A Dataset and Baseline

Título: Gerando Relatórios de Atribuição para Imagens Faciais Manipuladas: Um Dataset e uma Linha de Base

1. Problema e Motivação

O avanço rápido de modelos generativos (como modelos de difusão e GANs) aumentou drasticamente o realismo de imagens sintetizadas e manipuladas, criando riscos significativos de desinformação e violação de privacidade.

• Limitação dos Métodos Atuais: As técnicas existentes de detecção de falsificação facial focam predominantemente em classificação binária (verdadeiro/falso) ou localização de pixels (máscaras binárias).
• Falta de Interpretabilidade: Embora as máscaras indiquem onde a manipulação ocorreu, elas não explicam por que aquela região é considerada falsa. Elas tratam todos os pixels manipulados de forma igual, falhando em diferenciar entre alterações sutis e significativas ou fornecer evidências descritivas que permitam aos humanos confiarem no resultado.
• Necessidade: Há uma lacuna crítica na necessidade de sistemas que não apenas localizem a falsificação, mas que também gerem explicações textuais naturais baseadas nas evidências visuais e no processo de edição.

2. Metodologia Proposta

Os autores propõem uma nova tarefa multimodal chamada Geração de Relatórios de Atribuição de Falsificação (Forgery Attribution Report Generation), que exige que o modelo responda simultaneamente a duas perguntas: "Onde?" (Localização) e "Por quê?" (Explicação).

Para suportar essa tarefa, foram desenvolvidos dois componentes principais:

A. Dataset MMTT (Multi-Modal Tamper Tracing)

• Escala: Um dataset de grande escala contendo 152.217 amostras.
• Fontes de Dados: Derivado de 100.000 imagens faciais de alta qualidade (CelebAMask-HQ e FFHQ).
• Tipos de Manipulação: Inclui quatro paradigmas principais:
  1. Troca de Rosto (Face Swapping): Substituição completa do rosto.
  2. Edição Facial: Alteração de atributos específicos (ex: sobrancelhas, pele).
  3. Preenchimento de Imagem (Inpainting): Baseado em Transformers e Difusão.
• Anotações de Alta Qualidade:
  • Máscaras de Ground-Truth: Geradas programaticamente a partir do processo de edição, garantindo alinhamento pixel-perfeito.
  • Descrições Textuais: Anotadas manualmente por humanos seguindo um pipeline rigoroso. Os anotadores descrevem inconsistências visuais (ex: textura de pele ausente, contornos borrados, assimetria) exclusivamente nas regiões manipuladas. O corpus contém mais de 4 milhões de palavras.

B. Modelo ForgeryTalker
Uma estrutura unificada end-to-end baseada em InstructBLIP, projetada para realizar localização e geração de relatório simultaneamente.

• Arquitetura:
  • Codificador Compartilhado: Utiliza um Vision Transformer e um Q-Former para extrair representações multimodais sensíveis a falsificações.
  • Forgery Prompter Network (FPN): Uma rede auxiliar que identifica regiões salientes de manipulação e gera "prompts" (palavras-chave regionais) para guiar o raciocínio do modelo.
  • Decodificadores Duplos:
    1. Decodificador de Máscara: Gera o mapa de localização da falsificação.
    2. Modelo de Linguagem (LLM): Gera o relatório textual explicativo.
• Estratégia de Treinamento (Duas Etapas):
  1. Pré-treinamento Sensível à Falsificação: Otimização conjunta usando quatro objetivos: Modelagem de Linguagem Mascarada (MLM), Modelagem de Linguagem (LM), Localização de Falsificação (Segmentação) e Alinhamento Cruzado (Contrastivo).
  2. Geração do Relatório de Atribuição: O FPN é treinado para prever regiões e depois congelado. O modelo principal é ajustado (fine-tuned) para refinar a localização e gerar o texto final, utilizando os prompts do FPN como contexto estruturado.

3. Contribuições Principais

1. Nova Tarefa e Dataset (MMTT): Introdução da tarefa de geração de relatórios de atribuição e do primeiro dataset de grande escala com máscaras de ground-truth precisas e descrições textuais humanas detalhadas.
2. Linha de Base Unificada (ForgeryTalker): Um framework que integra localização e explicação, facilitando o raciocínio cruzado entre visão e linguagem.
3. Benchmarking Abrangente: Avaliação extensiva que demonstra a superioridade do método proposto em relação a modelos de visão-linguagem de última geração (SOTA) e métodos especializados de detecção.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset MMTT e em datasets externos (como DQ_F++ e SynthScars) para testar a generalização.

• Geração de Relatórios (Report Generation):
  • O ForgeryTalker alcançou o melhor desempenho na métrica CIDEr (59.3), superando significativamente concorrentes fortes como InstructBLIP (51.7) e LISA-7B (44.1).
  • Também liderou em todas as métricas BLEU e ROUGE-L, demonstrando capacidade de gerar explicações semânticas ricas e precisas.
• Localização de Falsificação (Forgery Localization):
  • Alcançou o maior IoU (73.67) e Precisão (91.43), superando modelos especializados como SCA e PSCC-NET.
  • A precisão elevada indica que o modelo evita a supersegmentação (marcar áreas não manipuladas como falsas), um problema comum em outros modelos.
• Estudos de Ablação:
  • A remoção do FPN causou uma queda drástica no CIDEr (de 59.3 para 51.7), provando que os prompts de região são essenciais para guiar a explicação.
  • A etapa de Pré-treinamento foi crucial, aumentando o IoU em 7.8% e o CIDEr em 4.9% em comparação ao treinamento do zero.
• Generalização: O modelo manteve desempenho superior em datasets não vistos (Zero-shot), validando sua robustez.

5. Significado e Impacto

Este trabalho representa um avanço fundamental na forense multimídia:

• Mudança de Paradigma: Transita da simples detecção ("é falso?") para a explicação forense ("onde e por que é falso?"), fornecendo evidências interpretáveis para revisores humanos.
• Confiabilidade: Ao gerar descrições textuais baseadas em artefatos visuais específicos (como textura de pele ou inconsistências de iluminação), o sistema aumenta a confiança na detecção de deepfakes.
• Reprodutibilidade: Os autores comprometem-se a liberar o código, os pesos do modelo e o dataset MMTT (sob acordo de uso restrito para pesquisa acadêmica), estabelecendo um novo padrão para pesquisas futuras em forense explicável.

Em resumo, o ForgeryTalker e o MMTT preenchem uma lacuna crítica na segurança de IA, oferecendo não apenas a detecção de manipulações faciais, mas também a capacidade de explicar essas manipulações de forma compreensível e verificável.