ForgeryGPT: A Multimodal LLM for Interpretable Image Forgery Detection and Localization

Resumo Técnico: ForgeryGPT

1. Problema e Motivação

A evolução das ferramentas de edição de imagem e, mais recentemente, das técnicas de geração baseadas em difusão, aumentou drasticamente a prevalência de manipulações fotográficas, gerando riscos como desinformação, evidências judiciais falsas e remoção não autorizada de marcas d'água.
Os métodos existentes de Detecção e Localização de Falsificação de Imagem (IFDL) enfrentam limitações críticas:

• Foco em Baixo Nível: A maioria das abordagens atuais aprende apenas pistas de baixo nível (artefatos de ruído, inconsistências de textura) e ignora semânticas forenses de alto nível.
• Falta de Interpretabilidade: Os sistemas tradicionais geralmente fornecem apenas uma pontuação de confiança ou um mapa binário, sem explicar por que uma região foi considerada falsificada.
• Dependência de Limiares: A distinção entre imagens reais e falsas frequentemente depende de limiares manuais, limitando a adaptabilidade em cenários variados.
• Limitações dos MLLMs Atuais: Modelos Multimodais de Grande Escala (MLLMs) como o GPT-4o, embora fortes em raciocínio visual, carecem de especialização forense e sensibilidade a artefatos sutis de manipulação, falhando na localização precisa.

2. Metodologia: Arquitetura do ForgeryGPT

O ForgeryGPT é um framework inovador que integra um Modelo de Linguagem Grande (LLM) personalizado com um extrator forense especializado. A arquitetura consiste em três componentes principais:

1. Codificador de Imagem (Image Encoder): Baseado no CLIP (ViT), projeta características visuais fundamentais em um espaço de embedding unificado para alinhamento com o LLM.
2. Extrator de Falsificação Consciente de Máscara (Mask-Aware Forgery Extractor): Este é o núcleo da inovação, composto por:
   • FL-Expert (Forgery Localization Expert): Um módulo construído sobre o CLIP, mas aprimorado com:
     • Prompt de Falsificação Agnóstico ao Objeto (Object-agnostic Forgery Prompt): Prompts de texto aprendíveis que capturam conceitos abstratos de falsificação independentemente do objeto específico, permitindo generalização entre diferentes tipos de manipulação.
     • Codificador de Visão Enriquecido por Vocabulário (Vocabulary-enhanced Vision Encoder): Uma rede visual treinável que adiciona um vocabulário visual específico para o domínio forense, enriquecendo as representações do CLIP com pistas visuais de alta granularidade.
     • Fusão Multiescala: Combina características de múltiplas camadas para capturar detalhes finos e contextos globais.
   • Codificador de Máscara (Mask Encoder): Transforma os mapas de falsificação gerados pelo FL-Expert em "tokens de máscara" que são compreendidos pelo LLM, permitindo a fusão de conhecimento visual de alto nível com a linguagem.
3. Modelo de Linguagem Grande (LLM): Um LLM personalizado que recebe tokens de imagem, texto e máscara intercalados. Ele realiza o raciocínio, gera explicações e responde a diálogos interativos.

Treinamento em Três Estágios:
O modelo é treinado progressivamente para adaptar o LLM às necessidades forenses:

1. Pré-treinamento de Alinhamento Imagem-Texto: Alinha características visuais globais com embeddings textuais usando o dataset CC3M.
2. Pré-treinamento de Alinhamento Máscara-Texto: Um dataset específico de 76.013 pares (imagem forjada + legenda) é utilizado para ensinar o modelo a alinhar características regionais de máscaras de falsificação com descrições textuais. Este dataset é sintetizado com técnicas avançadas de inpainting e repainting.
3. Ajuste Fino por Instrução Específica de Tarefa (Instruction Tuning): Utiliza 48.000 diálogos (incluindo identificação de objetos, localização de regiões, classificação de tipo e raciocínio) para refinar a capacidade de seguir instruções e gerar explicações coerentes.

3. Principais Contribuições

• Pioneirismo em MLLMs para IFDL: É a primeira framework a integrar detecção e localização de falsificação com raciocínio explicável e diálogo interativo de múltiplas voltas, eliminando a necessidade de limiares manuais.
• Arquitetura Híbrida Especializada: Introdução do Mask-Aware Forgery Extractor, que permite a extração precisa de máscaras e a compreensão de artefatos de manipulação em nível de pixel, superando as limitações de modelos puramente baseados em texto ou visão.
• Mecanismos de Generalização: O uso de Prompts Agnósticos ao Objeto e Vocabulário Visual Enriquecido permite que o modelo generalize para tipos de manipulação e objetos nunca vistos durante o treinamento.
• Datasets de Treinamento Específicos: Criação de dois datasets de alta qualidade: um para alinhamento Máscara-Texto (com anotações geradas por GPT-4o) e outro para ajuste fino de instruções, cobrindo tarefas complexas de forense.

4. Resultados Experimentais

O ForgeryGPT foi avaliado em diversos benchmarks (CASIA1.0+, Columbia, NIST16, IMD2020, DSO-1, Korus, AutoSplice, OpenForensics) e comparado com métodos state-of-the-art (SOTA) e MLLMs gerais.

• Desempenho de Localização (Pixel-level): O modelo alcançou o melhor desempenho em F1-score e AUC na maioria dos conjuntos de dados. Destaque para o dataset IMD2020 (imagens do mundo real), onde atingiu um AUC de 91.4%, superando significativamente métodos como HiFi-Net++ e DiffForensics.
• Desempenho de Detecção (Image-level): Alcançou a maior precisão média e F1-score, demonstrando robustez sem a necessidade de ajuste de limiar.
• Interpretabilidade e Explicabilidade:
  • Métricas de Texto: Superou o GPT-4o e o LLaVA em métricas de qualidade de explicação (BLEU-4, ROUGE-L, SPICE, CSS).
  • Avaliação Humana: Em um teste com 100 imagens, 81% das imagens inicialmente classificadas como "reais" pelos humanos foram corretamente identificadas como falsas após a leitura das explicações do ForgeryGPT. Além disso, a confiança dos usuários em julgamentos corretos aumentou em 65%.
• Robustez: O modelo manteve alto desempenho sob distorções comuns (redimensionamento, desfoque, ruído, compressão JPEG), superando consistentemente os baselines.
• Generalização: Demonstrou capacidade de zero-shot em tarefas de localização de anomalias industriais (datasets VisA e MVTec-AD), indicando versatilidade além da forense de imagem.

5. Significado e Impacto

O ForgeryGPT representa um avanço paradigmático na área de forense digital. Ao combinar a precisão técnica de modelos de detecção de falsificação com a capacidade de raciocínio e geração de linguagem natural dos MLLMs, o trabalho resolve o problema da "caixa preta" nos sistemas de detecção atuais.

• Transparência: Permite que usuários e peritos entendam a lógica por trás de uma decisão de falsificação, aumentando a confiança e a responsabilidade.
• Aplicabilidade Prática: A capacidade de diálogo interativo permite que o sistema seja usado como uma ferramenta de assistência para investigação forense, respondendo a perguntas específicas sobre o conteúdo falsificado.
• Futuro: O trabalho estabelece uma nova direção para sistemas de IA confiáveis e explicáveis, embora reconheça o desafio de alucinações em cenários com evidências visuais ambíguas, sugerindo que paradigmas de pré-treinamento mais robustos são necessários para o futuro.

Em suma, o ForgeryGPT não apenas detecta falsificações com estado da arte, mas também explica como e onde elas ocorreram, fechando a lacuna entre a detecção técnica e a compreensão humana.