DOCFORGE-BENCH: A Comprehensive 0-shot Benchmark for Document Forgery Detection and Analysis

O artigo apresenta o DOCFORGE-BENCH, o primeiro benchmark zero-shot unificado para detecção de falsificação de documentos, revelando que a falha generalizada dos métodos atuais em cenários práticos não se deve à falta de capacidade discriminativa, mas sim a uma calibração inadequada dos limiares de decisão devido à extrema raridade de pixels adulterados, o que exige adaptação de limiar em vez de retreinamento para viabilizar a implantação.

O essencial

Imagine que você é um detetive particular especializado em encontrar documentos falsificados. Você tem uma caixa de ferramentas cheia de lupas, scanners e softwares avançados que foram treinados por anos para encontrar fotos falsas (como alguém comendo um hambúrguer que não existe ou um céu pintado de roxo).

Agora, o mundo dos documentos (recibos, passaportes, contratos) começa a usar essas mesmas lupas para pegar falsificações. O problema? Essas lupas funcionam muito bem para fotos, mas falham miseravelmente em documentos.

Este artigo, chamado DOCFORGE-BENCH, é como um "teste de estresse" gigante que colocou 14 desses detectores de ponta contra 8 tipos diferentes de documentos falsificados. O resultado? Uma descoberta surpreendente e um pouco frustrante.

Aqui está a explicação simples do que aconteceu:

1. O Cenário: O Detetive Cego

A equipe criou um banco de testes onde os detectores tiveram que trabalhar "sem treinamento". Imagine que você pega um detetive que só aprendeu a caçar leões na savana e o joga no meio de uma floresta de bambu para caçar pandas, sem dar a ele nenhum mapa novo. É isso que eles fizeram: usaram os detectores exatamente como foram lançados pelos criadores, sem ajustá-los para documentos.

2. A Grande Descoberta: O "Efeito Fantasma"

O resultado foi um mistério estranho:

• A Inteligência estava lá: Os detectores conseguiam, em teoria, dizer "este pixel parece falso" e "aquele parece real". Eles conseguiam classificar as coisas corretamente (como um aluno que sabe a matéria, mas não sabe marcar a resposta certa no cartão de prova).
• A Execução falhou: Quando eles tentaram dar o veredito final ("Isso é falso!"), eles erravam quase tudo. O sistema dizia que quase tudo era falso, ou quase nada era falso.

A Analogia do Termômetro:
Pense em um termômetro que mede a temperatura.

• Se a temperatura real é 37°C (saudável) e o termômetro marca 37.1°C, 37.2°C, 37.3°C, ele está preciso (sabe a diferença).
• Mas, se o termômetro está descalibrado e marca tudo como 100°C (febre alta), ele vai dizer que todo mundo está doente, mesmo os saudáveis.
• No caso dos documentos, os detectores estavam "marcando tudo como febre alta". Eles viam a diferença entre o real e o falso, mas o "ponto de corte" (o alarme) estava totalmente errado.

3. Por que isso acontece? (O Problema da Agulha no Palheiro)

A razão é matemática e visual:

• Em fotos falsas: Geralmente, uma parte grande da imagem é falsificada (ex: 30% da foto foi trocada). O detector foi treinado para gritar "ALERTA!" quando vê 30% de algo estranho.
• Em documentos falsos: A falsificação é minúscula. Alguém mudou apenas um número no preço de um recibo ou uma letra no nome. Isso é menos de 1% da imagem (às vezes apenas 0,3%).

É como procurar uma agulha em um palheiro. O detector foi treinado para procurar um "monte de agulhas". Quando ele vê uma única agulha, ele pensa: "Isso é apenas uma palha normal" e ignora. Ou pior, ele grita "ALERTA!" em toda a folha de palha porque está confuso.

4. A Solução Simples (Que Ninguém Estava Fazendo)

O artigo descobriu que não é preciso reprogramar os detectores (o que seria caro e difícil).
A solução é apenas ajustar o alarme.

Se você pegar o detector e mostrar a ele apenas 10 exemplos de recibos falsos e disser: "Olha, quando a pontuação for baixa (ex: 0,1), é que é falso", o sistema funciona perfeitamente.

• Antes: O detector ignorava a falsificação porque o alarme estava muito alto.
• Depois: O detector baixou o alarme e pegou a agulha.

5. O Veredito Final

O estudo conclui que, hoje em dia, nenhum detector de falsificação de documentos funciona "direto da caixa".

• Se você comprar um software de segurança e tentar usá-lo em recibos ou passaportes sem configurá-lo primeiro, ele vai falhar.
• O problema não é que a tecnologia é burra; é que ela está descalibrada para o tamanho minúsculo das falsificações em documentos.

Resumo em uma frase:

Os detetives de falsificação são inteligentes e sabem ver o que é falso, mas estão usando uma régua feita para medir oceanos para tentar medir gotas d'água; basta trocar a régua (ajustar o limite) para que eles funcionem perfeitamente, sem precisar construir novos detetives do zero.

O que falta?
O artigo também avisa que os testes atuais são baseados em falsificações antigas (feitas com Photoshop básico). Com a chegada da Inteligência Artificial generativa (que cria documentos do zero), os detetives atuais provavelmente vão falhar ainda mais, e precisamos criar novos testes para essa nova ameaça.

Resumo técnico

Resumo Técnico: DOCFORGE-BENCH

1. O Problema

A detecção de falsificação em documentos (como recibos, identidades e contratos) enfrenta desafios fundamentais distintos da detecção de manipulação em imagens naturais (fotografias de paisagens ou pessoas).

• Desequilíbrio Extremo de Classes: Em imagens naturais, as áreas falsificadas podem ocupar 10–30% da imagem. Em documentos, as alterações são frequentemente semânticas e localizadas (ex: mudar um número, uma data ou um nome), ocupando apenas 0,27% a 4,17% dos pixels.
• Falha de Calibração: Métodos de forense de imagem treinados em benchmarks naturais (como CASIA ou Columbia) conseguem classificar pixels falsificados acima dos autênticos (alto AUC), mas falham catastróficamente ao tentar definir um limiar de decisão fixo (geralmente $\tau=0.5$). Isso resulta em métricas de F1 próximas de zero, pois o modelo não está calibrado para a distribuição de pontuação do domínio de documentos.
• Falta de Avaliação "Zero-Shot": Avaliações anteriores (como o ForensicHub) frequentemente envolvem fine-tuning (ajuste fino) nos dados de documentos, mascarando a incapacidade dos modelos de generalizarem "caixa fechada" (out-of-the-box) para cenários reais onde dados rotulados de treinamento não estão disponíveis.

2. Metodologia

O DOCFORGE-BENCH foi projetado como o primeiro benchmark unificado de avaliação zero-shot para detecção de falsificação de documentos.

• Protocolo de Avaliação:
  • Ponderos Congelados (Frozen Weights): Todos os 14 métodos avaliados foram executados com seus pesos pré-treinados publicados, sem nenhum ajuste fino (fine-tuning) ou adaptação de domínio.
  • Zero-Shot: Os modelos foram testados em datasets que não faziam parte de seus conjuntos de treinamento originais.
• Conjunto de Dados:
  • Avaliação em 8 datasets abrangendo diferentes tipos de falsificação: manipulação de texto, falsificação de recibos e adulteração de documentos de identidade.
  • Os datasets variam desde sintéticos (ex: DocTamper) até cenários do mundo real (ex: ReceiptForgery, FantasyID).
• Métricas de Desempenho:
  • Pixel-F1 ($\tau=0.5$): Mede o desempenho de implantação real sem calibração.
  • Pixel-AUC: Mede a capacidade de discriminação (se o modelo classifica corretamente pixels falsos acima dos reais), independente do limiar.
  • Oracle-F1: O melhor F1 possível para cada imagem se o limiar ideal fosse escolhido a posteriori. Isso serve como um limite superior para diagnosticar a lacuna de calibração.

3. Principais Contribuições

1. Benchmark Unificado Zero-Shot: Criação de um protocolo rigoroso que isola a generalização real dos métodos, eliminando o viés de fine-tuning presente em avaliações anteriores.
2. Diagnóstico da Lacuna de Calibração (AUC-F1 Gap): Identificação e quantificação de um fenômeno onde os modelos possuem alta capacidade de discriminação (AUC $\ge$ 0,76), mas falham em produzir F1 utilizável (próximo de zero) devido a uma distribuição de pontuação deslocada.
3. Explicação Mecanística: Demonstração de que a falha não é de representação (o modelo "vê" a falsificação), mas de calibração. O limiar padrão de 0,5 é inadequado para a taxa base extremamente baixa de pixels falsificados em documentos.
4. Prova de Recuperação via Calibração: Um experimento controlado mostrou que adaptar um único limiar em apenas 10 imagens do domínio-alvo recupera 39–55% da lacuna entre o F1 fixo e o Oracle-F1, provando que o re-treinamento não é necessário para melhorar drasticamente o desempenho.

4. Resultados Chave

• Desempenho Geral: Nenhum dos 14 métodos avaliados (7 gerais e 7 específicos de documentos) funcionou de forma confiável "caixa fechada" em todos os tipos de documentos. Nenhum método atingiu um Pixel-F1 $\ge$ 0,3 em seis dos oito datasets.
• A Lacuna AUC-F1:
  • Métodos como TruFor e FFDN alcançaram AUCs altos (ex: >0,90 em alguns datasets), indicando que conseguem distinguir pixels falsos.
  • No entanto, o Pixel-F1 fixo ($\tau=0.5$) permaneceu próximo de zero na maioria dos casos.
  • O Oracle-F1 foi de 2 a 10 vezes maior que o Pixel-F1 fixo, confirmando que a limitação é puramente a escolha do limiar, não a capacidade do modelo.
• Treinamento Específico vs. Geral:
  • Modelos treinados especificamente em documentos (ex: DocTamper model) tiveram desempenho excelente no seu próprio dataset de teste (F1 $\approx$ 0,91), mas colapsaram em outros datasets (F1 $\approx$ 0,04), indicando overfitting a artefatos de renderização específicos.
  • Métodos gerais de forense (ex: TruFor, CAT-Net) mostraram-se mais robustos em cenários cruzados do que alguns modelos específicos mal generalizados.
• Impacto da Taxa Base: A análise quantitativa revelou que a taxa de pixels falsificados em documentos (0,27–4,17%) é uma ordem de magnitude menor que em benchmarks naturais (10–30%), tornando o limiar de 0,5 estatisticamente catastrófico.

5. Significado e Conclusão

O DOCFORGE-BENCH estabelece que a detecção de falsificação de documentos ainda é um problema não resolvido para implantação prática.

• Mudança de Paradigma: O trabalho desafia a suposição de que o treinamento específico em documentos garante superioridade universal. A principal barreira não é a extração de características, mas a calibração de limiares para lidar com o desequilíbrio extremo de classes.
• Solução Prática: A adaptação de limiar (threshold adaptation) em uma pequena amostra de dados do domínio é uma solução viável e de baixo custo para recuperar a maior parte do desempenho perdido, sem a necessidade de re-treinamento complexo.
• Lacuna Futura: O benchmark atual cobre apenas falsificações baseadas em edição tradicional (JPEG, cópia e colagem). O artigo destaca que a detecção de falsificações geradas por IA Generativa (Diffusion models, LLMs) é uma fronteira crítica e aberta, onde os métodos atuais provavelmente falharão completamente, exigindo novos benchmarks e abordagens.

Em suma, o documento fornece uma ferramenta essencial para a comunidade de visão computacional, expondo falhas sistêmicas nas avaliações atuais e oferecendo um caminho claro (calibração) para tornar os detectores de falsificação viáveis em cenários reais de segurança e fraude.