AIForge-Doc: A Benchmark for Detecting AI-Forged Tampering in Financial and Form Documents

O artigo apresenta o AIForge-Doc, o primeiro benchmark focado em detectar falsificações de documentos financeiros e formulários geradas por modelos de difusão, revelando que os detectores de estado da arte e modelos de linguagem visual atuais falham drasticamente ao identificar essas manipulações em nível de pixel.

O essencial

Imagine que você recebe uma nota fiscal ou um contrato importante. Antigamente, para falsificar um documento, alguém precisava ser um "hacker de Photoshop": precisava saber usar ferramentas de edição de imagem, cortar e colar números, e deixar o fundo com o mesmo tom. Era como tentar pintar um quadro à mão livre para parecer uma foto; sempre havia um traço errado, uma sombra fora do lugar ou uma textura que não combinava. Detectores de fraude eram como detetives treinados para encontrar esses "traços de pincel" imperfeitos.

Mas o mundo mudou. Agora, temos uma nova geração de "falsários" que não usam pincéis, mas sim Inteligência Artificial (IA).

O Problema: O Falso Perfeito

Os autores deste artigo, da Duke University e outras instituições, criaram um novo "campo de batalha" chamado AIForge-Doc. Eles queriam responder a uma pergunta simples: "Se um ladrão usar uma IA superpoderosa para mudar apenas um número em uma nota fiscal (como o valor total), conseguimos perceber?"

Eles usaram duas IAs de ponta (Gemini e Ideogram) para alterar, em menos de um segundo e por centavos, números em milhares de documentos reais (notas fiscais, formulários, recibos).

A Analogia do Camaleão:
Pense na IA como um camaleão perfeito. Quando ela muda um número, ela não apenas escreve o novo número; ela recria o papel, a fonte da letra, a cor da tinta e até a textura do papel ao redor, como se aquele número tivesse estado lá desde o início. Não há cortes, não há bordas estranhas. É como se a IA tivesse viajado no tempo e reescrevido a realidade do documento.

O Experimento: O Teste de Realidade

Os pesquisadores pegaram 4.061 documentos falsificados por essa IA e jogaram contra os "detetives" mais famosos do mundo hoje:

1. TruFor: Um especialista em forense digital (o "Sherlock Holmes" das imagens).
2. DocTamper: Um especialista focado apenas em documentos.
3. GPT-4o: Uma IA superinteligente que tenta "ler" o documento e decidir se é falso.

O Resultado foi um Desastre (para os detetives):

• O Especialista (TruFor): Antes, ele acertava 96% das falsificações antigas (feitas no Photoshop). Com a IA nova, ele caiu para 75%. Pior ainda: ele não conseguia dizer onde estava a mentira. Era como tentar achar uma agulha num palheiro, mas a agulha era invisível.
• O Especialista em Documentos (DocTamper): Caiu de 98% de acerto para apenas 56%. Basicamente, ele estava chutando, como se estivesse jogando cara ou coroa.
• O Super-Inteligente (GPT-4o): Ficou com 50,9% de acerto. Ou seja, não foi melhor do que um palpite aleatório. Mesmo sabendo como os documentos deveriam parecer, a IA não conseguiu notar que o número falso era "demasiado perfeito".

Por que isso é assustador?

A metáfora aqui é a Invisibilidade.
Antigamente, uma falsificação deixava "poeira" (artefatos de compressão, sombras erradas). A IA nova não deixa poeira. Ela gera pixels novos que são estatisticamente idênticos aos originais. É como se você trocasse uma peça de um relógio por outra feita pela mesma máquina, com a mesma precisão. O relógio continua funcionando perfeitamente, e o olho humano (ou o computador) não vê a diferença.

O Que os Autores Fizeram?

Eles criaram o AIForge-Doc, que é como um "globo de treinamento" para os futuros detetives.

• Eles pegaram documentos reais de 4 bancos de dados diferentes.
• Usaram IAs para mudar apenas os números mais importantes (preços, datas, telefones).
• Marcaram exatamente onde a mudança aconteceu (pixel por pixel).
• Liberaram tudo para que cientistas do mundo todo possam tentar criar novos "detetives" que consigam ver o que os atuais não veem.

Conclusão Simples

Este artigo é um alerta vermelho. Ele diz: "Pessoal, as ferramentas de segurança que temos hoje estão obsoletas contra a nova geração de falsificações com IA. Estamos cegos."

A IA conseguiu criar falsificações tão boas que nem os melhores softwares de detecção, nem as IAs mais inteligentes, conseguem diferenciá-las dos originais. Agora, a corrida é para criar novos "óculos de raio-X" que consigam ver através dessa ilusão perfeita antes que os fraudadores dominem o mercado financeiro.

Em resumo: A IA aprendeu a mentir tão bem que, por enquanto, ninguém consegue descobrir a verdade apenas olhando para a imagem. Precisamos inventar novos métodos para ver o que está oculto.

Resumo técnico

Resumo Técnico: AIForge-Doc

1. O Problema

A fraude documental digital está em crescimento acelerado, superando agora as falsificações físicas. Enquanto os métodos tradicionais de falsificação (como Photoshop) deixam rastros visíveis (artefatos de compressão, inconsistências de ruído, padrões de clonagem), a chegada de modelos de difusão generativa (IA) mudou fundamentalmente o cenário de ameaças.

• A Lacuna: APIs de inpainting (preenchimento) baseadas em difusão, como Gemini 2.5 Flash Image e Ideogram v2 Edit, podem alterar campos específicos (números, datas) em documentos financeiros com realismo fotográfico, fundindo-se perfeitamente com a fonte, textura e ruído original em menos de um segundo.
• O Desafio: Não existe nenhum benchmark público dedicado para avaliar detectores contra essa nova ameaça. Conjuntos de dados existentes (como DocTamper, NIST16) focam em edições tradicionais ou em textos de cena (lojas, placas), não em documentos financeiros estruturados. Detectores atuais falham ao generalizar para esses novos artefatos de IA.

2. Metodologia e Construção do Dataset

Os autores criaram o AIForge-Doc, o primeiro benchmark focado exclusivamente em inpainting baseado em difusão em documentos financeiros e formulários, com anotação de nível de pixel.

• Fontes de Dados: O dataset foi construído a partir de quatro conjuntos de dados públicos:
  • CORD: Receitas em indonésio.
  • WildReceipt: Receitas em inglês.
  • SROIE: Receitas escaneadas (OCR).
  • XFUND: Formulários multilíngues.
• Processo de Falsificação:
  1. Seleção de Campos: Priorização de campos de alto risco (valores monetários, datas, IDs, quantidades).
  2. Mutação de Valores: Geração de valores alternativos plausíveis (ex: multiplicar valores monetários, alterar datas) mantendo o mesmo número de caracteres para preservar a largura da fonte.
  3. Técnica de Context-Window: Em vez de enviar o documento inteiro para a IA (o que causaria alucinações globais), o sistema cria uma "janela de contexto" expandida ao redor do campo alvo. Isso permite que a IA veja a fonte e o contexto vizinho para manter a consistência tipográfica.
  4. Inpainting: Uso de duas APIs selecionadas após um estudo de ablação com 7 ferramentas:
     • Gemini 2.5 Flash Image (89,6% dos dados).
     • Ideogram v2 Edit (10,4% dos dados).
     • Nota: Cinco outras ferramentas (incluindo FLUX e Stable Diffusion) foram rejeitadas por falharem em renderizar texto legível e com valores corretos.
  5. Pós-processamento: Apenas a região exata do campo é colada de volta na imagem original, garantindo que a máscara de verdade fundamental (ground-truth) seja pixel-perfect.
• Estatísticas:
  • Total: 4.061 imagens forjadas (3.249 para treino, 812 para teste).
  • Anotação: Máscaras binárias de nível de pixel no formato compatível com DocTamper.
  • Escala: A área alterada é extremamente pequena (mediana de 0,92% da imagem), tornando a detecção um problema de "agulha no palheiro".

3. Principais Contribuições

1. Novo Dataset de Referência: O primeiro conjunto de dados público focado em inpainting de IA em documentos financeiros com anotação de nível de pixel.
2. Pipeline Reprodutível: Um pipeline de código aberto totalmente automatizado para geração de forjas, incluindo seleção de campos, mutação de valores e integração com APIs de IA.
3. Avaliação de Lacuna Crítica: Uma análise rigorosa mostrando que os detectores atuais são cegos a esse tipo de manipulação, estabelecendo um novo problema de pesquisa aberto.

4. Resultados e Avaliação

Os autores avaliaram três detectores representativos no modo zero-shot (sem ajuste fino nos dados de AIForge-Doc):

• TruFor (Detector Geral de Forense):
  • Desempenho no AIForge-Doc: AUC = 0,751.
  • Comparação: Caiu drasticamente de AUC = 0,96 (em NIST16, forjas tradicionais).
  • Localização: A precisão de pixel (IoU) foi de apenas 0,358, indicando dificuldade em localizar a área alterada.
• DocTamper (Detector Específico para Documentos):
  • Desempenho no AIForge-Doc: AUC = 0,563.
  • Comparação: Caiu de AUC = 0,98 (em seu próprio conjunto de teste de forjas tradicionais).
  • Localização: IoU = 0,020, indicando que o detector praticamente não consegue localizar a região forjada.
• GPT-4o (Julgador Zero-Shot de VLM):
  • Desempenho: AUC = 0,509.
  • Conclusão: O desempenho é essencialmente aleatório (chance). Mesmo com conhecimento de mundo, o modelo não consegue distinguir os valores forjados, pois eles são semanticamente plausíveis e visualmente consistentes.

Descobertas Chave:

• Detectores baseados em artefatos de compressão ou ruído de câmera (como o módulo NoisePrint++ do TruFor) falham porque os modelos de difusão geram ruído estatisticamente consistente com a imagem original.
• Detectores baseados em inconsistências tipográficas (como o DocTamper) falham porque a IA recria a fonte perfeitamente.
• A transição de forjas tradicionais para forjas por IA representa uma mudança qualitativa que os métodos atuais não conseguem acompanhar.

5. Significado e Impacto

O AIForge-Doc demonstra que a forense documental está em um ponto de ruptura. A capacidade de ferramentas de IA consumer (custando ~$0,01 por edição) de criar documentos financeiros falsos indistinguíveis de originais para detectores automatizados e humanos cria um risco sistêmico para a verificação de identidade e transações financeiras.

O trabalho não apenas expõe a falha dos sistemas atuais, mas fornece a infraestrutura necessária (dataset e pipeline) para o desenvolvimento de novos detectores específicos para artefatos de inpainting neural, um campo que permanece inexplorado e urgente.