GPT4o-Receipt: A Dataset and Human Study for AI-Generated Document Forensics

O artigo apresenta o conjunto de dados GPT4o-Receipt e um estudo que revelam um paradoxo onde humanos, embora melhores em identificar artefatos visuais, são menos eficazes do que modelos de linguagem multimodais na detecção de recibos gerados por IA, pois estes últimos conseguem identificar sistematicamente erros aritméticos imperceptíveis ao olho humano.

O essencial

🧾 O Grande Mistério: Humanos vs. Robôs na Detecção de Falsos

Imagine que você tem uma pilha de recibos de compras. Alguns são reais, comprados em lojas de verdade. Outros foram criados do zero por uma Inteligência Artificial (IA) superinteligente (o GPT-4o).

A pergunta que os pesquisadores fizeram foi: "Quem é melhor em pegar a falsificação? Um humano olhando com os olhos ou um computador lendo os dados?"

A resposta é um paradoxo estranho que desafia o que a gente esperava.

1. O Cenário: A "Loja" de Falsificações

Os pesquisadores criaram um banco de dados chamado GPT4o-Receipt. Eles pegaram 935 recibos falsos (criados pela IA) e 300 recibos reais.

• A IA é muito boa em arte: Ela consegue desenhar o papel, a textura, a fonte da letra e o layout da loja perfeitamente. Se você olhar de longe, parece tudo real.
• O problema da IA: Ela é ótima em "desenhar" números, mas péssima em "fazer contas". É como um pintor que sabe desenhar um relógio perfeitamente, mas os ponteiros mostram horas que não fazem sentido juntas.

2. O Grande Teste: Olhos Humanos vs. Cérebro de Computador

Eles testaram duas coisas:

1. 30 pessoas comuns (como você e eu) olhando os recibos.
2. 5 IAs diferentes (os "robôs" mais inteligentes do mundo) analisando os mesmos recibos.

O Resultado Surpreendente:

• Os Humanos são ótimos em ver "desenhos ruins": Eles conseguiram notar que a IA tinha deixado escapar pequenos erros visuais (como uma sombra estranha ou uma fonte de letra meio torta). Eles foram os melhores em perceber a "estética" falsa.
• Mas os Humanos são ruins em pegar a mentira: Quando tiveram que dizer "Isso é falso ou verdadeiro?", os humanos erraram muito.
• Os Robôs (IAs) venceram de lavada: As IAs não se importaram com a textura do papel. Elas olharam para os números e disseram: "Espera aí! O total da conta não bate com a soma dos itens!".

3. A Analogia da "Conta do Restaurante" 🍽️

Pense em um jantar com amigos.

• O Humano (Você): Olha para a conta. A caligrafia parece estranha? O papel parece velho demais? A luz da foto está esquisita? Você nota essas coisas. Mas, se alguém somar os pratos na sua cabeça e o total estiver errado, você provavelmente não vai perceber a menos que pegue uma calculadora.
• O Robô (A IA): Ele não liga para a caligrafia. Ele pega uma calculadora instantânea. Ele vê que o prato de pizza custa $10, a bebida $5, e o total escrito é $12. BAM! Ele sabe que é falso instantaneamente, mesmo que a foto pareça perfeita.

O Pulo do Gato: A maior pista de que um recibo foi feito por IA não é visual; é matemática. A IA gera os números como se fossem "desenhos", não como valores calculados. Por isso, a soma nunca fecha.

4. Quem é o Melhor Detetive?

O estudo testou 5 robôs diferentes:

• Claude Sonnet 4: O campeão. Ele pegou quase todos os falsos (97% de acerto) e quase não acusou os reais de serem falsos. Ele é o detetive que usa a calculadora e olha a foto.
• Gemini 2.5 Flash: Muito bom, mas um pouco mais cauteloso (acusa menos os inocentes).
• Grok 4: Ele é um "paranóico". Ele acha que tudo é falso. Ele pega todos os falsos, mas também acusa 90% dos recibos reais de serem falsos. Não serve para o trabalho real.
• LLaMA 4 Scout: Ele é "cego". Ele quase não vê nada falso.

5. A Conclusão: Precisamos dos Dois?

O estudo nos ensina uma lição importante sobre o futuro:

• Não confie apenas no olho humano: Se alguém te mandar um recibo falso por e-mail, você pode achar que parece "real" porque a IA é boa em desenhar. Mas os números podem estar errados.
• A IA é a melhor ferramenta de verificação: Para pegar fraudes financeiras, precisamos de robôs que leiam os números e façam as contas, não apenas de pessoas olhando a foto.
• O Futuro: O ideal é um trabalho em equipe. O humano olha para a "vibe" do documento (é estranho? parece editado?), e a IA faz a verificação matemática instantânea. Juntos, eles são imbatíveis.

Resumo em uma frase:

Os humanos são ótimos em notar que a "foto" parece estranha, mas os robôs são os únicos que percebem que a "conta" não fecha, e é exatamente essa conta errada que delata a falsificação.

Resumo técnico

Resumo Técnico: GPT4o-Receipt

1. O Problema

O surgimento de modelos generativos de IA (como GPT-4o e Stable Diffusion) permitiu a criação de documentos financeiros fraudulentos (recibos) sintetizados do zero, em vez de serem apenas editados em imagens existentes. Isso representa um desafio significativo para a forense digital tradicional:

• Limitação da Detecção Humana: Humanos são bons em detectar anomalias visuais (artefatos de pixels, texturas estranhas), mas têm capacidade limitada para verificação aritmética rápida em escala.
• Limitação da Detecção por IA: Modelos Multimodais de Linguagem (MLLMs) podem realizar verificação lógica e aritmética, mas sua sensibilidade a artefatos visuais de geração pode variar.
• Lacuna de Pesquisa: Não existia um benchmark padronizado que comparasse sistematicamente o desempenho de humanos e LLMs na detecção de documentos financeiros gerados inteiramente por IA, nem um conjunto de dados focado especificamente nessa tarefa.

2. Metodologia

A. O Conjunto de Dados: GPT4o-Receipt
O artigo apresenta um novo benchmark composto por 1.235 imagens de recibos:

• 935 Recibos Gerados por IA: Criados usando um pipeline de duas etapas com a API da OpenAI (GPT-4o para texto e GPT-Image-1 para renderização).
  • Cobertura: 159 categorias de comerciantes (supermercados, restaurantes, farmácias, etc.).
  • Característica crítica: Embora visualmente plausíveis, os recibos contêm erros aritméticos sistemáticos (ex: subtotais que não somam os itens, taxas de imposto inconsistentes), pois o modelo trata números como tokens visuais e não realiza cálculos.
• 300 Recibos Autênticos: Coletados de conjuntos de dados públicos existentes (ExpressExpense e Roboflow), representando a distribuição natural de documentos reais.

B. Avaliação Humana (Estudo Perceptual)

• Participantes: 30 anotadores humanos via crowdsourcing.
• Tarefa: Avaliar a qualidade visual de cada imagem em uma escala de 1 a 5 (1 = claramente artificial, 5 = indistinguível da realidade) e responder a perguntas estruturadas sobre tipografia, layout e presença de artefatos.
• Métrica de Detecção: A classificação binária (IA vs. Real) foi inferida a posteriori aplicando um limiar de pontuação visual (≤3 = IA).

C. Avaliação por LLMs (Detectores Forenses)

• Modelos: Cinco modelos multimodais de ponta foram avaliados como detectores zero-shot:
  1. Claude Sonnet 4
  2. Gemini 2.5 Flash
  3. GPT-5 Nano
  4. Grok 4
  5. LLaMA 4 Scout
• Protocolo: Cada modelo analisou as 1.235 imagens em três dimensões forenses:
  1. Realismo Visual: Pontuação de plausibilidade estética.
  2. Integridade Aritmética: Verificação de somas, impostos e arredondamentos.
  3. Consistência Factual: Verificação de endereços, tipos de produtos e datas.
• Saída: Um veredito binário (Gerado por IA: Verdadeiro/Falso) com confiança.

3. Principais Contribuições

1. GPT4o-Receipt: O primeiro conjunto de dados de recibos sintetizados do zero por IA, focado em expor falhas lógicas e aritméticas em vez de apenas manipulação de pixels.
2. Estudo Humano Quantitativo: A primeira caracterização quantitativa do desempenho humano na detecção visual de documentos financeiros puramente gerados por IA.
3. Benchmarks de LLM: Uma avaliação comparativa rigorosa de cinco modelos de ponta, revelando disparidades dramáticas na calibração e capacidade de detecção.
4. Descoberta da Assimetria Visual-Aritmética: A demonstração de que a principal assinatura forense em recibos de IA é aritmética (invisível ao olho humano), enquanto a detecção visual humana é superior à de muitos LLMs, mas insuficiente para a tarefa global.

4. Resultados Chave

A. O Paradoxo Humano-LLM

• Discriminação Visual: Humanos apresentaram a maior lacuna de discriminação visual de todos os avaliadores (diferença média de 1,87 pontos entre recibos reais e falsos), superando até mesmo os melhores LLMs.
• Desempenho de Detecção Binária: Apesar de serem melhores em "ver" a diferença visual, os humanos tiveram um F1-score (0,852) inferior ao do melhor modelo de IA, o Claude Sonnet 4 (F1 = 0,975).
• Causa: Os humanos não conseguem perceber que uma soma está errada visualmente. Os LLMs detectam esses erros aritméticos em milissegundos, o que constitui o sinal forense dominante.

B. Desempenho dos Modelos LLM

• Claude Sonnet 4: O melhor detector geral (F1 = 0,975), com alta precisão e recall, explorando eficazmente os erros aritméticos.
• Gemini 2.5 Flash: O segundo melhor (F1 = 0,890) e o mais bem calibrado, com a menor taxa de falsos positivos (FPR = 0,023) entre os modelos eficazes.
• Grok 4: Alcançou recall quase perfeito (99,9%), mas com uma taxa de falsos positivos catastrófica (90,3%), tornando-o inútil na prática (classifica quase tudo como falso).
• LLaMA 4 Scout: O pior desempenho (F1 = 0,204), falhando em detectar a maioria dos recibos falsos e tendo uma taxa de falsos negativos extremamente alta.

C. Análise de Calibração
O estudo revela que métricas de precisão simples são insuficientes. Modelos como o Grok 4 parecem bons em recall, mas são inúteis devido à falta de calibração. A seleção de detectores para forense deve equilibrar Recall e FPR conforme o contexto de uso (ex: filtro inicial vs. acusação final).

5. Significado e Implicações

• Limitação da Forense Visual Pura: A detecção de documentos financeiros gerados por IA não pode depender apenas da inspeção visual humana ou de modelos focados apenas em artefatos de pixels. O sinal forense primário reside na incoerência lógica/aritmética.
• Fluxos de Trabalho Híbridos: Para ser eficaz, a forense futura deve combinar a sensibilidade humana a anomalias visuais com a capacidade de verificação lógica e aritmética automatizada dos LLMs.
• Resiliência Adversarial: Mesmo simulando um cenário onde um adversário corrige os erros aritméticos, os melhores detectores (Claude e Gemini) mantiveram >94% de sua capacidade de detecção, utilizando sinais de consistência factual (endereço, tipo de loja) como canal secundário.
• Futuro da Pesquisa: A comunidade precisa desenvolver detectores que integrem sinais visuais, semânticos e estruturais, preparando-se para forjas que superem tanto as falhas aritméticas quanto as factuais.

Em resumo, o artigo demonstra que, embora os humanos sejam excelentes em notar "estranhezas" visuais, as máquinas (especificamente LLMs com capacidade de raciocínio) são superiores na detecção de fraudes financeiras porque conseguem validar a lógica interna do documento, uma tarefa invisível ao olho humano.