GPT4o-Receipt: A Dataset and Human Study for AI-Generated Document Forensics

Cette étude présente GPT4o-Receipt, un jeu de données et une analyse comparative révélant que, bien que les humains soient plus sensibles aux artefacts visuels des reçus générés par l'IA, ils sont moins performants que les modèles de langage multimodaux pour les détecter, car ces derniers identifient efficacement les erreurs arithmétiques invisibles à l'œil nu.

L'essentiel

🧾 Le Dilemme du Reçu : L'Œil Humain vs Le Cerveau de la Machine

Imaginez que vous êtes un inspecteur de police. Votre travail est de repérer les faux reçus de magasin. Jusqu'à récemment, vous pensiez que votre œil humain était votre meilleur atout. Mais une nouvelle étude, GPT4o-Receipt, vient de renverser cette idée avec un paradoxe surprenant.

1. Le Contexte : Des faux si parfaits qu'ils en sont troublants

Aujourd'hui, les intelligences artificielles (comme GPT-4o) peuvent créer des images de reçus de supermarché, de restaurants ou de pharmacies qui semblent réalistes. Elles imitent le papier froissé, la police d'écriture, les ombres et les textures. C'est comme si un artiste contrefait un tableau avec une telle précision que, de loin, on ne voit aucune différence.

Les chercheurs ont créé une base de données de 1 235 reçus :

• 935 reçus créés de zéro par une IA (les "faux").
• 300 reçus authentiques (les "vrais").

Ils ont demandé à deux groupes de les examiner :

1. 30 humains (des gens normaux).
2. 5 intelligences artificielles de pointe (les "détectives robots").

2. Le Paradoxe Étonnant : Qui voit le mieux ?

C'est ici que ça devient drôle.

• Les humains sont les meilleurs "artistes" : Quand on demande aux humains de dire "ceci a l'air faux" ou "ceci a l'air vrai" en se basant uniquement sur l'apparence visuelle (le style, les couleurs, les défauts d'impression), ils sont incroyablement bons. Ils repèrent les petits détails bizarres (une ombre bizarre, un texte mal aligné) mieux que n'importe quelle machine.

  • Analogie : C'est comme un expert en peinture qui peut dire "ce tableau a un coup de pinceau bizarre" même si le sujet est flou.

• Les humains sont les pires "comptables" : Pourtant, quand il s'agit de dire "ceci est un faux reçu", les humains échouent souvent. Pourquoi ? Parce que le vrai problème n'est pas visuel.

  • L'analogie du compte en banque : Imaginez un reçu où le prix d'un hamburger est 5 €, celui d'un soda 2 €, et le total affiché est 100 €.
  • L'œil humain regarde le papier, voit que le 100 € est écrit en noir, sur un fond blanc, avec une belle police. Il dit : "Ça a l'air vrai".
  • L'IA (le robot) lit les chiffres, fait le calcul mental instantanément (5 + 2 = 7) et crie : "ATTENTION ! C'est un faux ! Le total est faux !"

Le résultat : Les humains voient mieux les défauts de dessin, mais les machines sont meilleures pour détecter les mensonges mathématiques.

3. La Révélation : L'erreur invisible

L'étude découvre que la plupart des reçus générés par l'IA contiennent des erreurs de calcul (les sous-totaux ne correspondent pas à la somme des articles, les taxes sont mal calculées).

• Pour un humain, c'est invisible. Il faudrait sortir une calculatrice pour chaque reçu, ce qui est impossible à faire à la chaîne.
• Pour une IA, c'est trivial. Elle vérifie les maths en quelques millisecondes.

C'est comme si les faussaires dessinaient des billets de banque parfaits, mais écrivaient "1000 €" sur un billet qui ne vaut que "10 €". L'œil humain voit le papier, mais seul un expert en mathématiques (ou un robot) voit l'arnaque.

4. Qui est le meilleur détective ?

Les chercheurs ont testé 5 robots différents :

• Claude Sonnet 4 est le champion. Il combine une bonne vision des défauts visuels ET une vérification mathématique ultra-rapide. Il détecte 97% des faux.
• Gemini 2.5 Flash est très prudent : il ne se trompe presque jamais en accusant un vrai reçu de faux, mais il rate un peu plus de faux reçus.
• Grok 4 est un peu trop paranoïaque : il dit que presque tout est faux (même les vrais reçus !).
• Les humains sont bons pour voir les défauts visuels, mais leur score global de détection est inférieur aux meilleurs robots, car ils ne peuvent pas vérifier les maths à la vitesse de la lumière.

5. La Leçon pour l'Avenir

Cette étude nous apprend une chose cruciale pour l'avenir :

• Ne comptez pas uniquement sur l'œil humain. Si vous devez vérifier des milliers de reçus, un humain seul se fera avoir par les erreurs de calcul invisibles.
• L'hybride est la clé. Le meilleur système sera un mélange : l'IA vérifie les maths et la logique (les chiffres), et l'humain vérifie l'ambiance générale (le papier, l'atmosphère).

En résumé :
Les faussaires de l'IA sont devenus si bons qu'ils dessinent des faux parfaits. Mais ils sont encore mauvais en calcul mental. Les humains sont de superbes dessinateurs, mais de mauvais calculateurs. Les robots, eux, sont devenus d'excellents calculateurs. Pour attraper les faux, il faut donc laisser les robots faire les maths, et garder les humains pour regarder le tableau d'ensemble.

Résumé technique

1. Problématique

L'émergence des modèles génératifs d'intelligence artificielle (IA) a considérablement facilité la création de documents financiers frauduleux. Contrairement aux falsifications traditionnelles qui modifient des documents authentiques (retouche d'image, copier-coller), les nouveaux documents sont synthétisés de zéro par des modèles comme GPT-4o. Cela rend obsolètes les méthodes de forensique traditionnelles basées sur la détection d'artefacts au niveau des pixels (bruit d'imprimante, incohérences de compression).

Le défi central réside dans la divergence des capacités de détection entre les humains et les machines :

• Les humains sont experts pour détecter les anomalies visuelles (textures, typographie).
• Les modèles de langage multimodaux (MLLM) sont capables de vérifications logiques et arithmétiques systématiques.
• Question de recherche : Les humains peuvent-ils mieux détecter les documents financiers générés par l'IA que les machines, et quels sont les signaux forensiques dominants ?

2. Méthodologie

L'étude repose sur trois piliers méthodologiques principaux :

A. Le Dataset GPT4o-Receipt

Les auteurs ont créé un nouveau benchmark composé de 1 235 images de reçus :

• 935 reçus générés par l'IA : Produits via un pipeline en deux étapes utilisant GPT-4o (pour le contenu textuel structuré) et GPT-Image-1 (pour le rendu photoréaliste). Ces reçus couvrent 159 catégories de commerçants (supermarchés, restaurants, pharmacies, etc.).
• 300 reçus authentiques : Collectés à partir de datasets publics existants (ExpressExpense, Roboflow Universe) pour servir de classe de référence.
• Caractéristiques des données : Les reçus générés par l'IA sont visuellement plausibles mais contiennent des erreurs systématiques (arithmétiques, factuelles) car le modèle traite les nombres comme des tokens visuels plutôt que comme des valeurs à calculer.

B. Évaluation par Modèles de Langage (LLM)

Cinq modèles multimodaux de pointe ont été évalués en mode zero-shot (sans entraînement préalable) sur l'ensemble du dataset. Les modèles testés sont :

1. Claude Sonnet 4
2. Gemini 2.5 Flash
3. GPT-5 Nano
4. Grok 4
5. LLaMA 4 Scout

Chaque modèle a analysé les images selon trois dimensions forensiques :

• Réalisme Visuel : Cohérence de la typographie, texture du papier, mise en page.
• Intégrité Arithmétique : Vérification des sommes (sous-total, taxes, total) et des règles d'arrondi.
• Cohérence Factuelle : Plausibilité de l'adresse, correspondance entre les articles et le type de magasin.

C. Étude Perceptive Humaine

Une étude crowdsourcée a été menée avec 30 annotateurs humains.

• Chaque annotateur a évalué environ 100 images.
• Tâche : Évaluer la qualité visuelle sur une échelle de 1 à 5 (1 = clairement artificiel, 5 = indistinguable du réel) et répondre à des questions structurées sur la typographie, la mise en page et les artefacts.
• Déduction binaire : La classification binaire (Vrai/Faux) pour les humains a été déduite a posteriori en appliquant un seuil de score (≤ 3 = faux), car la tâche initiale était une évaluation de qualité, pas une détection directe.

3. Contributions Clés

1. GPT4o-Receipt : Le premier dataset contenant des reçus financiers générés entièrement de zéro par une IA, contrairement aux datasets précédents qui reposaient sur des modifications de documents réels.
2. Comparaison Humain-Machine : La première caractérisation quantitative systématique de la performance de détection visuelle humaine face aux documents financiers générés par l'IA, comparée à celle des LLM.
3. Révélation de l'Asymétrie Visuelle-Arithmétique : Identification du fait que le signal forensique dominant (erreurs arithmétiques) est invisible à l'œil nu mais facilement détectable par les LLM.

4. Résultats Principaux

A. Performance de Détection (F1 Score)

• Claude Sonnet 4 est le meilleur détecteur avec un F1 de 0,975 (Précision et Rappel élevés).
• Gemini 2.5 Flash suit avec un F1 de 0,890, offrant la meilleure calibration (taux de faux positifs le plus bas : 2,3 %).
• Performance Humaine : Les annotateurs humains atteignent un F1 de 0,852. Bien que ce score soit élevé, il est statistiquement inférieur à celui de Claude Sonnet 4.
• Paradoxe : Les humains ont la plus grande capacité à distinguer visuellement les reçus faux des vrais (écart de score visuel de 1,87 points), mais ils échouent à détecter les faux avec la même efficacité que les meilleurs LLM.

B. L'Asymétrie Visuelle-Arithmétique

C'est la découverte centrale de l'article :

• Signaux Visuels : Les humains sont excellents pour repérer les artefacts visuels (typographie étrange, textures incohérentes). Les LLMs varient considérablement : seuls Claude et Gemini montrent une bonne discrimination visuelle.
• Signaux Arithmétiques : La majorité des reçus générés par GPT-4o contiennent des erreurs de calcul (ex: le total ne correspond pas à la somme des articles). Ces erreurs sont invisibles à l'inspection visuelle mais vérifiables en millisecondes par un LLM.
• Conclusion : Les humains ne peuvent pas détecter les erreurs arithmétiques sans outils de calcul, ce qui limite leur performance globale malgré leur acuité visuelle supérieure.

C. Calibration et Robustesse

• Les modèles présentent des comportements de calibration très différents. Par exemple, Grok 4 a un rappel quasi parfait (99,9 %) mais un taux de faux positifs catastrophique (90,3 %), le rendant inutilisable en pratique. LLaMA 4 Scout a un taux de faux positifs très bas (1,7 %) mais rate 89 % des faux reçus.
• Analyse de robustesse : Même si un adversaire corrigeait les erreurs arithmétiques, les meilleurs modèles (Claude, Gemini) maintiendraient plus de 94 % de leur capacité de détection grâce à la vérification de la cohérence factuelle (adresses, correspondance articles/magasin).

5. Signification et Implications

• Limites de la Forensique Humaine : L'inspection visuelle seule est structurellement insuffisante pour la détection de documents financiers générés par l'IA, car le signal principal (l'arithmétique) est sémantique, pas pixelique.
• Workflow Hybride : Les systèmes forensiques futurs doivent intégrer des vérifications automatiques de cohérence logique et arithmétique (via OCR et LLM) pour compléter l'expertise humaine.
• Sélection de Modèles : Le choix d'un détecteur ne doit pas se baser uniquement sur le score F1, mais sur un compromis entre le rappel (détection des faux) et le taux de faux positifs, selon le contexte d'utilisation (filtrage de masse vs accusation légale).
• Course aux Armements : Les auteurs soulignent que les attaquants pourraient à l'avenir corriger les erreurs arithmétiques et factuelles, rendant la détection plus difficile et nécessitant des modèles capables d'intégrer des signaux visuels, sémantiques et structurels complexes.

En résumé, l'article démontre que dans le domaine de la fraude documentaire par IA, la logique mathématique l'emporte sur l'intuition visuelle, et que les outils forensiques les plus efficaces sont ceux qui peuvent "lire" et "calculer" le document, pas seulement le "voir".