AIForge-Doc: A Benchmark for Detecting AI-Forged Tampering in Financial and Form Documents

Ce papier présente AIForge-Doc, le premier benchmark dédié à la détection de falsifications de documents financiers générées par des modèles de diffusion, révélant que les détecteurs d'État de l'art et les modèles multimodaux actuels échouent à identifier ces altérations pixelliques précises.

L'essentiel

🕵️‍♂️ Le Problème : Le "Faux" Parfait

Imaginez que vous recevez une facture de restaurant ou un formulaire administratif. Autrefois, si quelqu'un voulait tricher et modifier le montant total, il devait utiliser un logiciel comme Photoshop. C'était comme si un faussaire essayait de peindre par-dessus une vieille peinture : on voyait souvent les traces de pinceau, les couleurs qui ne collaient pas, ou des coupures bizarres. Les détecteurs de faux (les "polices numériques") étaient très bons pour repérer ces erreurs.

Mais aujourd'hui, l'Intelligence Artificielle (IA) a changé la donne. Avec de nouveaux outils puissants, un faussaire peut modifier un chiffre sur une facture en une seconde, pour quelques centimes. L'IA ne "peint" pas simplement par-dessus ; elle recrée le chiffre en imitant parfaitement la police d'écriture, la texture du papier et l'ombre de la lumière. C'est comme si un magicien remplaçait un mot sur un panneau publicitaire sans laisser la moindre trace de son passage.

Le problème ? Nos détecteurs actuels sont aveugles face à ce nouveau type de magie. Ils ne savent pas distinguer un vrai document d'un faux créé par l'IA.

🛠️ La Solution : AIForge-Doc (Le "Terrain d'Entraînement")

Pour résoudre ce problème, les chercheurs de l'Université Duke et d'autres ont créé AIForge-Doc.

Imaginez que vous voulez entraîner un chien de police à détecter des drogues. Vous ne pouvez pas lui montrer un seul paquet de drogue ; vous devez lui montrer des milliers d'exemples différents pour qu'il apprenne à les repérer.

AIForge-Doc est ce "terrain d'entraînement", mais pour les ordinateurs :

1. Ce n'est pas un jeu : Ils ont pris 4 000 documents réels (factures, formulaires) dans 9 langues différentes.
2. La triche : Ils ont utilisé deux IA très puissantes (Gemini et Ideogram) pour modifier uniquement les chiffres importants (prix, dates, numéros de téléphone) sur ces documents.
3. Le secret : Ils ont gardé une "carte au trésor" (un masque précis) qui indique exactement où l'IA a triché, pixel par pixel.

C'est la première fois qu'on crée un tel catalogue spécifiquement pour les documents financiers et administratifs, là où l'argent est en jeu.

🧪 Le Test : Qui est le plus fort ?

Les chercheurs ont pris trois types de "détecteurs" existants pour voir s'ils pouvaient repérer ces faux, comme on teste un nouveau jeu vidéo sur une vieille console.

1. Le Détective Généraliste (TruFor) : C'est un expert qui a vu des millions de faux classiques (faits avec Photoshop).

   • Résultat : Il a très bien vu qu'il y avait quelque chose de louche (75 % de réussite), mais il a eu beaucoup de mal à dire exactement où se trouvait le faux chiffre. C'est comme un détective qui sent une odeur de fumée mais ne trouve pas le feu.

2. Le Spécialiste des Documents (DocTamper) : C'est un expert qui a été entraîné spécifiquement sur des documents falsifiés.

   • Résultat : Catastrophique. Il a obtenu un score de 56 %, ce qui signifie qu'il a à peine mieux réussi qu'un singe qui lance des fléchettes au hasard. Pour lui, le faux créé par l'IA est invisible.

3. Le Génie du Web (GPT-4o) : C'est une IA très intelligente qui connaît le monde entier. On lui a demandé : "Regarde cette image, y a-t-il un mensonge ?".

   • Résultat : Il a obtenu 50 %, soit exactement le niveau du hasard. Même avec son immense intelligence, il ne peut pas voir la différence entre un vrai chiffre et un faux créé par l'IA, car le faux semble parfaitement logique et réaliste.

💡 La Leçon Principale

L'article nous dit une chose très importante : Nos systèmes de sécurité actuels sont obsolètes.

Les faussaires utilisent maintenant des outils qui rendent les modifications indétectables pour les machines actuelles. C'est comme si les voleurs avaient trouvé une nouvelle façon de crocheter les serrures, et que nos serrures (les détecteurs) étaient toujours conçues pour l'ancienne méthode.

🔮 Que faire maintenant ?

Les chercheurs ne sont pas pessimistes, ils sont alertes.

• Ils ont créé ce jeu (AIForge-Doc) pour que les développeurs puissent s'entraîner.
• L'objectif est de créer de nouveaux détecteurs qui apprennent spécifiquement à repérer les "traces invisibles" laissées par ces IA génératives.

En résumé : La triche numérique est devenue trop intelligente pour nos vieux détecteurs. Il faut maintenant construire de nouveaux yeux pour voir ce qui est invisible.

Résumé technique

1. Problématique

La fraude documentaire est en augmentation exponentielle, avec une hausse de 244 % des falsifications numériques en 2024. Historiquement, la détection de ces falsifications reposait sur l'analyse des artefacts laissés par les outils d'édition traditionnels (comme Photoshop), tels que les seams de compression, les motifs de clonage ou les anomalies statistiques dans les résidus de bruit.

Cependant, l'avènement des modèles de diffusion génératifs (IA) a radicalement changé la donne. Ces modèles permettent de modifier des champs spécifiques (notamment numériques) dans des documents financiers (reçus, formulaires) en quelques secondes et à très faible coût, tout en fusionnant parfaitement le texte généré avec la police, la texture et le fond du document original.

• Le vide actuel : Il n'existe aucun benchmark public dédié à l'évaluation des détecteurs face à ces falsifications par inpainting (remplissage) basé sur l'IA. Les jeux de données existants (DocTamper, OSTF, etc.) utilisent soit des manipulations traditionnelles, soit se concentrent sur du texte dans des scènes naturelles (enseignes de magasins) plutôt que sur des documents financiers structurés.
• L'enjeu : Les détecteurs actuels sont aveugles à cette nouvelle menace, car les zones falsifiées par l'IA ne présentent pas les artefacts classiques attendus par les algorithmes forensiques.

2. Méthodologie et Construction du Dataset

Les auteurs ont créé AIForge-Doc, le premier benchmark dédié à la détection de falsifications par inpainting de modèles de diffusion sur des documents financiers et formulaires, avec une annotation au niveau du pixel.

A. Sources de Données

Le dataset est construit à partir de quatre jeux de données publics couvrant neuf langues :

• CORD : Reçus indonésiens (montants financiers).
• WildReceipt : Reçus anglais (numéros de téléphone, adresses, prix).
• SROIE : Reçus scannés (dates, totaux, politiques de retour).
• XFUND : Formulaires multilingues (champs de réponse numériques).

B. Pipeline de Génération

1. Sélection des champs : Priorisation des champs à haut risque (montants financiers > dates > IDs > quantités).
2. Mutation des valeurs : Génération de valeurs alternatives plausibles (ex: multiplication aléatoire des montants, modification des dates) tout en conservant le même nombre de caractères pour minimiser les écarts visuels.
3. Technique d'Inpainting par Fenêtre de Contexte :
   • Au lieu d'envoyer l'image entière, le système extrait une "fenêtre de contexte" (la zone du champ + 50% de marge pour inclure les caractères voisins afin de préserver la police).
   • Un masque binaire est appliqué uniquement sur le champ à modifier.
   • L'API d'IA modifie uniquement cette zone en conservant le style typographique.
   • Seule la zone du champ original est réinsérée dans l'image complète, garantissant que le fond n'est pas altéré par l'IA.
4. Outils d'IA sélectionnés : Sur 7 systèmes testés, seuls deux ont été retenus pour leur capacité à générer du texte lisible et précis : Gemini 2.5 Flash Image (89,6 % des données) et Ideogram v2 Edit (10,4 %). Les autres (FLUX, Stable Diffusion, etc.) ont échoué à produire du texte cohérent.

C. Statistiques du Dataset

• Total : 4 061 images falsifiées (3 249 pour l'entraînement, 812 pour le test).
• Précision : Masques au niveau du pixel (format DocTamper compatible).
• Caractéristique clé : La zone falsifiée est extrêmement localisée (médiane de 0,92 % de l'image totale), rendant la détection comparable à la recherche d'une aiguille dans une botte de foin.

3. Contributions Clés

1. Nouveau Dataset : Un ensemble de données de 4 061 images avec des masques de vérité terrain pixel-precis, spécifiquement conçu pour les falsifications par IA dans les documents financiers.
2. Pipeline Reproductible : Un code open-source automatisé pour la génération de falsifications via des API d'inpainting, incluant une étude d'ablation de prompts (320 essais) pour valider la sélection des outils.
3. Évaluation de Référence (Baseline) : Une évaluation "zero-shot" (sans réentraînement) de trois détecteurs représentatifs, révélant un échec critique des méthodes actuelles face à l'IA.

4. Résultats Expérimentaux

Les auteurs ont évalué trois détecteurs sur AIForge-Doc sans aucun ajustement (zero-shot) :

Détecteur	Type	AUC (AIForge-Doc)	AUC (Données d'origine)	Performance
TruFor	Détecteur généraliste (Forensique)	0,751	0,96 (NIST16)	Dégradation sévère. Localisation pixel (IoU) très faible (0,358).
DocTamper	Détecteur spécifique aux documents	0,563	0,98 (In-distribution)	Échec quasi-total. IoU chute de 0,71 à 0,020.
GPT-4o	VLM (Zero-shot)	0,509	N/A	Performance au niveau du hasard (chance).

Constats majeurs :

• Échec de la généralisation : Les détecteurs entraînés sur des falsifications Photoshop ou des images naturelles ne fonctionnent pas sur les falsifications par IA de documents.
• Indétectabilité par l'IA : GPT-4o, malgré sa connaissance du monde, ne parvient pas à distinguer les faux des vrais, confirmant que les valeurs falsifiées sont visuellement et sémantiquement plausibles.
• Spécificité des artefacts : La baisse de performance de TruFor suggère que les artefacts de bruit (NoisePrint++) générés par l'IA sont différents de ceux des manipulations traditionnelles, rendant les signatures de caméra inefficaces.

5. Signification et Implications

• Nouveau Défi Non Résolu : AIForge-Doc démontre que la falsification de documents financiers par l'IA est un problème ouvert et critique. Les méthodes actuelles sont obsolètes face à cette menace.
• Urgence pour la Recherche : Il est impératif de développer de nouveaux détecteurs entraînés spécifiquement sur les artefacts des modèles de diffusion (inpainting) plutôt que sur les artefacts de compression ou de clonage.
• Limitations et Perspectives : Le dataset se concentre actuellement sur des champs numériques uniques. Les travaux futurs devront explorer la falsification multi-champs, l'élargissement à d'autres types de documents (contrats, factures) et la conception de détecteurs robustes aux attaques adverses.

En résumé, AIForge-Doc met en lumière une vulnérabilité systémique dans la forensique numérique actuelle : les outils conçus pour l'ère de l'édition manuelle sont impuissants face à la génération de contenu par l'IA, nécessitant une refonte complète des stratégies de détection.