DOCFORGE-BENCH: A Comprehensive 0-shot Benchmark for Document Forgery Detection and Analysis

Le papier présente DOCFORGE-BENCH, le premier benchmark zéro-shot unifié pour la détection de falsification de documents, qui révèle que l'échec actuel des méthodes à être déployées directement est dû non pas à une mauvaise représentation des données, mais à un défaut de calibration des seuils de décision causé par la faible proportion de pixels falsifiés dans les images de documents.

L'essentiel

Voici une explication simple du papier de recherche DOCFORGE-BENCH, imagée comme si nous parlions d'un grand concours de détection de faux billets, mais appliqué aux documents officiels.

🕵️‍♂️ Le Grand Défi : Détecter les faux documents sans avoir vu la "classe"

Imaginez que vous êtes un inspecteur de police. On vous donne un tas de documents (factures, passeports, contrats) et on vous dit : "Certains sont faux, trouvez les modifications."

Le problème, c'est que vous n'avez jamais vu un seul document de ce type pendant votre formation. Vous avez été entraîné uniquement sur des photos de paysages, de chats ou de voitures (des images "naturelles"). On vous demande maintenant de faire votre travail avec les mêmes outils, sans aucune nouvelle formation. C'est ce qu'on appelle l'évaluation "Zero-shot" (sans tir préalable).

Les chercheurs de ce papier ont créé un terrain de jeu géant (DOCFORGE-BENCH) pour tester 14 détecteurs d'intelligence artificielle dans cette situation précise. Ils ont utilisé 8 types de documents différents, allant des factures de supermarché aux passeports.

📉 La Révélation Choc : "Ils voient le faux, mais ne savent pas le dire"

Le résultat le plus surprenant est un peu comme si un détective disait :

"Je suis sûr à 90 % que ce document est faux, je le sens dans mes tripes !" (C'est ce qu'on appelle un bon AUC ou une bonne discrimination).

Mais quand on lui demande de montrer exactement où est le faux en entourant la zone avec un marqueur, il tremble et ne trouve rien. Il ne parvient pas à fixer un seuil de décision.

"Je ne sais pas à partir de quel niveau de 'suspicion' je dois crier 'FAUX' !" (C'est un F1 proche de zéro).

L'analogie du thermostat :
Imaginez que vos détecteurs sont des thermostats très sensibles.

• Dans les maisons normales (photos naturelles), le thermostat se déclenche à 20°C (le seuil standard de 0,5).
• Dans les documents (factures, passeports), la température de la "chaleur du faux" est très basse, disons 2°C.
• Le thermostat est super intelligent : il sent bien la différence entre 1°C et 2°C (il classe bien les faux). Mais comme il est réglé pour sonner à 20°C, il ne sonne jamais, même s'il y a un incendie (un faux document).

⚖️ Pourquoi ça ne marche pas ? (Le problème de la "Goutte d'eau")

Pourquoi ce seuil de 20°C (ou 0,5) est-il catastrophique pour les documents ?

• Sur une photo de paysage : Si quelqu'un modifie l'image, il change souvent une grande partie (un arbre, un ciel). C'est comme ajouter un gros rocher dans une rivière. Le détecteur voit le gros changement.
• Sur un document : On change souvent juste un chiffre de prix ou une date. C'est comme ajouter une seule goutte d'eau dans un océan. Le faux ne représente que 0,3 % à 4 % de l'image.

Les détecteurs, entraînés sur des photos où le faux est énorme (10 à 30 % de l'image), sont réglés pour chercher des "gros rochers". Quand ils voient une "goutte d'eau", ils pensent que ce n'est rien et ne déclenchent pas l'alarme.

🛠️ La Solution Magique : Juste un petit ajustement

La bonne nouvelle, c'est que les détecteurs ne sont pas "cassés". Ils fonctionnent très bien, ils sont juste mal calibrés.

Les chercheurs ont fait une expérience simple : au lieu de réapprendre tout le cerveau de l'IA (ce qui prendrait des mois et des données), ils ont juste demandé à l'IA de regarder 10 exemples de documents pour ajuster son seuil de déclenchement.

• Résultat : La performance a bondi de 39 % à 55 %.
• Leçon : On n'a pas besoin de réentraîner les modèles. Il suffit de dire : "Hé, pour les documents, baisse ton seuil d'alerte de 20°C à 2°C, et tout ira bien."

🚨 Le Verdict Final

Malgré tous ces progrès, le papier conclut avec une vérité un peu dure :
Aujourd'hui, aucun détecteur ne fonctionne parfaitement "tel quel" (out-of-the-box) sur tous les types de documents. C'est encore un problème non résolu.

Et il y a un nouveau danger qui arrive : les faux générés par l'IA (comme Stable Diffusion ou DALL-E). Les 8 jeux de données testés sont vieux par rapport à cette nouvelle technologie. C'est comme tester des détecteurs de métaux contre des pièces de monnaie en plastique : ça ne marchera probablement pas du tout.

En résumé

Ce papier nous dit :

1. Nos détecteurs actuels sont intelligents mais mal réglés pour les documents.
2. Ils voient le faux, mais ne savent pas quand l'annoncer à cause de la petite taille des modifications.
3. On peut les sauver facilement en ajustant un simple bouton (le seuil) sans tout réapprendre.
4. Mais attention, les faussaires utilisent maintenant l'IA pour créer de nouveaux types de faux, et nos détecteurs ne sont pas prêts pour ça.

Résumé technique

Voici un résumé technique détaillé du papier de recherche DOCFORGE-BENCH, présenté en français.

1. Problématique et Contexte

Le papier aborde le défi critique de la détection de falsification de documents (documents forgés). Bien que la communauté de la forensique d'image ait fait des progrès significatifs sur les photographies naturelles (paysages, portraits), les méthodes existantes échouent de manière systématique et diagnostique lorsqu'elles sont appliquées aux documents (factures, pièces d'identité, contrats).

Les défis spécifiques aux documents :

• Déséquilibre extrême des classes : Contrairement aux benchmarks d'images naturelles où les zones falsifiées représentent 10 à 30 % de l'image, les falsifications de documents ciblent souvent de petits champs sémantiques (un nom, un montant, une date). Les zones falsifiées ne représentent que 0,27 % à 4,17 % des pixels.
• Échec de la calibration : Les méthodes actuelles parviennent souvent à classer correctement les pixels falsifiés par rapport aux authentiques (bon classement), mais échouent à identifier un seuil de décision fixe (généralement $\tau=0,5$) pour produire une segmentation exploitable.
• Absence d'évaluation "Zero-Shot" : Les évaluations précédentes (comme ForensicHub) reposent souvent sur du fine-tuning (réentraînement) sur des données de documents, masquant ainsi la capacité réelle des modèles à fonctionner "out-of-the-box" (sans adaptation de domaine), ce qui est la réalité des déploiements pratiques où les données étiquetées manquent.

2. Méthodologie : DOCFORGE-BENCH

Les auteurs proposent DOCFORGE-BENCH, le premier benchmark unifié pour l'évaluation en mode zero-shot (poids pré-entraînés figés, aucune adaptation de domaine) de la détection de falsification de documents.

Conception du Benchmark :

• Données : Évaluation sur 8 jeux de données couvrant divers scénarios : falsification de texte (DocTamper, T-SROIE, RealTextManipulation, Tampered-IC13, FSTS-1.5k), falsification de reçus (ReceiptForgery, MixTamper) et falsification de pièces d'identité (FantasyID).
• Méthodes évaluées : 14 méthodes au total, divisées en deux catégories :
  • 7 méthodes de forensique d'image générale (ex: TruFor, CAT-Net, MVSS-Net).
  • 7 méthodes spécifiques aux documents (ex: DocTamper, DTD, FFDN, ASCFormer, ADCD-Net).
• Protocole : Toutes les méthodes sont exécutées avec leurs poids pré-entraînés officiels, sans aucun réentraînement ni ajustement de domaine.
• Métriques :
  • Pixel-F1 ($\tau=0,5$) : Mesure la performance de déploiement réel sans calibration.
  • Pixel-AUC : Mesure la capacité de discrimination (classement des pixels) indépendamment de la calibration.
  • Oracle-F1 : Le F1 maximal théorique atteignable en choisissant le seuil optimal par image (servant de limite supérieure pour évaluer le potentiel de calibration).

3. Contributions Clés

1. Premier Benchmark Zero-Shot Unifié : DOCFORGE-BENCH isole la généralisation réelle des modèles en éliminant le biais du fine-tuning, révélant que la plupart des méthodes ne fonctionnent pas directement sur des types de documents variés.
2. Diagnostic de l'Échec de Calibration : Les auteurs identifient et quantifient un "fossé de calibration" (calibration gap) omniprésent : les modèles obtiennent des AUC modérés à élevés ($\ge 0,76$) mais des F1 proches de zéro. Ce n'est pas un échec de discrimination (le modèle "voit" la falsification), mais un échec de distribution des scores (les scores sont déplacés en dessous du seuil de 0,5).
3. Explication Mécanistique : L'échec est attribué à la différence d'ordre de grandeur du taux de base des pixels falsifiés (0,3–4 % pour les documents vs 10–30 % pour les images naturelles). Le seuil standard de 0,5 est catastrophiquement mal calibré pour ces données déséquilibrées.
4. Preuve de la Réparabilité par Calibration : Une expérience contrôlée montre qu'adapter un simple seuil global sur un échantillon très réduit de données du domaine (N=10 images) permet de récupérer 39 % à 55 % de l'écart de performance par rapport à l'Oracle-F1, sans réentraînement du modèle.

4. Résultats Principaux

• Performance Globale : Aucun des 14 modèles évalués ne fonctionne de manière fiable "out-of-the-box" sur l'ensemble des types de documents. Aucun n'atteint un Pixel-F1 $\ge 0,3$ sur six des huit jeux de données.
• Le fossé AUC-F1 :
  • Les méthodes obtiennent des Pixel-AUC élevés (souvent > 0,76, parfois > 0,90), prouvant qu'elles conservent une capacité de discrimination.
  • Cependant, le Pixel-F1 à $\tau=0,5$ est proche de zéro pour la majorité des paires (méthode, jeu de données).
  • L'Oracle-F1 est 2 à 10 fois supérieur au Pixel-F1 fixe, confirmant que le goulot d'étranglement est la calibration, et non la représentation des caractéristiques.
• Spécificité du Domaine vs Généralité :
  • Les modèles entraînés spécifiquement sur des documents (ex: DocTamper) excellent sur leur jeu de données d'origine (F1 $\approx 0,91$) mais s'effondrent sur d'autres types de documents (chute à F1 $\approx 0,04$ sur T-SROIE), souffrant d'un surapprentissage aux artefacts de rendu spécifiques.
  • Les méthodes générales (ex: TruFor, CAT-Net) montrent parfois une meilleure robustesse en zero-shot sur certains jeux de données, bien qu'elles souffrent aussi du problème de calibration.
• Impact de la Calibration : L'ajustement d'un seuil sur un petit échantillon (N=10) permet de récupérer une grande partie de la performance perdue, démontrant que le problème est soluble sans réentraînement coûteux.

5. Signification et Perspectives

• Problème Non Résolu : La détection de falsification de documents reste un problème non résolu en mode déploiement réel. Les benchmarks actuels, basés sur le fine-tuning, masquent cette réalité.
• Changement de Paradigme : L'industrie doit passer d'une évaluation basée sur la discrimination (AUC) à une évaluation basée sur la calibration (F1 à seuil fixe) et intégrer des étapes de calibration de domaine.
• Lacune Critique (IA Générative) : Tous les jeux de données du benchmark sont antérieurs à l'ère des outils d'édition par IA générative (Diffusion, LLM). Les auteurs soulignent que les falsifications générées par des outils comme Stable Diffusion ou DALL-E laisseront des traces forensiques fondamentalement différentes, et que les méthodes actuelles échoueront probablement encore plus sur ces nouvelles menaces.
• Ressource Open Source : L'ensemble de l'outil d'évaluation (scripts, configurations) est publié pour permettre une évaluation reproductible et encourager la communauté à développer des solutions adaptées à ce nouveau front de menace.

En résumé, DOCFORGE-BENCH démontre que la barrière principale à la détection de falsification de documents n'est pas la capacité des modèles à "voir" les falsifications, mais leur incapacité à s'adapter aux distributions statistiques radicalement différentes des documents par rapport aux images naturelles, un problème qui peut être partiellement résolu par une calibration simple des seuils.