💬 NLP

TAB-AUDIT: Detecting AI-Fabricated Scientific Tables via Multi-View Likelihood Mismatch

Ce papier présente TAB-AUDIT, le premier cadre systématique et le jeu de données de référence FabTab pour détecter les tableaux scientifiques fabriqués par l'IA dans les articles NLP empiriques en exploitant les incohérences de vraisemblance entre la structure du tableau et son contenu numérique.

Auteurs originaux : Shuo Huang, Yan Pen, Lizhen Qu

Publié 2026-03-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shuo Huang, Yan Pen, Lizhen Qu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un éditeur de journal scientifique. Votre travail consiste à vérifier que les articles soumis sont réels et que les expériences décrites ont vraiment eu lieu.

Aujourd'hui, les intelligences artificielles (IA) sont devenues si douées qu'elles peuvent écrire des articles scientifiques qui semblent parfaitement réalistes. C'est comme si un robot écrivait un roman d'espionnage si bien que même les experts auraient du mal à dire s'il est vrai ou non.

Le problème, c'est que ces IA peuvent aussi inventer des tableaux de résultats (des grilles de chiffres) pour prouver leurs affirmations. C'est là que le bât blesse : l'IA est excellente pour imiter le style d'un tableau, mais elle est moins bonne pour imiter la réalité des chiffres qui y sont inscrits.

Voici comment les chercheurs de cette étude ont créé un détecteur, qu'ils appellent TAB-AUDIT, pour repérer ces faux tableaux.

1. Le Problème : L'IA est un excellent faussaire... mais pas parfait

Imaginez que vous demandez à un faux monnayeur de fabriquer un billet de banque.

Il peut copier parfaitement le dessin, les couleurs et le papier (c'est la structure du tableau : les titres, les colonnes, les noms des modèles).
Mais quand il doit écrire les chiffres de sécurité ou les séquences aléatoires, il a tendance à faire des erreurs subtiles. Les chiffres semblent "trop propres", trop réguliers, ou ne correspondent pas tout à fait à l'histoire qu'ils racontent.

Les chercheurs ont constaté que les tableaux inventés par l'IA ressemblent à des structures scientifiques parfaites, mais que les chiffres à l'intérieur ont une "texture" étrange, comme une mélodie jouée sur un piano qui est légèrement désaccordé.

2. La Solution : TAB-AUDIT, le "Détective des Chiffres"

Au lieu de simplement lire le texte pour voir s'il est écrit par un humain ou une IA, TAB-AUDIT regarde spécifiquement les tableaux.

Voici son fonctionnement, expliqué avec une analogie simple :

Le Squelette (Le Dessin) : Le détective regarde d'abord la structure du tableau (les titres, les lignes, les colonnes). C'est comme regarder la forme d'un meuble. L'IA est très bonne pour copier cette forme.
La Chair (Les Chiffres) : Ensuite, le détective regarde les chiffres à l'intérieur.
Le Test de Cohérence : Le détective se demande : "Est-ce que ces chiffres ont l'air d'avoir été mesurés dans un vrai laboratoire, ou est-ce qu'ils ont été inventés de toutes pièces pour s'adapter au dessin ?"

L'IA a tendance à créer des tableaux où les chiffres sont trop parfaits (trop réguliers, trop arrondis) ou où ils ne "collent" pas mathématiquement avec le contexte. Par exemple, si un tableau dit que le modèle A est meilleur que le modèle B de 5%, mais que les chiffres bruts ne correspondent pas à cette différence, c'est un signe d'alerte.

3. L'Expérience : Comment l'ont-ils prouvé ?

Les chercheurs ont créé une immense bibliothèque appelée FABTAB.

Ils ont pris des milliers de vrais articles scientifiques.
Ils ont demandé à une IA (GPT-4) d'en écrire de faux, en se basant sur les vrais pour que le style soit identique.
Ensuite, ils ont laissé TAB-AUDIT jouer au "jeu des 7 différences".

Le résultat ? TAB-AUDIT a été capable de repérer les faux tableaux avec une précision incroyable (plus de 98% de réussite sur les cas qu'il connaissait, et encore très bien sur des cas nouveaux).

4. Pourquoi c'est important ?

Aujourd'hui, on utilise l'IA pour aider à écrire, mais certains malhonnêtes pourraient l'utiliser pour fabriquer de fausses preuves scientifiques.

Si un chercheur invente des résultats pour obtenir un financement ou une promotion, c'est une fraude.
TAB-AUDIT agit comme un filtre de sécurité. Il ne dit pas "C'est un crime", mais il dit : "Hé, ce tableau a l'air suspect, il faudrait qu'un humain le vérifie de plus près."

En résumé

Imaginez que vous achetez une voiture d'occasion.

L'IA peut repeindre la voiture, polir les phares et mettre un nouveau volant (c'est le texte et la structure du tableau).
Mais TAB-AUDIT, c'est le mécanicien qui ouvre le capot et écoute le moteur. Il entend le petit bruit bizarre qui indique que le moteur n'est pas d'origine (c'est la mismatch ou le décalage entre la structure et les chiffres).

Grâce à cette méthode, la communauté scientifique peut mieux protéger son intégrité contre les fausses preuves générées par les machines.

1. Problématique

L'émergence des grands modèles de langage (LLM) a facilité la génération de manuscrits scientifiques falsifiés à grande échelle, menaçant l'intégrité académique. Bien que des travaux antérieurs aient tenté de détecter les citations fantômes ou les textes générés, les tableaux expérimentaux (qui constituent la preuve empirique centrale des affirmations scientifiques) sont restés largement négligés.

Le défi principal réside dans le fait que les LLM peuvent imiter avec succès la structure textuelle (le « squelette ») d'un tableau scientifique (titres, en-têtes, noms de métriques), mais échouent souvent à reproduire la texture distributionnelle naturelle des données numériques issues d'expériences réelles. Les tableaux falsifiés tendent à présenter des nombres atypiques par rapport à leur contexte structurel, créant une incohérence interne que les méthodes de détection actuelles ne capturent pas.

2. Méthodologie : TAB-AUDIT

L'approche proposée, TAB-AUDIT, est un cadre de vérification (audit) piloté par des signaux forensiques, conçu pour détecter les tableaux fabriqués sans accès aux données brutes ou aux logs d'expérience.

A. Construction du Benchmark FABTAB

Les auteurs ont créé le premier jeu de données de référence (FABTAB) pour cette tâche :

Données réelles : 1 012 articles empiriques en NLP (traitement du langage naturel) récents, extraits d'arXiv.
Données falsifiées : 976 articles générés par GPT-4o en s'appuyant sur une littérature existante (pour assurer la cohérence thématique) mais avec des résultats expérimentaux synthétisés.
Validation externe : Un jeu de données de test hors domaine (out-of-domain) utilisant GPT-5.2 pour évaluer la généralisation face à de nouveaux générateurs.
Étude humaine : Une évaluation humaine a montré que les humains ne parviennent qu'à un niveau de détection modéré (AUC de 0,66), confirmant la difficulté de distinguer manuellement ces tableaux.

B. Analyse des Signaux Forensiques

L'analyse révèle que les tableaux falsifiés diffèrent des tableaux humains par une incohérence intra-tableau :

Le Squelette Textuel : Les LLM imitent bien les en-têtes et les labels (squelette).
Le Canal Numérique : Les valeurs numériques sont souvent trop régulières, trop triées ou manquent de la cohérence arithmétique naturelle (ex: variations de pourcentage, écarts réalistes) observée dans les expériences réelles.

C. Le Framework TAB-AUDIT

Le système extrait des caractéristiques discriminantes basées sur trois vues d'un tableau sérialisé :

Vue Complète : Titre, en-têtes et toutes les cellules.
Vue Squelette Textuel : Masquage des nombres, ne gardant que la structure textuelle.
Vue Numérique : Extraction des seuls chiffres (au niveau des digits).

Le signal clé : Le Décalage de Vraisemblance (Likelihood Mismatch)
Le cœur de la méthode est le calcul de la perplexité (ou de la vraisemblance négative) sous un modèle observateur (ex: GPT-2, Llama, Qwen) pour chaque vue. Le signal principal est le décalage entre la perplexité des nombres et celle du squelette :
$f_\Delta(T) = \text{sign}(z) \log(1 + |PPL_{\text{num}} - PPL_{\text{squelette}}|)$
Un tableau falsifié aura souvent un squelette très plausible (faible perplexité) mais des nombres atypiques pour ce squelette (forte perplexité), créant un grand écart.

Caractéristiques Complémentaires (LM-Free) :
Le système intègre également des statistiques numériques directes (sans LLM) :

Cohérence arithmétique (ex: vérification des différences de lignes).
Taux de répétition des valeurs.
Mesures de tri et de monotonie (les tableaux falsifiés sont souvent trop ordonnés).
Comportement des décimales.

Ces caractéristiques sont agrégées au niveau de l'article (via une médiane robuste) et alimentent un classifieur (Random Forest).

3. Résultats Expérimentaux

Les expériences montrent que TAB-AUDIT surpasse largement les méthodes de l'état de l'art (SOTA) comme Binoculars ou DetectGPT, qui sont conçues pour le texte libre.

Performance In-Domain (GPT-4o) :
- AUROC : 0,987 (avec Random Forest).
- TPR@5% (Vrai Positif à 5% de Faux Positifs) : 0,933. Cela signifie que le modèle détecte 93,3 % des tableaux falsifiés en ne flagguant que 5 % des vrais articles par erreur.
Performance Out-of-Domain (GPT-5.2) :
- AUROC : 0,883.
- TPR@5% : 0,218. Bien que la performance baisse avec un générateur plus avancé, elle reste significative, démontrant une certaine robustesse au changement de modèle.
Comparaison avec les baselines : Les méthodes existantes (Binoculars) obtiennent des AUROC autour de 0,68, confirmant qu'elles ne capturent pas les signaux spécifiques aux tableaux.

4. Contributions Clés

FABTAB : Le premier benchmark systématique de manuscrits falsifiés contenant des tableaux, avec une génération contrôlée et une évaluation rigoureuse hors domaine.
Signal Forensique : La démonstration que l'incohérence entre la structure textuelle d'un tableau et ses données numériques est un indicateur fiable de falsification, plus puissant que la simple perplexité globale.
Framework TAB-AUDIT : Une méthode d'audit qui combine des signaux de vraisemblance multi-vues et des statistiques numériques pour détecter la fraude scientifique avec un taux de faux positifs très faible.

5. Signification et Limites

Signification :
Ce travail établit que les tableaux expérimentaux sont un signal forensique critique pour la détection de la fraude scientifique. Il propose une approche pratique pour les éditeurs et les revues afin de trier les manuscrits à haut risque pour un examen manuel, sans avoir besoin d'accéder aux codes sources ou aux données brutes des auteurs.

Limites :

La méthode dépend de la qualité de l'extraction des tableaux (les formats PDF complexes peuvent poser problème).
Elle fonctionne uniquement sur les artefacts publiés (pas de vérification des logs d'expérience).
La robustesse face aux générateurs futurs (au-delà de GPT-5.2) reste un défi, bien que le signal de décalage semble transférable.
Le système est conçu comme un outil de tri (screening) à faible taux de faux positifs, et non comme une preuve définitive de misconducte.

En conclusion, TAB-AUDIT déplace le paradigme de la détection de la fraude scientifique de l'analyse textuelle globale vers une audit forensique des preuves empiriques, exploitant les faiblesses inhérentes des LLM à simuler la complexité statistique des résultats expérimentaux réels.