💬 NLP

TAB-AUDIT: Detecting AI-Fabricated Scientific Tables via Multi-View Likelihood Mismatch

Dit paper introduceert TAB-AUDIT, het eerste systeem dat door middel van een meervoudige waarschijnlijkheidsmismatch in tabellen AI-gegenereerde wetenschappelijke fraude in empirische NLP-papers succesvol detecteert.

Oorspronkelijke auteurs: Shuo Huang, Yan Pen, Lizhen Qu

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuo Huang, Yan Pen, Lizhen Qu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat de wetenschappelijke wereld een enorme bibliotheek is, vol met boeken over nieuwe ontdekkingen. De afgelopen tijd is er echter een nieuwe, slimme "schrijver" bijgekomen: een kunstmatige intelligentie (AI). Deze AI kan prachtige, overtuigende boeken schrijven die eruitzien alsof ze door echte mensen zijn gemaakt. Het probleem is dat deze AI soms feiten verzonnen, inclusief de tabellen met cijfers die bewijzen dat een experiment heeft gewerkt. Dit is als een chef-kok die een gerecht serveert dat er perfect uitziet, maar in plaats van echte ingrediënten, alleen maar plastic bloemen en gekleurd water gebruikt.

Deze paper, getiteld TAB-AUDIT, introduceert een nieuwe manier om te ontdekken of een wetenschappelijk artikel echt is of bedacht door een AI. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Plastic Bloemen" in de Tafel

Wetenschappers gebruiken tabellen om hun resultaten te tonen. Een echte tabel is als een verslag van een echte reis: de route (de structuur) en de afgelegde kilometers (de cijfers) moeten logisch bij elkaar passen.

Echte mensen doen een experiment, meten dingen, en schrijven de resultaten op. Soms zijn de cijfers niet perfect, soms zijn er kleine verschillen of onregelmatigheden, net zoals in het echte leven.
AI's proberen deze tabellen na te bootsen. Ze kunnen de vorm van de tabel perfect namaken (de kopjes, de rijtjes, de titels), maar de cijfers die ze invullen, voelen vaak "te perfect" of passen niet helemaal bij de context. Het is alsof iemand een verhaal schrijft over een wandeling in de bergen, maar de cijfers voor de afstand en de tijd kloppen niet met het terrein.

2. De Oplossing: De "Tafel-Inspecteur" (TAB-AUDIT)

De auteurs van dit paper hebben een systeem gebouwd dat werkt als een slimme inspecteur. In plaats van alleen te kijken of de tekst goed klinkt, kijkt deze inspecteur specifiek naar de tafels in het artikel.

Het systeem gebruikt een slimme truc, die ze "Mismatch" (niet-overeenstemming) noemen:

Stap 1: De Skelet-Check. De inspecteur kijkt eerst alleen naar de "skelet" van de tabel: de kopjes, de rijnamen en de structuur. AI's zijn heel goed in het maken van een geloofwaardig skelet.
Stap 2: De Cijfer-Check. Vervolgens kijkt de inspecteur alleen naar de cijfers zelf.
Stap 3: De Vergelijking. Hier komt de magie. De inspecteur vraagt zich af: "Past dit specifieke cijfer bij dit specifieke kopje?"
- Bij een echt artikel passen de cijfers logisch bij de structuur (bijv. als je een experiment vergelijkt, zie je vaak kleine, natuurlijke variaties).
- Bij een AI-vervalsing is er vaak een kloof. De structuur ziet er wetenschappelijk uit, maar de cijfers voelen "vreemd" of te willekeurig aan voor die specifieke structuur. Het is alsof je een auto ziet met een Ferrari-lichaam, maar er zit een fietsmotor onder.

3. De "Receptuur" van de Detectie

De auteurs hebben een enorme database gemaakt genaamd FABTAB. Dit is een verzameling van:

Echte, menselijke wetenschappelijke artikelen.
Vervalsingen die door AI zijn gegenereerd (met opzet bedacht om er echt uit te zien).

Ze hebben deze database gebruikt om een "detectiemachine" te trainen. Deze machine leert niet alleen naar tekst te kijken, maar vooral naar de relatie tussen vorm en inhoud. Ze hebben ontdekt dat AI-tabelletjes vaak te "netjes" zijn, te veel dezelfde patronen hebben, of dat de rekenkundige relaties tussen de cijfers niet kloppen (bijvoorbeeld: als rij A 10% hoger is dan rij B, klopt dat niet met de cijfers in rij C).

4. Waarom werkt dit zo goed?

Vroeger probeerden mensen AI-tekst te detecteren door te kijken of de zinnen "te vloeiend" waren. Maar AI's worden steeds beter in vloeiend schrijven.
Deze nieuwe methode kijkt naar de wiskundige en logische consistentie binnen de tabel.

Analogie: Stel je voor dat je een vals schilderij hebt. Een expert kijkt niet alleen naar de verf (de tekst), maar naar de penseelstreken en de compositie (de cijfers in de tabel). Een vervalser kan de verf goed namaken, maar de onderliggende structuur van de penseelstreken verraadt vaak dat het nep is.

5. De Resultaten

Het systeem werkt verbluffend goed:

Het kan 98,7% van de nep-artikelen detecteren in de situatie waarin het getraind is.
Het kan zelfs 88,3% van de nep-artikelen detecteren die gemaakt zijn door een andere, nieuwere AI dan degenen waarmee het getraind is. Dit betekent dat het systeem de echte "handtekening" van een AI heeft leren herkennen, en niet alleen de specifieke stijl van één model.

Conclusie

Kortom, TAB-AUDIT is als een super-slimme boekhouder voor wetenschap. Het weet dat als een wetenschappelijk verhaal te mooi is om waar te zijn, de cijfertjes in de tabel vaak de zwakke schakel zijn. Door te kijken naar de kloof tussen de "verhaallijn" (het skelet) en de "cijfers" (de bewijzen), kan dit systeem helpen om de wetenschappelijke bibliotheek schoon te houden van vervalsingen, zodat we kunnen vertrouwen op echte ontdekkingen.

Het is een waarschuwing aan de wereld: AI kan een prachtig verhaal schrijven, maar het is nog steeds heel moeilijk om de wiskunde van een echt experiment perfect na te bootsen. En daar zit de sleutel tot de waarheid.

1. Het Probleem

De opkomst van Large Language Models (LLMs) heeft nieuwe manieren geopend voor het schenden van academische integriteit, met name door het genereren van overtuigende maar gefabriceerde wetenschappelijke manuscripten. Hoewel er reeds onderzoek is gedaan naar het detecteren van AI-gegenereerde tekst (zoals hallucinaties in citaties of narratives), wordt gestructureerde empirische bewijsvoering in tabellen vaak over het hoofd gezien.

Wetenschappelijke tabellen vormen de kern van de claims in empirische NLP-papers. Het fabriceren van deze tabellen ondermijnt de geloofwaardigheid van het hele artikel. Het huidige probleem is tweeledig:

Er ontbreekt een systematische studie en een benchmark voor het detecteren van AI-gegenereerde, vervalste tabellen.
Bestaande detectiemethoden zijn vaak gericht op vrije tekst en missen de specifieke forensische signalen die nodig zijn om de inconsistentie tussen de tekstuele structuur van een tabel en de numerieke inhoud te onderscheiden.

2. Methodologie: TAB-AUDIT Framework

De auteurs introduceren TAB-AUDIT, een raamwerk dat forensische signalen gebruikt om gefabriceerde tabellen te detecteren. De kern van de methologie rust op het idee dat AI-modellen de "skeletstructuur" van een wetenschappelijke tabel (koppen, rijlabels, metrieke namen) goed kunnen nabootsen, maar moeite hebben met de "numerieke textuur" die voortkomt uit echte experimentele metingen.

A. De FABTAB Benchmark

Om dit probleem te onderzoeken, hebben de auteurs FABTAB geconstrueerd, de eerste benchmark dataset voor gefabriceerde manuscripten met tabellen:

Data: 1.173 AI-gegenereerde papers (voornamelijk gegenereerd met GPT-4o, gebaseerd op bestaande literatuur) en 1.215 menselijk geschreven papers uit het empirische NLP-domein.
Realisme: De AI-papers worden gegenereerd via een "literature-grounded" pipeline. Dit betekent dat de AI eerst bestaande papers analyseert en daarop gebaseerd een volledig manuscript schrijft, inclusief tabellen. Dit zorgt voor een hoge mate van realisme in de context, waardoor de tabellen moeilijker te onderscheiden zijn dan bij directe prompt-gegenereerde tabellen.
Testset: Er is ook een "out-of-domain" testset opgezet met GPT-5.2 om de generalisatie van de detector te testen.

B. Signaalanalyse en Features

Het paper identificeert een specifiek forensisch signaal: Within-Table Mismatch. Dit is het verschil in waarschijnlijkheid (perplexity) tussen de tekstuele structuur en de numerieke inhoud van een tabel.

Het framework extrahert drie weergaven van elke tabel en berekent de likelihood (waarschijnlijkheid) onder een observer-model (bijv. GPT-2, Llama, Qwen):

Full View: De volledige tabel (tekst + nummers).
Textual-Skeleton View: De tabel waarbij alle nummers zijn gemaskeerd (alleen headers, labels, structuur).
Digit-Level Numeric View: Alleen de numerieke waarden, herschreven op cijfer-niveau (bijv. "12.34" wordt "1 2 . 3 4").

De kernfeature is de Mismatch Score ( $f_\Delta$ ):
$f_\Delta(T) = \text{sign}(z) \log(1 + |z|), \quad \text{waarbij } z = \text{PPL}(s_{dig}) - \text{PPL}(s_{text})$
Dit meet hoe atypisch de numerieke inhoud is ten opzichte van de tekstuele structuur. In AI-tabellen is de numerieke inhoud vaak "onverwacht" of "te glad" vergeleken met de conventionele structuur, terwijl bij menselijke tabellen deze twee beter op elkaar afgestemd zijn.

Daarnaast worden LM-vrije numerieke features toegevoegd, zoals:

Aritmetische coherentie (bijv. consistentie van rij-verschillen).
Herhalingen en sortering (AI-tabellen zijn vaak te regelmatig of te perfect gesorteerd).
Decimale precisie (menselijke tabellen hebben vaak een onregelmatiger precisiepatroon).

C. Aggregatie en Detectie

De features worden op tabelniveau berekend en vervolgens op paper-niveau geaggregeerd (via mediaan) om een eindscore voor het hele manuscript te krijgen. Verschillende klassieke machine learning modellen (Logistic Regression, MLP, Random Forest) worden getraind op deze features.

3. Belangrijkste Resultaten

De experimenten tonen aan dat TAB-AUDIT aanzienlijk beter presteert dan bestaande state-of-the-art methoden (zoals Binoculars en DetectGPT-varianten), die voornamelijk op tekst zijn gebaseerd.

In-Domain Prestaties: Het Random Forest-model gebaseerd op de gecombineerde features (FusedAll) bereikt een AUROC van 0.987 op de in-domain testset (GPT-4o gegenereerd).
Out-of-Domain Generalisatie: Het model behoudt sterke prestaties op de GPT-5.2 testset met een AUROC van 0.883, wat aantoont dat het signaal overdraagbaar is naar nieuwe generatiemodellen.
Vergelijking met Baselines: Bestaande methoden zoals Binoculars halen slechts een AUROC van ~0.68, en DetectGPT-varianten zakken zelfs naar ~0.40. Dit bevestigt dat generieke tekstdetectie niet werkt voor wetenschappelijke tabellen.
Menselijke Evaluatie: Een menselijke studie toonde aan dat mensen slechts een gemiddelde discriminatievermogen hebben (AUC ~0.66), wat aangeeft dat AI-tabellen visueel en inhoudelijk zeer overtuigend zijn voor mensen, maar kwetsbaar zijn voor de voorgestelde forensische analyse.

4. Bijdragen

De belangrijkste bijdragen van dit werk zijn:

FABTAB Dataset: De eerste gestructureerde benchmark voor AI-gegenereerde wetenschappelijke tabellen, inclusief een realistische generatiepipeline en een out-of-domain testset.
TAB-AUDIT Framework: Een nieuw detectieparadigma dat focust op de mismatch tussen tekstuele structuur en numerieke inhoud in plaats van op absolute tekstperplexiteit.
Forensische Inzicht: Het aantonen dat AI-modellen de "vorm" van wetenschappelijke rapportage goed kunnen nabootsen, maar de "inhoudelijke textuur" van echte experimentele data (zoals onregelmatigheden in meetwaarden) niet consistent kunnen repliceren.
Hoge Prestaties: Het demonstreren dat traditionele ML-modellen, gevoed met deze specifieke features, superieur zijn aan complexe deep learning-detectoren voor dit specifieke probleem.

5. Betekenis en Toekomst

Dit onderzoek is van cruciaal belang voor de wetenschappelijke gemeenschap omdat het een praktische, schaalbare oplossing biedt voor het screenen van publicaties op fraude.

Forensisch Screening: TAB-AUDIT is ontworpen als een screeningstool om papers met een hoog risico te identificeren voor handmatige review, zonder toegang te hebben tot de onderliggende code of ruwe data.
Onafhankelijkheid: De methode werkt puur op de gepubliceerde artefacten (de tabel), wat het toepasbaar maakt in een breed scala aan scenario's.
Beperkingen: De methode is afhankelijk van de kwaliteit van de tabel-extractie en de gekozen observer-model. Het is geen definitief bewijs van misdraging, maar een signaal voor verdere inspectie.

Kortom, TAB-AUDIT verschuift de focus van "is deze tekst AI-gegenereerd?" naar "is deze empirische bewijsvoering consistent met de beschreven structuur?", wat een veel robuustere aanpak is voor het detecteren van wetenschappelijke fraude in de AI-tijd.