THEMIS: Towards Holistic Evaluation of MLLMs for Scientific Paper Fraud Forensics

Dit paper introduceert THEMIS, een nieuw multimodaal benchmark voor het grondig evalueren van grote taalmodellen op hun vermogen tot visuele fraudeherkenning in complexe, realistische academische scenario's, waarbij experimenten aantonen dat zelfs de beste modellen nog aanzienlijke beperkingen hebben.

De kern

Stel je voor dat wetenschappelijk onderzoek een enorme bibliotheek is, vol met prachtige boeken (de papers) die de geheimen van het universum onthullen. Maar wat als iemand in die bibliotheek een boek zou vervalsen? Ze zouden een pagina uit een ander boek knippen, een foto van een monster vervangen door een nepfoto, of de tekst zo aanpassen dat het verhaal niet meer klopt met de plaatjes.

Dit is precies wat THEMIS doet. Het is een nieuw, superkrachtig "detective-systeem" dat is ontworpen om te kijken of multimodale grote taalmodellen (MLLMs) – dat zijn slimme AI's die zowel tekst als plaatjes begrijpen – deze vervalsingen kunnen opsporen.

Hier is een simpele uitleg van wat dit paper doet, met wat creatieve vergelijkingen:

1. Het Probleem: De "Vervalsings-Feestjes"

Vroeger waren AI's goed in simpele dingen, zoals "dat is een kat" of "dit is een auto". Maar wetenschappelijke fraude is veel ingewikkelder. Het is alsof je een meesterwerk van een schilderij probeert na te maken: je moet niet alleen de kleuren zien, maar ook begrijpen of de schaduwen logisch zijn, of de tekst onder het schilderij klopt met wat je ziet, en of er stukken uit een ander schilderij zijn geplakt.

Bestaande tests voor AI waren als een "peuter-toets": ze vroegen de AI om een simpele tekening te herkennen. Maar wetenschappelijke fraude is meer als een forensisch onderzoek bij een moordzaak. Je hebt experts nodig die tot in de puntjes kunnen kijken.

2. De Oplossing: THEMIS (De Super-Detective)

De onderzoekers van de Beijing University of Posts and Telecommunications hebben THEMIS gebouwd. Ze noemen het een "benchmark", maar denk er liever aan als een gigantische, realistische oefensessie voor AI-detectives.

THEMIS heeft drie superkrachten:

• Echte Situaties (De "Reële Wereld"):
  De meeste tests gebruiken nep-data die te makkelijk is. THEMIS kijkt naar echte, ingetrokken wetenschappelijke papers (waarbij wetenschappers hun eigen fouten of fraude hebben toegegeven) en maakt daarnaast duizenden nieuwe, zeer realistische nep-voorbeelden.

  • Vergelijking: Het is het verschil tussen een politieagent die oefent met een tekening van een dader, versus een agent die oefent met een echte, verwarrende moordplek met modder, regen en vage vingerafdrukken. THEMIS laat de AI's werken in de modder en regen.

• Elk Type Vervalsing (De "Handboeken van de Vervalsers"):
  De dataset dekt 5 hoofdsoorten fraude en 16 specifieke trucs.

  • Knip-en-plak (Splicing): Een stukje uit een foto knippen en ergens anders plakken.
  • Kopieer-en-plak (Copy-Move): Een stukje van dezelfde foto kopiëren en ergens anders in diezelfde foto plakken (alsof je een tweede kopie van een bloem in een tuin tekent).
  • AI-Generatie: Een hele foto maken met een AI die er echt uitziet, maar niet bestaat.
  • Herhaling (Duplication): Dezelfde foto twee keer gebruiken, maar dan gedraaid, gekleurd of geschaald.
  • Tekst-Bild Inconsistentie: De tekst zegt "de temperatuur steeg", maar de grafiek laat zien dat hij daalde.
  • Vergelijking: THEMIS is als een trainingskamp waar de AI's leren om niet alleen te zien dat er een vlekje is, maar om te begrijpen hoe de vlekje er is gekomen.

• Diep Denken (De "5 Zintuigen"):
  THEMIS test niet alleen of de AI "ja" of "nee" zegt. Het test vijf specifieke vaardigheden:

  1. Expertkennis: Begrijpt de AI wat een microscopische cel moet zijn?
  2. Visueel Herkennen: Ziet de AI de rare randjes?
  3. Ruimtelijk Redeneren: Begrijpt de AI dat een kopie niet logisch past in de ruimte?
  4. Locatie: Kan de AI precies aangeven waar de vervalsing zit (tot op het pixel)?
  5. Vergelijken: Klopt de tekst met het plaatje?

3. De Resultaten: De AI's Struikelen

De onderzoekers hebben 16 van de slimste AI's ter wereld (zoals GPT-5, Gemini, Llama) op deze test laten werken. Het nieuws is niet goed:

• De "Grootste" AI faalt: Zelfs de allerbeste AI (GPT-5) haalde maar 56% goed. Dat betekent dat hij in bijna de helft van de gevallen de fraude mist of de verkeerde conclusie trekt.
• Verwarring bij complexe trucs: Als iemand meerdere trucs combineert (bijvoorbeeld: een foto draaien én de kleuren aanpassen), zakken de scores van de AI's dramatisch. Het is alsof je een detective vraagt om een spoor te volgen terwijl iemand constant de lichten uitdoet en de muren verplaatst.
• Locatie is moeilijk: AI's kunnen soms zeggen "hier is iets mis", maar ze kunnen vaak niet precies zeggen waar. Het is alsof ze zeggen "er is een moord gebeurd in dit huis", maar ze kunnen niet zeggen in welke kamer.

4. Waarom is dit belangrijk?

Wetenschap bouwt op vertrouwen. Als mensen niet meer kunnen vertrouwen op de plaatjes en data in papers, stort de wetenschap in.

• De AI's zijn de nieuwe "rechercheurs": Menselijke experts kunnen niet elke paper controleren. We hebben AI nodig die dit voor ons doet.
• THEMIS is de "proefneming": Zolang we niet weten hoe goed deze AI's zijn, kunnen we ze niet vertrouwen. THEMIS laat zien dat we nog een lange weg te gaan hebben voordat AI's veilig zijn om wetenschappelijke fraude te bestrijden.

Kortom:
THEMIS is een strenge, realistische test die laat zien dat onze slimste AI's nog niet klaar zijn om de "rechercheurs" van de wetenschappelijke wereld te worden. Ze zien soms wel de vervalsing, maar missen vaak de details of raken in de war bij complexe trucs. Het paper is een wake-up call: we moeten AI's veel beter trainen voordat we hen de sleutel geven tot de integriteit van de wetenschap.

Technische samenvatting

Probleemstelling

Multimodale grote taalmodellen (MLLMs) hebben aanzienlijke vooruitgang geboekt in visuele perceptie en redenering. Echter, hun vermogen om expertniveau visuele redenering uit te voeren in complexe, realistische scenario's, zoals het opsporen van fraude in wetenschappelijke publicaties, blijft onderbelicht en onvoldoende gevalideerd. Bestaande benchmarks voor visuele fraude (zoals FakeBench of SHIELD) hebben drie belangrijke tekortkomingen:

1. Beperkte reikwijdte: Ze dekken vaak slechts een smal scala aan fraude-types.
2. Grof granulariteit: Ze focussen voornamelijk op binaire classificatie (frauduleus vs. niet-frauduleus) in plaats van fijnmazige, multidimensionale evaluatie.
3. Gebrek aan realisme: Veel benchmarks vertrouwen zwaar op synthetische data die de complexiteit van echte academische fraude (bijv. complexe texturen, subtiele manipulaties in micrografieën) niet weerspiegelen.

Dit creëert een kritieke kloof: er is geen robuust testkader om te bepalen of MLLMs werkelijk in staat zijn om diepgaande visuele forensiek uit te voeren, wat essentieel is voor het waarborgen van de wetenschappelijke integriteit in het tijdperk van AI-generatie.

Methodologie: De THEMIS Benchmark

THEMIS is een nieuw, holistisch meer-taken benchmark dat is ontworpen om MLLMs te evalueren op visuele fraude-redenering binnen echte academische scenario's. De dataset bestaat uit 4.054 vragen en is opgebouwd volgens drie kernontwerpprincipes:

1. Real-World Scenarios & Complexiteit:

   • De dataset omvat 7 representatieve academische scenario's (o.a. Micrografie, Geverfde Micrografie, Medische Beeldvorming, Diagrammen, Grafieken).
   • 60,47% van de afbeeldingen bevat complexe texturen (zoals weefselmonsters), wat de detectie van manipulatie aanzienlijk moeilijker maakt dan bij standaard objectherkenning.
   • De data is afgeleid van 152 echte, teruggetrokken papers (van Retraction Watch en PubPeer) en aangevuld met hoogwaardige synthetische data.

2. Diversiteit en Granulariteit van Fraude-Typen:

   • THEMIS dekt 5 uitdagende fraude-methoden: Splicing (samenvoegen), Copy-Move (kopiëren en verplaatsen), AI-Generated (volledig of gedeeltelijk gegenereerd), Duplication (hergebruik) en Text-Image Inconsistency (tekst-beeld inconsistentie).
   • Er worden 16 fijnmazige manipulatie-operaties geïntroduceerd (bijv. schalen, kleurtemperatuur aanpassen, rotatie).
   • Gemiddeld ondergaat elk voorbeeld 2,08 gestapelde manipulaties, wat vereist dat modellen complexe, gecombineerde veranderingen kunnen redeneren.

3. Multidimensionale Capabiliteitsevaluatie:

   • In plaats van alleen een eindscore, map THEMIS fraude-typen naar 5 kernredeneercapaciteiten:
     • Expert Knowledge Utilization: Gebruik van domeinkennis.
     • Visual Recognition: Perceptie van complexe visuele elementen.
     • Spatial Reasoning: Begrip van posities en structurele relaties.
     • Region Localization: Precieze identificatie van vervalste gebieden.
     • Comparative Reasoning: Vergelijken van multimodale bewijzen (tekst vs. beeld).

Evaluatie Taken:

• SMF-IL (Single-Mode Forgery Identification & Localization): Identificeer het type vervalsing en localiseer het gebied (voor Splicing, Copy-Move, AI-Generated).
• CMO-I (Composite Manipulation Operations Identification): Identificeer welke manipulaties zijn toegepast op een paar panelen (voor Duplication).
• CMI-IL (Cross-Modal Inconsistency Identification & Localization): Detecteer en localiseer inconsistenties tussen tekst en afbeelding (voor Numerieke en Trend-inconsistenties).

Belangrijkste Resultaten

De auteurs hebben 16 toonaangevende MLLMs geëvalueerd, waaronder gesloten modellen (GPT-5, Gemini 2.5, Qwen-VL-Max) en open-source modellen (Qwen2.5-VL, Llama 4, InternVL).

1. Algemene Beperkingen: Zelfs het best presterende model, GPT-5, bereikte slechts een overall performance van 56,15% (gemeten via de Balanced Robustness Index - BRI). Dit toont aan dat de benchmark een strenge test is die de huidige staat van de kunst overstijgt.
2. Grote Kwetsbaarheid voor Gestapelde Manipulaties: Modellen presteren slecht bij complexe, gestapelde bewerkingen. Bijvoorbeeld, de F1-score van GPT-5 voor de taak "Duplication Identification" daalde van 38% naar 17% toen het aantal gestapelde manipulaties van één naar drie ging.
3. Ongelijke Capabiliteitsprofielen: Modellen vertonen sterke specialisatie maar zwakke prestaties in andere domeinen. GPT-5 scoorde bijvoorbeeld 53,50% op Visual Recognition, maar slechts 24,14% op Region Localization.
4. Synthetische vs. Real Data: De synthetische data bleek even uitdagend (of zelfs uitdagender voor Duplication-taken) als de echte teruggetrokken papers, wat aantoont dat de generatiepijplijn van THEMIS robuust is.
5. Prompting Strategieën: Chain-of-Thought (CoT) prompting verbeterde de prestaties consistent, vooral voor modellen met een zwakkere native redeneercapaciteit (zoals Llama 4), terwijl Few-Shot prompting inconsistente resultaten opleverde.

Significantie en Impact

THEMIS is een mijlpaal in de evaluatie van multimodale modellen voor wetenschappelijke integriteit:

• Nieuwe Standaard: Het vult een kritieke leemte door de eerste benchmark te bieden die specifiek is ontworpen voor expert-level visuele forensiek in wetenschappelijke contexten, met een focus op realisme en complexiteit.
• Diagnostisch Inzicht: Door prestaties te ontleden naar specifieke redeneercapaciteiten, helpt THEMIS onderzoekers om de exacte zwakke punten van modellen te identificeren (bijv. gebrek aan ruimtelijk redeneren of gevoeligheid voor randen).
• AI Governance: Het paper pleit voor een "AI for AI Governance" aanpak. Gezien de opkomst van AI-generatie die fraude makkelijker maakt, is THEMIS essentieel voor het ontwikkelen van geautomatiseerde systemen die wetenschappelijke publicaties kunnen verifiëren.
• Open Science: De dataset, code en evaluatiescripts zijn openbaar beschikbaar gesteld, wat reproduceerbaarheid en verdere onderzoek in dit domein stimuleert.

Kortom, THEMIS demonstreert dat hoewel MLLMs indrukwekkend zijn in algemene taken, ze nog aanzienlijke verbetering nodig hebben om betrouwbare, expert-niveau forensische analyses uit te voeren in de complexe wereld van wetenschappelijke fraude.