💬 NLP

SciCoQA: Quality Assurance for Scientific Paper--Code Alignment

Dit paper introduceert SciCoQA, een dataset van 635 discrepanties tussen wetenschappelijke publicaties en hun codebronnen die is opgebouwd uit real-world issues en synthetische data, en toont aan dat zelfs de beste grote taalmodellen moeite hebben om deze implementatiefouten, vooral bij ontbrekende details en lange context, betrouwbaar te detecteren.

Oorspronkelijke auteurs: Tim Baumgärtner, Iryna Gurevych

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tim Baumgärtner, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧐 De "Recept vs. Kookboek" Check: Waarom wetenschap soms niet klopt

Stel je voor dat je een beroemd kookboek leest van een topchef. Het recept belooft een perfecte taart. Je koopt de ingrediënten, volgt de stappen en... de taart is een puinhoop. Waarom? Omdat de chef in het kookboek vergeten is te zeggen dat je de oven op 200 graden moet zetten, of omdat hij in het geheim een ander type bloem heeft gebruikt dan in de tekst staat.

In de wetenschap (vooral in computerwetenschappen en AI) gebeurt dit vaak. Wetenschappers publiceren een paper (het recept) en een code (de daadwerkelijke kookstappen in de computer). Helaas kloppen deze twee niet altijd met elkaar. Dit noemen ze de "reproduceerbaarheidscrisis": anderen kunnen de resultaten niet nabootsen omdat de code niet doet wat de paper zegt.

🚀 Wat is SCICOQA?

De onderzoekers van dit paper hebben een nieuw hulpmiddel bedacht, genaamd SCICOQA. Je kunt dit zien als een super-slimme kwaliteitscontroleur of een detective.

Het doel van SCICOQA is tweeledig:

Een verzameling van fouten maken: Ze hebben een enorme lijst gemaakt van 635 voorbeelden waar de paper en de code niet overeenkwamen.
AI testen: Ze hebben gekeken of de nieuwste kunstmatige intelligentie (zoals GPT-5 of Gemini) deze fouten kan vinden.

🛠️ Hoe hebben ze dit gedaan? (De "Fake" en "Echte" Fouten)

Om genoeg voorbeelden te hebben, hebben ze op twee manieren gewerkt:

De Echte Wereld (De "Reële" Fouten):
Ze hebben gekeken naar bestaande discussies op GitHub (waar programmeurs elkaar helpen) en naar rapporten van mensen die wetenschappelijke artikelen probeerden na te maken. Ze vonden daar 92 echte voorbeelden van fouten.
- Analogie: Dit is alsof je kijkt naar klachten van mensen die de taart hebben gebakken en zeggen: "Hé, in het recept stond 'suiker', maar in de doos zat 'zout'."
De Kunsmatige Wereld (De "Synthetische" Fouten):
Omdat echte fouten zeldzaam zijn, hebben ze AI gebruikt om nep-fouten te creëren. Ze namen een stukje code en veranderden er bewust iets in, zodat het niet meer paste bij de paper. Ze maakten hier 543 van.
- Analogie: Dit is alsof de detective zelf in het kookboek gaat zitten en stiekem de temperatuur verandert, om te zien of hij later zelf die fout kan vinden. Dit deed ze voor verschillende vakgebieden, van wiskunde tot biologie.

🔍 De Drie Soorten "Kookfouten"

Het paper onderscheidt drie soorten problemen:

Het verschil: De paper zegt "gebruik suiker", de code gebruikt "zout". (Dit is een directe tegenstelling).
De ontbrekende stap in de paper: De code doet iets slimme, maar de paper vergeten dit te beschrijven. (De chef zegt niets over de speciale glazuur, maar het zit er wel in).
De ontbrekende stap in de code: De paper beschrijft een stap, maar die is vergeten in de code. (Het recept zegt "bak 30 minuten", maar de code stopt na 10).

🤖 Kan de AI dit oplossen? (De Test)

De onderzoekers hebben 22 verschillende AI-modellen getest om te zien of ze deze fouten konden vinden. Het resultaat was een beetje teleurstellend, maar heel belangrijk:

De beste modellen (zoals Gemini 3.1 Pro en GPT-5 Mini) vonden slechts 46,7% van de echte fouten.
Dat betekent dat ze meer dan de helft van de fouten over het hoofd zagen!
Ze waren wel goed in het vinden van fouten als de code heel kort was, maar als de paper en code heel lang waren (duizenden pagina's tekst), raakten de AI-modellen in de war.

De grote les: AI is slim, maar het is nog niet slim genoeg om als enige rechter te dienen of een wetenschappelijk artikel betrouwbaar is. Als we blind vertrouwen op AI om wetenschap te controleren, laten we veel fouten ongemerkt.

🏁 Conclusie: Waarom is dit belangrijk?

In de toekomst zullen er waarschijnlijk "AI-wetenschappers" zijn die zelf papers schrijven en code schrijven. Als die AI's fouten maken in hun eigen werk, en wij vertrouwen op andere AI's om dat te controleren, kunnen we in een vicieuze cirkel terechtkomen.

SCICOQA is dus een noodzakelijke stap. Het is een "trainingsveld" om AI-systemen slimmer te maken, zodat ze in de toekomst wel echt kunnen helpen om te zorgen dat wat er in de paper staat, ook echt gebeurt in de computer.

Kort samengevat:
Het paper zegt: "We hebben een lijst gemaakt met fouten in wetenschappelijke code. We hebben getest of slimme computers deze fouten kunnen vinden. Het antwoord is: 'Nog niet echt'. We moeten de computers nog veel meer trainen voordat we ze kunnen vertrouwen om onze wetenschap te controleren."

Titel: SCICOQA: Kwaliteitsborging voor de Uitlijning van Wetenschappelijke Papers en Code

Auteurs: Tim Baumgärtner en Iryna Gurevych (UKP Lab, TU Darmstadt)

1. Het Probleem

De "reproduceerbaarheidscrisis" in de kunstmatige intelligentie (AI) en de wetenschap in het algemeen ondermijnt het vertrouwen in onderzoeksresultaten. Hoewel het publiceren van code en data essentieel is voor reproduceerbaarheid, garandeert de beschikbaarheid van code niet dat deze trouw (faithful) is aan de beschrijvingen in het wetenschappelijke artikel.

In de praktijk ontstaan er vaak discrepanties tussen de theoretische beschrijving in een paper en de daadwerkelijke implementatie in de code. Deze verschillen kunnen variëren van:

Onbeschreven trucjes: Waar de code prestaties behaalt door methoden die niet in de paper staan.
Wiskundige fouten: Waar de code een andere formule implementeert dan de paper beschrijft (bijv. L1-norm versus L2-norm).
Omissies: Kritieke stappen die in de paper staan maar ontbreken in de code, of andersom.

Deze inconsistenties worden vaak pas ontdekt tijdens naschouwingspogingen, wat leidt tot verspilde middelen en een erosie van wetenschappelijk vertrouwen. Met de opkomst van "AI-wetenschappers" die autonoom code genereren, wordt de noodzaak van geautomatiseerde kwaliteitsborging (QA) om deze uitlijning te verifiëren, steeds urgenter. Huidige Large Language Models (LLMs) zijn echter nog niet betrouwbaar genoeg om deze complexe taak uit te voeren.

2. Methodologie: SCICOQA Dataset

De auteurs introduceren SCICOQA, een dataset specifiek ontworpen om discrepanties tussen wetenschappelijke papers en hun bijbehorende codebases te detecteren.

Dataverzameling en Opbouw:
De dataset bestaat uit 635 discrepanties, verdeeld over twee categorieën:

Real-world data (92 instances): Afkomstig van GitHub-issues en reproduceerbaarheidsrapporten (bijv. van de ML Reproducibility Challenge). Deze zijn handmatig geverifieerd om te zorgen dat ze voldoen aan de definitie van een "betekenisvolle mismatch".
Synthetische data (543 instances): Om de dataset te schalen en domeinen buiten AI/CS (zoals Fysica, Kwantitatieve Biologie en Wiskunde) te omvatten, genereren de auteurs synthetische discrepanties. Ze gebruiken LLMs (GPT-5) om kleine, conceptueel betekenisvolle wijzigingen in bestaande codebases aan te brengen die in conflict staan met de paper.

Definitie van een Discrepantie:
Een paper-code discrepantie is gedefinieerd als een semantisch conflict dat de reproduceerbaarheid beïnvloedt. Het omvat drie types:

Difference: De code implementeert een andere logica dan de paper beschrijft (bijv. andere activatiefunctie).
Paper Omission: De code bevat kritieke componenten die in de paper ontbreken.
Code Omission: Een stap die in de paper staat, ontbreekt in de code.
Uitgesloten: Simpele bugs, hyperparameter-instellingen (die via config bestanden aanpasbaar zijn), of standaard engineering-praktijken.

Taxonomie:
De discrepanties worden gecategoriseerd op basis van het onderdeel van de onderzoekspijplijn dat wordt beïnvloed: Algorithm, Model, Loss, Evaluation, Data, en Training.

Validatie:
De dataset is gevalideerd met behulp van meerdere state-of-the-art LLMs (Gemini 3.1 Pro en GPT-5) en menselijke experts om de precisie en objectiviteit van de "ground truth" te waarborgen.

3. Belangrijkste Bijdragen

SCICOQA Dataset: De eerste grote dataset die specifiek gericht is op het detecteren van cross-modale fouten (paper vs. code) in de wetenschap, inclusief zowel real-world als synthetische voorbeelden.
Synthetische Data Generatie: Een methode om realistische paper-code discrepanties te genereren in diverse computationele wetenschapsdomeinen, waardoor de dataset schaalbaar is en niet beperkt blijft tot AI.
Uitgebreide Analyse: Een diepgaande analyse van de aard van discrepanties, inclusief hun impact op reproduceerbaarheid en hun verdeling over verschillende domeinen en typen.
Benchmark voor LLMs: Een uitgebreide evaluatie van 22 verschillende LLMs (zowel open-source als gesloten) op hun vermogen om deze discrepanties te vinden.

4. Resultaten

De evaluatie toont aan dat de taak uiterst uitdagend is voor huidige LLMs:

Lage Recall: Zelfs de best presterende modellen (Gemini 3.1 Pro en GPT-5 Mini) detecteren slechts 46,7% van de real-world discrepanties. Dit betekent dat meer dan de helft van de fouten onopgemerkt blijft.
Hoge Precisie, Lage Recall: Modellen zijn vaak precies wanneer ze een discrepantie melden (weinig valse positieven), maar missen veel echte fouten (veel valse negatieven).
Moeilijkste Typen: "Paper Omissions" (waar de code iets doet wat niet in de paper staat) zijn het moeilijkst te detecteren, omdat het model moet begrijpen wat ontbreekt in de tekst ten opzichte van de code. "Code Omissions" zijn het makkelijkst.
Contextlengte: De prestaties dalen significant naarmate de input (paper + code) langer wordt. Dit bevestigt dat LLMs moeite hebben met lange contexten, wat cruciaal is voor het analyseren van volledige codebases.
Domein-afhankelijkheid: Modellen presteren beter op synthetische data dan op real-world data, maar er is een sterke correlatie ( $r=0.94$ ) tussen de prestaties op beide, wat de validiteit van de synthetische data als proxy bevestigt.
Code-only vs. Paper+Code: Het verwijderen van de paper uit de input leidt tot een drastische daling in prestaties (gemiddeld -19,2% recall), wat aantoont dat de paper essentieel is als specificatie voor de validatie.

5. Betekenis en Conclusie

Het paper concludeert dat huidige LLMs, ondanks hun veelbelovende capaciteiten, nog niet betrouwbaar genoeg zijn om als autonome arbiters te fungeren voor de validiteit van wetenschappelijke publicaties. De lage recall betekent dat een volledig geautomatiseerd systeem nu nog te veel fouten zou laten slippen.

Kernboodschap:

SCICOQA biedt een essentiële grondslag (ground truth) voor het ontwikkelen van robuuste QA-tools voor de wetenschap.
De dataset benadrukt de urgentie van het verbeteren van lang-context redenering en cross-modale begrip in AI-modellen.
Voor de opkomst van "AI Scientists" is het cruciaal om systemen te bouwen die niet alleen code kunnen genereren, maar ook kunnen verifiëren of die code trouw blijft aan de wetenschappelijke methode.
De auteurs pleiten voor meer reproduceerbaarheidsinitiatieven en het systematisch vastleggen van discrepanties om de kwaliteit van wetenschappelijke publicaties te waarborgen.

Samenvattend biedt SCICOQA een kritieke stap in de richting van schaalbare, geautomatiseerde kwaliteitsborging voor de wetenschap, maar benadrukt het ook de huidige beperkingen van AI in het garanderen van wetenschappelijke integriteit.