🤖 AI

Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment

Dit onderzoek analyseert de reproduceerbaarheid van publicaties in de evolutionaire computationele optimalisatie over een periode van tien jaar door middel van een handmatige checklist en een nieuw LLM-gebaseerd automatiseringssysteem genaamd RECAP.

Oorspronkelijke auteurs: Francesca Da Ros, Tarik Začiragić, Aske Plaat, Thomas Bäck, Niki van Stein

Gepubliceerd 2026-02-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesca Da Ros, Tarik Začiragić, Aske Plaat, Thomas Bäck, Niki van Stein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een fantastisch nieuw recept voor een appeltaart leest in een kookboek. Het klinkt heerlijk! Maar als je in de keuken staat, kom je erachter dat het recept een ramp is: er staat niet hoe heet de oven moet, welke bloem je precies moet gebruiken, of zelfs hoe lang de taart in de oven moet. Je kunt de taart nooit precies zo maken als in het boek staat.

Dit wetenschappelijke onderzoek gaat precies over dat probleem, maar dan voor computers en slimme algoritmes.

Waar gaat dit onderzoek over?

In de wereld van de computerwetenschap (specifiek bij 'Evolutionary Computation', waarbij computers leren door te proberen en te verbeteren) publiceren wetenschappers hun resultaten in artikelen. Ze zeggen eigenlijk: "Kijk, ik heb een super slimme manier gevonden om dit probleem op te lossen!"

Maar er is een groot probleem: veel van die artikelen zijn als dat slechte recept. Ze vertellen wel dat het gelukt is, maar niet de details die je nodig hebt om het zelf na te doen. Als andere wetenschappers het niet kunnen nadoen, weten we eigenlijk niet of het resultaat wel echt klopt. Dit noemen we de reproduceerbaarheidscrisis.

Wat hebben de onderzoekers gedaan?

De onderzoekers hebben een soort 'recept-controle' uitgevoerd op 168 wetenschappelijke artikelen van de afgelopen tien jaar. Ze keken naar vijf dingen:

De uitleg: Is het proces duidelijk beschreven?
De keuken: Is er verteld welke computer en instellingen er zijn gebruikt?
De resultaten: Worden de cijfers goed gepresenteerd?
De ingrediënten: Is de broncode (het digitale recept) ook echt beschikbaar?
De metadata: Is de basisinformatie op orde?

De "Digitale Inspecteur" (RECAP)

Omdat het handmatig controleren van al die artikelen en bijbehorende computercode ontzettend veel werk is (het is alsof je duizenden taarten handmatig moet proeven), hebben de onderzoekers een slimme hulp gemaakt: RECAP.

RECAP is een systeem dat gebruikmaakt van een Large Language Model (een soort super-slimme tekstcomputer, vergelijkbaar met ChatGPT). Je kunt RECAP zien als een digitale inspecteur. Je voert het artikel aan de inspecteur, en hij scant razendsnel de tekst en de bijbehorende computercode om te zien of alles wel compleet is. De onderzoekers ontdekten dat deze digitale inspecteur het verrassend goed doet; hij komt bijna tot dezelfde conclusies als een menselijke expert.

Wat zijn de belangrijkste ontdekkingen?

De resultaten waren een beetje een "bitterzoet" verhaal:

De score is matig: De gemiddelde score voor hoe goed de artikelen te reproduceren zijn, was een 0,62 op een schaal van 1. Dat is alsof je een recept krijgt dat wel oké is, maar waar je nog steeds flink wat vragen bij hebt.
De "geheime ingrediënten" ontbreken: Wetenschappers vertellen vaak wel wat de uitkomst was, maar vergeten de details over de instellingen (de 'temperatuur van de oven') of de exacte willekeurige getallen die ze gebruikten.
Vergeten links: Slechts een klein deel van de onderzoekers deelt echt hun volledige computercode. En als ze het wel doen, werken de links soms na een paar jaar niet meer. Het is alsof je een link naar een recept krijgt, maar de website bestaat niet meer.
Geen verschil tussen kampioenen en amateurs: Opvallend genoeg waren de artikelen die een prijs wonnen niet per se beter gedocumenteerd dan de rest. Zelfs de "sterrenchefs" van de wetenschap laten hun recepten soms onvolledig achter.

De conclusie

De onderzoekers zeggen eigenlijk: "We moeten stoppen met alleen maar roepen dat we iets hebben gevonden, en we moeten leren hoe we het recept écht goed opschrijven."

Ze raden aan om checklists te gebruiken (een soort 'boodschappenlijstje' voor wetenschappers) en tools zoals hun digitale inspecteur (RECAP) te gebruiken om te controleren of de wetenschap transparant en eerlijk blijft. Zo zorgen we ervoor dat de wetenschappelijke taart voor iedereen perfect kan worden nagebakken!

Technische Samenvatting: Beoordeling van Reproduceerbaarheid in Evolutionary Computation

Het Probleem

In het veld van Evolutionary Computation (EC) zijn de conclusies van wetenschappelijk onderzoek grotendeels gebaseerd op de resultaten van computationele experimenten. De reproduceerbaarheid van deze resultaten hangt echter sterk af van de mate waarin algoritmen, experimentele protocollen en artefacten (zoals code en datasets) gedocumenteerd en gedeeld worden. Ondanks de groeiende aandacht voor Open Science, is er een gebrek aan empirisch bewijs over de werkelijke staat van reproduceerbaarheid in dit vakgebied. Er ontbreken concrete tools voor reviewers om de kwaliteit van de rapportage consistent te beoordelen, waardoor reproduceerbaarheid vaak wordt aangenomen in plaats van expliciet geëvalueerd.

Methodologie

De auteurs voerden een grootschalige empirische studie uit naar de reproduceerbaarheidspraktijken in de Evolutionary Combinatorial Optimization and Metaheuristics (ECOM) track van de GECCO-conferentie over een periode van tien jaar (2016–2025).

De methodologie bestaat uit drie hoofdonderdelen:

Gestructureerde Checklist: Er is een checklist ontwikkeld, gebaseerd op de ACM-standaarden, die vijf dimensies beslaat: methodologische helderheid, experimentele opzet, rapportage van resultaten, evaluatie van artefacten en paper-metadata.
Handmatige Beoordeling: Een corpus van 168 papers werd handmatig geëvalueerd door experts. Dit omvatte het lezen van de papers, het controleren van aanvullend materiaal en het (beperkt) proberen uit te voeren van de aangeboden code binnen een tijdslimiet van twee uur.
RECAP (Automated Pipeline): De auteurs introduceerden RECAP (REproducibility Checklist Automation Pipeline), een systeem gebaseerd op Large Language Models (LLM's, specifiek GPT-5 nano). RECAP extraheert automatisch signalen uit de tekst van de paper en analyseert code-repositories in een geïsoleerde Docker-sandbox om de functionaliteit en documentatie te testen.

Belangrijkste Bijdragen

Een op maat gemaakte checklist: Specifiek ontworpen voor de unieke behoeften van EC-onderzoek (bijv. focus op parameter-tuning en stochastische variabelen).
RECAP-systeem: Een innovatieve methode om reproduceerbaarheid op grote schaal te monitoren door menselijke beoordeling te combineren met LLM-gebaseerde extractie en code-executie.
Longitudinale Analyse: Een diepgaand inzicht in de trends en tekortkomingen in de rapportagepraktijken binnen een kerngebied van de computationele intelligentie over een decennium.

Resultaten

Lage Volledigheid: De gemiddelde score voor de volledigheid van de reproduceerbaarheid is slechts 0,62. Hoewel er een lichte stijgende lijn in de jaren zichtbaar is, blijven de praktijken heterogeen.
Tekort aan Artefacten: Slechts 36,90% van de papers biedt extra materiaal (zoals code of data) aan buiten het manuscript zelf. Van de beschikbare artefacten zijn er veel niet-persistent (bijv. links die niet meer werken) of slecht gedocumenteerd.
Operationele Gaten: Er is een groot verschil tussen beschrijvende informatie (die vaak wel aanwezig is) en operationele details. Cruciale zaken zoals de specifieke random seeds, parameterbereiken en de exacte software-omgeving worden systematisch ondergerapporteerd.
Validatie van RECAP: De geautomatiseerde beoordeling via RECAP vertoonde een substantiële overeenkomst met de menselijke beoordelaars, met een Cohen’s $\kappa$ van 0,67. Dit bewijst dat LLM's effectief kunnen worden ingezet als ondersteunende tool voor het opschalen van reproduceerbaarheid-audits.

Betekenis en Impact

Dit onderzoek legt een kritieke zwakte bloot in de huidige wetenschappelijke praktijk van Evolutionary Computation: de kloof tussen het claimen van resultaten en het daadwerkelijk mogelijk maken van onafhankelijke verificatie.

De implicaties zijn tweeledig:

Voor onderzoekers: Er is een dringende noodzaak voor gestandaardiseerde rapportage van experimentele parameters en het gebruik van persistente opslag (zoals Zenodo) voor code en data.
Voor de wetenschappelijke gemeenschap: De succesvolle demonstratie van RECAP biedt een blauwdruk voor conferenties en tijdschriften om het reviewproces te ondersteunen met AI-tools, waardoor de kwaliteit en betrouwbaarheid van de gepubliceerde literatuur op grote schaal kan worden gewaarborgd.