The State of Open Science in Software Engineering Research: A Case Study of ICSE Artifacts
Deze studie evalueert honderd ICSE-artefacten en onthult dat, ondanks de beschikbaarheid, slechts 40% volledig uitvoerbaar is en slechts 35% van die uitvoerbare artefacten de originele resultaten reproduceert, wat duidt op een aanzienlijke kloof tussen open science-praktijken en daadwerkelijke reproduceerbaarheid in software-engineeringonderzoek.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De "Open Science" in Software Engineering: Een Kookpandje dat niet Werkt
Stel je voor dat je een beroepsrecept hebt van een topkok. Het recept is openbaar beschikbaar, iedereen kan het downloaden, en de kok zegt: "Kijk, ik heb ook alle ingrediënten en het kookgerei toegevoegd, dus jij kunt dit gerecht precies zo maken!"
Dat is wat wetenschappers in de softwarewereld doen. Ze delen hun code en data (de "artefacten") zodat anderen hun onderzoek kunnen controleren en nabouwen. Dit noemen ze Open Science. Het idee is prachtig: meer transparantie, meer vertrouwen en snellere vooruitgang.
Maar in dit onderzoek, gedaan door drie onderzoekers van de Universiteit van Saskatchewan, hebben ze gekeken naar 100 van deze "recepten" die zijn gepubliceerd in de topconferentie ICSE tussen 2015 en 2024. En wat bleek? De keuken was vaak een puinhoop.
Hier is wat ze ontdekten, vertaald naar alledaagse taal:
1. Het Recept is er, maar de Pan is Kapot (Uitvoerbaarheid)
De onderzoekers probeerden 100 van deze software-projecten te draaien op hun eigen computers.
- Het resultaat: Slechts 40% van de projecten werkte überhaupt.
- De analogie: Het is alsof je een recept koopt, maar als je de ingrediënten uit de doos haalt, blijkt dat de bloem oud is, de oven niet werkt, of dat er een ingrediënt ontbreekt dat de kok vergeten is te vermelden.
- De moeite: Zelfs bij de projecten die wel werkten, was het vaak een enorme gedoe. Vaak moesten de onderzoekers urenlang zoeken, bestanden verplaatsen of code aanpassen. Het was alsof je eerst je hele keuken moet verbouwen voordat je überhaupt kunt beginnen met koken. Slechts een klein deel (32,5%) werkte direct uit de doos.
2. Waarom Lukt het Niet? (De 5 Grote Problemen)
Waarom werken deze "recepten" niet? De onderzoekers vonden vijf hoofdredenen, die ze als volgt kunnen worden vergeleken:
- De Keukeninrichting ontbreekt: De kok zegt niet welke oven of welke pannen nodig zijn. Moet je koken op een gasfornuis of een inductieplaat? Is de temperatuur 180 of 200 graden? Zonder deze info mislukt het gerecht.
- Het Recept is onleesbaar: De instructies zijn vaag ("bak het even" in plaats van "bak 10 minuten op 180 graden") of er ontbreken hele stappen.
- De Ingrediënten zijn verouderd: De software die de kok gebruikte, bestaat niet meer of is veranderd. Het is alsof je een recept uit 1990 probeert te maken met ingrediënten die in 2025 niet meer verkocht worden.
- De Doos is niet gesloten: Soms ontbreken er bestanden. Het is alsof je het recept hebt, maar de zak suiker is kwijtgeraakt.
- De Configuratie is verward: Soms werkt het alleen op de computer van de oorspronkelijke kok, omdat die specifieke instellingen had die niemand anders heeft.
3. Zelfs als het Lukt, Is het Gerecht Niet Altijd Hetzelfde (Reproduceerbaarheid)
Dit is misschien wel het meest verontrustende deel. Stel, je hebt het recept aangepast, de oven gerepareerd en de ingrediënten gevonden. Je maakt het gerecht. Is het dan hetzelfde als het origineel?
- Het resultaat: Van de 40 projecten die wel werkten, lukte het slechts bij 35% om exact dezelfde resultaten (het "gerecht") te krijgen als in het originele onderzoek.
- De les: Het is niet genoeg om de code te delen. Als je niet precies kunt laten zien hoe je het resultaat hebt bereikt en hoe je het kunt controleren, is het onderzoek eigenlijk niet te verifiëren.
4. De Oplossing: Drie Simpele Regels voor Topkoks
De onderzoekers geven drie adviezen om dit probleem op te lossen, zodat Open Science echt werkt:
- Regel 1: Schrijf een perfect recept.
Zorg voor een duidelijke handleiding. Vertel precies welke software nodig is, welke computerkracht er moet zijn, en stap-voor-stap hoe je het moet draaien. Geen gissingen meer! - Regel 2: Test in een schone keuken.
Probeer je eigen recept te maken op een schone, lege computer (een "Docker-container"). Als het daar werkt, werkt het waarschijnlijk ook bij anderen. Als je het alleen op je eigen computer met al je eigen instellingen kunt draaien, is het geen goed recept. - Regel 3: Geef zowel het recept als de kant-en-klare maaltijd.
Deel de broncode (zodat mensen kunnen zien hoe het werkt), maar geef ook een "container" (een soort voorgebakken maaltijd) die direct werkt. Zo heb je de flexibiliteit én de zekerheid dat het werkt.
Conclusie
Dit onderzoek is een wake-up call. In de softwarewereld delen we steeds meer code, maar we vergeten vaak om het bruikbaar te maken. Het is alsof we boeken publiceren, maar dan zonder pagina's of met onleesbare letters.
Als wetenschappers en organisaties deze simpele regels gaan volgen, kunnen we zorgen dat onderzoek niet alleen "beschikbaar" is, maar ook echt "werkend" en "vertrouwd". Dan pas is Open Science echt open en bruikbaar voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.