Towards an OSF-based Registered Report Template for Software Engineering Controlled Experiments
Dit artikel onderzoekt hoe het gebruik van Registered Reports via het Open Science Framework (OSF) de rigueur en reproduceerbaarheid van gecontroleerde experimenten in software engineering kan verbeteren, maar concludeert dat de huidige templates nog niet voldoen aan de noodzakelijke documentatierichtlijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent die een gloednieuw, revolutionair recept wil uitvinden. In de wereld van software-onderzoek (Software Engineering) werkt het vaak zo: onderzoekers proberen een nieuwe manier te vinden om software te bouwen of te testen, en daarna schrijven ze een verslag van wat er is gelukt.
Het probleem? Soms "vergeten" onderzoekers te vertellen dat ze halverwege het recept stiekem een extra snufje zout hebben toegevoegd omdat het anders niet lekker smaakte, of ze laten de helft van de ingrediënten weg omdat die niet werkten. Hierdoor kunnen andere koks het gerecht nooit precies zo nadoen. Dat noemen we een gebrek aan reproduceerbaarheid.
Dit wetenschappelijke artikel probeert dit probleem op te lossen met een methode die we "Registered Reports" (RR) noemen.
De Analogie: Het Recept vóór de Maaltijd
Normaal gesproken laat je een chef pas zien wat hij heeft gekookt als het bord al op tafel staat. Bij een Registered Report werkt het anders:
- Stap 1 (Het Plan): Voordat de chef ook maar één ui aansnijdt, moet hij zijn volledige recept, de ingrediëntenlijst en de kooktechnieken aan een groep kritische meesterkoks laten zien.
- Stap 2 (De Keuring): De meesterkoks kijken naar het plan. Ze zeggen niet: "Dit smaakt vast lekker," maar: "Dit plan is logisch, de ingrediënten zijn goed gekozen en je methode is eerlijk."
- Stap 3 (De Belofte): Als de koks het plan goedkeuren, krijgt de chef een belofte: "Zelfs als het gerecht uiteindelijk een beetje flauw smaakt, zullen we je werk publiceren, zolang je maar precies hebt gedaan wat je in je plan beloofde."
Dit voorkomt "valsspelen" (zoals alleen de successen laten zien en de mislukkingen verbergen).
Wat hebben de auteurs onderzocht?
De onderzoekers in dit artikel keken naar een digitaal platform genaamd OSF (een soort digitale kookboek-bibliotheek). Ze wilden weten: "Biedt dit platform goede genoeg sjablonen (templates) aan, zodat software-onderzoekers hun 'recepten' (onderzoeksplannen) perfect kunnen opschrijven?"
Ze vergeleken de bestaande sjablonen op OSF met een strenge checklist voor goede software-experimenten (de "gouden regels voor koks").
De Conclusie: De keuken heeft een betere keukenmachine nodig
De uitkomst van hun onderzoek was een beetje teleurstellend, maar heel belangrijk:
- De huidige sjablonen zijn niet compleet: Het is alsof je een receptenboek hebt dat wel zegt welke ingrediënten je nodig hebt, maar vergeet te vermelden hoe heet de oven moet zijn of hoe lang je moet roeren. De huidige digitale sjablonen dekken niet alle belangrijke details die nodig zijn voor software-onderzoek.
- Geen maatwerk: Het platform (OSF) is erg algemeen. Het is alsof je een universele keukenmachine probeert te gebruiken om zowel een taart als een biefstuk te maken; hij is oké voor beide, maar hij is niet echt gemaakt voor de specifieke precisie die een software-onderzoeker nodig heeft.
De toekomst: Een blauwdruk voor verbetering
De auteurs stellen voor om een specifieke "Software Engineering-keuken" te bouwen. Ze willen:
- Nieuwe sjablonen maken die precies de juiste vragen stellen (bijv. "Welke code heb je gebruikt?" of "Hoe heb je de testresultaten opgeslagen?").
- Standaarden afspreken, zodat elk onderzoek overal ter wereld op dezelfde duidelijke manier wordt beschreven.
- Samenwerken met de makers van de digitale tools, zodat de "keukenmachines" (de software) eindelijk de juiste knoppen krijgen voor software-onderzoekers.
Kortom: Dit artikel is een oproep om de wetenschap eerlijker en transparanter te maken door onderzoekers te dwingen hun plan te bewijzen voordat ze de resultaten gaan vieren. Zo weten we zeker dat de "gerechten" (de software-oplossingen) van de toekomst echt werken!
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.