On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
Om de vicieuze cirkel van nieuwigheid en de replicatiecrisis in software engineering-onderzoek aan te pakken, stelt dit artikel voor om het traditionele ICSE-paperformaat af te schaffen ten gunste van een tweeledig systeem bestaande uit peer-reviewed "Geregistreerde Voorstellen" en daaropvolgende "Resultatenrapporten", een disruptieve hervorming die wordt ondersteund door resultaten van een enquête onder de gemeenschap.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van software engineering-onderzoek voor als een prestigieuze kookwedstrijd, zoals MasterChef. Op dit moment zijn de regels van de wedstrijd kapot, en de auteurs van dit artikel, Fabio en Winnie, stellen een radicale nieuwe manier voor om de show te runen om twee grote problemen op te lossen: nepresultaten en cliquish gedrag.
Hier is de uitsplitsing van hun voorstel in eenvoudige termen:
Het Huidige Probleem: Het "Eén-Persoonschef"-Model
Op dit moment, als een onderzoeker (laten we Chef A noemen) een paper wil publiceren, moeten ze alles zelf doen:
- Een nieuw recept bedenken (een nieuw idee).
- Het gerecht bereiden (het experiment uitvoeren).
- Het proeven en zeggen: "Het is heerlijk!" (de resultaten valideren).
De Problemen:
- De "Nieuwigheidsval": De jury (beoordelaars) is geobsedeerd door het vinden van het nieuwste recept. Het kan hen niet schelen of het gerecht echt lekker smaakt of dat het werkt in een echt restaurant. Ze willen gewoon iets "nieuws". Dit leidt tot veel "speelgoed"-gerechten die er fancy uitzien, maar uit elkaar vallen zodra je probeert te eten.
- Het "Clique"-probleem: Als Chef A een beroemde, bekroonde celebrity-chef is, stelt de jury zelden vragen bij hun gerechten. Als een jonge, onbekende chef probeert te zeggen: "Eigenlijk is het recept van Chef A aangebrand," worden ze afgewezen omdat ze niet beroemd genoeg zijn.
- De "Verloren Koelkast"-crisis: Soms beweert Chef A dat hun gerecht geweldig is, maar wanneer je vraagt naar de ingrediënten om het zelf te proberen, zeggen ze: "O, mijn koelkast ging kapot en ik ben het recept kwijtgeraakt." Dit gebeurt vaak, en het maakt het onmogelijk om de resultaten te vertrouwen.
De Voorgestelde Oplossing: Het "Twee-Stappen"-Systeem
De auteurs willen het huidige "één-paper"-formaat afschaffen en vervangen door een twee-fasen systeem, vergelijkbaar met hoe een bouwproject in twee stadia wordt goedgekeurd: Het Blauwdruk en De Constructie.
Stap 1: Het "Geregistreerde Voorstel" (De Blauwdruk)
- Wat het is: Een onderzoeker dient een gedetailleerd plan in voordat ze het werk doen. Ze zeggen: "Hier is mijn nieuwe idee, en hier is precies hoe ik het ga testen."
- De Regel: De jury beoordeelt het plan. Als het plan solide, logisch en interessant is, keuren ze het goed.
- De Verandering: In deze fase heeft nog niemand het gerecht gekookt. Ze zijn alleen het erover eens dat het recept zou moeten werken als het correct wordt gevolgd. Dit voorkomt dat mensen de regels aanpassen nadat ze de resultaten hebben gezien.
Stap 2: Het "Resultatenverslag" (De Constructie)
- Wat het is: Dit is de grote verandering. Iedereen kan die goedgekeurde blauwdruk nemen en proberen het te bouwen.
- Het kan de oorspronkelijke auteur zijn (Chef A).
- Het kan een rivaliserende chef zijn (Chef B) die probeert Chef A ongelijk te bewijzen.
- Het kan een team van studenten zijn.
- De Regel: Ze dienen een kort verslag in met de tekst: "We hebben de blauwdruk gevolgd. Dit is er gebeurd."
- Als het werkt: Geweldig! We hebben een geverifieerd, betrouwbaar resultaat.
- Als het mislukt: Ook geweldig! We weten nu dat het idee niet werkt, en we besparen iedereen tijd.
- De "Iedereen"-regel: In tegen tegenstelling tot de huidige systemen waar alleen de oorspronkelijke auteur de definitieve resultaten mag publiceren, kan hier iedereen de replicatie van het werk proberen. Als drie verschillende teams hetzelfde bouwen en het werkt, weten we dat het echt is. Als ze allemaal falen, weten we dat het idee gebrekkig was.
Waarom dit de Problemen Oplost
- Doodt de "Verloren Koelkast": Als de oorspronkelijke auteur zijn data verliest, maakt dat niet uit. Omdat andere teams ook dat ding gebouwd hebben op basis van dezelfde blauwdruk, bestaan de resultaten nog steeds. Het is also[ een situatie waarin meerdere mensen dezelfde brug bouwen; als er één instort, bewijzen de anderen dat het ontwerp werkt (of niet).
- Breekt de "Clique": Een beroemde professor kan niet simpelweg zeggen: "Vertrouw mij, mijn idee werkt." Als een jonge onderzoeker hetzelfde probeert te bouwen en het mislukt, wordt het paper toch gepubliceerd. Het systeem waardeert waarheid boven roem.
- Scheidt "Nieuw" van "Goed":
- De Voorstel-fase beloont Nieuwigheid (Is het idee interessant?).
- De Resultatenverslag-fase beloont Rigor (Werkt het echt?).
- Momenteel proberen we beide tegelijkertijd te beoordelen, wat tot verwarring leidt. Dit splitst ze uit elkaar.
De Kernboodschap
De auteurs suggereren dat we moeten stoppen met het behandelen van wetenschappelijke papers als een enkel, afgewerkt product en ze in plaats daarvan moeten gaan behandelen als een openbaar constructieproject.
- Eerst keuren we de plannen goed (Het Voorstel).
- Daarna laten we iedereen proberen het te bouwen (Het Resultatenverslag).
Als het gebouw blijft staan, gebruiken we het. Als het instort, leren we ervan. Dit zorgt ervoor dat de softwaretools en methoden die we in de echte wereld gebruiken daadwerkelijk betrouwbaar zijn, en niet alleen "nieuw en glimmend".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.