On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
Um den Teufelskreis der Neuartigkeit und die Replikationskrise in der Softwaretechnikforschung zu adressieren, schlägt dieses Paper die Abschaffung des traditionellen ICSE-Papierformats zugunsten eines zweistufigen Systems vor, das aus begutachteten „Registered Proposals“ und nachfolgenden „Results Reports“ besteht, eine disruptive Reform, die durch Antworten aus einer Community-Umfrage gestützt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Software-Engineering-Forschung wie einen hochkarätigen Kochwettbewerb vor, ähnlich wie MasterChef. Im Moment sind die Regeln dieses Wettbewerbs kaputt, und die Autoren dieser Arbeit, Fabio und Winnie, schlagen eine radikale neue Art vor, die Show zu leiten, um zwei große Probleme zu lösen: gefälschte Ergebnisse und klüngelige Strukturen.
Hier ist die Aufschlüsselung ihres Vorschlags in einfachen Worten:
Das aktuelle Problem: Das „Ein-Personen-Koch“-Modell
Im Moment muss ein Forscher (nennen wir ihn Chef A), wenn er ein Paper veröffentlichen möchte, alles selbst machen:
- Ein neues Rezept entwerfen (eine neue Idee).
- Das Gericht kochen (das Experiment durchführen).
- Es probieren und sagen: „Es ist köstlich!“ (die Ergebnisse validieren).
Die Probleme:
- Die „Neuheitsfalle“: Die Juroren (Reviewer) sind besessen davon, das neueste Rezept zu finden. Es ist ihnen egal, ob das Gericht tatsächlich gut schmeckt oder ob es in einem echten Restaurant funktioniert. Sie wollen nur etwas „Neues“. Dies führt zu vielen „Spielzeug“-Gerichten, die zwar schick aussehen, aber auseinanderfallen, sobald man versucht, sie zu essen.
- Das „Klüngel“-Problem: Wenn Chef A ein berühmter, preisgekrönter Starkoch ist, hinterfragen die Juroren seine Gerichte selten. Wenn ein junger, unbekannter Koch versucht zu sagen: „Eigentlich ist Chef As Rezept angebrannt“, wird er abgelehnt, weil er nicht berühmt genug ist.
- Die „Verlorene-Kühlschrank“-Krise: Manchmal behauptet Chef A, sein Gericht sei fantastisch, aber wenn man ihn nach den Zutaten fragt, um es selbst auszuprobieren, sagt er: „Oh, mein Kühlschrank ist kaputtgegangen und ich habe das Rezept verloren.“ Das passiert oft und macht es unmöglich, den Ergebnissen zu vertrauen.
Die vorgeschlagene Lösung: Das „Zwei-Stufen“-System
Die Autoren wollen das aktuelle „Ein-Paper“-Format abschaffen und durch ein Zwei-Stufen-System ersetzen, ähnlich wie ein Bauprojekt in zwei Phasen genehmigt wird: Der Entwurf und Die Konstruktion.
Schritt 1: Der „Registrierte Vorschlag“ (Der Entwurf)
- Was es ist: Ein Forscher reicht einen detaillierten Plan ein, bevor er die eigentliche Arbeit erledigt. Er sagt: „Hier ist meine neue Idee, und hier ist genau, wie ich sie testen werde.“
- Die Regel: Die Juroren prüfen den Plan. Wenn der Plan solide, logisch und interessant ist, genehmigen sie ihn.
- Die Änderung: In dieser Phase wurde noch nichts gekocht. Es wird lediglich vereinbart, dass das Rezept funktionieren sollte, wenn man es korrekt befolgt. Dies verhindert, dass Menschen die Regeln ändern, nachdem sie die Ergebnisse gesehen haben.
Schritt 2: Der „Ergebnisbericht“ (Die Konstruktion)
- Was es ist: Dies ist die große Änderung. Jeder kann diesen genehmigten Entwurf nehmen und versuchen, ihn zu bauen.
- Es könnte der ursprüngliche Autor sein (Chef A).
- Es könnte ein Rivale (Chef B) sein, der versucht, Chef A zu widerlegen.
- Es könnte ein Team von Studenten sein.
- Die Regel: Sie reichen einen kurzen Bericht ein, der besagt: „Wir haben dem Entwurf gefolgt. Das ist passiert.“
- Wenn es funktioniert: Großartig! Wir haben ein verifiziertes, zuverlässiges Ergebnis.
- Wenn es fehlschlägt: Auch großartig! Wir wissen nun, dass die Idee nicht funktioniert, und wir sparen allen Zeit.
- Die „Jeder darf“-Regel: Im Gegensatz zu aktuellen Systemen, in denen nur der ursprüngliche Autor die endgültigen Ergebnisse veröffentlichen kann, kann hier jeder versuchen, die Arbeit zu replizieren. Wenn drei verschiedene Teams dasselbe bauen und es funktioniert, wissen wir, dass es echt ist. Wenn alle scheitern, wissen wir, dass die Idee fehlerhaft war.
Warum dies die Probleme löst
- Tötet den „Verlorenen Kühlschrank“: Wenn der ursprüngliche Autor seine Daten verliert, spielt das keine Rolle. Da auch andere Teams das Ding basierend auf demselben Entwurf gebaut haben, existieren die Ergebnisse trotzdem. Es ist, als würde man mehrere Leute denselben Brückenbau lassen; wenn eine einstürzt, beweisen die anderen, ob das Design funktioniert (oder eben nicht).
- Bricht den „Klüngel“ auf: Ein berühmter Professor kann nicht einfach sagen: „Vertraut mir, meine Idee funktioniert.“ Wenn ein junger Forscher dasselbe ausprobiert und scheitert, wird das Paper trotzdem veröffentlicht. Das System bewertet Wahrheit statt Ruhm.
- Trennt „Neu“ von „Gut“:
- Die Vorschlagsphase belohnt Neuheit (Ist die Idee interessant?).
- Die Ergebnisphase belohnt Strenge/Rigorosität (Funktioniert es tatsächlich?).
- Aktuell versuchen wir, beides gleichzeitig zu beurteilen, was zu Verwirrung führt. Dies trennt sie voneinander.
Das Wesentliche
Die Autoren schlagen vor, dass wir aufhören sollten, Forschungsarbeiten wie ein einzelnes, fertiges Produkt zu behandeln, und statfangen, sie wie ein öffentliches Bauprojekt zu behandeln.
- Zuerst genehmigen wir die Pläne (Der Vorschlag).
- Dann lassen wir jeden versuchen, es zu bauen (Der Ergebnisbericht).
Wenn das Gebäude steht, nutzen wir es. Wenn es zusammenbricht, lernen wir daraus. Dies stellt sicher, dass die Software-Tools und Methoden, die wir in der realen Welt verwenden, tatsächlich zuverlässig sind und nicht nur „neu und glänzend“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.