Towards an OSF-based Registered Report Template for Software Engineering Controlled Experiments
Diese Arbeit untersucht die Eignung von OSF-basierten „Registered Reports“ zur Verbesserung der methodischen Strenge und Reproduzierbarkeit in der empirischen Softwaretechnik und stellt fest, dass bestehende Vorlagen die notwendigen Dokumentationsrichtlinien noch nicht vollständig abdecken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Das „Kochbuch-Dilemma“ in der Software-Entwicklung
Stell dir vor, du möchtest ein neues, revolutionäres Rezept für einen Schokoladenkuchen erfinden. Du gehst in die Küche, wirbelst Mehl und Eier durch die Gegend, probierst zwischendurch ständig, änderst die Temperatur, fügst mal eine Prise Salz, mal mehr Zucker hinzu – und am Ende sagst du: „Fertig! Das ist das perfekte Rezept!“
Das Problem? Niemand weiß genau, warum der Kuchen so schmeckt, wie er schmeckt. Wenn jemand anderes versucht, dein Rezept nachzukochen, scheitert er wahrscheinlich, weil du die kleinen Änderungen (die „Geheimzutaten“ oder Fehler) nicht aufgeschrieben hast.
In der Welt der Software-Forschung (Software Engineering) passiert oft genau das: Forscher führen Experimente durch, ändern währenddessen ihre Methoden und schreiben am Ende nur das auf, was gut funktioniert hat. Das ist wie ein Kochbuch, in dem nur die Erfolge stehen, aber nicht die Versuche, die schiefgegangen sind. Das macht die Forschung unzuverlässig und schwer nachprüfbar.
Die Lösung: Der „Registered Report“ (Der vorab geprüfte Bauplan)
Die Autoren des Papers schlagen eine Lösung vor, die man „Registered Report“ (RR) nennt.
Stell dir das so vor: Bevor du überhaupt die erste Eier schlägst, schickst du deinen exakten Schlachtplan an eine Jury von Profi-Köchen. Du sagst: „Ich plane, genau 200g Mehl und 3 Eier zu nehmen, ich werde bei 180 Grad backen und ich werde testen, ob der Kuchen fluffig ist, indem ich ihn mit einem Zahnstocher prüfe.“
Die Jury schaut sich deinen Plan an und sagt: „Der Plan ist logisch und wissenschaftlich korrekt. Du darfst loslegen!“
Der Clou dabei: Selbst wenn dein Kuchen am Ende total flach bleibt und nicht schmeckt, wird deine Arbeit trotzdem veröffentlicht. Warum? Weil dein Plan gut war. Das verhindert, dass Forscher nur die „Erfolge“ zeigen und die „Misserfolge“ in der Schublade verstecken (das nennt man in der Wissenschaft Publication Bias).
Was haben die Forscher gemacht?
Die Autoren haben untersucht, ob es auf einer bekannten Plattform namens OSF (Open Science Framework) bereits fertige „Bauplan-Vorlagen“ gibt, die man für Software-Experimente nutzen kann.
Sie haben die vorhandenen Vorlagen mit einer strengen Checkliste (den „Jedlitschka-Richtlinien“) verglichen. Das ist so, als würde man prüfen, ob die Vorlagen für den Koch-Bauplan wirklich alle wichtigen Details abfragen – wie die Temperatur, die Küchenutensilien und die genaue Menge der Zutaten.
Das Ergebnis: Fast perfekt, aber noch nicht ganz
Das Ergebnis war ein bisschen wie eine Enttäuschung:
- Keine perfekte Vorlage: Es gibt zwar Vorlagen, die schon sehr viele Fragen stellen, aber keine einzige, die alle wichtigen Fragen für Software-Forscher abdeckt.
- Zu wenig „Software-Feeling“: Die aktuellen Vorlagen sind eher für Psychologen oder Mediziner gemacht. Ein Software-Forscher muss aber auch Dinge dokumentieren wie: „Welchen Programmcode habe ich benutzt?“ oder „Welche Diagramme habe ich erstellt?“. Das fehlt in den Standard-Vorlagen bisher.
- Die Plattform ist etwas starr: Die OSF-Plattform lässt es den Nutzern momentan schwer, die Vorlagen so anzupassen, wie sie es für die Software-Welt bräuchten.
Der Ausblick: Der Weg zum perfekten digitalen Kochbuch
Die Autoren sagen: Wir dürfen nicht aufhören! Sie schlagen vor:
- Gemeinsam mit den Plattform-Betreibern maßgeschneiderte Vorlagen für Software-Forscher zu entwickeln.
- Einen Standard zu schaffen, damit Forscher ihre „Rezepte“ (Code, Daten, Pläne) so einfach wie möglich teilen können.
- Die Forschungsgemeinschaft dazu zu bewegen, den Plan genauso wichtig zu nehmen wie das Ergebnis.
Fazit in einem Satz: Das Paper ist ein Weckruf, um in der Software-Forschung weg vom „einfach mal probieren und das Beste aufschreiben“ hin zu einem „erst den Plan perfekt machen, dann loslegen“ zu kommen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.