The State of Open Science in Software Engineering Research: A Case Study of ICSE Artifacts
Diese Studie analysiert 100 Replikationspakete von ICSE-Konferenzen (2015–2024) und zeigt auf, dass trotz zunehmender Verfügbarkeit nur 40 % vollständig ausführbar sind und von diesen lediglich 35 % die ursprünglichen Ergebnisse reproduzieren, woraus sie drei Richtlinien zur Verbesserung der Open-Science-Praktiken in der Softwaretechnik ableitet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Der große "Kochbuch-Check" in der Software-Welt
Stellen Sie sich vor, die Software-Forschung ist wie eine riesige, internationale Kochshow. Wenn ein Forscher (der Koch) eine neue, geniale Methode entwickelt, um ein Problem zu lösen, veröffentlicht er seine Ergebnisse in einem wissenschaftlichen Journal. Aber in der modernen Welt reicht es nicht mehr, nur zu sagen: "Schauen Sie, mein Kuchen schmeckt toll!"
Stattdessen müssen die Forscher ihr Rezept (den Code, die Daten und die Werkzeuge) mit allen anderen teilen. Das nennt man "Open Science" (Offene Wissenschaft). Die Idee ist großartig: Jeder soll nachkochen können, um zu prüfen, ob der Kuchen wirklich so gut ist, wie behauptet.
Dieser Artikel untersucht nun, wie es wirklich um diese "Rezepte" bestellt ist. Die Autoren haben sich 100 dieser Rezepte von der wichtigsten Kochshow der Welt, der ICSE-Konferenz, genauer angesehen. Sie haben versucht, diese Rezepte nachzukochen, um zu sehen, ob sie funktionieren.
Hier ist die Geschichte, was sie herausgefunden haben, einfach erklärt:
1. Das Problem: "Hier ist das Rezept!" (Aber es funktioniert nicht)
Die Autoren haben 100 Rezepte aus den letzten 10 Jahren geholt.
- Die gute Nachricht: Fast alle Rezepte waren überhaupt verfügbar. Man konnte sie herunterladen.
- Die schlechte Nachricht: Von diesen 100 Rezepten konnten nur 40 tatsächlich erfolgreich "gekocht" werden.
- Das Worst-Case-Szenario: Selbst von den 40, die funktionierten, liefen nur 13 (also etwa ein Drittel) sofort perfekt ab, ohne dass man etwas ändern musste.
Die Analogie: Stellen Sie sich vor, Sie kaufen ein Kochbuch. Sie öffnen es, und das Rezept für "Schokoladenkuchen" steht da. Aber:
- Es fehlt die Angabe, ob Sie Mehl oder Zucker brauchen.
- Der Ofen muss auf eine Temperatur eingestellt sein, die es gar nicht gibt.
- Ein wichtiger Zutat ist nur als "etwas aus dem Keller" beschrieben.
Sie müssen also erst selbst raten, den Keller durchsuchen und den Ofen umbauen, bevor Sie überhaupt anfangen können. Das ist genau das, was die Forscher bei den Software-Rezepten erlebt haben.
2. Der Aufwand: Warum es so schwer ist
Um diese 100 Rezepte zu testen, haben die Autoren etwa 650 Arbeitsstunden investiert. Das ist, als würden vier Personen fast ein ganzes Jahr lang nur damit verbringen, Rezepte zu prüfen.
Sie stießen auf fünf Hauptprobleme, die sie "Reparaturen" nennen mussten:
- Die Küche ist falsch: Das Rezept verlangt einen alten Herd (ein altes Betriebssystem), den man heute kaum noch findet.
- Die Anleitung ist unklar: "Fügen Sie etwas hinzu" steht da, aber nicht was oder wie viel.
- Der Code ist kaputt: Manchmal war das Rezept so geschrieben, dass es nur auf dem Herd des Autors funktioniert hat, nicht auf Ihrem.
- Die Zutaten fehlen: Manche Zutaten (Daten oder Skripte) waren gar nicht im Paket enthalten.
- Die Konfiguration: Die Anweisungen passten nicht zu Ihrer Küche (z. B. falsche Pfade zu Ordnern).
Das Ergebnis: Selbst wenn man es schaffte, den Kuchen zu backen, war es oft ein Kampf. Viele Rezepte benötigten so viel "Reparaturarbeit", dass sie am Ende gar nicht mehr dem Originalrezept des Autors entsprachen.
3. Das größte Rätsel: Schmeckt der Kuchen wirklich? (Reproduzierbarkeit)
Das ist der wichtigste Punkt. Selbst wenn es gelang, den Code zum Laufen zu bringen (den Kuchen zu backen), war die Frage: Kommt das gleiche Ergebnis heraus wie im Original?
- Von den 40 funktionierenden Rezepten passten nur 14 (35 %) wirklich mit den Ergebnissen des Original-Autors überein.
- Bei den anderen 26 war das Ergebnis anders, oder es kam gar nichts heraus.
Die Metapher: Stellen Sie sich vor, der Originalkoch sagt: "Mein Kuchen wiegt genau 1 Kilogramm." Sie backen ihn nach Ihrem (reparierten) Rezept, und er wiegt 800 Gramm oder 1,5 Kilogramm. Oder er ist einfach nur eine braune Masse.
Das bedeutet: Man kann den Code starten, aber man kann nicht beweisen, dass die wissenschaftliche Behauptung des Autors stimmt. Das untergräbt das Vertrauen in die Forschung.
4. Die Lösung: Drei goldene Regeln für bessere Rezepte
Die Autoren wollen nicht nur kritisieren, sondern helfen. Sie schlagen drei einfache Regeln vor, damit die Rezepte in Zukunft besser funktionieren:
- Schreiben Sie eine perfekte Anleitung (Dokumentation):
Nicht nur "Kochen Sie den Kuchen", sondern: "Benutzen Sie Ofen A, Temperatur 180 Grad, Mehl Marke X, und rühren Sie genau 5 Minuten." Alles muss klar, strukturiert und vollständig sein. - Testen Sie in einer sauberen Küche (Keine versteckten Tricks):
Autoren sollten ihr Rezept nicht auf ihrem eigenen, vollgestopften Herd testen, wo alles zufällig funktioniert. Sie müssen es in einer "leeren Küche" testen, damit man sieht, ob wirklich alle Zutaten dabei sind. - Geben Sie sowohl das Rezept als auch die fertige Küche (Container + Code):
Das ist wie ein "Koch-Set":- Der Code: Damit man sieht, wie der Kuchen gemacht wurde (Transparenz).
- Der Container (z. B. Docker): Eine Art "Kochbox", die genau die gleiche Küche simuliert wie beim Autor. Man muss nichts installieren, man klappt die Box auf, und der Ofen ist schon auf die richtige Temperatur eingestellt.
Fazit
Die Studie zeigt ein deutliches Problem: In der Software-Welt teilen wir zwar viele "Rezepte", aber die meisten sind noch nicht "kochfertig". Es gibt eine Lücke zwischen "Ich habe es hochgeladen" und "Es funktioniert wirklich".
Wenn Forscher diese drei Regeln befolgen, wird die Wissenschaft verlässlicher. Jeder kann dann nachkochen, prüfen und auf den Ergebnissen aufbauen, statt stundenlang zu raten, warum der Kuchen nicht aufgeht. Das ist der Weg zu einer echten "Open Science".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.