Stellen Sie sich die Wissenschaft als ein riesiges, globales Spiel des „Stille Post“ vor, bei dem es jedoch nicht darum geht, ein Flüstern durch eine Reihe zu geben, sondern Wissenschaftler, die komplexe Ideen und Experimente um die ganze Welt herum weitergeben. Im Bereich des Software-Engineerings entwickeln Forscher Werkzeuge, testen Theorien und schreiben Code, um Probleme zu lösen. Aber hier ist der Haken: Nur weil ein Team sagt: „Hey, dieser Code funktioniert perfekt!“, bedeutet das noch lange nicht, dass er für alle anderen auch funktionieren wird. Genau hier kommt die Replikation ins Spiel. Replikation ist wie die Frage an eine andere Gruppe von Freunden, dasselbe Spiel mit denselben Regeln zu spielen, um zu sehen, ob sie die gleiche Punktzahl erreichen. Es ist der ultimative Wahrheitscheck. Wenn das erste Team gewinnt und das zweite Team ebenfalls gewinnt, können wir ziemlich sicher sein, dass das Spiel nicht manipuliert ist. Aber wenn das zweite Team verliert oder eine merkwürdig andere Punktzahl erhält, müssen wir fragen: Haben sie falsch gespielt? War das erste Team einfach nur glücklich? Oder ist das Spiel einfach zu knifflig, um es zweimal auf die gleiche Weise zu spielen?

Die große Frage, die Wissenschaftler schon lange beschäftigt, lautet: Wie entscheiden wir, ob das zweite Team tatsächlich „gewonnen“ oder „verloren“ hat? In der Vergangenheit war es, als würde ein Schiedsrichter basierend auf einem Gefühl „Tor!“ oder „Kein Tor!“ rufen, oder vielleicht nur auf die Anzeigetafel schauen und sagen: „Nun, es ist nah genug dran, schätze ich.“ Aber ohne ein klares Regelwerk kann ein Schiedsrichter ein Spiel als Erfolg werten, während ein anderer es als Misserfolg bezeichnet, selbst wenn die Ergebnisse identisch sind. Dies macht es unmöglich, einen zuverlässigen Wissensberg aufzub bauen, weil wir nicht wissen, welche Spiele es wirklich wert sind, erneut gespielt zu werden.

Das Rätsel der großen Punktetabelle

In dieser Arbeit beschlossen Giuseppe Destefanis, Martin Shepperd und Leila Yousefi, wie Detektive vorzugehen, um das Rätsel zu lösen, wie Software-Ingenieure diese Replikationsspiele bewerten. Sie haben kein neues Spiel erfunden; sie haben lediglich die Punktentabellen der letzten Jahre betrachtet (speziell Studien, die zwischen einander 2021 und 2025 veröffentlicht wurden), um zu sehen, wie die Schiedsrichter ihre Aufgabe erfüllt haben.

Sie fanden insgesamt 10 aktuelle Studien, die versuchten, frühere Software-Experimente zu replizieren. Als sie begannen, die Punktentabellen zu lesen, stellten sie fest, dass die Schiedsrichter eine chaotische Mischung aus Regeln verwendeten. Es war, als würden einige Schiedsrichter ein Lineal benutzen, andere eine Kristallkugel und manche einfach nur nach dem Aussehen der Spieler raten.

Das Chaos auf der Anzeigetafel
Die Autoren entdeckten, dass die Art und Weise, wie diese Studien bewertet wurden, völlig ungeordnet war.

• Das Problem des „Bauchgefühls“: In mehreren Fällen nutzten die Forscher einfach das „Expertenurteil“. Das ist wie ein Schiedsrichter, der sagt: „Ich habe das Spiel beobachtet, und es fühlte sich wie ein Sieg an“, ohne Zahlen zu zeigen oder zu erklären, warum. In 3 der 10 Studien wurde der Grund für das endgültige Urteil nicht einmal klar angegeben. Es war eine Mystery-Box!
• Die „Mix-Falle“: Drei Studien entschieden sich dazu, die Frage „Hat diese spezifische Replikation funktioniert?“ zu überspringen und stattdessen alle Daten aus dem ursprünglichen Spiel und den neuen Spielen in einen riesigen Topf zu werfen, um einen Durchschnitt zu erhalten. Die Autoren nennen dies „Pooling“. Während das Mischen von Daten später nützlich sein kann, argumentiert das Paper, dass man nicht einfach den Schritt überspringen darf, zu prüfen, ob das neue Spiel tatsächlich mit dem alten übereinstimmte. Es ist, als würde man sagen: „Wir wissen nicht, ob dieser neue Spieler gut ist, aber wenn wir seine Statistiken mit dem alten Team mischen, sieht der Durchschnitt ganz okay aus!“
• Die fehlenden Werkzeuge: Das Paper weist darauf hin, dass die Schiedsrichter nicht die besten verfügbaren Werkzeuge nutzten. Sie verwendeten keine „Prädiktionsintervalle“ (was so ist, als würde man eine Sicherheitszone auf der Anzeigetafel einzeichnen, um zu sehen, ob die neue Punktzahl in den erwarteten Bereich passt) oder „Bayessche Methoden“ (eine ausgeklügelte Art, seine Überzeugungen mit neuen Beweisen zu aktualisieren). Stattdessen verließen sie sich oft auf einfache „Ja/Nein“-Checks, die die Nuancen der Situation übersehen könnten.

Die Urteile waren völlig unterschiedlich
Als die Autoren die Endergebnisse dieser 10 Studien betrachteten, waren die Antworten verwirrend:

• 5 Studien sagten, die Replikation sei „partiell“ oder „gemischt“.
• 2 sagten, sie sei ein „Erfolg“.
• 1 sagte, sie sei ein „Misserfolg“.
• 1 sagte, sie sei „unentschieden“.
• 1 Studie gab trotz der Durchführung von 11 neuen Experimenten nicht einmal ein endgültiges Urteil ab!

Das größte Problem, das die Autoren fanden, war, dass es ohne klare, vor Beginn des Spiels festgelegte Regeln unmöglich ist, zu wissen, ob ein „Erfolg“ echt ist oder nur ein Glückstreffer. Zum Beispiel behauptete eine Studie, eine Replikation sei erfolgreich gewesen, nur weil ein Experte das Gefühl hatte, dass es so ist, ohne zu sagen, welche Zahlen einen Misserfolg hätten definieren müssen. Eine andere Studie verglich zwei Zahlen, sagte aber nicht, wie nah diese beieinander liegen mussten, um als Übereinstimmung zu zählen.

Das neue Regelwerk

Aufgrund dieses Durcheinanders schlagen die Autoren ein neues Set von vier Prinzipien vor, um die Punktentabellen zu korrigieren. Sie sagen nicht, dass sie das Problem gelöst haben, aber sie bieten einen Ausgangspunkt, um die Dinge fairer zu gestalten.

1. Schreibt die Regeln zuerst: Bevor ihr euch überhaupt die Ergebnisse anseht, müsst ihr genau aufschreiben, was als Sieg und was als Niederlage zählt. Ihr könnt die Regeln nicht erst nach dem Spiel festlegen, nur weil euch das Ergebnis gefällt.
2. Prüft die „Passgenauigkeit“, nicht nur den „Sieg“: Anstatt nur zu fragen „Haben sie eine hohe Punktzahl erreicht?“, fragt: „Liegt die neue Punktzahl innerhalb der Sicherheitszone der alten Punktzahl?“ Es geht darum zu sehen, ob die Ergebnisse kompatibel sind, nicht nur, ob sie statistisch signifikant sind.
3. Überspringt die Prüfung nicht: Ihr könnt nicht einfach alle Daten zusammenmischen (Pooling), um die harte Arbeit zu vermeiden, zu prüfen, ob das neue Experiment tatsächlich funktioniert hat. Ihr müsst zuerst das einzelne Spiel prüfen.
4. Es ist okay, „Ich weiß es nicht“ zu sagen: Wenn die Daten zu vage oder die Zahlen zu weit gestreut sind, ist es besser, das Ergebnis als „unentschieden“ oder „unklar“ zu bezeichnen, als ein „Erfolgs“- oder „Misserfolgs“-Urteil zu erzwingen. Unsicherheit zuzugeben ist ehrlicher, als so zu tun, als wüsste man etwas, das man nicht weiß.

Um zu zeigen, wie das funktioniert, nahmen die Autoren eine der verwirrenden Studien (in der ein Experte einfach sagte: „Es hat funktioniert!“) und bewerteten sie unter Anwendung ihrer neuen Regeln neu. Unter dem neuen System würde sich das Urteil – da die ursprüngliche Studie weder die Regeln noch die Zahlen festgelegt hatte – von „Erfolg“ zu „unklar“ ändern. Das bedeutet nicht, dass das Experiment gescheitert ist; es bedeutet nur, dass wir noch nicht genug Informationen haben, um zu sagen, dass es funktioniert hat.

Das Fazit

Das Paper kommt zu dem Schluss, dass die Replikation im Software-Engineering derzeit ein wenig wie ein Spiel ist, bei dem die Schiedsrichter die Regeln während des Spiels erfinden. Indem wir diese neuen Prinzipien anwenden – die Regeln im Voraus festlegen, die Kompatibilität prüfen und ehrlich mit Unsicherheit umgehen –, können wir damit beginnen, einen Wissensberg aufzubauen, dem jeder vertrauen kann. Die Autoren geben zu, dass sie nur 10 Studien betrachtet haben, daher ist dies erst der Anfang des Gesprächs, nicht die endgültige Antwort. Aber wenn wir wissen wollen, welche Software-Werkzeuge und -Theorien wirklich zuverlässig sind, müssen wir aufhören zu raten und anfangen, nach einem klaren, gemeinsamen Regelwerk zu spielen.