An Audit of Machine Learning Experiments on Software Defect Prediction
Diese Arbeit auditiert 101 Studien zur Vorhersage von Softwarefehlern, die zwischen 2019 und 2023 veröffentlicht wurden, und deckt weit verbreitete Inkonsistenzen im experimentellen Design und in der Berichterstattung auf, welche die Reproduzierbarkeit massiv einschränken und die kritische Notwendigkeit verbesserter Forschungspraktiken verdeutlichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, geschäftige Küche vor, in der tausende Köche (Forscher) versuchen, ein neues Rezept zu erfinden, um vorherzusagen, welche Zutaten in einem riesigen Lagerhaus über die Tage hinweg schlecht werden könnten (Softwarefehler). Alle behaupten, sie hätten das beste „Machine Learning“-Rezept. Aber woher wissen wir, ob ihre Rezepte tatsächlich funktionieren oder ob sie nur auf dem Papier gut aussehen?
Dieses Paper ist wie ein Gesundheitsinspektor, der in diese Küche kommt, um die letzten fünf Jahre des Kochens zu prüfen. Anstatt das Essen zu probieren, prüften die Inspektoren die Rezepte (die Experimente), um zu sehen, ob die Köche die grundlegenden Regeln der Wissenschaft befolgt haben, ihre Zutaten ehrlich gemeldet haben und genügend Notizen hinterlassen haben, damit jemand anderes später dasselbe Gericht kochen kann.
Hier ist das, was das Audit herausgefunden hat, einfach erklärt:
1. Das „Rezept“-Chaos
Die Inspektoren fanden heraus, dass jeder Koch die Dinge anders machte.
- Die Zutaten: Einige Köche verwendeten nur einen Datensatz (einen Haufen Zutaten), während andere 365 verschiedene verwendeten. Es war ein wilder Mix.
- Die Werkzeuge: Sie verwendeten irgendwo zwischen 1 und 34 verschiedene „Learner“ (Kochmethoden).
- Die Scorecards: Sie maßen den Erfolg mit verschiedenen Scorecards. Einige verwendeten eine Metrik namens „F1“ oder „Accuracy“ (Genauigkeit), welche die Inspektoren als Warnung bezeichneten: Das ist so, als würde man ein Rennen danach bewerten, wie viele Menschen ins Ziel gekommen sind, anstatt zu prüfen, ob sie tatsächlich die richtige Strecke gelaufen sind. Diese Scores können irreführend sein, besonders wenn die „schlechten“ Zutaten selten sind.
2. Das Problem mit dem „Blinden Geschmackstest“
In einem fairen Experiment müssen Sie Ihr Rezept an neuen Zutaten testen, mit denen Sie zuvor noch nicht gekocht haben. Dies wird als „Out of Sample“-Validierung bezeichnet.
- Das Problem: Etwa 35 % der Köche taten dies nicht. Sie testeten ihr Rezept an genau denselben Zutaten, die sie auch zum Lernen verwendet hatten. Das ist so, als würde ein Koch seine Suppe probieren, während er noch Salz hinzufügt. Natürlich schmeckt sie dann gut! Aber das bedeutet nicht, dass sie einem Kunden auch schmecken wird.
- Das Ergebnis: Viele Studien behaupteten, ihre Rezepte seien großartig, aber sie könnten lediglich die Zutaten auswendig gelernt haben, anstatt das Kochen zu lernen.
3. Die „Fehlenden Notizen“ (Reproduzierbarkeit)
Wenn Sie ein tolles Rezept in einer Zeitschrift finden, erwarten Sie, dass Sie es selbst nachkochen können. Die Inspektoren prüften, ob die Paper genügend Notizen (Code, Datenlinks, spezifische Einstellungen) hinterließen, damit andere die Ergebnisse reproduzieren können.
- Die Punktzahl: Die durchschnittliche „Reproduzierbarkeitsscore“ lag nur bei etwa 52 %. Das bedeutet, wenn Sie diese Gerichte nachkochen wollten, würden Ihnen die Hälfte der Anweisungen fehlen.
- Die Paywall: Fast die Hälfte der Paper befanden sich hinter einer „Paywall“ (wie einer verschlossenen Tür). Man musste bezahlen, um das Rezept zu sehen. Die Inspektoren merkten an: Wenn man das Rezept nicht sehen kann, kann man auch nicht prüfen, ob es echt ist.
- Kaputte Links: Selbst wenn Links zu den Daten bereitgestellt wurden, waren etwa 35 % davon defekt (wie ein Link zu einem Lebensmittelladen, der nicht mehr existiert).
4. Der Verdacht auf eine „Paper Mill“
Die Inspektoren fanden zwei sehr seltsame Arbeiten. Die Autoren verwendeten merkwürdige, künstlich klingende Phrasen wie „novel insects“ (neue Insekten) anstelle von „new bugs“ (neue Fehler/Bugs) und „arranging of deformities“ (Anordnung von Deformitäten) anstelle von „analyzing defects“ (Analysieren von Defekten).
- Die Metapher: Es ist, als würde ein Koch ein Rezept schreiben, das sagt: „Fügen Sie eine Prise Fluffernutter hinzu“ anstatt „Salz“. Dies ist ein Warnsignal für „Paper Mills“ – Fabriken, die gefälschte oder minderwertige wissenschaftliche Paper produzieren, nur um veröffentlicht zu werden, oft indem Texte zwischen Sprachen hin und her übersetzt werden, bis sie keinen Sinn mehr ergeben.
5. Die „Magische Zahl“-Falle
Viele Köche führten ihre Experimente dutzendfach durch und suchten nach jedem Ergebnis, das „statistisch signifikant“ aussah (wie das Finden eines Gewinnlottos, indem man so viele Lose kauft, bis man gewinnt).
- Das Problem: Sie passten ihre Regeln für so viele Tests nicht an. Das ist so, als würde man eine Münze 100 Mal werfen und behaupten, man habe ein „magisches Muster“ gefunden, nur weil man einmal zehnmal hintereinander Kopf bekommen hat. Die Inspektoren fanden heraus, dass viele Studien diesen Fehler machten, was ihre „Entdeckungen“ zu bloßem Glück macht.
6. Journal vs. Conference (Das Magazin vs. Den Flyer)
Die Inspektoren bemerkten einen Unterschied zwischen Papern, die in ausführlichen Journals (Fachzeitschriften) veröffentlicht wurden, und kürzeren Conference-Papern (Konferenzbeiträgen).
- Die Erkenntnis: Journal-Paper waren etwas besser. Sie hatten vollständigere Notizen, weniger fehlende Links und weniger Fehler. Es ist wie ein Kochbuch mit einem vollständigen Rezept im Vergleich zu einem Flyer, der nur eine Liste von Zutaten enthält. Der größere Platz und der strengere Begutachtungsprozess in Journals schienen zu helfen.
Das Fazit
Das Audit kam zu dem Schluss, dass zwar viel Aufwand in dieses Feld gesteckt wird (über 1.500 Studien in fünf Jahren), die Qualität jedoch wackelig ist.
- Die gute Nachricht: Die meisten Probleme sind nicht schwer zu lösen. Die Köche müssen nur ihre Schritte klarer aufschreiben, bessere Scorecards verwenden und an neuen Zutaten testen.
- Die schlechte Nachricht: Aktuell werden Sie wahrscheinlich scheitern, wenn Sie versuchen, diese Experimente zu wiederholen, weil die Anweisungen fehlen oder die Mathematik fehlerhaft ist.
Kurz gesagt: Das Feld steckt voller Potenzial, aber im Moment ist es wie eine Küche, in der die Hälfte der Köche vergessen hat, ihre Rezepte aufzuschreiben, und diejenigen, die es getan haben, haben sie in einer Sprache geschrieben, die keinen Sinn ergibt. Die Inspektoren bitten alle, die Küche aufzuräumen, damit wir alle das Essen tatsächlich essen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.