Decided or Open? Comparing Program Repair Techniques When Patch Correctness Is Unknown
Dieses Paper schlägt ein „entschieden oder offen“-Framework vor, um automatisierte Programmierreparaturtechniken unter Unsicherheit zu vergleichen, indem die gesamte Spanne möglicher Erfolgsraten-Differenzen berechnet wird, was es Forschenden ermöglicht, zu identifizieren, welche Vergleiche durch weitere Tests geklärt werden können, und die signifikanten Diskrepanzen in der Zuverlässigkeit archivierter Testergebnisse über verschiedene Modelle hinweg aufzuzeigen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Software brechen Programme unweigerlich. Wenn ein Stück Code nicht das tut, was er soll, muss ein Entwickler den Fehler finden und eine neue Version des Codes schreiben, um ihn zu beheben. Dieser Prozess ist langsam und schwierig, weshalb Forscher seit Jahrzehnten versuchen, Computerprogramme zu entwickeln, die die Reparatur automatisch durchführen können. Diese automatisierten Werkzeuge scannen ein fehlerhaftes Programm, generieren tausende möglicher Lösungen und versuchen, diejenige auszuwählen, die funktioniert. Um zu wissen, ob diese Werkzeuge besser werden, vergleichen Wissenschaftler sie miteinander. Sie lassen die Werkzeuge auf einer Gruppe bekannter fehlerhafter Programme laufen und zählen, wie oft jedes Werkzeug eine korrekte Reparatur produziert. Doch es gibt ein verborgenes Problem in diesem Vergleich: Oft wissen die Wissenschaftler gar nicht wirklich, ob eine generierte Reparatur korrekt ist. Eine Reparatur mag die Tests bestehen, die der Computer ausführt, aber das garantiert nicht, dass sie richtig ist; sie könnte nur eine geschickte Lüge sein, die zufällig für die spezifischen Fragen funktioniert. Ohne einen Menschen, der die Arbeit überprüft, bleiben viele Reparaturen in einer Grauzone, die weder als richtig noch als falsch gekennzeichnet ist.
Diese Unsicherheit macht es unmöglich, mit Gewissheit zu sagen, welches automatisiertes Reparaturwerkzeug wirklich das beste ist. Wenn zwei Werkzeuge verglichen werden und das Ergebnis von einer Handvoll unverifizierter Reparaturen abhängt, könnte der Sieger nur ein Zufall sein. Eine neue Studie von Sadnan Nafis von der BRAC University geht diesem Problem direkt entgegen. Anstatt zu versuchen, die Antwort für jede einzelne unverifizierte Reparatur zu erraten, entwickelte der Forscher eine Methode, um die Spanne der möglichen Ergebnisse zu messen. Er stellte eine einfache, aber kraftvolle Frage: Ist angesichts der Informationen, die wir bereits haben, der Sieger eines Vergleichs festgelegt oder hängt er vollständig von den unbekannten Reparaturen ab? Durch die Berechnung der Best-Case- und Worst-Case-Szenarien für jeden möglichen Wert der fehlenden Information bestimmt die Studie, ob ein Vergleich „entschieden“ oder „offen“ ist. Ein entschiedener Vergleich bedeutet, dass das gleiche Werkzeug gewinnt, egal wie die unbekannten Reparaturen ausfallen. Ein offener Vergleich bedeutet, dass der Sieger sich je nach den fehlenden Daten ändern könnte.
Die Studie wandte diese Methode auf ein riesiges Archiv von Reparaturversuchen an, das fast 55.000 Kandidaten-Fixes für 488 verschiedene Bugs umfasst. Die Forscher fanden heraus, dass für die meisten Vergleiche zwischen einem intelligenten, lernbasierten Werkzeug und seinen einfacheren Rivalen die Antwort bereits durch die vorhandenen Daten entschieden war. In zwölf von sechzehn Fällen war das Lernwerkzeug eindeutig besser, und diese Schlussfolgerung blieb auch dann bestehen, wenn jede einzelne unbekannte Reparatur falsch gewesen wäre. Vier Vergleiche blieben jedoch offen, was bedeutete, dass der Sieger von den unverifizierten Reparaturen abhing. Die Forscher fügten dann weitere Belege hinzu, indem sie den Code erneut ausführten und Menschen baten, die kniffligen Fälle zu überprüfen. Diese zusätzliche Arbeit klärte alle sechzehn Vergleiche und bestätigte, dass das Lernwerkzeug in jedem Fall der Sieger war. Aber die Studie zeigte auch, dass diese letzten vier Siege fragil waren; wenn nur wenige der neuen Kennzeichnungen falsch gewesen wären, hätten sich die Ergebnisse ändern können.
Eine der überraschendsten Entdeckungen ergab sich aus der Überprüfung der Zuverlässigkeit des Testsystems selbst. Die Forscher bemerkten, dass das Testsystem manchmal nicht korrekt funktionierte und eine korrekte Reparatur als Fehler markierte. Um dies zu erfassen, suchten sie nach Fällen, in denen der Computer eine exakte Kopie der ursprünglichen Reparatur eines menschlichen Entwicklers generierte. Da diese Kopie bekanntlich korrekt war, hätte sie jeden Test bestehen müssen. Wenn das System sie dennoch als Fehler markierte, war das System defekt. Sie fanden heraus, dass dies in sehr unterschiedlichen Raten geschah, je nachdem, welches KI-Modell getestet wurde. Für ein populäres Modell lehnte das System die korrekte Kopie in 33,5 % der Fälle fälschlicherweise ab. Bei einem anderen Modell geschah dies nur in 2,5 % der Fälle. Dies bedeutete, dass das Testsystem ein Modell gegenüber einem anderen unfair benachteiligte, nicht weil das Modell schlechter war, sondern weil die Testumgebung (Test Harness) wahrscheinlicher Fehler bei ihm machte.
Die Studie führte zudem eine Methode ein, um den Wert zukünftiger Experimente vorherzusagen, noch bevor sie überhaupt beginnen. Da ein Test nur beweisen kann, dass eine Reparatur falsch ist, aber niemals beweisen kann, dass sie richtig ist, erkannten die Forscher, dass manche Vergleiche durch Tests allein niemals entschieden werden können. Wenn das bestmögliche Ergebnis einer Testkampagne ein Unentschieden ist, dann ist es Zeitverschwendung, weitere Tests durchzuführen. Sie entwickelten einen „Pre-Flight-Check“, der die aktuellen Daten analysiert und den Forschern genau mitteilt, welche Vergleiche eine neue Runde von Tests möglicherweise lösen könnte. In einem Praxistest veröffentlichten sie ihre Vorhersagen für eine anstehende Testkampagne im Voraus. Jede einzelne Vorhersage stimmte überein: Der Check identifizierte korrekt, welche Vergleiche geklärt werden würden und welche offen blieben, was die Forscher davor bewahrte, Stunden mit Experimenten zu verschwenden, die das Ergebnis ohnehin nicht mehr ändern könnten.
Die Ergebnisse legen nahe, dass das Feld der automatisierten Reparatur die Art und Weise ändern muss, wie es Ergebnisse berichtet. Anstatt eine einzige Zahl anzugeben, die vorgibt, alle Daten seien bekannt, sollten Forscher die Spanne der Möglichkeiten angeben. Dieser Ansatz trennt die fundierten Schlussfolgerungen von den unsicheren. Er zeigt, dass während einige Werkzeuge eindeutig überlegen sind, andere zu schwer zu bewerten sind, ohne weitere Beweise. Er verdeutlicht zudem, dass die Werkzeuge, die den Erfolg messen, nicht perfekt sind und eine Verzerrung (Bias) einführen können, die ein Modell gegenüber einem anderen bevorzugt. Durch die Nutzung dieser neuen Prüfungen können sich Wissenschaftler auf die Vergleiche konzentrieren, die tatsächlich mehr Daten benötigen, anstatt Ergebnissen nachzujagen, die bereits entschieden oder unentscheidbar sind. Die Arbeit löst nicht das Problem, die perfekte Reparatur zu finden, aber sie liefert eine klare Karte darüber, wo die Wahrheit liegt und wo sie verborgen bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.