Repair Evidence Resolution: Separating Prediction, Structural Resolution, and Transfer in Automated Patch Correctness Assessment

In der Welt des Software-Engineerings schreiben Computer zunehmend ihren eigenen Code, um Fehler zu beheben. Dieses Feld, bekannt als automatisierte Programmbereparatur (Automated Program Repair), funktioniert, indem es tausende möglicher Lösungen für ein fehlerhaftes Programm generiert und diese dann gegen eine Reihe von Regeln testet, um zu sehen, welche davon funktionieren. Ein hartnäckiges Problem plagt jedoch seit langem diesen Prozess: Eine Lösung kann alle Tests bestehen, die ein Computer ihr vorgibt, während sie dennoch grundlegend falsch ist. Dies wird als Overfitting bezeichnet, wobei eine Lösung zu perfekt auf die spezifischen Tests zugeschnitten ist, denen sie gegenübersteht, aber das eigentliche zugrunde liegende Problem nicht adressiert. Um dies zu lösen, haben Forscher Werkzeuge entwickelt, die als Richter fungieren und versuchen vorherzusagen, welche der vielen generierten Korrekturen wirklich korrekt und welche lediglich glücklich sind. Jahrelang wurde der Erfolg dieser Richter daran gemessen, wie oft sie die richtige Antwort geben, ganz ähnlich wie bei der Bewertung eines Schülers in einem Multiple-Choice-Test. Aber dieser Ansatz übersieht eine tiefere Frage: Enthält die Information, die der Richter sieht, tatsächlich die Hinweise, die nötig sind, um zwischen einer richtigen und einer falschen Korrektur zu unterscheiden?

Eine neue Studie von Mohammad Amir Khusru Akhtar von der Usha Martin University verlagert den Fokus von der Frage, wie gut ein Richter rät, hin zu der Frage, ob die verfügbaren Beweise überhaupt in der Lage sind, die korrekte Unterscheidung zu treffen. Der Forscher führt ein Framework namens „Repair Evidence Resolution“ ein, das die dem Computer sichtbare Information als eine Sammlung von Gruppen behandelt. Die Kernidee besteht darin zu prüfen, ob eine einzige Gruppe sowohl eine korrekte als auch eine inkorrekte Korrektur enthält, die für den Computer identisch aussehen. Wenn eine solche Gruppe existiert, kann keine noch so kluge Vermutung die beiden jemals voneinander trennen, da der Computer keine Möglichkeit hat, sie zu unterscheiden. Hierbei geht es nicht um die Intelligenz des Algorithmus, sondern um die Grenzen der Daten selbst. Die Studie fragt, ob die spezifischen Signale, die zur Bewertung der Korrekturen verwendet werden, detailliert genug sind, um die richtigen Antworten von den falschen zu trennen, und ob der kleine Satz an Beispielen, der in der Forschung verwendet wird, ausreicht, um zu beweisen, dass die Daten für das viel größere Universum aller möglichen Korrekturen ausreichend sind.

Um dies zu untersuchen, analysierte der Forscher eine große, öffentlich zugängliche Datensammlung einer Software-Engineering-Konferenz aus dem Jahr 2020. Dieser Datensatz enthielt 1.762 Datensätze von Programmkorrekturen, die von zwei verschiedenen automatisierten Tools generiert wurden. Jeder Datensatz enthielt ein Label, das angab, ob die Korrektur korrekt oder inkorrekt war, zusammen mit zwei verschiedenen Arten numerischer Beschreibungen, oder „Evidence Channels“, die ein Computer nutzt, um die Korrektur zu verstehen. Der Forscher schrieb ein Computerprogramm, um diese Korrekturen basierend auf ihren Beschreibungen zu gruppieren. Wenn zwei Korrekturen dieselbe Beschreibung hatten, wurden sie in denselben Eimer gelegt. Das Programm überprüfte jeden Eimer darauf, ob er eine Mischung aus korrekten und inkorrekten Korrekturen enthielt. Wenn ein Eimer sowohl korrekte als auch inkorrekte Korrekturen enthielt, bedeutete dies, dass die Evidenz unzureichend war, um sie zu unterscheiden, was einen blinden Fleck für jeden Richter darstellte.

Die Analyse ergab einen deutlichen Unterschied zwischen den beiden Arten von Evidenz. Als der Forscher nur die erste Art der Beschreibung betrachtete, fand er neun Gruppen, die eine verwirrende Mischung aus korrekten und inkorrekten Korrekturen enthielten. Diese neun Gruppen umfassten 43 Patches, was eine kleine, aber signifikante Lücke in der Fähigkeit darstellte, Wahrheit von Irrtum zu unterscheiden. Als der Forscher jedoch die zweite Art der Beschreibung untersuchte oder beide Arten von Informationen kombinierte, verschwanden diese verwirrenden Gruppen. In der kombinierten Ansicht enthielt jede einzelne Gruppe entweder nur korrekte oder nur inkorrekte Korrekturen. Dies bedeutet, dass die zweite Art der Evidenz oder die Kombination beider Informationen eine vollständige strukturelle Trennung bot, die die erste Art vermissen ließ. Die Studie beweist, dass es nicht ausreicht, einfach ein besseres Vorhersagemodell zu haben; die zugrunde liegenden Daten müssen zuerst in der Lage sein, die beiden Ergebnisse zu trennen.

Der vielleicht bemerkenswerteste Befund betrifft die Frage, wie leicht Forscher durch kleine Stichproben in die Irre geführt werden können. Die Studie berechnete die Wahrscheinlichkeit, dass eine kleinere, zufällige Auswahl dieser Korrekturen den Anschein erwecken würde, perfekt auflösbar zu sein, obwohl die Gesamtsammlung dies nicht war. Für eine Stichprobe von nur 100 Korrekturen lag die Chance, dass sie so aussehen würde, als sei die Evidenz perfekt – also alle verwirrenden Gruppen verborgen –, bei 91,29 %. Selbst bei einer Stichprobe von 400 Korrekturen bestand immer noch eine Chance von 34 %, dass die Verwirrung verborgen bliebe. Erst als die Stichprobengröße 800 erreichte, sank die Wahrscheinlichkeit, das Problem zu übersehen, unter 2,5 %. Dies zeigt, dass ein Forscher leicht ein neues Tool an einem kleinen Datensatz testen, feststellen kann, dass es perfekt funktioniert, und fälschlicherweise schlussfolgern kann, dass die Evidenz ausreichend ist, während die größere Population von Korrekturen voller unentdeckbarer Fehler bleibt.

Das Paper behauptet nicht, dass diese Ergebnisse das Problem der automatisierten Reparatur lösen oder dass der spezifische Datensatz jede mögliche Softwarefehlermeldung repräsentiert. Stattdessen etabliert es eine neue Art, die Qualität der Evidenz selbst zu prüfen. Es zeigt, dass wir, bevor wir fragen, ob ein Computer klug genug ist, eine Korrektur zu beurteilen, fragen müssen, ob die Information, die er erhält, detailliert genug ist, um das Urteil überhaupt möglich zu machen. Die Studie bestätigt, dass das Hinzufügen weiterer Evidenztypen in der Lage ist, strukturelle Konflikte zu lösen, die einzelne Typen nicht lösen können, und warnt davor, dass kleine Testsets ein falsches Gefühl der Sicherheit vermitteln können. Durch die Trennung der Frage der Vorhersage von der Frage der Evidenzauflösung bietet die Forschung einen klareren Weg für die Bewertung, wie gut automatisierte Tools die Codes, die sie zu reparieren versuchen, wirklich verstehen können.