ARISE: A Repository-level Graph Representation and Toolset for Agentic Fault Localization and Program Repair
ARISE ist ein repository-level Framework, das LLM-basierte Agenten für die Fehlerlokalisierung und Programmkorrektur verbessert, indem es einen Multi-Granularitäts-Programmgraphen mit intra-prozeduralen Datenflusskanten und eine abfragbare Slicing-API einführt, wodurch auf dem SWE-bench Lite-Benchmark signifikante Verbesserungen der Lokalisierungsgenauigkeit und der Erfolgsraten bei der Korrektur erzielt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen in einer riesigen, weitläufigen Stadt (dem Software-Repository) aufzuklären. Die Stadt verfügt über Tausende von Gebäuden (Dateien), die jeweils Hunderte von Räumen (Funktionen) enthalten, und in diesen Räumen befinden sich unzählige Möbelstücke und Dokumente (Codezeilen).
Ihre Aufgabe besteht darin, das eine spezifische Dokument zu finden, das die Lüge (den Fehler) enthält, die zum Ausfall des Stromnetzes der Stadt führt, und dieses Dokument dann zu überarbeiten, um es zu beheben.
Das Problem: In der Stadt verloren gehen
In der Vergangenheit hatten Detektive (KI-Agenten), die diese Fälle zu lösen versuchten, zwei Hauptprobleme:
- Sie hatten nur eine Karte der Gebäude: Sie wussten, welches Gebäude neben welchem lag und welches Gebäude eine Tür zu einem anderen hatte. Aber sie wussten nicht, wie sich Informationen innerhalb der Räume bewegten.
- Sie mussten alles lesen: Um die Lüge zu finden, mussten sie oft ganze Bücher lesen oder jede einzelne Seite in einem Gebäude durchsuchen, in der Hoffnung, zufällig auf den Hinweis zu stoßen. Dies war langsam, teuer und führte sie häufig in den falschen Raum.
Die Lösung: ARISE (Das Werkzeugset des Super-Ermittlers)
Die Autoren haben ein neues System namens ARISE entwickelt. Stellen Sie sich ARISE vor, als würde man dem Detektiv eine superkräftige, interaktive 3D-Karte der Stadt geben, die nicht nur Gebäude zeigt, sondern auch genau darstellt, wie ein bestimmtes Beweisstück (eine Variable) von einem Dokument zum anderen innerhalb eines Raums wandert.
Hier ist, wie ARISE funktioniert, aufgeteilt in drei einfache Werkzeuge:
1. Die Strukturkarte (Ebene 1)
Dies ist die „Gebäudekarte". Sie sagt dem Detektiv: „Diese Datei enthält diese Klasse, die diese Funktion aufruft." Es ist so, als würde man wissen, dass die Bibliothek mit der Schule verbunden ist. Dies hilft dem Detektiv, einzuschränken, welches Gebäude er durchsuchen soll, aber es sagt ihm nicht, welche Seite im Buch falsch ist.
2. Das „Folge dem Geld"-Werkzeug (Ebene 2 – Die große Innovation)
Dies ist der magische Teil. In den alten Tagen musste ein Detektiv, der eine verdächtige Zahl in einem Dokument fand, manuell jede Seite davor und danach durchblättern, um zu sehen, woher diese Zahl kam oder wohin sie ging.
ARISE führt ein Werkzeug namens Data-Flow Slicing (Datenfluss-Slicing) ein. Stellen Sie sich vor, Sie haben eine magische Lupe. Sie richten sie auf eine bestimmte Zahl in einem Dokument und sagen: „Zeig mir alles, was diese Zahl berührt hat."
- Rückwärtsslice: Die Lupe hebt sofort jeden einzelnen Satz hervor, der diese Zahl erstellt oder verändert hat.
- Vorwärtsslice: Sie hebt jeden Satz hervor, der diese Zahl später verwendet hat.
Anstatt 50 Seiten zu lesen, erhält der Detektiv eine einzige, hervorgehobene Liste mit nur den 5 oder 6 Sätzen, die tatsächlich wichtig sind. Dies ist so, als könnte man einen spezifischen Wassertropfen von einem Wasserhahn bis zum Waschbecken sofort verfolgen und den Rest der Rohrleitungen ignorieren.
3. Der Beweisordner (Ebene 3)
Sobald der Detektiv die verdächtigen Sätze gefunden hat, muss er sie zu einem Bericht zusammenfügen, um den Fehler zu beheben. Manchmal wird der Bericht zu lang und das Gehirn des Detektivs (das KI-Modell) wird überfordert.
Dieses Werkzeug fungiert wie ein intelligenter Bibliothekar. Es nimmt alle hervorgehobenen Sätze, ordnet sie nach Wichtigkeit und packt sie in einen ordentlichen, prägnanten „Beweisordner", der perfekt in den Rucksack des Detektivs (das Speicherlimit) passt. Dies stellt sicher, dass der Detektiv zuerst die wichtigsten Hinweise sieht.
Die Ergebnisse: Hat es funktioniert?
Die Forscher testeten dieses neue System an 300 realen „Verbrechen" (Fehlern) aus beliebten Softwareprojekten. Sie verglichen ARISE mit einem Standarddetektiv (dem SWE-Agenten), der nur über die grundlegenden Werkzeuge verfügte.
- Den Tatort finden: Der Standarddetektiv konnte das richtige Gebäude (Datei) in etwa 57 % der Fälle erraten. ARISE lag in 67 % der Fälle richtig.
- Den genauen Raum finden: Der Standarddetektiv errat das richtige Zimmer (Funktion) in 43 % der Fälle. ARISE steigerte dies auf 60 %.
- Den genauen Satz finden: Der Standarddetektiv fand die richtige Codezeile in 26 % der Fälle. ARISE verbesserte dies auf 41 %.
Am wichtigsten ist, dass der Detektiv, da er das genaue Problem schneller und genauer finden konnte, den Fehler erfolgreich in 22 % der Fälle beheben konnte, im Vergleich zu nur 17 % beim Standarddetektiv.
Wichtige Erkenntnisse aus dem Papier
- Struktur allein reicht nicht: Nur zu wissen, wie Dateien verbunden sind, reicht nicht aus; man muss wissen, wie sich Daten innerhalb des Codes bewegen.
- Die „magische Lupe" ist der Schlüssel: Die größte Verbesserung kam vom Werkzeug Data-Flow Slicing. Es ermöglichte der KI, das Raten zu überspringen und direkt zur Quelle des Problems zu gelangen.
- Kein Dolmetscher nötig: Die Forscher versuchten, einen Schritt hinzuzufügen, bei dem eine kleinere KI die Daten in einfaches Englisch für den Hauptdetektiv zusammenfasste. Sie stellten fest, dass dies unnötig war. Der Hauptdetektiv (ein großes KI-Modell) konnte die rohen, strukturierten Daten problemlos lesen. Das Hinzufügen des Zusammenfassungs-Schritts verschwendete nur Zeit und Geld.
- Die Grenze: Das System ist hervorragend darin, Probleme innerhalb eines einzelnen Raums zu finden. Wenn das Problem jedoch in einem Raum beginnt, an den Raum des Nachbarn weitergegeben wird und dort einen Absturz verursacht, gerät der Detektiv manchmal in Verwirrung. Dies ist der eine Bereich, den die Autoren sagen, dass in Zukunft mehr Arbeit benötigt.
Kurz gesagt, gibt ARISE KI-Agenten die Möglichkeit, den „Faden" einer Variable durch den Code zu verfolgen und eine Suche nach der Nadel im Heuhaufen in einen direkten Weg zur Lösung zu verwandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.