💻 computer science

AgenticSZZ: Temporal Knowledge Graph-Guided Agentic Bug-Inducing Commit Identification

AgenticSZZ ist ein neuartiger Ansatz, der Temporale Wissensgraphen und LLM-Agenten nutzt, um die Einschränkungen traditioneller, auf git blame basierender Methoden zu überwinden, indem die Identifizierung von Fehler verursachenden Commits als Graphsuchproblem neu formuliert wird, wodurch die Erkennungsgenauigkeit durch erweiterten historischen Kontext und kausales Schlussfolgern erheblich verbessert wird.

Ursprüngliche Autoren: Yu Shi, Hao Li, Bram Adams, Ahmed E. Hassan

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu Shi, Hao Li, Bram Adams, Ahmed E. Hassan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der neue Plan des Detektivs: Wie AgenticSZZ Softwarefehler findet

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Wer hat den Code kaputt gemacht? In der Welt der Software ist ein „Bug" ein Fehler, der dazu führt, dass ein Programm abstürzt oder sich seltsam verhält. Um ihn zu beheben, müssen Sie den genauen Moment in der Geschichte finden, in dem ein Entwickler diesen Fehler versehentlich eingeführt hat. Dieser Moment wird als Bug-Inducing Commit (BIC) bezeichnet.

Seit Jahrzehnten verwenden Detektive ein Standardwerkzeug namens SZZ (benannt nach seinen Erfindern). Stellen Sie sich SZZ als eine Lupe vor, die den „Tatort" (die Code-Korrektur) betrachtet und fragt: „Wer hat diese spezifische Codezeile zuletzt berührt?" Es verwendet einen Befehl namens git blame, um auf die jüngste Person zu zeigen, die diese Zeile geändert hat.

Das Problem:
Die Autoren dieses Papiers entdeckten einen gravierenden Mangel in dieser alten Methode. Sie untersuchten über 2.000 reale Fehlerbehebungen und stellten fest, dass in 40 % der Fälle die Lupe auf die falsche Person zeigt.

Warum?

Der falsche Verdächtige: Manchmal hat die Person, die die Zeile zuletzt berührt hat, nur die Schriftfarbe geändert oder ein Leerzeichen hinzugefügt (eine „kosmetische Änderung"). Der eigentliche Fehler wurde vor Monaten von jemand anderem eingeführt, aber das alte SZZ-Werkzeug kann nicht über die letzte Person hinaussehen.
Das fehlende Indiz: Manchmal berührte die Korrektur überhaupt keine alten Zeilen; sie fügte lediglich neue Zeilen hinzu. In diesem Fall hat die Lupe nichts zu betrachten, und das Werkzeug gibt völlig auf.

Die Lösung: AgenticSZZ

Die Autoren, Yu Shi und sein Team von der Queen's University, entwickelten ein neues System namens AgenticSZZ. Anstatt nur eine Codezeile zu betrachten, erstellten sie eine Zeitreise-Karte (ein temporales Wissensgraph) und stellten einen Super-Detektiv-KI-Agenten (einen LLM-Agenten) ein, um sie zu navigieren.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Karte erstellen (Der temporale Wissensgraph)

Stellen Sie sich die Geschichte eines Softwareprojekts nicht als eine gerade Linie von Text vor, sondern als ein riesiges, dreidimensionales Spinnennetz.

Die Knoten: Jedes Mal, wenn ein Entwickler seine Arbeit speichert (ein „Commit"), ist es ein Punkt im Netz.
Die Fäden: Das Netz verbindet diese Punkte auf zwei Arten:
- Zeit: Wer kam vor wem?
- Struktur: Wer änderte dieselben Dateien oder Funktionen?
Die Erweiterung: Im Gegensatz zur alten Methode, die nur das unmittelbare Umfeld betrachtet, erweitert AgenticSZZ die Karte. Es verfolgt das Netz rückwärts von der Korrektur und rückwärts von der „letzten Person, die die Zeile berührt hat". Dies stellt sicher, dass die Karte die „falschen Verdächtigen" und die „fehlenden Indizien" enthält, die das alte Werkzeug ignorierte.

2. Der Super-Detektiv (Der LLM-Agent)

Jetzt, da sie die Karte haben, brauchen sie jemanden, der klug genug ist, sie zu lesen. Sie baten nicht einfach einen Computer, die Liste zu scannen; sie stellten einen KI-Agenten ein, der mit speziellen Werkzeugen ausgestattet ist.

Stellen Sie sich diesen Agenten als einen Detektiv mit einem Werkzeugkasten vor:

Der Listen-Ersteller: „Zeig mir die Hauptverdächtigen."
Der Zeitreisende: „Lass mich rückwärts entlang des Netzes wandern, um zu sehen, wer sonst noch diese Datei berührt hat."
Der Fakten-Prüfer: „Lies die Commit-Nachricht und die Code-Änderungen, um zu sehen, ob diese Person tatsächlich die Logik zerstört hat."
Der Logik-Verstand: „Macht diese Änderung als Ursache des Bugs Sinn?"

Der Agent rät nicht einfach. Er erkundet die Karte, prüft die Beweise und durchdenkt die Geschichte, um den echten Täter zu finden, selbst wenn diese Person weit zurück in der Zeitlinie liegt oder sich auf einem anderen Zweig des Projekts befindet.

Die Ergebnisse: Ein besserer Detektiv

Das Team testete dieses neue System an drei riesigen Datensätzen (Linux-Kernel, Apache-Projekte und GitHub-Repositories). Hier ist, was sie fanden:

Erfolgsrate: AgenticSZZ fand den korrekten bug-induzierenden Commit 16 % bis 34 % häufiger als die besten bestehenden Methoden.
Lösen des unlösbaren Falls: Es löste erfolgreich Fälle, die zuvor unmöglich waren, wie zum Beispiel wenn die Korrektur neuen Code hinzufügte (die „schuldlosen" Fälle) oder wenn der Fehler durch einen Commit eingeführt wurde, der nach dem letzten Berühren der Zeile, aber vor der Korrektur stattfand.
Der „Sweet Spot" der KI: Die Autoren testeten verschiedene KI-Modelle, um als Detektiv zu fungieren. Sie stellten fest, dass die KI „klug genug" sein muss, um die Aufgabe zu erfüllen. Kleinere, günstigere KI-Modelle gaben zu schnell auf oder übersprangen wichtige Schritte und fanden den Fehler nicht. Nur die größeren, leistungsfähigeren Modelle konnten das komplexe Netz der Geschichte erfolgreich navigieren.

Das Fazit

Das Papier argumentiert, dass das Finden von Softwarefehlern nicht nur darin besteht, eine Liste von Verdächtigen zu rangieren (der alte Weg); es geht darum, ein komplexes Netz der Geschichte zu durchsuchen (der neue Weg).

Durch die Kombination einer Zeitreise-Karte (die den Suchraum erweitert) mit einem logisch denkenden KI-Agenten (der die Verdächtigen intelligent filtert), löst AgenticSZZ ein Problem, das Software-Detektive seit 20 Jahren vor den Kopf gestoßen hat. Es beweist, dass man, um die Ursache eines Bugs zu finden, manchmal weit über die Person hinaussehen muss, die den Code zuletzt berührt hat.

Technische Zusammenfassung: AgenticSZZ

Problemstellung

Die Identifizierung des fehlerauslösenden Commits (Bug-Inducing Commit, BIC) ist eine grundlegende Aufgabe in der Softwarewartung, die Fehlerprognosen, automatisierte Programmkorrekturen und historische Fehleranalysen ermöglicht. Der seit zwei Jahrzehnten dominierende Ansatz ist der SZZ-Algorithmus und seine Varianten, die auf git blame zurückgreifen, um gelöschte oder modifizierte Zeilen in einem fehlerbehebenden Commit (Bug-Fixing Commit, BFC) bis zu dem Commit zurückzuverfolgen, der sie zuletzt berührt hat.

Dieser Ansatz leidet jedoch unter grundlegenden Einschränkungen hinsichtlich der Recall-Rate. Eine vorläufige Studie der Autoren über 2.102 validierte fehlerbehebende Commits zeigt, dass git blame allein in fast der Hälfte aller Fälle unzureichend ist:

28 % der BICs erfordern das Durchlaufen der Commit-Historie über die direkten Blame-Ergebnisse hinaus (entweder als Vorfahren von Blame-Commits oder als Vorfahren des BFC).
14 % der Fälle sind „blameless" (ohne Blame), wobei der BFC nur hinzugefügte Zeilen enthält und keine gelöschten/modifizierten Zeilen, auf die man sich beziehen könnte, wodurch der Standard-SZZ nicht anwendbar ist.
Selbst innerhalb der 57 % der Fälle, in denen BICs in den Blame-Ergebnissen erscheinen, bleibt die Identifizierung des korrekten BIC unter mehreren Kandidaten aufgrund der hohen Komplexität einiger Projekte herausfordernd.

Bestehende Verbesserungen von SZZ konzentrierten sich auf Filterheuristiken, Refactoring-Erkennung oder das Ranking von Blame-Kandidaten mittels Deep Learning und LLMs, bleiben jedoch durch den Suchraum eingeschränkt, der strikt durch git blame definiert ist.

Methodik: AgenticSZZ

Die Autoren schlagen AgenticSZZ vor, den ersten Ansatz, der Temporale Wissensgraphen (TKGs) auf die Analyse der Softwareevolution anwendet. Die zentrale Erkenntnis besteht darin, die Identifizierung des BIC von einem Ranking-Problem über eine statische Liste von Blame-Kandidaten zu einem Graphsuchproblem über die temporale Commit-Historie umzudeuten.

Die Methodik läuft in zwei distincten Phasen ab:

1. Konstruktion des Temporale Wissensgraphen (TKG)

Das System konstruiert einen Graphen, der Commits als Knoten mit zeitlicher Ordnung und strukturellen Verbindungen (gemeinsame Dateien und Funktionen) kodiert. Der Suchraum wird durch zwei Durchlaufrichtungen über die direkten Blame-Ergebnisse hinaus erweitert:

Blame-Vorfahren-Durchlauf: Ausgehend von Blame-Commits wandert das System rückwärts durch die Dateihistorie, um frühere Commits zu finden, die die Fehlerlogik eingeführt haben könnten.
BFC-Vorfahren-Durchlauf: Ausgehend vom BFC wandert das System rückwärts in Richtung der Blame-Commits, um Zwischen-Commits zu identifizieren, die korrekten Code möglicherweise in fehlerhaften Code transformiert haben.
Kontext-Erweiterung: Um „blameless"-Fälle zu behandeln und die Qualität der Startpunkte zu verbessern, wendet das System eine Fallback-Strategie an, bei der Kontextzeilen (2 Zeilen vor und nach) um hinzugefügten Code herum als Blame-Quelle dienen.

Das Graphenschema umfasst:

Knoten: Commits (kennzeichnet als BFC, Blame, Blame-Vorfahre oder BFC-Vorfahre), Dateien und Funktionen.
Kanten: PRECEDES (zeitliche Ordnung), MODIFIES_FILE, MODIFIES_FUNCTION und DEFINED_IN.

2. Agentische BIC-Suche

Ein LLM-Agent navigiert den konstruierten TKG unter Verwendung von vier spezialisierten Werkzeugen, um kausale Zusammenhänge zu analysieren:

Kandidatenermittlung (list_candidates): Ruft die Top- $K$ -Kandidaten ab, die nach einem Fitness-Score sortiert sind (mit Priorisierung: Blame > Blame-Vorfahre > BFC-Vorfahre).
Struktureller Durchlauf (traverse_graph): Folgt Kanten, um Commits zu entdecken, die dieselben Code-Entitäten modifizieren.
Eigenschaftsabfrage (query_node): Untersucht Commit-Metadaten (Nachrichten, Zeitstempel, Überlappungen).
Kausalanalyse (read_node_content): Liest Code-Diffs, um zu verifizieren, ob die Änderungen eines Kandidaten kausal mit der Fehlerbehebung zusammenhängen.

Der Agent untersucht Kandidaten iterativ und kann anfängliche Rankings basierend auf semantischer Schlussfolgerung und kausaler Verifizierung überschreiben, bis eine Entscheidung getroffen ist oder ein Schrittlimit erreicht ist.

Hauptbeiträge

Vorläufige Studie (RQ0): Eine systematische Charakterisierung der BIC-Lagen relativ zu Blame-Commits, die quantifiziert, dass 28 % der Fälle einen Historie-Durchlauf erfordern und 14 % blameless sind, und damit die Notwendigkeit erweiterter Suchstrategien begründet.
AgenticSZZ-Rahmenwerk: Die erste Anwendung von TKGs auf die Analyse der Softwareevolution, die die Identifizierung des BIC als Graphsuchproblem neu fasst. Dies ermöglicht die Identifizierung von BICs außerhalb des traditionellen, durch Blame definierten Kandidatensatzes.
Umfassende Evaluation: Eine rigorose Evaluation an drei Datensätzen (Linux, Apache, GitHub), die AgenticSZZ mit sieben SZZ-Varianten und dem State-of-the-Art LLM4SZZ vergleicht.
LLM-Sensitivitätsanalyse: Eine Untersuchung, wie verschiedene Open-Weight-LLMs die Leistung beeinflussen, wobei eine Fähigkeitsgrenze für eine effektive TKG-Navigation identifiziert wird.

Ergebnisse

Die Evaluation an 2.102 validierten BFC-BIC-Paaren zeigt, dass AgenticSZZ State-of-the-Art-Leistung erreicht:

Leistung: AgenticSZZ erzielt F1-Scores im Bereich von 0,47 bis 0,79 über die Datensätze hinweg. Es übertrifft den vorherigen State-of-the-Art (LLM4SZZ) in Bezug auf den F1-Score um 16,0 % bis 34,2 %.
Statistische Signifikanz: Die Verbesserungen sind auf drei von vier Datensatz-Splits statistisch signifikant (McNemar-Test, $p < 0,001$ ). Selbst der am schlechtesten performende Lauf von AgenticSZZ übertrifft den besten Lauf von LLM4SZZ.
Ablationsstudie:
- Sowohl der TKG als auch der LLM-Agent sind wechselseitig unverzichtbar; ein TKG-only-Ansatz führt zu Rauschen ohne intelligente Filterung, während ein Agent-only-Ansatz durch den begrenzten Blame-Suchraum begrenzt ist.
- Die Kombination aus TKG-Durchlauf und Kontext-Erweiterung erschließt die Kategorie „Vorfahre" (Ancestor) und erzielt einen Netto-Gewinn von 60 True Positives über die Datensätze hinweg im Vergleich zu LLM4SZZ.
- Die Kontext-Erweiterung tauscht etwa 48 „Blame"-True Positives gegen 106 zusätzliche „Vorfahre"-True Positives ein, was auf den meisten Datensätzen zu einem Netto-Positivgewinn führt.
LLM-Sensitivität: Nur Modelle mit 37B+ aktiven Parametern (DeepSeek-V3.2 und DeepSeek-V4-Pro) übertreffen konsistent die einfache Blame-Fallback-Baseline. Kleinere Modelle führen keine ausreichende mehrstufige Verifizierung durch (Überspringen von query_node- und read_node_content-Aufrufen) und reduzieren sich effektiv auf eine weniger zuverlässige Heuristik.
Architektonische Verstärkung: Ein kontrollierter Vergleich mit DeepSeek-V4-Pro zeigt, dass die TKG-Architektur die Vorteile stärkerer LLMs verstärkt. Die Leistungslücke zwischen AgenticSZZ und LLM4SZZ weitet sich von 18,8 % (mit V3.2) auf 32,0 % (mit V4-Pro) aus, während die Gewinne von LLM4SZZ aufgrund seines durch Blame begrenzten Suchraums stagnieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AgenticSZZ eine neue Forschungsrichtung für temporales und kausales Schlussfolgern in der Analyse der Softwareevolution eröffnet. Durch die Umwandlung der BIC-Identifizierung in ein Graphsuchproblem überwindet der Ansatz die inhärenten Recall-Einschränkungen von auf git blame basierenden Methoden.

Die Autoren betonen, dass die Verbesserung durch das TKG-geführte Paradigma getrieben wird und nicht lediglich durch die Wahl eines leistungsfähigeren LLMs. Der TKG bietet einen strukturierten Schlussfolgerungsraum, der es stärkeren Modellen ermöglicht, komplexe Commit-Historien effektiv zu navigieren, wohingegen Ansätze, die auf linearen Blame-Listen beschränkt sind, unabhängig von der Fähigkeit des zugrunde liegenden LLMs eine Leistungsgrenze erreichen. Die Arbeit legt nahe, dass zukünftige Fortschritte bei der BIC-Identifizierung von der Integration strukturierter Suchräume mit agentischem Schlussfolgern abhängen werden, sofern der LLM über ausreichende Fähigkeiten zur mehrstufigen Verifizierung verfügt.