Agentic Repository Mining: A Multi-Task Evaluation
Dieser Artikel zeigt, dass LLM-Agenten, die Software-Repositories dynamisch über Bash-Befehle erkunden können, eine vergleichbare Klassifizierungsgenauigkeit im Vergleich zu vordefinierten Kontextansätzen erreichen und gleichzeitig eine überlegene Robustheit gegenüber Kontextfensterbeschränkungen bieten sowie unabhängig von der Artefaktgröße skalieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, was ein bestimmtes Code-Segment in einem riesigen Softwareprojekt tatsächlich bewirkt. Korrigiert es einen Fehler? Ist es nur ein Tippfehler? Stellt es ein Sicherheitsrisiko dar?
In der Vergangenheit mussten Menschen diese Detektivarbeit leisten. Sie lasen den Code, betrachteten verwandte Dateien, prüften die Historie und trafen eine Einschätzung. Dies ist langsam, teuer und manchmal werden Menschen müde und machen Fehler.
Kürzlich haben wir versucht, KI (Large Language Models oder LLMs) dafür einzusetzen. Doch es gibt einen Haken: Kontext ist König.
Die zwei Detektive: Der „Aktentaschen"-Detektiv vs. der „Entdecker"-Detektiv
Die Studie vergleicht zwei Methoden, wie KI zur Lösung dieser Rätsel eingesetzt wird:
1. Der „Aktentaschen"-Detektiv (einfaches LLM)
Stellen Sie sich einen Detektiv vor, dem eine einzelne, vorgepackte Aktentasche übergeben wird. Darin befinden sich eine spezifische Datei, ein spezifischer Kommentar und vielleicht eine Zusammenfassung des Projekts. Der Detektiv erhält den Auftrag: „Lesen Sie nur, was in dieser Aktentasche ist, und sagen Sie mir, was los ist."
- Das Problem: Wenn die Tasche zu schwer ist (zu viel Text), überläuft das Gehirn des Detektivs, und er kann keine Antwort geben. Fehlt in der Aktentasche ein entscheidender Hinweis (wie eine Datei aus drei Ordnern höher), muss der Detektiv raten, was oft zu falschen Ergebnissen führt.
- Das Ergebnis der Studie: Diese Detektive sind günstig und schnell, haben aber Schwierigkeiten, wenn die „Aktentasche" zu groß wird oder wenn sie außerhalb des vorgegebenen Rahmens suchen müssen.
2. Der „Entdecker"-Detektiv (agentic LLM)
Stellen Sie sich nun einen Detektiv vor, der mit einem Satz Standardwerkzeugen (wie einer Taschenlampe, einer Lupe und einer Karte) direkt in die eigentliche Softwarefabrik gesetzt wird. Ihm wird ein Ausgangspunkt gegeben (z. B. „Schauen Sie sich diese spezifische Codezeile an").
- Wie sie arbeiten: Sie warten nicht auf eine Aktentasche. Sie laufen herum. Sie öffnen die Tür zum nächsten Raum (
ls), lesen die spezifische Seite, die sie benötigen (cat), suchen nach einem Schlüsselwort (grep) und prüfen die Historie-Logs (git log). Sie lesen nur das, was sie benötigen, um das spezifische Rätsel zu lösen. - Das Ergebnis der Studie: Diese Detektive sind etwas teurer (sie benötigen mehr Zeit und „Tokens" zum Nachdenken) und bewegen sich langsamer, da sie herumlaufen müssen. Allerdings werden sie von einer riesigen Fabrik nie überwältigt, da sie nur die Hinweise aufheben, die sie benötigen. Sie sind viel robuster.
Das große Experiment
Die Forscher testeten diese beiden Detektive an vier verschiedenen Arten von „Rätseln", die in Software vorkommen:
- Verstrickte Commits: Korrigiert diese Codezeile tatsächlich einen Fehler oder dient sie nur der Bereinigung von Leerzeichen?
- Sicherheitsüberprüfungen: Geht es in diesem Kommentar in einem Code-Review um ein Sicherheitsleck?
- Wartung: Behebt dieses Update einen Fehler, passt es sich einem neuen System an oder macht es die Dinge nur hübscher?
- Projekttyp: Handelt es sich bei diesem GitHub-Repository um ein echtes Softwareprojekt oder nur um eine Hausaufgabe eines Studenten?
Sie führten fast 5.000 Tests durch.
Die Ergebnisse: Wer hat gewonnen?
Genauigkeit: Es war ein Unentschieden.
Überraschenderweise war der „Entdecker" (Agent) genauso genau wie der „Aktentaschen"-Detektiv (einfaches LLM), obwohl der Entdecker die Hinweise selbst finden musste, während der Aktentaschen-Detektiv die Hinweise überreicht bekam. Das ist eine große Sache, denn es bedeutet, dass die KI herausfinden kann, wonach sie suchen muss, ohne dass ein Mensch die Dateien im Voraus auswählen muss.
Robustheit (der eigentliche Gewinner):
Die „Aktentaschen"-Detektive scheiterten ständig, wenn die Dateien zu groß waren. Ihre „Aktentaschen" wurden zu schwer, und sie stürzten ab (dies wird als „Context Overflow" bezeichnet).
Die „Entdecker"-Detektive stürzten niemals ab. Sie liefen einfach weiter und lasen nur die kleinen Teile, die sie benötigten, egal wie riesig das Softwareprojekt war.
Kosten:
Die Entdecker waren teurer (etwa das 1,2- bis 3-fache der Kosten), aber nur, weil sie mehr Schritte benötigten. Wenn das Projekt jedoch riesig ist, werden die Entdecker tatsächlich günstiger, da die Aktentaschen-Detektive abstürzen und neu gestartet werden müssen oder komplett versagen.
Die „Ground Truth"-Überraschung
Die Forscher untersuchten auch Fälle, in denen sich beide Detektive mit den menschlichen Experten (der „Ground Truth") nicht einig waren.
Sie stellten fest, dass die menschlichen Experten oft falsch lagen oder die Regeln verwirrend waren.
- Beispiel: Manchmal klassifizierte ein Mensch eine Änderung als „unklar", weil ihm nicht genügend Kontext zur Verfügung stand. Der „Entdecker"-KI, die die gesamte Fabrik durchlaufen hatte, fand das fehlende Beweisstück und gab eine klare Antwort.
- Die Lehre: Die „richtige" Antwort könnte tatsächlich die sein, die die KI gefunden hat, und nicht die, die der Mensch ursprünglich aufgeschrieben hat. Die Fähigkeit der KI, das Gesamtbild zu sehen, enthüllte, dass die ursprünglichen Labels manchmal auf begrenzten Informationen basierten.
Zusammenfassung in einem Satz
Die Verwendung von KI-Agenten, die selbst eine Code-Repository durchsuchen und darin „herumlaufen" können, ist genauso intelligent wie die Bereitstellung einer vorgepackten Zusammenfassung für die KI, aber sie ist viel zuverlässiger, wenn der Code riesig ist, und sie zeigt oft auf, dass die ursprünglichen menschlichen Labels wichtige Kontextinformationen vermisst haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.