Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
Dieses Paper stellt den Agent Retrieval Bench vor, einen umfassenden Benchmark auf Dateiebene zur Evaluierung der Kontext-Retrieval-Fähigkeiten von Coding-Agenten unter Verwendung realer Workflow-Signale, welcher aufzeigt, dass keine einzelne Retrieval-Methode über verschiedene Aufgaben hinweg dominiert, und signifikante Lücken in der Fähigkeit aktueller Agenten hervorhebt, die notwendigen Repository-Dateien zu identifizieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer riesigen, chaotischen Bibliothek zu lösen. Sie haben einen Hinweis – eine zerrissene Seite, ein Flüstern oder ein seltsames Geräusch – aber um den Fall zu lösen, müssen Sie zuerst das richtige Buch im Regal finden. In der Welt der Informatik ist diese „Bibliothek“ der Code eines Softwareprojekts und die „Detektive“ sind KI-Agenten, die darauf ausgelegt sind, Code zu schreiben und zu reparieren. Lange Zeit haben wir diese KI-Detektive hauptsächlich danach beurteilt, ob sie schließlich die perfekte Lösung geschrieben haben. Aber dieses Paper argumentiert, dass eine KI, bevor sie überhaupt darüber nachdenken kann, eine Lösung zu schreiben, erfolgreich ein Spielchen wie „Wo ist Waldo?“ innerhalb des Codes spielen muss. Wenn sie das falsche Buch greift, wird sie das Rätsel niemals lösen, egal wie klug ihre Argumentation auch sein mag. Diese neue Studie namens Agent Retrieval Bench ist ein riesiger Test, der speziell darauf ausgeint ist zu sehen, wie gut diese KI-Detektive darin sind, die richtigen Dateien in einem Repository zu finden, bevor sie anfangen zu tippen.
Die Forscher haben einen strengen Testplatz aufgebaut, der aus 427 realen Kodierungsszenarien aus 25 verschiedenen Softwareprojekten besteht. Sie haben fünf verschiedene Arten von „Hinweisen“ erstellt, um zu sehen, wie die KI reagiert. Manchmal ist der Hinweis eine Beschreibung einer neuen Funktion (die KI wird gebeten, die zugehörigen Tests zu finden); manchmal ist es ein Kommentar eines Reviewers zu einer bestimmten Datei (die KI wird gebteten, andere Dateien zu finden, die nötig sind, um den Kommentar zu verstehen); manchmal ist es ein Absturzbericht (die KI wird gebeten, den Code der Ursache zu finden); und manchmal ist es eine kleine Änderung (die KI wird gebeten, alle anderen Dateien zu finden, die dadurch kaputtgehen könnten). Es gab sogar eine knifflige Gruppe von Hinweisen, bei denen die Antwort gar nicht in der Bibliothek vorhanden war, um zu testen, ob die KI wusste, wann sie sagen muss: „Das kann ich hier nicht finden.“
Die Ergebnisse waren ein Schock für die Vorstellung, dass „größer immer besser ist“ oder dass ein einzelnes Suchwerkzeug jedes Mal gewinnt. Die Studie fand heraus, dass keine einzelne Methode der unangefochtene Champion ist. Es ist, als versuche man, die Nadel im Heuhaufen zu finden: Manchmal funktioniert ein Magnet (semantische Suche, die nach Bedeutung sucht) am besten; ein anderes Mal ist eine Karte des Bibliothekslayouts (strukturelle Suche, die betrachtet, wie Dateien miteinander verbunden sind) der einzige Weg, um die Nadel zu finden. Tatsächlich änderte sich das „beste“ Werkzeug je nach Art des spezifischen Hinweises und dem verfügbaren „Lesekapazität“ (Kontextbudget) der KI.
Eine der interessantesten Entdeckungen war, dass KI-Detektive selbst dann, wenn man ihnen erlaubt, interaktiv nach mehr Hilfe zu suchen und sich umzusehen, immer noch in etwa 27 % bis 35 % der Fälle die korrekten Dateien übersehen. Es stellt sich heraus, dass eine KI zwar suchen kann, aber nicht unbedingt weiß, wo sie suchen soll. Die Arbeit zeigte auch, dass, wenn man der KI einen „Hinweis“ gibt (eine vorselektierte Liste von Dateien) basierend auf einer intelligenten Suche, sie Probleme schneller und mit weniger verschwendeter Anstrengung löst, als wenn man ihr einfach wahllos Dateien hinwirft. Die Studie widerlegte jedoch auch eine hoffnungsvolle Idee: Einfache Konfidenzwerte reichen nicht aus, um der KI zu sagen, wann sie mit der Suche aufhören und zugeben soll: „Das ist nicht in dieser Bibliothek.“
Letztendlich legt das Paper nahe, dass der Bau einer wirklich hilfreichen Coding-KI nicht darin besteht, eine einzige magische Suchmaschine zu finden. Stattdessen geht es darum, verschiedene Strategien zu mischen – wie etwa die Verwendung eines semantischen Plans und eines strukturellen Plans zusammen –, um sicherzustellen, dass die KI den richtigen Kontext findet, bevor sie versucht, den Code zu reparieren. Die Autoren merken vorsichtig an, dass dies der KI zwar hilft, die richtigen Dateien zu finden, aber nicht garantiert, dass sie die perfekte Lösung schreibt, aber ohne das Finden der richtigen Dateien ist eine Lösung unmöglich.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.