One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents
Das Papier stellt RepoNavigator vor, einen durch Reinforcement Learning trainierten LLM-Agenten, der durch die Nutzung eines einzigen ausführungsbewussten „Jump-to-Definition"-Tools eine state-of-the-art-Ortung von Issues auf Repository-Ebene erreicht und dabei größere, geschlossene Modelle ohne Rückgriff auf Distillation übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Sich in einer digitalen Bibliothek verirren
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, eine defekte Maschine in einer riesigen, mehrstöckigen Bibliothek zu reparieren. Diese Bibliothek enthält Millionen von Büchern (Code-Dateien), die alle auf komplexe Weise miteinander verbunden sind. Jemand sagt Ihnen: „Mit der Funktion 'Trennbarkeit' stimmt etwas nicht", sagt Ihnen aber nicht, welches Buch oder welche Seite Sie ansehen sollen.
In der Vergangenheit versuchten KI-Detektive (LLMs), dieses Problem zu lösen, indem sie eine riesige Werkzeugkiste mit Dutzenden verschiedener spezialisierter Werkzeuge trugen: ein Werkzeug „Suche nach Autor", ein Werkzeug „Finde nach Titel", ein Werkzeug „Prüfe das Inhaltsverzeichnis", ein Werkzeug „Lies das Inhaltsverzeichnis" und so weiter.
- Das Problem: All diese Werkzeuge zu tragen ist schwer und verwirrend. Die KI wird oft überwältigt, wählt das falsche Werkzeug aus oder verwendet sie in der falschen Reihenfolge. Es ist, als würde man versuchen, eine spezifische Nadel im Heuhaufen zu finden, während man zehn verschiedene Taschenlampen jongliert.
Die neue Lösung: Der „magische Sprung"
Die Autoren dieses Papiers, RepoNavigator, entschieden sich für einen anderen Ansatz. Sie fragten: Was wäre, wenn wir dem Detektiv nur ein übermächtiges Werkzeug gäben?
Sie schufen ein einziges Werkzeug namens „Jump" (Springen).
- Wie es funktioniert: Stellen Sie sich vor, der Detektiv liest ein Buch und sieht ein Wort, das er nicht versteht (ein „Symbol"). Anstatt zu raten, wo er suchen soll, sagt er einfach „Jump!" zu diesem Wort. Sofort wird der Detektiv zur exakten Seite teleportiert, auf der dieses Wort ursprünglich definiert wurde.
- Die Analogie: Denken Sie daran wie an ein „Strg+Klick" auf einen Hyperlink auf einer Website. Sie müssen nicht das gesamte Internet durchsuchen; Sie klicken einfach auf den Link und werden direkt zur Quelle gebracht.
Das Training: Lernen durch Tun (Bestärkendes Lernen)
Die KI bekam dieses Werkzeug nicht einfach und hoffte auf das Beste. Die Autoren trainierten sie mit einer Methode namens Bestärkendes Lernen (Reinforcement Learning, RL).
- Der alte Weg: Normalerweise lernt eine KI, indem man ihr Beispiele anderer intelligenter KIs zeigt, die Probleme lösen (wie ein Schüler, der die Hausaufgaben eines Lehrers abschreibt). Dieses Papier sagt: „Nein, machen wir das nicht."
- Der neue Weg: Sie ließen die KI das Problem selbst lösen.
- Die KI macht eine Vermutung und verwendet das „Jump"-Werkzeug.
- Wenn sie an die richtige Stelle springt, erhält sie eine „Leckerei" (eine Belohnung).
- Wenn sie an die falsche Stelle springt oder stecken bleibt, erhält sie ein „Nein" (eine Strafe).
- Über Tausende von Versuchen lernt die KI den besten Weg, herauszufinden, zu welchen Wörtern genau sie „springen" muss, um den defekten Teil des Codes zu finden.
Die Ergebnisse: Klein ist mächtig
Das Papier testete dieses System an realen Softwareprojekten (wie denen, die auf GitHub zu finden sind). Die Ergebnisse waren überraschend:
- Kleine Modelle schlagen große Modelle: Eine kleinere KI (7 Milliarden Parameter), die mit dieser Methode trainiert wurde, leistete bessere Arbeit als größere, teurere KIs (14 Milliarden Parameter), die den alten „viele Werkzeuge"-Ansatz verwendeten.
- Die Riesen schlagen: Die größte Version ihrer KI (32 Milliarden Parameter) schnitt bei den meisten Tests besser ab als selbst die fortschrittlichsten geschlossenen Modelle (wie GPT-5).
- Einfachheit gewinnt: Durch die Verwendung von nur einem Werkzeug anstelle von fünf oder sechs wurde das System schneller, zuverlässiger und leichter zu kontrollieren. Es bewies, dass man kein Schweizer Taschenmesser braucht, wenn ein einzelnes, perfekt scharfes Skalpell die Aufgabe besser erledigt.
Zusammenfassung
Das Papier argumentiert, dass beim Navigieren in komplexem Code weniger mehr ist. Anstatt einer KI eine überladene Werkzeugkiste mit vielen Suchwerkzeugen zu geben, geben Sie ihr ein „Jump"-Werkzeug, das dem tatsächlichen Ablauf folgt, wie der Code ausgeführt wird. Indem man diesen einfachen Agenten trainiert, durch Versuch und Irrtum (Bestärkendes Lernen) zu lernen, wird er unglaublich gut darin, genau zu finden, wo ein Fehler behoben werden muss, und übertrifft dabei oft viel größere und komplexere Systeme.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.