🤖 AI

One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

Het artikel introduceert RepoNavigator, een door versterkingslering getrainde LLM-agent die state-of-the-art repository-level issue-localization bereikt door gebruik te maken van een enkele uitvoeringsbewuste "jump-to-definition"-tool, en die grotere en gesloten bronmodellen overtreft zonder afhankelijk te zijn van distillatie.

Oorspronkelijke auteurs: Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Verdwalen in een Digitale Bibliotheek

Stel je voor dat je een detective bent die probeert een kapotte machine te repareren in een enorme, meervoudige bibliotheek. Deze bibliotheek bevat miljoenen boeken (codebestanden), die allemaal op complexe manieren met elkaar verbonden zijn. Iemand zegt tegen je: "Er is iets mis met de 'scheiden'-functie", maar ze vertellen je niet welk boek of welke pagina je moet bekijken.

In het verleden probeerden AI-detectives (LLM's) dit op te lossen door een gigantische gereedschapskist mee te nemen, gevuld met tientallen verschillende gespecialiseerde hulpmiddelen: een "Zoek op Auteur"-tool, een "Vind op Titel"-tool, een "Controleer de Index"-tool, een "Lees de Inhoudsopgave"-tool, en ga zo maar door.

Het Probleem: Het dragen van al deze tools is zwaar en verwarrend. De AI raakt vaak overweldigd, kiest de verkeerde tool, of gebruikt ze in de verkeerde volgorde. Het is alsof je probeert een specifieke naald in een hooiberg te vinden terwijl je tien verschillende zaklampen tegelijkertijd in de lucht gooit.

De Nieuwe Oplossing: De "Magische Sprong"

De auteurs van dit artikel, RepoNavigator, besloten een andere aanpak te proberen. Ze vroegen zich af: Wat als we de detective slechts één superkrachtig hulpmiddel geven?

Ze creëerden een enkel hulpmiddel genaamd "Jump" (Springen).

Hoe het werkt: Stel je voor dat de detective een boek leest en een woord ziet dat hij niet begrijpt (een "symbool"). In plaats van te raden waar hij moet kijken, zegt hij gewoon "Spring!" naar dat woord. Direct wordt de detective geteleporteerd naar de exacte pagina waar dat woord oorspronkelijk is gedefinieerd.
De Analogie: Denk hierbij aan "Ctrl+Klik" op een hyperlink op een website. Je hoeft niet het hele internet te doorzoeken; je klikt gewoon op de link en je wordt direct naar de bron gebracht.

De Training: Leren door te Doen (Versterkend Leren)

De AI kreeg niet zomaar dit hulpmiddel en hoopte op het beste. De auteurs trainden het met een methode genaamd Versterkend Leren (Reinforcement Learning - RL).

De Oude Manier: Meestal leer je een AI door haar voorbeelden te laten zien van andere slimme AIs die problemen oplossen (zoals een leerling die het huiswerk van een leraar overkijkt). Dit artikel zegt: "Nee, laten we dat niet doen."
De Nieuwe Manier: Ze lieten de AI het probleem zelf oplossen.
1. De AI doet een gok en gebruikt de "Jump"-tool.
2. Als het naar de juiste plek springt, krijgt het een "traktatie" (een beloning).
3. Als het naar de verkeerde plek springt of vastloopt, krijgt het een "nee" (een straf).
4. Na duizenden pogingen leert de AI het beste pad te kiezen, en komt erachter welke woorden precies waarheen "gejumped" moeten worden om het kapotte stuk code te vinden.

De Resultaten: Klein is Krachtig

Het artikel testte dit systeem op softwareprojecten uit de echte wereld (zoals die op GitHub te vinden zijn). De resultaten waren verrassend:

Kleine modellen verslaan grote modellen: Een kleinere AI (7 miljard parameters), getraind met deze methode, deed het beter dan grotere, duurdere AIs (14 miljard parameters) die de oude "veel tools"-aanpak gebruikten.
Het verslaan van de reuzen: De grootste versie van hun AI (32 miljard parameters) presteerde op de meeste tests zelfs beter dan de meest geavanceerde gesloten bronmodellen (zoals GPT-5).
Eenvoud wint: Door slechts één tool te gebruiken in plaats van vijf of zes, werd het systeem sneller, betrouwbaarder en makkelijker te controleren. Het bewees dat je geen Zwitsers zakmes nodig hebt wanneer een enkele, perfect scherpe scalpel het werk beter doet.

Samenvatting

Het artikel stelt dat bij het navigeren door complexe code, minder meer is. In plaats van een AI een rommelige gereedschapskist met veel zoektools te geven, geef je haar één "Jump"-tool die de daadwerkelijke stroom volgt van hoe de code draait. Door deze simpele agent te trainen om door middel van trial-and-error te leren (Versterkend Leren), wordt het ongelooflijk goed in het vinden van precies waar een bug moet worden gerepareerd, en presteert het vaak beter dan veel grotere en complexere systemen.

Technische Samenvatting: Één Gereedschap Is Genoeg: Versterkingslering van LLM-agenten voor Repository-Level Code Navigatie

Probleemstelling
Het lokaliseren van specifieke bestanden en functies die aanpassing vereisen binnen grote software-repositories is een aanzienlijke uitdaging vanwege de enorme hoeveelheid code en de structurele complexiteit. Bestaande Large Language Model (LLM)-agenten benaderen dit doorgaans als een repository-level retrieval-taak, waarbij ze vertrouwen op meerdere hulpgereedschappen (bijv. SearchClass, SearchMethods, GetImports). De auteurs betogen dat deze multi-tool-pipelines lijden aan twee hoofdproblemen:

Misalignement met Uitvoeringslogica: Hoge-abstrakties zoals klassen of erfelijkheid verdwijnen vaak na compilatie, terwijl de daadwerkelijke code-uitvoering afhankelijk is van sequentiële jumps en symbolenoplossing. Bestaande gereedschappen weerspiegelen deze uitvoeringsstroom vaak niet.
Complexiteit en Foutpropagatie: Het beheer van meerdere gereedschappen bemoeilijkt de modelcontrole. Omdat de definitieruimtes van gereedschappen onbegrensd zijn, worstelen vooraf getrainde modellen om de semantiek van talrijke gereedschappen te internaliseren zonder uitgebreide post-training, wat leidt tot opmaakfouten en mislukte parameterparsing. Bovendien is end-to-end training voor volledige probleemoplossing computationeel onbetaalbaar vanwege de noodzaak van Docker-gebaseerde patch-evaluatie.

Methodologie: RepoNavigator
Het artikel stelt RepoNavigator voor, een LLM-agent ontworpen voor repository-level issue-localisatie die deze uitdagingen aanpakt via een minimalistisch ontwerp en Versterkingslering (RL).

Unificatie van Gereedschapsontwerp (Jump): In plaats van een suite van retrieval-gereedschappen, maakt RepoNavigator gebruik van één enkel, structureel onderbouwd gereedschap: Jump. Dit gereedschap, geïmplementeerd via een taalserver (bijv. Pyright voor Python), lost de precieze definitie van een aangeroepen symbool op. Het abstracte de uitvoeringsbewuste navigatie die door moderne IDE's wordt geboden, waardoor de agent door de codebase kan reizen door symbooldefinities te volgen (bijv. van een functie-aanroep naar zijn definitie, en vervolgens naar zijn afhankelijkheden).
Agentarchitectuur: De agent opereert in een reden → handelen → observeren-lus. Bij elke stap beslist het beleid of het natuurlijke taalredenering genereert of het Jump-gereedschap aanroept met een specifiek symbool en bestandspad. Het gereedschap retourneert het codefragment van de definitie, wat de observatie wordt voor de volgende redeneerstap.
Training via Versterkingslering: RepoNavigator wordt end-to-end direct getraind vanuit een basis vooraf getraind model met behulp van Group Relative Policy Optimization (GRPO).
- Geen Distillatie: In tegenstelling tot eerdere werken (zoals RepoSearcher, LocAgent) die vertrouwen op supervised fine-tuning (SFT) met trajecten gedistilleerd van gesloten-bronmodellen (zoals Claude of GPT), vereist deze methode geen "leraar"-model.
- Hybride Beloningsfunctie: De beloning $R$ $R$ combineert twee componenten:
  1. Outcome-beloning: Gemeten door de Dice-coëfficiënt tussen de voorspelde set code-locaties en de ground truth.
  2. Gereedschapsbeloning: Gebaseerd op het succespercentage van gereedschapsaanroepen (opmaakcorrectheid en bestaan van symbolen).
- Doel: De agent leert lange-horizon trajecten te optimaliseren om de juiste bestanden en functies te identificeren, terwijl het tegelijkertijd het gebruik van het enkele gereedschap onder de knie krijgt.

Belangrijkste Bijdragen

Eerste RL-getrainde Localisatie-agent vanuit Vooraf Getrainde Modellen: De auteurs presenteren de eerste repository-level localisatie-agent die direct vanuit een vooraf getraind open-source model wordt getraind met RL, waardoor de afhankelijkheid van gesloten-bron distillatie wordt geëlimineerd.
Uitvoeringsbewust Single-Tool Paradigma: Het ontwerp introduceert een unificatie Jump-gereedschap dat overeenkomt met de daadwerkelijke code-uitvoeringsemantiek (symbooloplossing), in contrast met de gefragmenteerde, hoge-abstrakties van eerdere multi-tool-agenten.
Efficiëntie en Schaalbaarheid: Het artikel toont aan dat één krachtig gereedschap de efficiëntie en controleerbaarheid aanzienlijk verbetert in vergelijking met complexe multi-tool-pipelines, waardoor state-of-the-art prestaties worden bereikt met verminderde computationele overhead.

Experimentele Resultaten
Experimenten werden uitgevoerd op SWE-bench Verified en SWE-bench Pro (Python-subset), met Qwen2.5-modellen (7B, 14B, 32B) als baselines.

Prestaties: RepoNavigator bereikt state-of-the-art (SOTA) prestaties op zowel functieniveau- als bestandsniveau-localisatiemetrics (Sample-F1 en IoU).
- Het 7B-model presteert beter dan 14B-baselines.
- Het 14B-model overtreft 32B-concurrenten.
- Het 32B-model overtreft gesloten-bronmodellen (bijv. GPT-5, Claude 3.7 Sonnet) op de meeste metrics.
Trainingsefficiëntie: De RL-getrainde agent presteert beter dan training-vrije baselines en zelfs op distillatie gebaseerde methoden (zoals RepoSearcher), ondanks het niet gebruiken van een sterker leraar-model voor warm-up.
Doorlopende Impact: Wanneer RepoNavigator wordt gebruikt om issues te lokaliseren voor downstream patch-generatie (ter vervanging van de localisatiemodule in Agentless), verbetert het het uiteindelijke probleemoplossingspercentage.
Ablatiestudies:
- Beloningsmechanisme: De hybride beloning (outcome + gereedschapssucces) is cruciaal; het verwijderen van het gereedschapssuccespercentage verslechtert de prestaties.
- SFT versus RL: Directe RL-training vanuit het vooraf getrainde model levert betere resultaten op dan een pipeline die SFT gevolgd door RL omvat, wat de noodzaak van een "koude start" via SFT uitdaagt.
- Aantal Gereedschappen: Het toevoegen van meer gereedschappen (bijv. GetClass, GetFunc) aan het Jump-gereedschap verslechtert de prestaties juist, wat bevestigt dat minder, maar capabelere gereedschappen preferabel zijn.

Betekenis en Claims
Het artikel claimt dat het integreren van één enkel, structureel onderbouwd gereedschap met RL-training een efficiënte en schaalbare oplossing biedt voor repository-level issue-localisatie. Door de daadwerkelijke stroom van code-uitvoering te weerspiegelen en het manipuleren van gereedschappen te vereenvoudigen, vermindert RepoNavigator de broosheid van gereedschapskettingen en de complexiteit van de actieruimte. De resultaten suggereren dat voor lange-horizon redeneertaken in software-engineering de diepte van uitvoeringsbewuste exploratie (via één robuust gereedschap) kritischer is dan de breedte van gereedschapsdiversiteit. Deze benadering democratiseert de toegang tot hoogpresterende agenten door de afhankelijkheid van gesloten-bron leraar-modellen voor distillatie te verwijderen.