🤖 machine learning

Probe-and-Refine Tuning of Repository Guidance for Coding Agents

Dit artikel introduceert "probe-and-refine tuning", een methode die repository-begeleidingsbestanden (AGENTS.md) iteratief optimaliseert met behulp van synthetische bugfix-probes om de prestaties van programmeeragenten op SWE-bench Verified significant te verbeteren door de dekking van evalueerbare patches uit te breiden in plaats van de precisie per patch te vergroten.

Oorspronkelijke auteurs: Asa Shepard, Jeannie Albrecht

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Asa Shepard, Jeannie Albrecht

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren leerling inhuurt om een enorme, eeuwenoude bibliotheek (de code-repository) te repareren. De leerling is slim genoeg om boeken te lezen en kapotte pagina's te herstellen, maar kent de geheime regels van de bibliotheek niet: welke plank de zeldzame kaarten bevat, hoe je de bibliothecaris om hulp vraagt zonder de slapende katten wakker te maken, of welke ladders veilig zijn om te beklimmen.

Zonder deze "lokale kennis" dwaalt de leerling doelloos rond, beklimt de verkeerde ladder of probeert een boek in het verkeerde gedeelte te repareren, waarbij hij vaak dingen beschadigt in het proces.

Dit artikel introduceert een methode genaamd "Probe-and-Refine Tuning" om dit probleem op te lossen. Zo werkt het, met behulp van eenvoudige analogieën:

Het Probleem: De "One-Size-Fits-All" Handleiding

Ingenieurs schrijven vaak een "spiekbriefje" (zoals een AGENTS.md bestand) voor hun AI-coding agents.

De Oude Manier (Statische Kennis): Ze vragen een slimme AI om een generieke handleiding te schrijven: "Controleer altijd de index voordat je iets repareert," of "Zoek naar het belangrijkste instappunt." Dit is also kind de leerling een kaart geeft van elke bibliotheek ter wereld. Het is nuttig, maar het vertelt hem niet waar de specifieke geheime voorraad van deze bibliotheek verborgen is.
Het Resultaat: De leerling doet het wel oké, maar hij raakt nog steeds vaak de weg kwijt.

De Oplossing: De "Trial-and-Error" Coach

De auteurs hebben een nieuw proces ontwikkeld genaamd Probe-and-Refine. In plaats van alleen één keer een handleiding te schrijven, behandelen ze de handleiding als een levend document dat wordt getraind door fouten te maken.

Denk aan een coach die een nieuwe speler traint:

De Probes (De Oefeningen): De coach genereert 10 nep, verzonnen problemen (probes) die specifiek zijn voor deze bibliotheek.
De Poging: De leerling probeert deze nep-problemen op te lossen met de huidige handleiding.
De Diagnose: De coach observeert de poging. "O, je probeerde de loodgieterswerkzaamheden in de keuken te repareren, maar de leidingen zitten eigenlijk in de kelder. En je bent vergeten eerst de blauwdrukken te controleren."
De Verfijning: De coach werkt de handleiding onmiddellijk bij met een specifieke regel: "Voor deze bibliotheek zit de loodgieter in de kelder, en controleer altijd eerst de blauwdrukken."
Herhalen: Dit doen ze 3 tot 5 keer. De handleiding evolueert van een generieke gids naar een hyper-specifieke, "insider" gids.

Cruciaal is dat dit hele trainingsproces plaatsvindt zonder dat de agent daadwerkelijk echte bugs oplost. Het is een simulatie-loop waarbij de AI de handleiding schrijft, deze test op nep-problemen, en de handleiding aanpast op basis van de resultaten.

Wat Ze Vonden

De onderzoekers testten dit op een beroemde coding benchmark (SWE-bench) met vier verschillende runs. Dit is wat er gebeurde:

Geen Gids: De leerling loste 25,5% van de problemen op.
Generieke Gids: De leerling loste 28,3% van de problemen op.
Probe-and-Refine Gids: De leerling loste 33,0% van de problemen op.

Het Grote Geheim: Het Gaat Om De Juiste Deur Vinden, Niet Om Beter Repareren
Je zou denken dat de verbeterde handleiding de leerling slimmer maakte of beter in het repareren van dingen. Dat was niet het geval.

Wanneer de leerling wel iets repareerde, was de kwaliteit van de reparatie exact hetzelfde (ongeveer 59% succespercentage), ongeacht welke handleiding ze gebruikten.
De echte magie was "Coverage" (Dekking). De verbeterde handleiding hielp de leerling om veel vaker het juiste bestand te vinden om te repareren.
- Analogie: De generieke handleiding zorgde ervoor dat de leerling bij 100 deuren aanklopte, maar slechts 40 daarvan waren de juiste. De verfijnde handleiding zorgde ervoor dat de leerling bij 100 deuren aanklopte, en 56 daarvan waren de juiste. Zodra hij de juiste deur vond, was zijn vermogen om het slot te repareren hetzelfde.

De "Step Budget" Valstrik

De onderzoekers ontdekten ook dat de gids alleen werkt als je de leerling genoeg tijd geeft.

Als je de leerling slechts 25 stappen geeft om een probleem op te lossen, helpt de chique handleiding niet. Ze hebben geen tijd om de complexe instructies te volgen.
Als je ze 200 stappen geeft, blinkt de chique handleiding uit. Het vertelt hen een workflow (Reproduce -> Trace -> Fix) die tijd kost, maar wel werkt. Zonder de handleiding haasten ze zich en falen ze.
Analogie: Als je iemand vertelt: "Neem een panoramische route om de file te vermijden," maar je geeft ze slechts 5 minuten om op het werk te komen, zullen ze gewoon verdwalen. Je moet ze genoeg tijd geven om die panoramische route daadwerkelijk te kunnen afleggen.

De "Model Mismatch" Waarschuwing

De meest verrassende bevinding was dat deze gids niet universeel is.

Ze probeerden de gids die getraind was op één AI-model (Qwen) te gebruiken met een ander, iets zwakker AI-model (Nemotron).
Resultaat: Het tweede model stortte in. Het raakte zo in de war door de specifieke instructies dat het volledig stopte met werken.
Analogie: Het is alsof je een gedetailleerde, snelle racehandleiding geeft aan een bestuurder in een langzame, oude sedan. De instructies zijn te complex voor de auto, en de bestuurder bevriest volledig. De gids moet specifelijk worden "afgestemd" op het brein (model) dat het zal lezen.

Samenvatting

Dit artikel bewijst dat hoe je de instructies schrijft belangrijker is dan alleen het hebben van instructies.
Door een simpele loop te gebruiken van "maak een nep-probleem, probeer het op te lossen, en verbeter de instructies op basis van de mislukking," kun je een generieke gids veranderen in een gespecialiseerde expert-handleiding. Dit maakt de AI niet slimmer in het repareren van code; het zorgt er alleen voor dat hij niet op de verkeerde plek zoekt, waardoor hij zijn volledige potentieel kan gebruiken om meer problemen op te lossen.

Technische Samenvatting: Probe-and-Refine Tuning van Repository-begeleiding voor Coding Agents

Probleemstelling

LLM-gebaseerde coding agents falen vaak bij het oplossen van software engineering-taken, niet vanwege een gebrek aan redeneervermogen, maar omdat ze een gebrek hebben aan hoogwaardige operationele kennis over een specifieke code-repository. Deze impliciete kennis—zoals subsystemgrenzen, workflows voor het uitvoeren van tests en historische debug-patronen—is zelden gedocumenteerd in de code zelf. Terwijl ingenieurs contextbestanden (bijv. AGENTS.md) onderhouden om deze informatie te leveren, presenteert recente literatuur tegenstrijdig bewijs over de effectiviteit ervan: sommige studies suggereren dat ze de efficiëntie verbeteren, terwijl andere aangeven dat ze de oplossingspercentages kunnen verlagen als de begeleiding generiek of contraproductief is. Het kernprobleem is dat het onduidelijk blijft of de fout ligt aan het concept van begeleiding zelf of aan de manier waarop die begeleiding wordt geproduceerd. Huidige methoden vertrouwen vaak op single-pass LLM-generatie, wat resulteert in generieke adviezen in plaats van de specifieke, door falen geïnformeerde operationele strategieën die nodig zijn voor agents.

Methodologie

Het artikel introduceert Probe-and-Refine Tuning, een lichtgewicht procedure die is ontworpen om de begeleidingsfile van een repository iteratief te diagnosticeren en te patchen met behulp van synthetische bug-fix probes. De procedure onderscheidt zich van standaard agent-loops doordat deze volledig rust op single-shot LLM-calls zonder toolgebruik of reinforcement learning tijdens de tuning-fase.

De Tuning Loop

Het proces transformeert een statische, generieke kennisbank naar gespecialiseerde operationele begeleiding via 3–5 iteraties:

Genereer Probes: Het systeem genereert een batch van 10 synthetische bug-fix taken uit de codebase van de repository, gericht op diverse subsystemen.
Poging tot Fix: Voor elke probe probeert een single-shot LLM-call een patch te genereren met behulp van het huidige guidance-artefact.
Beoordeel Poging: Een aparte single-shot call beoordeelt de poging tot oplossing tegen verwachte gedragingen (bijv. sterke, gedeeltelijke of ontbrekende fixes) en stelt specifieke wijzigingen voor aan de begeleiding waar tekortkomingen zijn geïdentificeerd.
Aggregeer en Pas Toe: Een laatste call aggregeert de diagnostiek van alle probes en stelt een geconsolideerde set wijzigingen voor. Deze wijzigingen worden mechanisch toegepast (het invoegen, wijzigen of versterken van secties) op het begeleidingsbestand, met een limiet van 3.000 tekens.

De loop eindigt voortijdigig als de begeleiding stabiliseert (geen wijzigingen tussen opeenvolgende iteraties). Het resulterende artefact wordt vervolgens gebruikt om een standaard ReAct-stijl coding agent te begeleiden tijdens de evaluatiefase op SWE-bench Verified.

Experimentele Opzet

De auteurs evalueerden drie condities op 500 SWE-bench Verified instanties over vier onafhankelijke trials met behulp van het Qwen3.5-35B-A3B model:

Geen Context: De agent opereert zonder repository-specifieke begeleiding.
Statische KB: De agent gebruikt een twee-laagse kennisbank die structurele data bevat (geparsed via tree-sitter) en generieke, repository-agnostische best practices.
Probe-and-Refine: De agent gebruikt begeleiding die is geproduceerd door de beschreven iteratieve tuning-procedure.

In een secundair experiment werd het model vervangen door NVIDIA-Nemotron-3-Nano-30B-A3B om cross-model generalisatie te testen, en werd een step-budget sweep (25, 50, 100, 200 stappen) uitgevoerd om de interactie tussen begeleiding en agent-budget te analyseren.

Belangrijkste Resultaten

Prestatiewinst

Over vier trials bereikte Probe-and-Refine een gemiddeld oplossingspercentage van 33,0%, wat significant beter is dan de Static KB (28,3%) en de No Context baseline (25,5%). De verbetering was statistisch significant ( $p < 0,001$ ) voor beide contrasten. De procedure leverde ook 31 consistent unieke oplossingen op (opgelost in $\ge$ 3 van de 4 trials) die geen van de andere condities kon oplossen.

Mechanisme: Dekking vs. Precisie

Het artikel deelt de prestatiewinst op om te bepalen hoe de begeleiding helpt:

Dekking: De primaire drijfveer van de verbetering is de evaluatie-dekking. De Probe-and-Refine begeleiding stelde de agent in staat om welgevormde, evalueerbare patches te produceren voor 56,2% van de instanties, vergeleken met 41,7% voor de ongeleide baseline (een gat van 14,5 procentpunt).
Precisie: De correctheid van de patches, gegeven dat ze evalueerbaar zijn, bleef statistisch constant over alle condities ( $\sim$ 59%, $p = 0,119$ ).
Conclusie: De begeleiding verbetert niet de kwaliteit van de code-wijzigingen die de agent maakt; het helpt de agent eerder het juiste bestand te bereiken en een patch te produceren die de evaluatie-harness kan accepteren. De begeleiding vermindert effectief de frequentie van slecht gevormde patches of patches die de testsuite laten crashen voordat asserties gecontroleerd kunnen worden.

Step Budget en Workflow

De studie vond dat begeleiding fungeert als een moderator voor de nuttigheid van het step budget.

Ongeleide agents verzadigen snel; het verhogen van het step budget van 25 naar 200 stappen verbeterde hun oplossingspercentage niet, omdat ze geen gestructureerd plan hebben om extra stappen om te zetten in betere patches.
Probe-and-Refine agents gebruiken grotere budgetten productief. De voorgeschreven "reproduce-trace-patch" workflow vereist meer stappen om te voltooien. Bijgevolg vertoonde de probe-and-refine conditie significante winsten bij hogere budgetten (100 en 200 stappen) waar eenvoudigere begeleiding (Static KB) een plateau bereikte.

Cross-Model Generalisatie

Bij toepassing op het Nemotron model benadrukten de resultaten een kritieke model-fit afhankelijkheid:

Tuning Falen: De tuning loop degradeerde op Nemotron omdat het model niet in staat was tot voldoende diagnostische output voor de "Judge" stap, waardoor de loop vastliep.
Negatieve Transfer: Begeleiding die getuned is op Qwen, wanneer toegepast op Nemotron, zorgde actief voor een instorting van de agent-prestaties (13,2% oplossingspercentage versus 27,0% voor de eigen baseline van Nemotron). De gedetailleerde, voorschrijvende begeleiding zorgde ervoor dat Nemotron overging tot "compliance by analysis" (proza schrijven over wat het zou doen) in plaats van commando's uit te voeren, wat een cascade van fallback-fouten triggerde.
Precisie Constantie: Zelfs in de cross-model instorting bleef de precisie van de weinige patches die wel werden geproduceerd constant, wat bevestigt dat de fout volledig in de dekking lag (de agent faalde om een patch te produceren), en niet in de kwaliteit van de patch zelf.

Betekenis en Claims

Het artikel claimt dat instructiekwaliteit een eerst-orde variabele is in de betrouwbaarheid van coding agents, vergelijkbaar in omvang met modelcapaciteit of de keuze van het step budget.

Operationele Kennis is Leerbaar: De auteurs demonstreren dat operationele kennis (welke bestanden welke subsystemen huisvesten, hoe tests te draaien) gedestilleerd kan worden uit synthetische fouten in een compact tekstueel artefact zonder complexe agent-loops of toolgebruik.
De Bottleneck is Begeleiding, Niet Redeneren: De resultaten suggereren dat voor veel "moeilijke" instanties, de fout van de agent niet een gebrek aan redeneervermogen is, maar een falen om het probleem te lokaliseren in het juiste bestand. De begeleiding fungeert als een lokalisatiehulpmiddel, waardoor de agent de repositorystructuur effectief kan navigeren.
Model-Specifieke Kalibratie: Begeleiding is geen overdraagbare repository-kennis; het is model-specifieke gedragsmatige kalibratie. Begeleiding die getuned is op de foutmodi van Qwen, kan de prestaties van een ander model met een ander gedragsprofiel actief schaden.
Verzoening van Eerdere Discrepanties: Het artikel verzoent de tegenstrijdige literatuur over AGENTS.md bestanden door aan te tonen dat de effectiviteit van begeleiding afhangt van hoe het wordt geproduceerd (iteratieve verfijning versus single-pass generatie) en het beschikbare step budget. Statische, generieke begeleiding kan neutraal of schadelijk zijn, terwijl iteratief verfijnde, workflow-specifieke begeleiding voordelig is, mits het budget toelaat de workflow te voltooien.

De auteurs concluderen dat voor beoefenaars het investeren in iteratief verfijnde begeleiding waardevol is voor repositories met een hoog volume aan issues, mits de begeleiding is getuned op het specifieke model dat het zal consumeren en het step budget voldoende is om de voorgeschreven workflow te accommoderen.