🤖 AI

Steer, Don't Solve: Training Small Critic Models for Large Code Agents

Dit artikel stelt het trainen van kleine, supervised fine-tuned critic-modellen voor om intra-traject sturing te bieden aan grote code-agenten, waarbij wordt aangetoond dat deze aanpak de prestaties op benchmarks zoals SWE-bench Verified aanzienlijk verbetert terwijl zowel de computationele kosten als de trajectlengtes worden verminderd in vergelijking met end-to-end training of post-hoc scoring.

Oorspronkelijke auteurs: Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De GPS versus de Bestuurder

Stel je voor dat je probeert van New York naar Los Angeles te rijden. Je hebt een zeer bekwame bestuurder (de Code Agent) die precies weet hoe hij het stuur moet draaien, het gaspedaal moet indrukken en van versnelling moet wisselen. Echter, deze bestuurder raakt soms in de war over het grote plaatje. Ze rijden misschien cirkeltjes, nemen een verkeerde afslag omdat ze een verkeerd bord hebben gelezen, of blijven proberen door een muur heen te rijden omdat ze denken dat het een deur is.

Normaal gesproken proberen mensen dit op te lossen door de bestuurder vanaf nul opnieuw te trainen. Maar dat is duur, kost veel tijd, en de bestuurder kan nog steeds vastlopen op dezelfde verwarrende wegen.

Dit paper stelt een andere oplossing voor: In plaats van de bestuurder opnieuw te trainen, huren we een kleine, slimme GPS-navigator in (het Critic Model).

De Bestuurder (Agent): Doet al het eigenlijke werk (code schrijven, commando's uitvoeren). Zij blijven exact hetzelfde; we veranderen hun brein niet.
De GPS (Critic): Raakt het stuur niet aan. In plaats daarvan kijkt de GPS elke paar minuten naar de bestuurder. Als de bestuurder in cirkels rijdt of richting een klif rijdt, zegt de GPS: "Hé, je bent aan het loopen! Je probeert het verkeerde bestand te repareren. Stop en denk na over je strategie."

Het paper laat zien dat het inhuren van deze kleine GPS veel goedkoper is dan een super-slimme menselijke navigator, en dat het de bestuurder helpt om de bestemming veel sneller en vaker te bereiken.

Het Probleem: Waarom alleen "Trainen" niet genoeg is

De auteurs merkten op dat wanneer je grote AI-coding agents traint om softwarebugs op te lossen, ze heel goed worden in de mechanica (code typen, tools gebruiken). Maar ze falen vaak bij de strategie (uitzoeken wat het juiste plan is).

Het is alsoals een leerling leren om essays te schrijven. Je kunt ze perfecte grammatica en spelling leren (de mechanica), maar als ze niet weten hoe ze hun gedachten moeten organiseren of bij het onderwerp moeten blijven (de strategie), zal het essay nog steeds een rommeltje zijn.

Wanneer je probeert de AI beide tegelijk te leren, loopt het tegen een "plafond" aan. Het komt vast te zitten. De auteurs ontdekten dat ongeveer 65% van de fouten niet kwam doordat de AI slechte code schreef, maar omdat het een gebrekkige redenering had.

De Oplossing: Een "Kleine Critic"

Het team heeft een systeem gebouwd waarbij een klein AI-model (de Critic) naast de grote coding agent zit.

De Opzet: De grote agent probeert een probleem op te lossen. Elke 5 of 10 stappen pauzeert hij.
De Check-in: De kleine Critic kijkt naar wat de agent tot nu toe heeft gedaan.
Het Advies: De Critic geeft een korte, hoogwaardige tip.
- Slecht advies: "Verwijder regel 42 en schrijf hier een loop." (Dit is "backseat driving" en het paper zegt dat dit slecht is omdat het kleine model niet slim genoeg is om de code beter te kennen dan het grote model).
- Goed advies: "Je herhaalt hetzelfde commando drie keer. Je zit in een loop. Probeer een andere aanpak." (Dit is "sturen").
De Resumptie: De grote agent leest het advies en gaat weer aan het werk.

Hoe ze de GPS hebben getraind

Om de kleine Critic te leren hoe hij goed advies moet geven, hebben ze niet simpelweg geraden. Ze gebruikten een "Teacher" (een enorme, zeer dure AI genaamd Claude-Opus-4.6) om eerst het advies te genereren.

De Teacher: De dure AI keek naar de agent terwijl deze werkte en schreef de perfecte, hoogwaardige adviezen op.
De Student: De kleine, goedkope AI (Qwen3-8B) bestudeerde deze aantekeningen. Het leerde de stijl van het advies te imiteren (focussen op strategie, niet op specifieke regels code) zonder dat het zo slim hoefde te zijn als de Teacher.

Cruciale Ontdekking: Het paper vond dat het type advies het belangrijkst is.

Als de Teacher specifiele code-instructies gaf, kon de kleine student dit niet goed leren.
Als de Teacher hoogwaardige strategie gaf (bijv. "Je zit vast", "Controleer je aannames"), leerde de kleine student dit perfect.

De Resultaten: Sneller, Goedkoper en Slimmer

Het team heeft dit getest op een beroemde benchmark genaamd SWE-bench, wat een test is van 500 echte softwarebugs.

Het werkt op verschillende Drivers: Ze trainden de Critic met één type coding agent (CWM-32B). Daarna gebruikten ze dezelfde Critic om twee andere coding agents (Qwen-modellen) te helpen die hij nog nooit had gezien.
- Resultaat: De nieuwe agents werden aanzienlijk beter in het oplossen van bugs door simpelweg naar de Critic te luisteren.
Het bespaart geld: De "Teacher" (Claude-Opus) is erg duur om te draaien. De "Student" (Qwen3-8B) is piepklein en goedkoop.
- Resultaat: Het systeem met de kleine Critic was 30 tot 92 keer goedkoper dan het gebruik van de dure Teacher.
Het bespaart ook echt tijd: Bij een van de grote agents zorgde de Critic er niet alleen voor dat de agent slimmer werd, maar ook dat de agent geen tijd verspilde. De agent voltooide taken sneller, wat nog meer geld bespaarde. Sterker nog, het hele systeem (Agent + Critic) was goedkoper dan de Agent die alleen werkte.

Het "Geheime Ingrediënt"

Het paper benadrukt twee hoofdredenen waarom dit werkte:

Scheiding van Belangen (Separation of Concerns): De Agent focust op het doen (coderen), en de Critic focust op het denken (strategie). Ze strijden niet om wie de leiding heeft.
Geen Backseat Driving: De Critic is strikt verboden om te zeggen: "Schrijf deze specifieke regel code." De Critic zegt alleen: "Je gaat de verkeerde kant op." Dit voorkomt dat het kleine model slechte, specifieke instructies geeft die het grote model in de war brengen.

Samenvatting

Beschouw dit paper als een blauwdruk voor het bouwen van een team in plaats van een superheld. In plaats van te proberen één gigantische, perfecte AI te maken die alles doet (wat moeilijk en duur is), bouwden ze een systeem waarbij een kleine, gespecialiseerde coach een krachtige werker begeleidt.

De coach doet het werk niet, maar door de juiste hoogwaardige duwtjes te geven, lost de werker problemen op die hij alleen niet zou kunnen oplossen, en het hele team voltooit de klus sneller en voor minder geld.

Technische Samenvatting: Steer, Don't Solve (Sturen, niet Oplossen)

Probleemstelling

Het end-to-end trainen van code-agents is zeer resource-intensief en stuit vaak op een plateau wat betreft de strategische redenering die nodig is om complexe code-problemen op te lossen. Empirisch bewijs suggereert dat hoewel agents vaardigheden op laag niveau kunnen aanleren (het uitvoeren van tool-calls, het bewerken van code), hun hoogwaardige redenering (probleemoplossing, planning, zoeken) onderontwikkeld blijft wanneer deze gezamenlijk wordt geoptimaliseerd met executie. Ongeveer 65% van de fouten van code-agents komt voort uit gebrekkige redenering in plaats van incorrecte acties. Huidige post-training methoden die strategische redenering koppelen aan implementatiegedrag, neigen snel te verzadigen, waardoor de agent niet in staat is patronen effectief te generaliseren. Bovendien zijn bestaande critic-modellen doorgaans post-hoc, waarbij ze voltooide trajecten scoren in plaats van intra-trajectuele begeleiding te bieden om een agent tijdens de uitvoering weg te leiden van falen.

Methodologie

De auteurs stellen een "Steer, Don't Solve"-paradigma voor: het bevriezen van de code-agent en het trainen van een aparte, kleine critic-model om hoogwaardige, strategische feedback te geven tijdens de uitvoering van de agent.

Kernarchitectuur

Bevroren Agent ( $\pi_A$ ): De code-agent (bijv. CWM-32B, Qwen3-varianten) blijft gedurende het hele proces bevroren. Deze is verantwoordelijk voor alle concrete acties, tool-calls en code-bewerkingen.
Critic Interventie: Elke $k$ stappen (bijv. $k=5$ of $10$) inspecteert een critic-model $C$ het gedeeltelijke traject $\tau_{1:t}$ en de geschiedenis van de agent.
Feedbackloop: De critic genereert een korte tekstuele kritiek $f_t$ die aan de context van de agent wordt toegevoegd vóór de volgende stap. De critic interacteert niet direct met de omgeving.

Critic Ontwerp & Training

Teacher Distillatie: Een frontier-model (Claude-Opus-4.6) fungeert als een teacher-critic ( $C_T$ ) om trainingsdata te genereren. Het student-critic ( $C_\theta$ ) is een kleiner model (Qwen3-8B) dat via Supervised Fine-Tuning (SFT) is getraind op deze kritieken.
Beknopte vs. Gedetailleerde Prompts: Het paper identificeert een cruciale ontwerpkeuze met betrekking tot het feedbackformaat.
- Gedetailleerde Prompt: Hiermee kan de teacher specifieke instructies op actieniveau geven (bijv. "voer dit commando uit", "bewerk dit bestand"). Hoewel effectief voor de sterke teacher, leidt dit tot "backseat driving", waarbij de agent simpelweg de oplossing van de teacher kopieert in plaats van zelf te redeneren.
- Beknopte Prompt: Dit beperkt de teacher tot alleen hoogwaardige feedback. Het verbiedt specifieke code-wijzigingen of technische benaderingen en focust in plaats daarvan op fouttaxonomie (bijv. "Stapherhaling", "Taakafwijking") en strategische heroriëntatie. De getrainde student-critic wordt gedestilleerd uit deze beknopte prompt om ervoor te zorgen dat deze leert te sturen in plaats van te dicteren.
Budgetbewustzijn: Tijdens de inferentie, zodra de agent zijn staplimiet nadert (bijv. stap 100 van 150), worden budgetbewuste instructies aan de input van de critic toegevoegd, wat de critic aanzet om prioriteit te geven aan het aanbevelen van indiening (submission) als de agent vastloopt of een oplossing heeft.
Trainingsdata: Trajecten worden verzameld door de bevroren agent te draaien met de interventie van de teacher-critic. Het trainingscorpus gebruikt een "beknopt" supervisiesignaal. Om overdraagbaarheid te garanderen, verzamelen de auteurs data van één agent (CWM-32B) en testen ze op andere, of mengen zij trajecten van doel-agents in het corpus.

Evaluatie-opzet

Benchmark: SWE-bench Verified (500 door mensen geverifieerde GitHub-issues).
Geteste Agents: CWM-32B (dense), Qwen3-32B (dense), en Qwen3-Next-80B-A3B (MoE).
Metrieken: Resolve Rate (slagen van verborgen tests), Localized Rate, Non-Empty Rate, en Kosten (USD per instantie).
Fallback Mechanisme: Als een door de critic geleide run binnen het budget niet tot indiening overgaat, wordt een base run (zonder critic) uitgevoerd om een eerlijke kostenvergelijking te garanderen.

Belangrijkste Resultaten

Prestatiewinst: De getrainde critic verbetert de resolve rate van bevroren agents aanzienlijk.
- Op CWM-32B verbeterde een critic getraind op enkel CWM-32B trajecten de resolve rate met +3,8 punten (29,2% $\to$ 33,0%).
- Op Qwen3-32B verbeterde dezelfde critic (getraind op enkel CWM-32B data) de resolve rate met +3,4 punten (9,6% $\to$ 13,0%).
- Op Qwen3-Next-80B-A3B was de winst +3,0 punten (20,8% $\to$ 23,8%).
- Het toevoegen van trajecten van de doel-agent aan het trainingscorpus verhoogde de winst verder, reikend tot +5,2 punten op Qwen3-32B en +4,4 punten op Qwen3-Next-80B-A3B.
Overdraagbaarheid: Een critic getraind op de trajecten van een enkele agent vertaalt zich effectief naar onbekende agents met verschillende architecturen (dense vs. MoE) en groottes, wat suggereert dat het geleerde sturingssignaal agent-agnostisch is.
Kostenefficiëntie:
- De getrainde 8B critic kost 30–92 $\times$ minder dan de Claude-Opus-4.6 teacher.
- Cruciaal is dat op de Qwen3-Next-80B-A3B agent, het door de critic geleide systeem goedkoper end-to-end is ($0,04 vs. $0,11) dan de ongeleide agent. Dit komt omdat de critic de trajecten van de agent verkort (wat de agent-compute vermindert), wat de kosten van de critic-calls compenseert.
Ablatiebevindingen:
- Training is essentieel: Een standaard (niet-getrainde) 8B critic bood geen prestatiewinst ten opzichte van de baseline.
- Promptformaat doet ertoe: Hoewel de teacher beter presteerde met gedetailleerde prompts, presteerde de getrainde student beter met beknopte prompts. De gedetailleerde prompt veroorzaakte "backseat driving", een gedrag dat de 8B student niet getrouw kon repliceren of generaliseren, wat leidde tot lagere prestaties bij distillatie.

Betekenis en Claims

Het paper claimt de eerste studie te zijn van het trainen van critic-modellen specifiek voor code-agents als een alternatief voor het schalen van de agent zelf via een scheiding van verantwoordelijkheden.

Praktisch Complement: De resultaten laten zien dat een kleine, goed getrainde critic een praktisch en kosteneffectief complement is bij het schalen van agent-training. Het herstelt de strategische redeneercapaciteiten die end-to-end training onontwikkeld laat.
Scheiding van Verantwoordelijkheden: Door strategie (critic) te ontkoppelen van executie (agent), leert het systeem eenvoudigere, meer generaliseerbare patronen. De critic behandelt hoogwaardige diagnose en heroriëntatie, terwijl de agent de implementatie afhandelt.
Efficiëntie: De aanpak bereikt Pareto-optimale verbeteringen en biedt hogere nauwkeurigheid tegen lagere kosten vergeleken met zowel ongeleide agents als systemen die dure frontier-modellen als critics gebruiken.

De auteurs concluderen dat het trainen van critic-modellen een levensvatbaar pad voorwaarts is om code-agents te verbeteren zonder de buitensporige kosten van het hertrainen van de agents zelf of het vertrouwen op dure, black-box teachers tijdens de inferentie.