Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Stel je een wereld voor waarin computers code kunnen schrijven om defecte software te repareren, maar dat het extreem duur is om hen in te huren. Denk aan deze "AI-programmeurs" als een team van elite-detectives: sommigen zijn supersterren die bijna elk mysterie kunnen oplossen, maar ze rekenen een fortuin per uur. Anderen zijn slimme, capabele detectives die een fractie van de prijs kosten, maar misschien subtiele aanwijzingen missen. Lange tijd was de grote vraag in dit veld: "Hoe weten we welke detective we voor een specifieke zaak moeten inhuren?" De meeste mensen probeerden te gokken door alleen de beschrijving van het probleem (de "issue text") te lezen, in de hoop te voorspellen of de goedkope detective voldoende zou zijn of dat ze de dure superster moesten oproepen.

Maar hier is de crux: het lezen van de probleembeschrijving is alsof je probeert een misdaad op te lossen door alleen naar het politierapport te kijken zonder ooit de plaats delict te hebben bezocht. Het papier dat je nu gaat lezen, onderzoekt een slimmer idee: wat als we eerst een kleine, goedkope verkenner naar de plaats delict sturen? Deze verkenner probeert niet het hele mysterie op te lossen; hij kijkt alleen rond, vindt de kapotte onderdelen en schrijft een snel, geverifieerd rapport. Vervolgens gebruikt een manager dat rapport om te beslissen welke detective hij inhuurt. Deze aanpak, genaamd "scrouting", suggereert dat het kennen van de context van het probleem veel waardevoller is dan alleen te gokken op basis van de titel van het probleem.

---

Het verhaal van SuperScout: De detective die eerst verkent

Maak kennis met SuperScout, een nieuw systeem ontworpen om softwarebugs te repareren zonder de bank te breken. Het team achter dit systeem realiseerde zich dat de oude manier van AI-programmeurs inhuren inefficiënt was. Meestal kijkt een router (een besluitvormer) naar een bugrapport en kiest direct een model. Maar de auteurs ontdekten iets verrassends: als je naar de resultaten van eerdere software-reparaties kijkt, lossen de "superster"-modellen bijna alles op wat de goedkopere modellen ook kunnen, plus nog een paar extra zaken. Dit betekent dat proberen te routeren voor nauwkeurigheid (het kiezen van het perfecte model om de meeste fixes te krijgen) een doodlopende weg is; je kunt de beste modellen eigenlijk niet verslaan door simpelweg altijd de duurste te huren.

Dus draaide het team het scenario om. In plaats van te proberen perfect te zijn, besloten ze kostenbewust te zijn. Hun doel was niet om meer problemen op te lossen dan het beste model, maar om hetzelfde aantal problemen op te lossen voor een fractie van de prijs.

Het drieledige stuk: Verken, Verifieer en Verstuur

Het SuperScout-systeem werkt als een driestaps assemblageband:

1. De Verkenner (SuperScout-7B): Eerst wordt een klein AI-model met 7 miljard parameters (denk aan een junior stagiair) de software-repository in gestuurd. Zijn taak is niet om de bug te repareren, maar om de code te verkennen, de specifieke bestanden betrokken bij de bug te vinden en te proberen een test te schrijven die bewijst dat de bug bestaat. Hij produceert een "handoff" — een gestructureerde notitie met de verdachte bestanden, een reproductietest en enkele detectienotities.
2. De Beveiligingspoort (Verify-then-Strip): Hier gebeurt de magische truc. De notities van de stagiair worden niet blind vertrouwd. Voordat de hoofddetective ze te zien krijgt, draait een "sandbox" (een veilige, geïsoleerde testruimte) de reproductietest van de stagiair. Als de test er niet in slaagt om de code daadwerkelijk te breken (wat betekent dat de stagiair aan het hallucineren was of fout zat), wordt die bewering eruit gehaald en weggegooid. Alleen geverifieerde, ware feiten gaan naar de volgende stap.
3. De Résumé Router: Ten slotte kijkt een manager naar de taak en de "verborgen gedachten" (de interne datastaten van het scout-model) om te beslissen welke "fixer" hij inhuurt. De pool van fixers bevat vier verschillende frontier AI-modellen, variërend van goedkoop tot duur. De router kiest de goedkoopste die volgens hem de klus kan klaren. Als de verkenner niets heeft gevonden, werkt de fixer vanuit het oorspronkelijke bugrapport.

De Grote Onthulling: De Handoff doet het zware werk

Toen het team SuperScout testte op 266 echte Python-softwarebugs (een enorme uitdaging bekend als SWE-bench Pro), waren de resultaten schokkend.

• De Score: SuperScout loste 159 van de 266 taken op.
• De Concurrentie: Het enkel beste, duurste model (Claude Opus 4.6) loste 158 van de 266 taken op.
• De Kosten: SuperScout behaalde dit resultaat voor ongeveer $0,23 per oplossing, terwijl het dure solo-model $1,27 per oplossing kostte. Dat is ongeveer één vijfde van de kosten!

De meest fascinerende ontdekking was echter niet over de besluitvorming van de router. Toen de onderzoekers de router volledig verwijderden en simpelweg elke taak naar het goedkoopste model (Kimi K2.5) stuurden met de geverifieerde handoff van de stagiair, loste dit 159 taken op — exact hetzelfde aantal als het volledige SuperScout-systeem.

Dit suggereert dat de geverifieerde handoff de echte held is. Het proces van het verkennen van de repository en het leveren van een geverifieerd rapport tilde de prestaties van de goedkopere modellen zo hoog dat ze de dure modellen konden evenaren. De routering-beslissing zelf voegde niet veel magie toe; het zorgde er alleen voor dat de goedkope modellen de handoff kregen.

Waarom dit ertoe doet (en wat het niet is)

De paper sluit expliciet een aantal zaken uit:

• Routeren voor nauwkeurigheid is een verloren zaak: Je kunt het aantal opgeloste taken niet echt verbeteren door van model te wisselen op basis van de tekst van het probleem; het beste model wint toch wel.
• De handoff-tekst is niet voor de router: Interessant genoeg maakte het voeden van de tekst van het rapport van de stagiair aan de router het proces juist slechter. De router werkt beter met de "hidden states" (de interne hersenactiviteit) van de scout dan met de geschreven notities. De notities zijn voor de fixer, niet voor de manager.
• Het is geen wondermiddel voor alles: Het systeem is getest op een specifieke set van 266 Python-taken. Hoewel het scout-model liet zien dat het kon werken op talen waarvoor het nooit getraind was, is de prestatie van het volledige systeem op andere benchmarks nog niet getest.

De auteurs merken er voorzichtig bij op dat dit geen "opgelost" probleem is voor de eeuwigheid. De resultaten zijn specifiek voor deze set taken en de huidige modellen. Echter, het mechanisme is robuust: door een kleine scout te sturen om de feiten te verifiëren voordat je een fixer inhuurt, kun je de oplossend vermogen herverdelen. De handoff tilt de goedkopere modellen op, waardoor ze bijna net zo goed worden als de dure modellen, terwijl de kosten van de scout verwaarloosbaar zijn (minder dan een halve cent per taak).

Kortom, SuperScout leert ons dat in de wereld van AI-programmeren context koning is. Raad niet alleen wie je moet inhuren op basis van de vacaturetekst; stuur eerst een verkenner naar de scène, verifieer wat hij vindt, en laat de goedkoopste geschikte werker het werk doen. Het is een slimmere, goedkopere manier om software te bouwen, wat bewijst dat soms de beste manier om geld te besparen is om eerst een beetje huiswerk te doen.