💻 computer science

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

Het artikel introduceert SWE-Router, een op waarde gebaseerd routeringsframework dat de kostenefficiëntie in multi-turn agentic software engineering verbetert door het initiële exploratieve traject van een goedkoop model te benutten om geïnformeerde escalatiebeslissingen te nemen, waardoor het traditionele beschrijving-gebaseerde routers overtreft terwijl het een sterke prestatie behoudt.

Oorspronkelijke auteurs: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Gepubliceerd 2026-07-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De Verkeerde Expert Inhuren

Stel je voor dat je een reparatiewerkplaats runt. Je hebt twee soorten monteurs:

De Leerling: Goedkoop, snel en goed in eenvoudige reparaties (zoals een lampje vervangen of een los schroefje aandraaien).
De Meester-ingenieur: Extreem duur, traag en briljant in het oplossen van complexe, meerlagige rampen (zoals het volledig opnieuw opbouwen van een automotor).

In de wereld van software zijn dit Large Language Models (LLM's). De "Meester"-modellen zijn geweldig in het repareren van code, maar het kost veel geld om ze te draaien. De "Leerling"-modellen zijn goedkoop, maar lopen soms vast op moeilijke problemen.

De Huidige Fout:
Op dit moment, wanneer een klant met een stuk kapotte code komt, kijkt de bedrijfsmanager (de router) alleen naar de beschrijving van het probleem die de klant geeft.

Klant zegt: "Mijn auto start niet."
Manager denkt: "Dat klinkt serieus. Laten we direct de Meester-ingenieur bellen."

De Realiteit:
Soms betekent "Mijn auto start niet" gewoon een losse accukabel (een simpele reparatie die de Leerling aan kan). Andere keren betekent het dat de motorblok gebarsten is (wat de Meester vereist). De manager kan het verschil niet zien door alleen de notitie te lezen. Dit leidt tot het verspillen van geld aan de Meester voor simpele klussen.

De Oplossing: SWE-Router (De "Proefrit"-aanpak)

De auteurs van dit paper hebben een nieuw systeem ontwikkeld genaamd SWE-Router. In plaats van te gokken op basis van de beschrijving, laten ze de Leerling eerst een paar minuten proberen het probleem op te lossen.

Zo werkt het:

De Exploratiefase: Het goedkope Leerling-model krijgt de taak en krijgt de ruimte om een paar "beurten" (stappen) te nemen. Het bekijkt de code, draait tests en ziet welke foutmeldingen er opduiken.
De Observatie: Het systeem houdt in de gaten wat de Leerling doet.
- Scenario A: De Leerling vindt snel een typefout en herstelt deze. Het systeem ziet dit en zegt: "Geweldig! De Leerling kan dit aan. Laten we geld besparen en hen de taak laten afmaken."
- Scenario B: De Leerling raakt in de war, loopt tegen een muur aan en kan niet achterhalen waar de bug zit. Het systeem ziet deze strijd en zegt: "Oké, dit is te moeilijk. Stop de Leerling en bel onmiddellijk de Meester-ingenieur."
De Beslissing: Een speciale "Value Head" (een slimme rechter) kijkt naar de voortgang van de Leerling en beslist: Is dit eenvoudig genoeg voor de Leerling om af te maken, of moeten we escaleren?

Waarom dit beter is (Het "Informatie"-voordeel)

Het paper betoogt dat kijken naar de gedeeltelijke geschiedenis (wat er gebeurde tijdens die eerste paar stappen) je veel meer informatie geeft dan alleen het lezen van de oorspronkelijke probleembeschrijving.

De Oude Manier: Als proberen te raden of een film een komedie of een tragedie is door alleen de titel te lezen. Je kunt ernaast zitten.
De Nieuwe Manier: Als de eerste 5 minuten van de film kijken. Als je mensen ziet lachen, weet je dat het een komedie is. Als je een begrafenis ziet, weet je dat het een tragedie is. Je hebt meer data, dus je gok is beter.

Het paper bewijst wiskundig dat het hebben van deze extra informatie (het "gedeeltelijke traject") je besluitvorming nooit schaadt. Het is altijd beter om een klein deel van het verhaal te kennen voordat je beslist wie je inhuurt.

De Resultaten

De onderzoekers testten dit op echte programmeertaken (het oplossen van bugs in grote softwareprojecten).

Kostenbesparing: Ze bespaarden veel geld omdat de goedkope Leerling veel taken afhandelde die voorheen naar de dure Meester werden gestuurd.
Succespercentage: Ze verloren geen enkele kwaliteit. Wanneer de Leerling faalde, schakelden ze over naar de Meester, waardoor de taken alsnog werden opgelost.
Verrassingsbonus: In sommige gevallen loste de Leerling zelfs problemen op die de Meester niet zou hebben opgelost als deze direct was opgeroepen. Dit komt omdat de "exploratie" van de Leerling hielp om het probleem te verhelderen op een manier die de directe aanpak van de Meester niet deed.

Samenvatting

SWE-Router is een slimme verkeersregelaar voor softwareherstel. In plaats van elke auto naar de duurste monteur te sturen, laat het een goedkope monteur een snelle diagnose stellen. Als de monteur het kan repareren, geweld! Zo niet, dan roepen ze de expert erbij. Dit bespaart geld zonder kwaliteitsverlies, en het werkt omdat het leert van het proces van het proberen op te lossen van het probleem, en niet alleen van de probleembeschrijving zelf.

Technische Samenvatting: SWE-Router

Probleemstelling

Large Language Models (LLMs) die geïntegreerd zijn in multi-turn agentische frameworks behalen state-of-the-art resultaten in software engineering (SWE) taken, zoals het oplossen van repository-schaal GitHub-issues. Echter, de inferentiekosten van frontier-modellen zijn vaak een orde van grootte hoger dan die van concurrerende open-weight alternatieven. Een kritieke inefficiëntie ontstaat doordat bestaande routingstrategieën elke taak behandelen alsof deze frontier-capaciteiten vereist, terwijl in werkelijkheid veel issues "goedkope oplossingen" toelaten.

Huidige LLM-routers fungeren als classificators of waarschijnlijkheidschatters gebaseerd uitsluitend op de initiële taakbeschrijving ( $q$ ). De auteurs identificeren een fundamentele beperking in deze aanpak: in agentische settings kan een vergelijkbare issue-beschrijving een totaal verschillende onderliggende moeilijkheidsgraad maskeren (bijv. een lokale typefout versus een refactor over meerdere modules). Deze ambiguïteit creëert een "informatie-theoretische Bayes-foutvloer", waarbij de prompt alleen niet in staat is om tussen eenvoudige en complexe instanties te onderscheiden. Bijgevolg erven routingbeslissingen gebaseerd op enkel $q$ een hoge foutmarge, wat leidt tot verspilling door escalatie naar dure modellen voor taken die een goedkoper model zou kunnen oplossen.

Methodologie: SWE-Router

Het artikel introduceert SWE-Router, een waarde-gebaseerd temporeel routingframework dat is ontworpen om de informatiebeperkingen van prompt-only routing te overwinnen. In plaats van een onmiddellijke beslissing te nemen op basis van $q$ , hanteert SWE-Router een "try-before-you-buy"-strategie:

Exploratieve Fase: Een goedkoop, zwak model ( $m_1$ ) krijgt de ruimte om $K$ exploratieve beurten te draaien. Tijdens deze beurten genereert de agent een gedeeltelijk traject ( $\mathcal{T}_{\le K}$ ) bestaande uit gedachten, acties en observaties (bijv. mislukte tests, bestandinhoud, stack traces).
Waarde-inschatting: Een geleerde value head (een classifier getraind op binaire trajectbeloningen) leest het gedeeltelijke traject $\mathcal{T}_{\le K}$ en voorspelt de waarschijnlijkheid dat $m_1$ de taak uiteindelijk zal oplossen.
Routingbeslissing: Het systeem vergelijkt de kosten-gecorrigeerde verwachte utiliteit van het voortzetten met $m_1$ $m_{1}$ versus het escaleren naar een sterker, duurder model ( $m_2$ $m_{2}$ ).
- Als de voorspelde succeswaarschijnlijkheid van $m_1$ een kosten-gecorrigeerde drempel overschrijdt, vervolgt $m_1$ de taak.
- Zo niet, dan escaleert het systeem naar $m_2$ , die de taak opnieuw start vanaf de oorspronkelijke prompt $q$ (om bias vanuit de redenering van $m_1$ te vermijden).

Theoretische Fundering:
De auteurs bieden een Bayes-optimaliteitstheorema (Theorem 4.1) dat bewijst dat conditionering op het gedeeltelijke traject $\mathcal{T}_{\le K}$ de routingprestaties nooit schaadt vergeleken met conditionering op enkel $q$ . Het theorema stelt dat het gedeeltelijke traject strikt meer informatie bevat dan de prompt. De verbetering in routing is strikt wanneer de exploratieve beurten informatieve signalen leveren over de moeilijkheidsgraad van de taak (d.w.z. wanneer de conditionele kloof in utiliteit niet meetbaar is door de prompt alleen).

Implementatiedetails:

Value Head: Een vooraf getraind LLM (Qwen2.5-Coder-7B-Instruct) met een kleine classificatiekop, gefinetuned via LoRA op binaire trajectbeloningen.
Trainingsdata: Het framework maakt gebruik van een multi-LLM trajectdataset gegenereerd door zwakke modellen te draaien op de SWE-Smith en SWE-Bench datasets.
Routingregel: De auteurs vereenvoudigen de beslissingsregel tot een eenzijdige routing-aanpak: ga door met $m_1$ als $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$ , waarbij $\lambda'$ een drempelwaarde is die is afgestemd op validatiedata.

Belangrijkste Bijdragen

Identificatie van de Bayes-foutvloer: Het artikel identificeert dat prompt-geconditioneerde routers in multi-turn agentische SWE een informatie-theoretische limiet erven, omdat de taakbeschrijving er vaak niet in slaagt om tussen lokale en complexe issues te onderscheiden.
Temporeel Routingframework: SWE-Router is het eerste routingframework dat routingbeslissingen conditioneert op de eigen tussenliggende observaties (gedeeltelijk traject) van de agent in plaats van enkel op de prompt.
Theoretische Garantie: Een bewijs dat aantoont dat conditionering op een gedeeltelijk traject de routing-optimaliteit strikt verbetert wanneer exploratie informatief is.
Empirische Validatie: Uitgebreide experimenten tonen aan dat SWE-Router de kostenefficiëntie aanzienlijk verbetert terwijl de resolutiepercentages van sterkere modellen behouden blijven.
Dataset Release: De auteurs publiceren een multi-LLM trajectdataset om onderzoek naar traject-niveau routing mogelijk te maken.

Experimentele Resultaten

De auteurs evalueerden SWE-Router op de SWE-Bench Verified en SWE-Smith datasets met twee paren LLM's (Zwak: gpt-5-mini of deepseek-v3.2; Sterk: gemini-3-pro-preview).

Kostenefficiëntie-Paretofront: SWE-Router (met $K=3$ ) volgt een Paretofront die de embedding-gebaseerde baselines (Logistische Regressie, k-NN, XGBoost) en non-temporele routers ( $K=0$ ) strikt domineert over het grootste deel van het kostenbereik.
Route-AUC Verbeteringen: Op de SWE-Bench Verified testset behaalde SWE-Router een Route-AUC van 0,780 (met gebruik van deepseek-v3.2 als $m_1$ ), wat een verbetering van +15,3 procentpunt betekent ten opzichte van de non-temporele baseline. Het gpt-5-mini paar vertoonde een verbetering van +12 procentpunt.
Synergetische Effecten: De routingcurves overtroffen incidenteel de prestaties van de "all-strong" baseline. Dit geeft aan dat het correct routeren van eenvoudige instanties naar het zwakke model gevallen oploste waarin het sterke model (wanneer gedwongen om op alle taken te draaien) faalde, waarschijnlijk door het vermogen van het zwakke model om te exploreren zonder de specifieke faalmodi of kostenbeperkingen van het sterke model.
Metriek Correlatie: De auteurs merken op dat de AUROC van de value head (discriminatieve kwaliteit) niet sterk correleert met de werkelijke routingprestaties (Route-AUC), wat suggereert dat de value head genuanceerde signalen opvangt die relevant zijn voor de specifieke kosten-batenafweging in plaats van enkel ruwe nauwkeurigheid.

Betekenis en Claims

Het artikel claimt dat SWE-Router een duidelijk positief effect heeft door de inferentiekosten en het energieverbruik van frontier-modellen te verminderen met minimale concessies in de algehele prestaties. Door de inzichten te operationaliseren dat tussenliggende agent-observaties structurele signalen bevatten (zoals bug-lokalisatiegegevens) die niet beschikbaar zijn in de initiële prompt, doorbreekt het framework de informatie-theoretische plafond die prompt-only routers tegenkomen.

De auteurs kaderen hun bijdrage bescheiden als een methode om de "kostenefficiëntie van SWE-taken aanzienlijk te verbeteren" terwijl de meerderheid van de prestaties van het sterkere model behouden blijft. Ze erkennen dat hoewel hun aanpak kosten verlaagt, het gebruik van gedeeltelijke trajecten theoretisch misbruikt zou kunnen worden om veiligheidsgerichte modellen te omzeilen, waarbij zij veiligheidsbewuste routing identificeren als een belangrijke richting voor toekomstig werk. De kernbetekenis ligt in de verschuiving van het routingparadigma van statische prompt-analyse naar dynamische, traject-bewuste besluitvorming in agentische software engineering.