Technische Samenvatting: CodeRescue: Budget-gekalibreerde Recovery Routing voor Coding Agents

1. Probleemformulering

Het artikel behandelt de implementatieuitdaging van coding agents die opereren in uitvoerbare omgevingen waar mislukte pogingen bruikbare feedback genereren (bijv. compilerfouten, mislukte tests, stderr-traces) in plaats van alleen onjuiste outputs. Bestaande kostenbewuste systemen behandelen het falen van een model meestal als een binaire beslissing: onmiddellijk escaleren naar een krachtiger, duurder model.

De auteurs stellen dat deze aanpak suboptimaal is voor coderen, omdat uitvoerbare feedback het zinvol kan maken om verdere pogingen door een goedkoop model te ondernemen. Dit creëert een gebudgeteerde implementatievraag: wanneer een agent faalt, moet het dan meer goedkope rekenkracht besteden aan het repareren van de oplossing (reflecteren) of het herplannen (replan), of moet het escaleren naar een sterker model?

Het probleem wordt geformuleerd als post-failure recovery routing. Gegeven een mislukte initiële poging door een goedkoop model, moet het systeem kiezen uit drie heterogene acties:

1. Reflect: De bestaande oplossing herzien met behulp van uitvoerbare feedback.
2. Replan: Een nieuwe oplossing genereren vanuit een ander plan met behulp van het goedkope model.
3. Escalate: Het probleem (met feedback) delegeren aan een sterker, duurder model.

Het doel is om de solve rate (oplossingspercentage) te maximaliseren onder een door de gebruiker gespecificeerd gemiddeld herstelbudget ($B$), zonder de policy te hertrainen voor elke nieuwe budgetrestrictie.

2. Methodologie

2.1 Supervised Recovery Router

De kerncomponent is een supervised router die getraind is op offline uitvoering-rollouts.

• Input: Een herstelcontext $x = (q, v_0, e_0)$, bestaande uit de probleemstelling, het uitvoeringsverdict en de stderr-trace.
• Labeling: Voor elk mislukt instance wordt het "oracle" label gedefinieerd als de goedkoopste succesvolle actie ($a^\dagger$) binnen de set van acties die het instance oplossen ($S(x)$). Instances waar geen enkele actie slaagt, worden uitgesloten.
• Training: Een taalmodel (bijv. Qwen3.5-4B) wordt via cross-entropy gefinetuned om de goedkoopste succesvolle actie te voorspellen. De router scoort acties op basis van log-waarschijnlijkheden en normaliseert ze via softmax.

2.2 Cost-Regularized Policy

Om implementatie onder variërende budgetten mogelijk te maken zonder te hertrainen, introduceren de auteurs een kostenstraf $\lambda \ge 0$. De policy $\pi_\lambda(x)$ selecteert de actie die de volgende waarde maximaliseert:
$$s_\theta(a | x) - \lambda c(a, x)$$
waarbij $s_\theta$ de score van de router is en $c(a, x)$ de geschatte implementatiekosten zijn.

• Naarmate $\lambda$ toeneemt, verschuift de policy naar goedkopere acties (reflect/replan).
• Dit creëert een discrete set werkpunten (een kosten-kwaliteit-frontier) afgeleid van een enkele getrainde router.

2.3 Conformal Budget Calibration (CRC)

Om de passende $\lambda$ te selecteren voor een specifiek gebruikersbudget $B$ met statistische garanties, passen de auteurs Conformal Risk Control (CRC) toe.

• Mechanisme: Met behulp van een gehouden kalibratieset van mislukte instances berekent het systeem de empirische gemiddelde kosten voor verschillende $\lambda$-waarden.
• Selectieregel: Het selecteert de minst restrictieve straf $\hat{\lambda}$ waarvoor de eindige-steekproef budgetrestrictie wordt voldaan:
  $$\frac{n \hat{C}_n(\lambda) + c_{\max}}{n + 1} \le B$$
  waarbij $c_{\max}$ een bekende kostenlimiet is en de additieve term een leave-one-out conformal correctie biedt.
• Garantie: Onder de aanname van uitwisselbaarheid (exchangeability) garandeert deze procedure dat de verwachte gemiddelde herstelkosten van de geïmplementeerde policy op toekomstige testdata niet hoger zijn dan $B$. Cruciaal is dat deze garantie betrekking heeft op kosten, niet op de solve rate, wat de mogelijkheid tot niet-monotone succespatronen over acties heen toestaat.

3. Belangrijkste Bijdragen

1. Post-Failure Recovery Routing: Het artikel formuleert herstel van coding-agents als een routingprobleem over heterogene acties (reflect, replan, escalate) in plaats van een eenvoudige cascade naar een sterker model.
2. Budget-Controleerbare Implementatie: Het introduceert een via CRC gekalibreerde kostenstraf die het mogelijk maakt om een enkele getrainde router te laten opereren op meerdere budgetpunten met marginale verwachte kostencontrole, waardoor het hertrainen voor verschillende budgetrestricties overbodig wordt.
3. Empirische Herstel-trade-offs: De studie levert empirisch bewijs dat goedkoop herstel en model-escalatie complementaire succespatronen vertonen (d.w.z. sommige fouten zijn alleen oplosbaar door goedkope acties, andere alleen door escalatie, en sommige door beide), wat een discrete kosten-kwaliteit-frontier vormt.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op vijf coding benchmarks (APPS, TACO, BigCodeBench, LiveCodeBench, CodeContests) met behulp van GPT-5.4-NANO als het goedkope model en GPT-5.4 als het sterke model.

• Router Effectiviteit: Een geleerde router presteert significant beter dan fixed-action baselines. De onbeperkte geleerde router bereikte een solve rate van 81,7% bij een gemiddelde kosten van 5,51 m$, vergeleken met 68,6% voor "always-escalate" bij 7,22 m$.
• Complementariteit: Analyse van de "oracle" goedkoopste acties onthulde dat 28% van de fouten alleen oplosbaar waren door goedkope acties, 45% alleen door escalatie, en 27% door beide. Deze heterogeniteit rechtvaardigt het gebruik van een router boven een vaste cascade.
• Budget Kalibratie: De door CRC-gekalibreerde frontier toonde aan dat bij een budget van 2,56 m$, het systeem een solve rate van 71,7% behaalde. Dit overtrof de "always-escalate" baseline (68,6%) terwijl het slechts 35% van de gemiddelde kosten gebruikte van de always-escalate strategie.
• Baselines: De geleerde router presteerde beter dan prompt-only routers (zero-shot LLM's die als router fungeren) en binaire cascade-baselines, wat bevestigt dat het routing-signaal leren van rollouts vereist in plaats van enkel prompt engineering.

5. Betekenis en Claims

Het artikel claimt dat het behandelen van coding-fouten als een diagnostisch reparatieprobleem in plaats van een simpel capaciteitsgebrek, zorgt voor een efficiëntere toewijzing van middelen. Door het trainen van de router te ontkoppelen van het implementatiebudget via CRC, biedt het systeem een praktisch mechanisme voor budget-gecontroleerde inferentie.

De auteurs benadrukken dat hun aanpak niet claimt de solve rate conformaal te controleren; in plaats daarvan bieden zij een kosten-garantie, terwijl de verbeteringen in de solve rate empirisch van aard zijn. Het werk suggereert dat voor coding agents de "goedkoopste nuttige volgende stap" vaak niet het sterkste model is, maar een specifieke herstelactie die is afgestemd op de foutmodus, en dat deze beslissing dynamisch kan worden genomen onder strikte budgetrestricties.

Door de auteurs genoemde beperkingen:

• Herstel wordt gemodelleerd als een enkele post-failure beslissing, terwijl echte agents mogelijk over meerdere rondes itereren.
• Het "goedkoopste succesvolle" label is een proxy en geen gekalibreerde waarschijnlijkheidsschatting.
• CRC controleert de verwachte kosten, niet de solve rate, wat betekent dat kwaliteitsverbeteringen empirische observaties blijven.