Technische Samenvatting: R2V-Agent – SLM's Leren Wanneer Ze Om Hulp Moeten Vragen

Probleemstelling

Efficiënte agentische systemen die opereren in interactieve omgevingen (bijvoorbeeld software-engineering, webnavigatie, systeembeheer) staan voor een fundamentele afweging tussen betrouwbaarheid en kosten. Betrouwbaarheid hangt vaak af van dure frontier Large Language Models (LLM's), vooral wanneer taken lange-termijnplanning vereisen, herstel van mislukte tool-aanroepen, of redeneren onder onvolledige waarnemingen. Daarentegen zijn Small Language Models (SLM's) kosteneffectief, maar breekbaar bij perturbaties buiten de trainingsverdeling.

Bestaande LLM-cascades en routers voeren doorgaans toewijzing op query-niveau uit, waarbij wordt beslist welk model moet worden gebruikt voordat de uitvoering begint of nadat een volledig antwoord is gegenereerd. Deze aanpak is niet geschikt voor agentische Partially Observable Markov Decision Processes (POMDP's), waarbij taakmoeilijkheid traject-afhankelijk is. Een taak kan binnen de trainingsverdeling beginnen, maar halverwege het traject risicovol worden door onbetrouwbare tool-aanroepen, afgeknotte waarnemingen of cumulerende lokale fouten. Het toewijzen van de hele taak aan een SLM is breekbaar, terwijl het toewijzen van de hele taak aan een LLM onnodig duur is. De kernuitdaging is om te bepalen wanneer een ingezet lokaal SLM moet doorverwijzen naar een sterkere teacher LLM tijdens de uitvoering van een multi-stap agenttraject.

Methodologie

De auteurs stellen R2V-Agent voor, een risicogecalibreerd kader voor stap-voor-stap SLM-LLM-routing. Het systeem splitst de uitvoering op in vier componenten:

1. Gedistilleerd SLM-beleid ($\pi_\theta$): Een lokaal model dat is getraind om routinematige stappen te hanteren.
2. Teacher LLM ($\pi_T$): Een sterker model dat alleen wordt ingeroepen wanneer nodig.
3. Procesverifier ($V_\phi$): Een lichtgewicht module die kandidaat-acties op elke stap scoort.
4. Gecalibreerde Router ($r_\psi$): De centrale bijdrage, die het resterende faalrisico op elke stap schat.

Trainingspijplijn

Het systeem wordt getraind als een geordende pijplijn in plaats van een gezamenlijk multi-loss doel, om ervoor te zorgen dat de router de faalmodi van een vast beleid leert:

1. Offline Distillatie (SLM-training):

   • Behavioral Cloning (BC): Het SLM wordt warm-start met behulp van teacher-trajecten die zijn verrijkt met perturbatie-operatoren (simulatie van tool-fouten, ontbrekende waarnemingen, prompt-injectie, enz.).
   • Verifier-geleide DPO: Het BC-beleid genereert kandidaat-acties, die worden gescoord door de verifier. Voorkeursparen worden geconstrueerd tussen door de verifier goedgekeurde/door de teacher herstelde acties en lagere kwaliteit BC-steekproeven. Het SLM wordt verfijnd met Direct Preference Optimization (DPO) waarbij het BC-beleid als referentie wordt bevroren.
   • Consistentieregulering: Een Jensen-Shannon-divergentie (JSD)-term moedigt het SLM aan om stabiele actie-distributies te produceren over verschillende perturbatierelalisaties van dezelfde latente toestand, wat de robuustheid verbetert.

2. Router-training:

   • Zodra het SLM-beleid is vastgesteld, wordt de router getraind op de resterende fouten van dit beleid.
   • Functies: De router verwerkt een 15-dimensionale vector die token-niveau entropie, statistieken van verifier-scores (gemiddelde, spreiding, beste/slechtste), kandidaat-consistentie en traject-staatkenmerken omvat.
   • Labels: Het routelabel $y_t$ is binair en geeft aan of de SLM-only-uitrol die de huidige context bevat, uiteindelijk de episode heeft laten falen.
   • Doel: De router minimaliseert een Brier-gecalibreerde loss om de conditionele waarschijnlijkheid van episode-falen te schatten. Cruciaal maakt het gebruik van een doelstelling met Conditional Value-at-Risk (CVaR)-beperking. Dit straft routers die gemiddeld goedkoop zijn maar breekbaar onder worst-case perturbatie-zaden, en zorgt voor robuustheid tegen staartrisico's.

Inferentie

Tijdens de testfase wordt het gedistilleerde SLM standaard uitgevoerd. De router schat het resterende risico $p_t = r_\psi(f_t)$. Als $p_t$ een gecalibreerde drempel $\tau^*_{route}$ overschrijdt en het LLM-budget nog beschikbaar is, escalateert het systeem naar de teacher LLM; anders gaat het verder met de SLM-actie.

Belangrijkste Bijdragen

1. Staat-afhankelijke Stap-voor-stap Routing Formulering: Het artikel formuleert SLM-LLM-agent-routing als een staat-afhankelijk toewijzingsprobleem in verstoorde POMDP's, verdergaand dan statische query-niveau beslissingen.
2. Resterend-Risico Routing Doelstelling: De auteurs introduceren een routingdoelstelling die Brier-gecalibreerde waarschijnlijkheidsschatting combineert met CVaR-beperkte staartrisicobeheersing. Dit zorgt ervoor dat de router alleen escalateert wanneer het geschatte risico de kosten rechtvaardigt, en voorkomt breekbare beleidslijnen.
3. Empirische Validatie: Het kader wordt geëvalueerd op drie benchmarks (HumanEval+, TextWorld, TerminalBench) en vier SLM-ruggengraten (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B), wat aantoont dat gecalibreerde stap-routing het aantal frontier-model-aanroepen aanzienlijk vermindert terwijl een hoog taaksucces behouden blijft.

Resultaten

R2V-Agent verbetert de betrouwbaarheids-kostenfrontier op alle geteste benchmarks:

• HumanEval+ (Codegeneratie): In een regime met lage fouten bereikt R2V 94,3% succes met slechts 0,6% LLM-escalatie, een aanzienlijke verbetering ten opzichte van de SLM-only-baseline (91,9%) met verwaarloosbare kosten.
• TextWorld (Embodied Control): R2V herstelt de prestaties van 64,6% (SLM-only) naar 98,2% succes met 41,7% escalatie. Dit ligt dicht bij de hindsight-orakelrate (35,4%) en is aanzienlijk efficiënter dan heuristische routers, die bijna 100% escalatie vereisen om vergelijkbaar succes te bereiken.
• TerminalBench (Shell Engineering): R2V verbetert het succes van 81,1% naar 93,3% met 33,9% LLM-aanroepen. Dit is ongeveer de helft van de kosten van een heuristische router (66,0% escalatie) bij vergelijkbare betrouwbaarheid.

Ablatiestudies bevestigen dat zowel de consistentieregulering (verbetering van SLM-stabiliteit) als het volledige functieset (combinatie van verifiersignalen en entropie) cruciaal zijn. Het systeem toont ook een gracieuze degradatie in gesloten-bron omgevingen waar token log-probabiliteiten niet beschikbaar zijn, met behulp van "pseudo-entropie" afgeleid van verifierscores.

Betekenis

Het artikel betoogt dat efficiënte agenten niet hoeven te kiezen tussen goedkope maar breekbare SLM-uitvoering en dure volledige LLM-uitvoering. Door routing te behandelen als een staat-afhankelijke, stap-voor-stap beslissing gebaseerd op resterende risicoschatting, biedt R2V-Agent een praktisch middenpad. Het werk benadrukt dat:

• Taakmoeilijkheid bij agenten dynamisch en traject-afhankelijk is, waardoor statische query-niveau routing ontoereikend is.
• Gecalibreerde probabilistische routing, beperkt door staartrisicodoelstellingen (CVaR), superieur is aan heuristische of entropie-gebaseerde drempels voor het beheer van computertoewijzing in interactieve omgevingen.
• Het scheiden van de training van een stabiel lokaal beleid van de training van de router een nauwkeurige isolatie mogelijk maakt van computertoewijzingsstrategieën van beleidsverbeteringstechnieken.

De auteurs merken op dat de prestaties van het systeem afhankelijk blijven van de kwaliteit van de verifier en risicofuncties, en dat sommige fouten (met name in complexe shell-taken) online moeilijk te detecteren blijven, wat ruimte laat voor toekomstig werk in verbetering van verifiers en dynamische budgetaanpassing.