🤖 machine learning

Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

Het artikel introduceert CARL, een competentiebewust versterkt leerframework dat credit op segmentniveau toekent aan beslissingen voor het gebruik van hulpmiddelen door modelrollouts te ontleden bij natuurlijke grenzen, waardoor LLM's autonoom kunnen leren wanneer ze moeten vertrouwen op parametrische kennis versus externe hulpmiddelen, wat de nauwkeurigheid aanzienlijk verbetert en onnodige hulpmiddeloproepen reduceert, met name bij kleinere modellen.

Oorspronkelijke auteurs: Abhijit Kumar, Zoey Wu, Mohit Suley

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abhijit Kumar, Zoey Wu, Mohit Suley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Over-Zekere" Student

Stel je een briljante student (de AI) voor die veel feiten uit het hoofd kent. Soms hebben ze een rekenmachine of een zoekmachine nodig om een moeilijk wiskundeprobleem op te lossen of een specifiek feit te vinden.

Het probleem is dat deze student niet weet wanneer ze deze hulpmiddelen moeten gebruiken.

Als je ze vraagt "Wat is 2 + 2?", halen ze misschien toch een rekenmachine tevoorschijn, wat tijd kost.
Als je ze vraagt "Wat is de hoofdstad van een land dat ik nog nooit heb gehoord?", proberen ze misschien uit het hoofd te raden en krijgen ze het fout, in plaats van het op te zoeken.

Huidige AI-trainingmethoden zijn als een leraar die pas aan het einde van het examen een cijfer geeft.

Scenario A: De student raadt het antwoord, krijgt het goed en krijgt een "A". De leraar weet niet of de student geraden heeft of het antwoord echt wist.
Scenario B: De student gebruikt een rekenmachine voor een eenvoudig wiskundeprobleem, krijgt het goed en krijgt een "A". De leraar merkt niet dat de student tijd heeft verspild aan een makkelijke vraag.
Scenario C: De student gebruikt een rekenmachine voor een moeilijk probleem, krijgt het fout en krijgt een "F". De leraar weet niet of de student de rekenmachine slecht heeft gebruikt, of dat de rekenmachine slechte informatie gaf, of dat de student de wiskunde gewoon niet wist.

Omdat de leraar alleen het eindcijfer ziet, leert de student hulpmiddelen altijd te gebruiken (om op zeker te spelen) of nooit (omdat ze het misschien verprutsen). Ze leren nooit de grens tussen wat ze weten en waar ze hulp bij nodig hebben.

De Oplossing: CARL (De "Slimme Coach")

Het artikel introduceert CARL (Competence-Aware Reinforcement Learning). In plaats van te wachten op het eindcijfer, fungeert CARL als een slimme coach die de stappen van de student in real-time observeert.

1. Het Examen Opbreken in "Chunks"

De coach breekt het denkproces van de student op in drie distincte "chunks" (segmenten) waar de staat van het gesprek duidelijk verandert:

De Vraag (Invoke): De student besluit een hulpmiddel te gebruiken en typt een zoekopdracht in.
Het Lezen (Assimilate): De student leest het antwoord van het hulpmiddel en vat het samen.
Het Antwoord (Commit): De student schrijft het definitieve antwoord op.

2. Het "Credit"-Systeem

In plaats van één cijfer voor het hele examen, geeft de coach een klein "credit score" aan elke chunk, gebaseerd op hoeveel het heeft bijgedragen aan het eindresultaat.

Goede Vraag: Als de student een uitstekende vraag stelt die leidt tot het juiste antwoord, krijgt die chunk positieve credit.
Slechte Vraag: Als de student een verwarrende vraag stelt die leidt tot een doodlopende weg, krijgt die chunk negatieve credit (zelfs als ze het later toch hebben opgelost).
Onnodige Vraag: Als de student om hulp vraagt bij een vraag waarvan ze het antwoord al wisten, zegt de coach: "Dat had je niet nodig!" en geeft nul of negatieve credit voor tijdverspilling.

Dit is de belangrijkste innovatie van het artikel: Segment-Level Credit Assignment. Het isoleert precies welk deel van het proces heeft geholpen en welk deel heeft geschaad, zelfs als het eindantwoord correct was.

Hoe Het Werkt (De "Critic" Coach)

Om dit te doen, traint CARL een speciaal "Critic"-model. Denk aan de Critic als een coach die duizenden oefenrondes heeft gezien.

De Opwarming: Voordat de echte training begint, kijkt de Critic hoe de student vragen beantwoordt zonder hulpmiddelen en met geforceerde hulpmiddelen. Het leert om te signaleren: "Oh, deze student weet het antwoord op deze vraag, maar is radeloos bij die andere."
De Echte Training: Terwijl de student oefent, voorspelt de Critic: "Als de student deze weg blijft volgen, wat zijn de kansen dat ze het goed krijgen?"
- Als de student een goede vraag stelt, gaat de voorspelling van succes van de Critic omhoog. De student krijgt credit.
- Als de student een slechte vraag stelt, gaat de voorspelling omlaag. De student krijgt een straf.
- Als de student een vraag stelt die ze niet nodig hadden, blijft de voorspelling gelijk. De student leert: "Vraag het maar niet."

De Resultaten: Slimmer, Sneller en Eerlijker

Het artikel testte dit op modellen met 7 miljard en 3 miljard parameters (denk hierbij aan "slimme" en "zeer slimme" studenten).

Ze Leerden Stoppen met Raden: De modellen werden veel beter in het weten wanneer ze het antwoord niet wisten. Ze stopten met zelfverzekerd raden en begonnen om hulp te vragen wanneer het echt nodig was.
Ze Hielden Op met Tijdverspilling: Bij makkelijke vragen stopten de modellen met het gebruik van de rekenmachine of zoekmachine. Ze bespaarden veel tijd (tokens) en geld (API-kosten).
Betere Nauwkeurigheid: Omdat ze stopten met tijdverspilling bij makkelijke vragen en hun hulpmiddelen concentreerden op moeilijke, kregen ze over het algemeen meer vragen goed.
De "Klein Model"-Verrassing: Het artikel vond dat kleinere modellen het meeste profiteerden. Een kleiner model (3B) verbeterde zijn score 1,4 keer meer dan het grotere model (7B).
- Analogie: Een kleinere student heeft een kleinere geheugenbank. Weten precies wanneer het bibliotheekboek (hulpmiddel) open moet, is een superkracht voor hen. Een grotere student heeft al zoveel in zijn hoofd dat ze het bibliotheekboek minder vaak nodig hebben, dus is de verbetering minder dramatisch.

Samenvatting

Het artikel leert AI-modellen om nederig te zijn. In plaats van blind hulpmiddelen te gebruiken of te raden, leren ze de rand van hun eigen kennis te herkennen.

Oude Manier: "Ik gebruik de zoekmachine voor alles, voor het geval dat."
Nieuwe Manier (CARL): "Ik weet dit antwoord, dus ik zeg het gewoon. Maar voor die andere vraag moet ik het zeker opzoeken."

Dit maakt AI sneller, goedkoper om te draaien en nauwkeuriger, vooral voor kleinere, efficiëntere modellen.

Technische Samenvatting: CARL (Competentie-bewuste Versterkende Leer)

1. Probleemstelling

Grote Taalmodellen (LLM's) uitgerust met hulpmiddelen (zoals zoekmachines, rekenmachines) falen vaak in het onderscheid tussen taken die externe hulp vereisen en die welke via parametrische kennis oplosbaar zijn. Mensen herkennen op natuurlijke wijze de grenzen van hun eigen kennis (bijvoorbeeld: weten dat $2+2$ geen rekenmachine vereist, terwijl $347 \times 28$ dat wel doet), maar LLM's doen dit doorgaans niet.

Bestaande benaderingen staan voor twee primaire beperkingen:

Op prompt gebaseerde methoden (bijv. ReAct, RAG): Deze instrueren modellen om hulpmiddelen te gebruiken tijdens de inferentie, maar trainen het model niet om te herkennen wanneer hulpmiddelen noodzakelijk zijn. Bijgevolg roepen modellen vaak onnodig hulpmiddelen aan, wat de latentie en kosten verhoogt zonder de nauwkeurigheid te verbeteren.
Traject-niveau Versterkende Leer (RL): Huidige RL-methoden (bijv. Search-R1) wijzen een enkele uitkomstbeloning (bijv. Exacte Overeenkomst) toe aan een heel traject. Dit creëert een toewijzingsprobleem voor krediet:
- Ondiscriminerende Versterking: In een succesvol traject krijgen zowel nuttige hulpmiddeloproepen als onnodige of foutieve oproepen positieve versterking.
- Gebrek aan Selectiviteit: Het model kan niet leren om hulpmiddelen over te slaan bij makkelijke vragen, omdat het uiteindelijke succes-signaal wordt gedeeld over alle segmenten.
- Externe Afhankelijkheid: Methoden voor krediet op stap-niveau vertrouwen vaak op externe beoordelaars (bijv. GPT-4) wiens kennis kan afwijken van die van het studentmodel, of vereisen dure annotaties op stap-niveau.

2. Methodologie: CARL

De auteurs stellen CARL (Competentie-bewuste Versterkende Leer) voor, een kader dat een criticus traint om de eigen competentiegrens van het model te leren, waardoor fijne krediettoewijzing mogelijk wordt zonder externe beoordelaars.

2.1 Structurele Decompositie

CARL maakt gebruik van het feit dat trajecten voor hulpmiddelgebruik structureel waarneembare grenzen bezitten die zuivere redeneringstrajecten missen. Een traject wordt op basis van deze grenzen ontbonden in segmenten:

Oproepen (Invoke): Het model genereert redenering en een codeblok (bijv. search(query)). De omgeving voert de code uit, wat ruwe output (stdout) oplevert.
Assimileren (Assimilate): Het model leest de ruwe output en genereert een <context>-blok, waarbij relevante informatie wordt gedistilleerd. De ruwe output wordt in de context vervangen door deze extractie.
Vastleggen (Commit): Het model genereert het uiteindelijke antwoord.

Deze decompositie creëert een Semi-Markov Beslissingsproces (SMDP) waarbij elk segment een "optie" is.

2.2 Segment-niveau Voordeel

In plaats van een enkele scalair beloning toe te wijzen aan het hele traject, leidt CARL voordelen per segment af van een enkele binaire eindbeloning ( $R \in \{0, 1\}$ ) met behulp van de SMDP-Bellman-vergelijking.

Voor een traject met segmenten $k=0 \dots N$ is het voordeel voor segment $k$ :

Intermediaire Segmenten: $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
Laatste Segment: $A(seg_N) = R - V_\phi(s_N)$

Hierbij is $V_\phi(s)$ de waardenfunctie (criticus) die de waarschijnlijkheid van succes schat gegeven de huidige context.

Mechanisme: Een "goede" zoekopdracht verhoogt de geschatte waarschijnlijkheid van succes ( $V$ stijgt), wat een positief voordeel oplevert. Een "slechte" zoekopdracht of een mislukte extractie verlaagt $V$ , wat een negatief voordeel oplevert. Een onnodige zoekopdracht op een vraag die het model al kent, laat $V$ onveranderd, wat een bijna nul-voordeel oplevert.
Belangrijk Onderscheid: Dit maakt tegengestelde tekens mogelijk binnen hetzelfde traject (bijvoorbeeld een positief voordeel voor een correcte query gevolgd door een negatief voordeel voor een slechte extractie), een vermogen dat ontbreekt in methoden op traject-niveau.

2.3 Training van de Criticus en Warm-up

De criticus $V_\phi$ is een twee-laags MLP die is gekoppeld aan de gedeelde LLM-ruggengraat.

Trainingsdoel: De criticus wordt getraind via Monte Carlo (MC)-doelen om de Gemiddelde Kwadratische Fout (MSE) tussen $V_\phi(s)$ en de eindbeloning $R$ te minimaliseren.
Warm-up-fase: Om te voorkomen dat vroege willekeurige gradiënten het beleid corrumperen, is een verzorgde warm-up-fase essentieel. De criticus wordt getraind op rollouts van het basismodel die zijn gelabeld op basis van uiteindelijke juistheid. Vragen worden geclassificeerd in:
- Tier 1: Buiten parametrische competentie (het model faalt zonder hulpmiddelen).
- Tier 2: Binnen parametrische competentie (het model slaagt zonder hulpmiddelen).
- Trajecten worden gegenereerd onder zowel "gedwongen-hulpmiddel" als "geen-hulpmiddel" omstandigheden om de criticus te leren onderscheid te maken tussen noodzakelijk en onnodig hulpmiddelgebruik.
Geen Externe Beoordelaars: De criticus leert uitsluitend uit de eigen rollouts en binaire uitkomsten van het model, waardoor de competentiegrens de specifieke capaciteiten van het model weerspiegelt.

2.4 Beleidsoptimalisatie

Het beleid wordt op segment-niveau bijgewerkt met PPO (Proximal Policy Optimization). Elk segment ontvangt zijn eigen voordeel-scalar, die uniform wordt toegepast op alle tokens binnen dat segment. De totale loss combineert de PPO-doelstelling en de MSE-loss van de criticus.

3. Belangrijkste Bijdragen

Competentie-bewuste Waardenfunctie: Een waardenfunctie getraind op binaire uitkomsten die leert om parametrisch oplosbare vragen te scheiden van hulpmiddel-afhankelijke vragen. Op schaal van 7B bereikt deze een AUC van 0,93 bij het onderscheiden van deze tiers.
Per-Segment Krediet uit Eén Uitkomst: Door gebruik te maken van de SMDP-Bellman-vergelijking op structureel waarneembare grenzen, leidt CARL onafhankelijke voordelen af voor elk segment (oproepen, assimileren, vastleggen) uit een enkele binaire beloning. Dit stelt het model in staat positief krediet te ontvangen voor nuttige oproepen en negatief krediet voor fouten of onnodige oproepen binnen hetzelfde succesvolle traject.
Emergente Selectiviteit: De methode stelt modellen in staat te leren wanneer ze om hulp moeten vragen, waardoor onnodige hulpmiddeloproepen worden verminderd zonder expliciete instructie of externe supervisie.

4. Experimentele Resultaten

De auteurs hebben CARL geëvalueerd op vijf benchmarks (GSM8K, HotpotQA, 2WikiMQA, FinQA, Musique) met Qwen2.5-modellen op schaal van 3B en 7B, vergeleken met sterke RL-baselines (Search-R1 PPO en GRPO).

Toename in Nauwkeurigheid: CARL presteert beter dan de beste RL-baseline (Search-R1 PPO) met 6,7 Exacte Overeenkomst (EM) punten op 7B en 9,7 EM op 3B, gemiddeld over zoekgerelateerde datasets.
- De grootste winsten treden op bij Musique, een compositional multi-hop benchmark, met verbeteringen van +8,3 EM (7B) en +9,0 EM (3B).
- De winsten zijn disproportioneel groter voor kleinere modellen (de verbetering bij 3B is 1,4× de verbetering bij 7B), wat suggereert dat het weten wanneer je moet vragen cruciaal is voor modellen met beperkt parametrisch geheugen.
Efficiëntie van Hulpmiddelgebruik:
- Op vragen die vanuit parametrische kennis beantwoord kunnen worden (Tier 2), doet CARL 53% minder hulpmiddeloproepen dan Search-R1 PPO.
- Ondanks dat het minder vaak hulpmiddelen aanroept, blijft CARL ~10 EM punten nauwkeuriger op dezezelfde vragen.
- De totale token-generatie wordt gemiddeld 23% gereduceerd op 7B, gedreven door het overslaan van ophaalacties bij makkelijke vragen.
Calibratie van de Criticus: De getrainde criticus schat de waarschijnlijkheid van succes ( $V(s_0)$ $V (s_{0})$ ) nauwkeurig in.
- AUC 0,93 (7B) en 0,85 (3B) voor het scheiden van Tier 1 versus Tier 2 vragen.
- Calibratie: Met een verzorgde warm-up is de Verwachte Calibratiefout (ECE) 0,043, wat betekent dat de voorspelde succeswaarschijnlijkheid nauw overeenkomt met de feitelijke succespercentages.
Tekensdivergentie: De criticus wijst correct tegengestelde tekens toe aan segmenten binnen een enkel traject (bijvoorbeeld $+0,15$ voor een goede zoekopdracht, $-0,22$ voor een slechte extractie), een gedrag dat onmogelijk is voor methoden op traject-niveau.

5. Betekenis en Claims

Het artikel stelt dat CARL de fundamentele beperking van RL op traject-niveau aanpakt: het onvermogen om te isoleren welke specifieke hulpmiddeloproep heeft bijgedragen aan succes of falen. Door gebruik te maken van de structureel waarneembare grenzen van trajecten voor hulpmiddelgebruik, transformeert CARL een enkele binaire uitkomst in een reeks betekenisvolle, segment-niveau voordelen.

De auteurs benadrukken dat deze aanpak het model in staat stelt zijn eigen competentiegrens te leren in plaats van te worden geïnstrueerd wanneer hulpmiddelen moeten worden gebruikt. Dit resulteert in:

Verminderde Hallucinatie: Het model is minder geneigd om antwoorden te fabriceren bij moeilijke vragen (Tier 1), omdat het leert deze naar hulpmiddelen te routeren in plaats van te gokken.
Efficiëntie: Onnodige hulpmiddeloproepen worden onderdrukt, wat de latentie en API-kosten verlaagt.
Schaalbaarheid: De voordelen zijn het meest uitgesproken voor kleinere modellen, wat suggereert dat krediettoewijzing op segment-niveau een praktische alternatief is voor het schalen van parametrisch geheugen om kennis uit de staartverdeling te behandelen.

Het artikel concludeert dat hoewel de kwaliteit van ophaalacties een plafond blijft voor de prestaties (zoals blijkt uit ablatiestudies waarbij betere zoek-API's de resultaten verder verbeterden), het krediettoewijzingsmechanisme van CARL de primaire drijver is voor verbeterde selectiviteit en nauwkeurigheid in met hulpmiddelen verrijkte LLM's.