🤖 machine learning

BAGEN: Are LLM Agents Budget-Aware?

Het artikel introduceert BAGEN, een framework dat budgetbewustzijn definieert als progressieve intervalschatting en demonstreert dat hoewel grensverleggende LLM-agenten consequent falen in het accuraat voorspellen of waarschuwen voor budgetoverschrijdingen, hun vermogen om actiegerichte vroege stops te maken aanzienlijk kan worden verbeterd door middel van supervised fine-tuning en reinforcement learning.

Oorspronkelijke auteurs: Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot op een lange, complexe missie stuurt, zoals een bezorger die een stad moet navigeren, pakketjes moet ophalen en bezorgen. Je geeft de robot een budget: misschien 1.000 "energiepunten" (tokens) of een specifiek bedrag aan echt geld.

Het grote probleem dat dit paper identificeert, is dat de slimme robots van nu (AI-agenten) er vreselijk slecht in zijn om te weten hoeveel van hun budget ze nog over hebben terwijl ze aan het werk zijn. Ze beseffen meestal pas dat ze door hun geld heen zijn nadat de klus al is verpest.

Hier is het verhaal van het paper, onderverdeeld met eenvoudige analogieën:

1. Het kernproblein: De "blinde" robot

Nu, als je een robot vraagt: "Wat gaat deze rit kosten?", raadt hij meestal één keer aan het begin een bedrag.

De fout: Het is alsof een wandelaar vooraf probeert te raden hoeveel mijlen hij nog moet lopen voordat hij überhaupt begint met lopen. Hij houdt geen rekening met het feit dat hij verdwaald kan raken, slecht weer kan krijgen of een verkeerde afslag kan nemen.
De realiteit: Het onderzoek toonde aan dat zelfs de slimste robots overoptimistisch zijn. Ze denken: "Ik kan dit zeker voltooien met het geld dat ik nog heb!" zelfs wanneer ze eigenlijk al bijna zonder benzine zitten. Ze blijven geld uitgeven aan taken die eigenlijk al onmogoka zijn geworden, puur om te blijven proberen.

2. Het nieuwe idee: De "budgetbewuste" agent (BAGEN)

De auteurs stellen een nieuw type robot voor dat handelt als een slimme projectmanager. In plaats van één keer te gokken, controleert deze robot zijn portemonnee bij elke stap die hij zet.

Progressieve intervalschatting: In plaats van te zeggen: "Ik heb precies 500 punten nodig", zegt de robot: "Ik heb waarschijnlijk tussen de 400 en 600 punten nodig, maar als ik het antwoord niet snel vind, moet ik misschien stoppen."
De "Onmogelijk"-knop: Als de robot beseft dat hij in een gat zit waar hij niet meer uit kan klimmen, zou hij op een grote rode knop moeten drukken met de tekst "ONMOGELIJK" en direct stoppen, in plaats van de laatste paar dollar te verspillen door nog dieper te graven.

3. Wat ze ontdekten (Het "rapportcijfer")

De onderzoekers testten vijf van de slimste AI-modellen ter wereld op vier verschillende soorten taken (zoals puzzels oplossen, het internet doorzoeken en een magazijn beheren). Dit is wat ze ontdekten:

Slim zijn $\neq$ Budgetbewust zijn: Alleen omdat een robot geweldig is in het oplossen van de puzzel, betekent niet dat hij ook goed is in het tellen van zijn geld. Sterker nog, de correlatie was zwak. De beste puzzeloplosser was vaak de slechtste in het schatten van de kosten.
De "Optimisme-bias": Elke geteste robot was te hoopvol. Ze onderschatten consequent hoeveel geld ze nodig zouden hebben. Hoe minder goed de robot was in de taak, hoe optimistischer hij was over zijn budget.
Te laat om te redden: De robots beseften meestal pas dat ze gingen falen nadat ze al 80% van hun budget hadden uitgegeven. Tegen de tijd dat ze zeiden: "O nee, we kunnen dit niet afmaken," was het al te laat om de verliezen te beperken.
Het kan geleerd worden: Het goede nieuws is dat deze vaardigheid getraind kan worden. Door de robots te trainen (met behulp van een methode genaamd SFT + RL), leerden ze eerder te stoppen.
- Het resultaat: Als je de robot vertelt om te stoppen zodra hij "Onmogelijk" zegt, kun je 28% tot 64% van het verspilde geld aan mislukte pogingen besparen, met slechts een minimale daling in het aantal succesvol afgeronde taken.

4. De twee soorten "budgetten"

Het paper keek naar twee soorten uitgaven:

Intern budget (De brandstof van het brein): Dit is de rekenkracht en de "tokens" die de AI gebruikt om simpelweg na te denken en te communiceren.
Extern budget (De werkelijke kosten in de echte wereld): Dit is echt geld, tijd of fysieke middelen (zoals magazijnruimte) die de AI uitgeeft wanneer hij actie onderneemt.
De robots worstelden met beide, maar het probleem van de "overoptimisme" was voor beide hetzelfde.

5. De conclusie

Het paper concludeert dat budgetbewustzijn een aparte vaardigheid is van intelligentie. Momenteel zijn AI-agenten als chauffeurs die blijven doorrijden naar een bestemming, zelfs nadat hun benzinetank leeg is, in de hoop dat ze magisch een benzinestation tegenkomen.

De oplossing is niet noodzakelijkerwijs om de AI "slimmer" te maken in de taak, maar om hem te trainen om een betere boekhouder voor zichzelf te zijn. Als we deze agenten leren om eerder te zeggen "Ik kan dit niet", kunnen we een enorme hoeveelheid middelen besparen zonder veel in te leveren op het aantal succesvolle taken.

Kortom: We moeten AI-agenten niet alleen vragen om "de klus te klaren", maar ze ook leren om tijdens het werk een oogje in het zeil te houden bij hun portemonnee.

Technische Samenvatting: BAGEN: Zijn LLM-agenten budgetbewust?

1. Probleemstelling

Huidige Large Language Model (LLM) agenten worden steeds vaker ingezet voor taken met een lange horizon en hoge inzet, waarbij aanzienlijk resourceverbruik plaatsvindt, zoals tokengebruik (intern budget) en API-aanroepen, monetaire kosten, of tijd (extern budget). Echter, bestaande evaluatieparadigma's behandelen budget primair als een post-hoc metriek, waarbij kosten pas worden gemeten nadat de uitvoering is voltooid.

Het artikel identificeert een kritieke kloof: agenten missen budgetbewustzijn, gedefinieerd als het vermogen om tijdens de uitvoering in te schatten hoeveel budget er nog over is en of een taak nog wel voltooid kan worden. Zonder deze capaciteit kunnen agenten geen cruciale controlebeslissingen nemen, zoals het afbreken van hopeloze taken, het aanvragen van extra middelen, of het herverdelen van budgetten over subdoelen. Bovendien vertrouwen bestaande studies vaak op single-point schatting (één enkele voorspelling aan het begin van de taak), wat de evoluerende haalbaarheid van taken met een lange horizon niet vastlegt en geen progressieve verfijning op basis van geobserveerde voortgang toestaat.

2. Methodologie

2.1. Budgetmodaliteiten

De auteurs formaliseren twee verschillende soorten budget:

Intern Budget: Rekencapaciteit gegenereerd door het eigen redeneren van het model (bijv. aantal tokens).
Extern Budget: Kosten die in de omgeving worden gemaakt (bijv. geld, tijd, inventaris), die multidimensionaal en gekoppeld kunnen zijn (bijv. het aanhouden van inventaris verhoogt de omzet maar verbruikt magazijncapaciteit).

2.2. Progressief Interval-schattingprotocol

Om de beperkingen van single-point schatting aan te pakken, stelt het artikel Progressieve Interval-schatting voor. In plaats van een enkele puntvoorspelling, wordt de agent bij elke beurt $k$ van een traject $\tau$ gevraagd om te voorspellen:

Een interval $[\hat{R}^{lo}_k, \hat{R}^{hi}_k]$ dat het resterende budget vertegenwoordigt als de taak als haalbaar wordt beschouwd.
Een onmogelijk verklaring als de taak als onhaalbaar wordt beschouwd gezien het resterende budget.

Dit protocol introduceert drie kerneigenschappen:

Onzekerheid: Uitgedrukt via de intervalbreedte.
Progressiviteit: Schattingen worden bijgewerkt naarmate de agent gedeeltelijke voortgang observeert.
Onhaalbaarheidsbewustzijn: Een expliciete "onmogelijk"-optie maakt vroegtijdige stopzetting mogelijk.

2.3. Rollout-Replay Evaluatie

Om het vermogen tot budgetschatting te ontkoppelen van het vermogen tot taakvoltooiing, gebruiken de auteurs een rollout-replay protocol:

Rollout Generatie: De agent voert een taak uit zonder budgetbeperkingen om een volledig traject en grondwaarheid-kosten te genereren.
Prefix Replay: Het gelogde prefix tot beurt $k$ wordt opnieuw afgespeeld naar de agent, die vervolgens gevraagd wordt het resterende budget en de haalbaarheid in te schatten.
Scoring: Voorspellingen worden gescoord tegen de gerealiseerde resterende kosten en de werkelijke uitkomst.

2.4. Sub-capaciteitsmetrieken

Budgetbewustzijn wordt gedecomponeerd in drie meetbare sub-capaciteiten:

Haalbaarheidsvoorspelling: Een binaire classificatie (haalbaar vs. onmogelijk) gemeten via Macro-F1.
Vroege Faalde Detectie: Het vermogen om gedoemde trajecten vroegtijdig te herkennen, gemeten via Fail-F1 (precisie/recall op de "onmogelijk"-klasse).
Resterende Budget Schatting: De nauwkeurigheid van intervalvoorspellingen op succesvolle trajecten, gemeten via Coverage (of de werkelijke kosten binnen het interval vallen) en Tightness (het bestraffen van te brede intervallen).

2.5. Experimentele Opzet

De studie evalueert vijf frontier modellen (GPT-5.2, Claude Opus 4.7, Claude Sonnet 4.6, Gemini 3.1 Pro, Qwen3-235B) over vier omgevingen:

Intern Budget: Sokoban (planning), Search-R1 (multi-hop retrieval), SWE-bench (GitHub issue resolutie).
Extern Budget: Warehouse (een supply-chain omgeving met gekoppelde dimensies voor kosten, tijd en inventaris).

3. Belangrijkste Resultaten

3.1. Ontkoppeling van Taakprestatie en Budgetbewustzijn

Zwakke Correlatie: De succesrate van taken correleert zwak met de kwaliteit van de budgetschatting ( $r \approx 0.35$ ). Sterke taakperformers zijn niet noodzakelijkerwijs sterke inschatters. Bijvoorbeeld, op Search-R1 behaalde Opus de hoogste taaksucces (75,8%), maar produceerde Sonnet betere intervalschattingen (36,5% hit rate vs. 23,1%).
Geen Dominant Model: Geen enkel model blinkt uit in alle drie de sub-capaciteiten (haalbaarheid, vroege detectie, intervalkalibratie).

3.2. Systematische Fouten

Optimistische Bias: Alle modellen vertonen consistent een onderschatting van het resterende budget (optimistische bias). Deze bias is prominenter bij zwakkere modellen en houdt stand in alle omgevingen.
Late Faalde Herkenning: Agenten herkennen falen te laat om actie te ondernemen. Op gefaalde trajecten voorspellen modellen vaak "haalbaar" met >70% zekerheid, zelfs nadat 60% van het budget is verbruikt. Het "alarm" gaat doorga Tangelijk pas in de laatste 20% van de uitvoering.
Instabiliteit: Schattingen in de eerste beurt wijken vaak af van latere beurten, en de richting van deze afwijking varieert per model en taak.

3.3. Training en Actiegerichtheid

Binaire Haalbaarheid is een Kalibratieprobleem: Supervised Fine-Tuning (SFT) alleen verhoogde de haalbaarheidsnauwkeurigheid van Qwen-7B van 25,5% naar ~90%, wat suggereert dat de capaciteit latent aanwezig was maar vormat-kalibratie vereiste.
Interval-schatting is een Redeneerprobleem: SFT verbeterde de interval-coverage, maar het toevoegen van Reinforcement Learning (SFT+RL) was noodzakelijk om de coverage naar 47% te duwen. Echter, RL zonder een SFT warm-start veroorzaakte trainingsinstorting.
Actiegericht Signaal: Het implementeren van een simpel early-stop beleid (termineren wanneer het model "onmogelijk" voorspelt) bespaarde 28–64% van de tokens op gefaalde trajecten met een minimale kost aan de algehele succesrate (1,6–4,2 procentpunt).

4. Bijdragen

Definitie van Budgetbewustzijn: Formaliseert budgetbewustzijn als een onderscheidende capaciteit die losstaat van taakuitvoering, gedefinieerd via progressieve interval-schatting.
Evaluatieprotocol: Introduceert het rollout-replay protocol om de schattingscapaciteiten te isoleren van de uitvoeringscapaciteiten.
Empirische Analyse: Toont systematisch aan dat frontier modellen lijden aan systematische optimisme en late faalde herkenning, en dat deze fouten verschillen van de taakprestatie.
Trainingsinzichten: Toont aan dat binaire haalbaarheid een kalibratieprobleem is dat oplosbaar is met SFT, terwijl precieze interval-schatting een redeneer-bottleneck is die SFT+RL vereist, en dat het signaal direct inzetbaar is voor resourcebesparing.

5. Betekenis en Claims

Het artikel claimt dat budget moet worden behandeld als een actief controlesignaal in plaats van een passieve boekhoudkundige metriek. De auteurs stellen dat huidige agenten de metacognitieve monitoring missen die nodig is om middelen effectief te beheren in taken met een lange horizon.

De betekenis ligt in het aantonen dat:

Budgetbewustzijn een trainbare en actiegerichte capaciteit is, zelfs als huidige modellen imperfect zijn.
Simpele interventies (zoals vroegtijdige stopzetting op basis van de zelfvoorspelling van het model) substantiële resourcebesparingen kunnen opleveren met een minimale impact op de succesrate.
De kloof tussen taakprestatie en budgetschatting suggereert dat toekomstige agent-ontwikkeling expliciet gericht moet zijn op zelfmonitoring en kalibratie, in plaats van ervan uit te gaan dat deze natuurlijk voortkomen uit verbeterd redeneren of taaksucces.

Het artikel concludeert dat hoewel precieze interval-kalibratie een uitdaging blijft (met een maximum van 47% coverage na training), het vermogen om onhaalbaarheid te detecteren en kosten in te schatten een cruciale, onderscheidende capaciteit is die ontwikkeld moet worden om resource-beperkte agenten effectief te laten opereren in real-world, high-stakes omgevingen.