Token Budgets: An Empirical Catalog of 63 LLM-Agent Budget-Overrun Incidents, with an Affine-Typed Rust Mitigation as a Case Study
Dit artikel presenteert een empirische catalogus van 63 overschrijdingen van het tokenbudget door LLM-agenten en introduceert "token-budgets", een type-veilige Rust crate die gebruikmaakt van affine ownership om niet-omzeilbare uitgaveslimieten op compile-time af te dwingen, wat effectief delegatie-gerelateerde kostenexplosies voorkomt die ad-hoc runtime-oplossingen teisteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Probleem: De "Infinite Money Glitch" in AI
Stel je voor dat je een robotassistent inhuurt om wat werk voor je te doen. Je geeft hem een strikte regel: "Geef niet meer dan $10 uit met mijn creditcard."
De robot raakt echter in de war. Hij komt vast te zitten in een lus en probeert keer op keer hetzelfde probleem op te lossen. Omdat de robot geen ingebouwde "stopknop" heeft die de prijs controleert voordat hij een oproep doet, blijft hij geld uitgeven. Tegen de tijd dat je de volgende ochtend wakker wordt, heeft de robot niet alleen je $10 uitgegeven; hij heeft $10.000 uitgegeven.
Dit papier noemt dit een "Budget Overrun" (budgetoverschrijding). De auteurs vonden 63 echte voorbeelden van dit fenomeen tussen 2023 en 2026 in veel verschillende AI-frameworks. In sommige gevallen verloren gebruikers duizenden dollars omdat de software het uitgeven niet stopte voordat het gebeurde.
De Huidige Oplossingen: Het "Alarm Achteraf"
De meeste bedrijven proberen dit momenteel op te lossen door een "beveiliger" neer te zetten die het uitgeven in de gaten houdt nadat de robot de oproep al heeft gedaan.
- De Analogie: Stel je voor dat je een winkel binnenstapt, 1.000 artikelen koopt, en dat de kassière je bij de deur tegenhoudt en zegt: "Wacht even, dat is boven je limiet!" Je moet echter nog steeds betalen voor de artikelen die je al hebt gepakt, of je moet terugrennen naar het schap om ze weer neer te leggen.
- Het Punt van het Papier: Deze huidige oplossingen zijn te traag. Ze vangen de fout op, maar ze voorkomen de schade niet.
De Nieuwe Oplossing: De "Magische Portemonnee" (Token Budgets)
De auteurs hebben een nieuwe tool gebouwd genaamd Token Budgets (geschreven in een programmeertaal genaamd Rust). In plaats van een beveiliger die het uitgeven in de gaten houdt, hebben ze de portemonnee zelf veranderd.
De Analogie:
Stel je voor dat je de robot een fysieke portemonnee geeft met precies $10 aan contant geld.
- Geen Kopieën: De portemonnee is gemaakt van een speciaal materiaal dat niet gefotocopieerd kan worden. De robot kan niet 100 kopieën van de portemonnee maken om $1.000 uit te geven.
- Geen Dubbel Uitgeven: Zodra de robot een $1-biljet pakt om iets te kopen, is dat biljet weg. Hij kan datzelfde biljet niet weer in zijn zak steken en het opnieuw uitgeven.
- Geen Delen: Als de robot de portemonnee in twee kleinere portemonnees splitst om aan twee helpers te geven, verdwijnt de originele portemonnee. De helpers kunnen niet terugkeren naar de originele portemonnee om meer geld te halen.
In de wereld van computercode wordt dit "Affine Ownership" genoemd. Het dwingt de computer om de regels te controleren voordat de robot zelfs maar het huis verlaat. Als de robot de regels probeert te breken (zoals het kopiëren van de portemonnee), weigert de computer het programma überhaupt te laten draaien. Het is als een uitsmijter bij een club die je ID controleert voordat je überhaupt naar binnen mag; als je die niet hebt, kom je de bar niet eens bereikt om een drankje te bestellen.
Wat Ze Daadwerkelijk Hebben Bewezen
Het papier maakt drie hoofdclaims, die ze zorgvuldig hebben getest:
- De Catalogus van Falen: Ze hebben een "Hall of Shame" (Schandehall) gemaakt met een lijst van 63 specifieke incidenten waarbij AI-agenten op een uitgave-vrije loop gingen. Ze vonden ook 47 andere gevallen waarin ontwikkelaars toegaven: "We hebben hier nog geen manier voor om dit te stoppen." Dit bewijst dat het probleem echt is en vaak voorkomt.
- De "Magische Portemonnee" Werkt: Ze hebben hun nieuwe Rust-tool getest tegen vijf andere populaire manieren om AI-kosten te beheren.
- Het Resultaat: Toen ze probeerden het systeem te misleiden om te veel uit te geven (door een 'race condition' te creëren waarbij twee agenten tegelijkertijd proberen hetzelfde geld uit te geven), faalden de andere systemen 100% van de tijd. Het nieuwe "Magische Portemonnee"-systeem faalde 0 keer.
- Waarom? Omdat de andere systemen vertrouwen op de programmeur die moet onthouden om een "lock" (vergrendeling) te schrijven om dubbel uitgeven te voorkomen. Als de programmeur dit vergeet, lekt het geld weg. Het nieuwe systeem dwingt de programmeur om de regels te volgen, anders compileert de code niet (het wordt geen werkend programma).
- Het Is Geen Magische Oplossing voor Alles: De auteurs zijn zeer eerlijk over de beperkingen.
- Het werkt alleen in Rust: Deze specifieke "Magische Portemonnee" werkt alleen als je je software in de programmeertaal Rust schrijft. Het werkt niet voor Python of JavaScript (hoewel ze een Python-versie hebben gemaakt die werkt als een normale beveiliger, niet als een magische portemonnee).
- Het vertrouwt op het AI-bedrijf: Het systeem schat in hoeveel een taak zal kosten. Als het AI-bedrijf (zoals OpenAI of Anthropic) meer rekent dan ze zeiden, of als ze bepaalde "denkkosten" verbergen, kan het systeem nog steeds in de war raken. Het vertrouwt op de rekening die het ontvangt, maar als de rekening niet klopt, kan de portemonnee leeglopen.
De Kernboodschap
Dit papier zegt: "AI-agenten zijn momenteel gevaarlijk omdat ze per ongeluk je bankrekening kunnen plunderen. We hebben 63 voorbeelden hiervan gevonden. We hebben een nieuwe tool gebouwd die strikte computeregels gebruikt om het onmogelijk te maken voor de code om per ongeluk geld te kopiëren of dubbel uit te geven. Het werkt perfect om dit specifieke type fouten te voorkomen, maar het werkt alleen als je de programmeertaal Rust gebruikt en als de AI-bedrijven de waarheid spreken over hun prijzen."
Kortom: Ze hebben niet alleen een beter alarmsysteem gebouwd; ze hebben een portemonnee gebouwd die fysiek niet gestolen of gedupliceerd kan worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.