💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Dit artikel introduceert InflationAgent, een nieuw routing-framework dat het "token-inflatie"-gat in agentische LLM-systemen aanpakt door workflow-niveau kosten te voorspellen via CoT Branching Entropy en modelselectie te optimaliseren door middel van een Semantic Exchange Rate, waardoor een hogere nauwkeurigheid wordt bereikt met minder tokens dan bestaande methoden zoals FrugalGPT.

Oorspronkelijke auteurs: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bezorgdienst runt voor een vloot robots. Sommige robots zijn piepklein, snel en goedkoop in gebruik, maar ze raken soms in de war en laten pakketjes vallen. Anderen zijn gigantisch, superintelligent en duur, maar ze maken bijna nooit een fout. In de wereld van Kunstmatige Intelligentie zijn deze robots "Large Language Models" (LLM's). Ze zijn de hersenen achter chatbots en programmeerassistenten. Meestal, wanneer we een vraag stellen, sturen we deze naar één robot en wachten we op een antwoord. Maar in de echte wereld is het een rommelige boel. Als de kleine robot het fout heeft, geeft een slim systeem niet zomaar op; het vraagt de robot om het opnieuw te proberen. Het kan zelfs de gigantische robot erbij roepen. Dit wordt een "agentic system" genoemd — een team van AI-agents die samenwerken om een probleem op te lossen.

Het probleem is dat we de kosten van deze leveringen allemaal verkeerd hebben berekend. We hebben betaald voor de prijs van een enkele rit, terwijl we vergaten dat als de robot crasht en terug naar het magazijn moet rijden om het opnieuw te proberen, we voor de hele rondreis betalen, niet alleen voor het enkele ticket. Dit paper gaat over een nieuwe manier om deze AI-teams te beheren, zodat we niet per ongeluk ons budget verbranden door de verkeerde robot op een klus te sturen die te veel pogingen tot herstel vereist.

De verborgen kosten van "Nog een keer proberen"

Stel je voor dat je bij een kermis staat bij een spelletjeskraam. Je hebt een beperkte hoeveelheid geld (tokens) om te spelen. Je kunt kiezen tussen een goedkope, wankele machine die $1 per poging kost, of een luxe, high-tech machine die $10 per poging kost.

De oude manier van denken was simpel: "De goedkope machine kost $1, dus ik kies die!" Maar hier komt de adder onder het gras: de goedkope machine is lastig. Als je hem een moeilijke vraag stelt, kan hij het fout hebben. Dus moet je weer $1 betalen om het een tweede keer te proberen. En een derde keer. En een vierde keer. Tegen de tijd dat je eindelijk het juiste antwoord hebt, heb je $5 aan de goedkope machine uitgegeven. Ondertussen zou de luxe machine het de eerste keer al goed hebben gehad voor $10.

Dit paper noemt deze verborgen extra kosten "Token Inflation" (Token-inflatie). Het is het gat tussen wat je denkt te betalen (één poging) en wat je daadwerkelijk betaalt (vijf pogingen). De auteurs ontdekten dat voor moeilijke taken deze inflatie enorm kan zijn. Een klein, goedkoop model kan uiteindelijk 4,25 keer duurder uitvallen dan verwacht omdat het steeds faalt en herhaalde pogingen nodig heeft.

De nieuwe strategie: De "InflationAgent"

De onderzoekers hebben een nieuw systeem gebouwd genaamd InflationAgent om dit op te lossen. In plaats van alleen naar de prijs van een enkele poging te kijken, werkt dit systeem als een slimme kermismanager die precies weet welke machines gevoelig zijn voor defecten.

Zo werkt het, stap voor stap:

1. De "Buikgevoel-check" (CoT Branching Entropy)
Voordat het systeem zelfs een robot vraagt om een probleem op te lossen, doet het een snelle, gratis test. Het vraagt een kleine, lokale robot om drie verschillende keren over het probleem na te denken.

Als de robot drie keer hetzelfde antwoord geeft, weet het systeem dat het probleem makkelijk is.
Als de robot drie totaal verschillende, verwarde antwoorden geeft, weet het systeem dat het probleem moeilijk is en dat de robot waarschijnlijk in een lus van herhaalde pogingen terechtkomt.
De auteurs noemen deze meting CoT Branching Entropy. Het is alsoals controleren of een automotor sputtert voordat je überhaupt aan de rit begint. Dit kost niets extra omdat het op een lokale computer gebeurt, niet op de dure cloudservers.

2. De "Prijskaartjes"-calculator
Gebruikmakend van die "buikgevoel-check", voorspelt het systeem hoeveel de "inflatie" zal zijn. Het systeem gokt niet zomaar; het gebruikt een kleine, slimme calculator (een machine learning-model) die getraind is op historische gegevens. Het voorspelt: "Als we deze moeilijke vraag naar de kleine robot sturen, zal hij waarschijnlijk 3 keer falen, dus de werkelijke kosten zijn 3x de prijs."

3. De "Beste Deal" Selector
Nu berekent het systeem de Semantic Exchange Rate (SER). Dit is een chique manier om te vragen: "Hoeveel nauwkeurigheid krijg ik voor elke dollar die ik daadwerkelijk uitgeef?"

Als de kleine robot goedkoop is maar 4 keer zal falen, is zijn "deal" verschrikkelijk.
Als de grote robot duur is maar het de eerste keer wel goed zal doen, kan zijn "deal" eigenlijk beter zijn.
Het systeem kiest de robot die de beste waarde biedt, niet alleen de goedkoopste stickerprijs.

4. De "Frisse Start"-regel
Dit is de belangrijkste truc. Als het systeem een vraag naar een robot stuurt en deze faalt, en het besluit vervolgens om op te schalen naar een grotere, slimmere robot, dan gooit het de oude mislukte poging weg.
De onderzoekers ontdekten iets verrassends: als je de grote robot de rommelige, verwarde aantekeningen van de kleine robot laat zien, raakt de grote robot ook in de war! Het is alsof je een genie een pagina met krabbels laat zien van een strijdende student; het genie kan daardien aan zichzelf gaan twijfelen.
Door de grote robot een frisse prompt (een schone lei) te geven, houdt het systeem de nauwkeurigheid hoog. Als ze simpelweg de mislukte aantekeningen hadden doorgegeven, was de nauwkeurigheid van de grote robot met 34,8 procentpunt gedaald bij moeilijke vragen.

Wat ze hebben gevonden

Het team heeft dit getest op wiskundeproblemen (GSM8K) en lastige trivia vragen (HotpotQA). Dit is wat er gebeurde:

De Inflatie is Echt: Op moeilijke trivia vragen had het kleine model (Qwen2.5-7B) een inflatiepercentage van 4,25×. Dit betekende dat voor elke dollar die je dacht uit te geven, je er eigenlijk $4,25 uitgaf omdat de robot bleef falen.
Betere Resultaten voor Minder Geld: Wanneer ze een vast budget instelden (een strikte limiet op hoeveel tokens ze konden uitgeven), behaalde hun nieuwe systeem (InflationAgent) 94,7% van de juiste antwoorden. De oude populaire methode (FrugalGPT) haalde slechts 91,0% goed.
Besparen van Tokens: Om dezelfde nauwkeurigheid van 91,0% te bereiken die de oude methode behaalde, gebruikte het nieuwe systeem 31% minder tokens. Dat is een enorme besparing.
Het Gevaar van "Meer Pogingen": Ze ontdekten dat het simpelweg geven van meer kansen aan de kleine robot (tot wel 10 keer) niet eeuwig werkt. Na een bepaald punt raakte de robot in de war door zijn eigen eerdere fouten, en de nauwkeurigheid ging zelfs omlaag. Soms is het beter om over te schakelen naar een slimmere robot dan om met je hoofd tegen de muur te blijven slaan.

De Kern van het Verhaal

Dit paper laat zien dat in de wereld van AI "goedkoop" niet altijd goedkoop is. Als een model waarschijnlijk zal falen en herhaaldelijk opnieuw moet proberen, wordt het duur en inefficiënt. Door te meten hoe groot de kans is dat een model vastloopt (met de "buikgevoel"-entropie) en door met een frisse start over te schakelen naar een slimmer model, kunnen we geld besparen en betere antwoorden krijgen.

De auteurs zijn zelfverzekerd over deze resultaten op basis van hun tests met specifieke wiskunde- en trivia-datasets. Ze suggereren dat hoewel dit geweldig werkt voor redeneertaken, we nog moeten uitzoeken hoe we dit kunnen toepassen op meer open gesprekken of tools. Maar voor nu hebben ze bewezen dat een beetje slimme planning een groot verschil maakt om te voorkomen dat het AI-budget uit de hand loopt.

Technische Samenvatting: Niet alle tokens zijn gelijk: Inflatie-bewuste routing voor agentische LLM-systemen

Probleemstelling

Moderne agentische systemen gebouwd op Large Language Models (LLM's) maken frequent gebruik van retry-mechanismen wanneer een model er niet in slaagt een query correct te beantwoorden of een onvolledige redeneerketen produceert. Terwijl bestaande routingsystemen (bijv. FrugalGPT, RouteLLM) de kosten optimaliseren op basis van de prijs per token van een enkele aanroep, houden zij geen rekening met de cumulatieve kosten van retries.

De auteurs definiëren Token-inflatie als de ratio tussen de werkelijke workflow-kosten (inclusief alle retries) en de geschatte kosten van een enkele aanroep.
$\text{Inflatie}(m, x) = \frac{C_{\text{werkelijk}}(m, x)}{C_{\text{direct}}(m, x)}$
Waarbij $C_{\text{werkelijk}}$ de som is van de verbruikte tokens over $k^*$ pogingen tot succes (of uitputting van retries), en $C_{\text{direct}}$ het aantal tokens van een enkele poging is.

Het paper demonstreert dat deze inflatie niet verwaarloosbaar en zeer variabel is. Voor moeilijke multi-hop taken kan een "goedkoop" klein model herhaaldelijk falen, wat resulteert in een werkelijke kostenpost die 4,25 keer hoger is dan de schatting van de enkele aanroep. Bijgevolg kunnen beslissingen voor routing die uitsluitend gebaseerd zijn op schattingen van een enkele aanroep, de werkelijke kosten systematisch met meer dan 2× onderschatten, wat leidt tot suboptimale modelselectie.

Methodologie: InflationAgent

Om dit aan te pakken, stellen de auteurs InflationAgent voor, een vierfasige routing-pipeline ontworpen om de Semantic Exchange Rate (SER) te maximaliseren, gedefinieerd als de verwachte nauwkeurigheid gedeeld door de voorspelde werkelijke kosten:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{werkelijk}}(m, x)}$

De pipeline werkt als volgt:

Feature Extractie (Lokaal): Het systeem extraheert structurele kenmerken uit de query (tokenaantal, vocabulaire-diversiteit, multi-hop aanwijzingen) zonder API-aanroepen te doen.
CoT Branching Entropy (CBE) Berekening (Lokaal): Het systeem samplet $K$ onafhankelijke redeneeketens van een lokaal model. Het berekent de Shannon-entropie van de resulterende antwoordverdeling:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
Hoge entropie duidt op divergerende redeneringspaden en een hoge query-moeilijkheidsgraad, wat dient als een kosteloze proxy voor de waarschijnlijkheid van retries.
Inflatie Voorspelling & Routing: Een lichtgewicht Multi-Layer Perceptron (MLP) voorspelt de inflatiefactor ( $\hat{\text{Inflatie}}$ ) met behulp van vier kenmerken: CBE, overeenstemmingsscore, gemiddelde ketenlengte en prompt-tokenaantal. Het systeem schat de werkelijke kosten in ( $\hat{C}_{\text{werkelijk}} = C_{\text{direct}} \times \hat{\text{Inflatie}}$ ) en selecteert de modeltier met de hoogste SER.
Executie met Fresh-Escalation: Het geselecteerde model voert de query uit. Als de geobserveerde inflatie de voorspelling met 2× overschrijdt, escaleert het systeem naar een sterkere modeltier. Cruciaal is dat deze escalatie gebruikmaakt van een frisse prompt, waarbij de mislukte redeneerketen wordt weggegooid om contextcontaminatie te voorkomen.

Belangrijkste Bijdragen

Systematische Meting van Token-inflatie: De auteurs hebben een agentische retry-harness geïmplementeerd over drie modeltiers (Qwen2.5-7B, GPT-4o-mini, GPT-4o) en twee datasets (GSM8K, HotpotQA). Ze vonden dat inflatie significant varieert per type taak, oplopend tot 4,25× voor een 7B-model op multi-hop QA, terwijl GPT-4o bij dezelfde taak slechts 2,92× inflatie vertoonde.
CoT Branching Entropy (CBE): Een nieuw signaal voor moeilijkheidsgraad vóór uitvoering, volledig berekend via lokale inferentie. Het voorspelt hoge inflatie met een AUROC van 0,887, waardoor het systeem de overhead van retries kan voorzien zonder extra API-kosten te maken.
Semantic Exchange Rate (SER) Routing: Een routing-doelstelling die de nauwkeurigheid afweegt tegen de voorspelde werkelijke kosten, in plaats van alleen de kosten van een enkele aanroep.
Fresh-Escalation Beleid: Een empirische bevinding dat het doorsturen van mislukte redeneeketens naar een sterker model de prestaties verslechtert. De auteurs tonen aan dat het contamineren van GPT-4o met mislukte ketens van een kleiner model de nauwkeurigheid op moeilijke queries met 34,8 procentpunt vermindert, wat de noodzaak van het verwerpen van mislukte context tijdens escalatie valideert.

Experimentele Resultaten

De evaluatie werd uitgevoerd op GSM8K en HotpotQA met een vast tokenbudget en een maximaal aantal van 5 retries.

Nauwkeurigheid vs. Kosten: Op GSM8K behaalde InflationAgent een nauwkeurigheid van 94,7% vergeleken met de 91,0% van de baseline FrugalGPT. Om het nauwkeurigheidsniveau van FrugalGPT te bereiken, had InflationAgent 31% minder tokens nodig.
Inflatie Voorspelling: De MLP-voorspeller bereikte een Pearson-correlatie van 0,714 en een AUROC van 0,887 op de held-out testset voor het detecteren van hoog-inflatoire queries (drempel ≥2×).
Marginale Opbrengsten: Het verhogen van het aantal retries voor een klein model (Qwen2.5-7B) vertoonde afnemende meeropbrengsten; de nauwkeurigheid piekte bij 5× het budget (92,5%) en daalde naar 82,0% bij 10× vanwege contextvenster-interferentie door mislukte ketens.
Context Contaminatie: In een gecontroleerd experiment daalde de nauwkeurigheid van GPT-4o van 73,9% naar 39,1% wanneer mislukte redeneeketens van Qwen2.5-7B werden gevoed, een statistisch significante daling ( $p=0,0078$ ).

Betekenis en Claims

Het paper claimt dat token-inflatie een kritieke, voorheen over het hoofd geziene factor is in het ontwerp van agentische systemen. Door de overhead van retries te negeren, kunnen bestaande routingstrategieën onbedoeld modellen selecteren die per token "goedkoop" zijn, maar duur per succesvolle taak.

De auteurs stellen dat InflationAgent dit oplost door:

Expliciet het gat tussen schattingen van een enkele aanroep en de werkelijke workflow-kosten te modelleren.
Lokale inferentie (CBE) te gebruiken om dit gat te voorspellen zonder extra API-kosten te maken.
Een "fresh-escalation" strategie te implementeren die de degradatie van de prestaties van downstream-modellen door contextcontaminatie voorkomt.

Het werk stelt vast dat voor moeilijke, multi-hop taken een nominaal goedkoop model met een hoge inflatie noch kosteneffectief, noch effectief is. Het voorgestelde framework biedt een pad naar efficiëntere agentische inferentie door de routingbeslissingen af te stemmen op de werkelijke economische kosten van taakvoltooiing.

Beperkingen

De auteurs merken op dat hun evaluatie beperkt is tot twee redeneer-benchmarks (GSM8K, HotpotQA) en niet wordt uitgebreid naar open-ended generatie, multi-turn dialoog of tool-gebruikende agents. De inflatie-voorspeller is getraind op specifieke taakdistributies, en de generaliseerbaarheid naar andere taken blijft een open vraag. Daarnaast zijn de gebruikte rekeneenheid-ratio's vast en houden ze geen rekening met dynamische API-prijzen.