Token Reduction Is Not Cost Reduction
Dit artikel toont aan dat het verminderen van het aantal tokens in de context van coding agents de gefactureerde kosten niet betrouwbaar verlaagt vanwege de dominantie van prompt-cacheverkeer en het risico op taalfalen, waarbij er in plaats daarvan voor wordt gepleit om kostenefficiëntie te evalueren op basis van succes-gecorrigeerde gefactureerde kosten in plaats van louter op basis van tokenreductie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een high-tech detectiebureau runt waar je superintelligente AI-detectives (genaamd "coding agents") mysteries oplossen door bestanden te lezen, commando's uit te voeren en met je te chatten. Elke keer dat ze een bestand lezen of een commando uitvoeren, krijg je een rekening van de cloudprovider.
Lange tijd dacht iedereen dat de beste manier om geld te besparen was om de detectives minder tekst te laten lezen. De logica was simpel: "Als we de bestanden die ze lezen comprimeren, verminderen we het aantal woorden, en gaat de rekening omlaag!" Het klonk als een perfect plan, zoals een koffer inpakken door alle lucht eruit te persen.
Maar dit paper, getiteld "Token Reduction Is Not Cost Reduction," is hier om ons te vertellen dat de koffer-analogie een valstrik is. De auteurs voerden een massaal experiment uit — meer dan 2.908 detective-runs over 7 verschillende codebases en 3 verschillende AI-modellen — om te zien wat er werkelijk met de rekening gebeurt.
Hier is de twist die ze ontdekten: Het verkleinen van de tekst verkleint niet altijd de rekening. Sterker nog, soms zorgt het verkleinen van de tekst ervoor dat de rekening juist omhoog gaat.
De verrassing van het "Gecachte Geheugen"
De grootste schok was waar het geld eigenlijk naartoe gaat. De auteurs ontleedden de rekening en ontdekten dat 87% van de gereconstrueerde kosten (en ongeveer 80% van de werkelijke rekening) afkomstig is van iets dat "prompt-cache verkeer" wordt genoemd.
Denk aan het geheugen van de AI als een supersnelle, magische whiteboard.
- Schrijven op het bord (Cache Creatie): Dit kost geld, maar het is een eenmalige vergoeding.
- Lezen van het bord (Cache Reads): Dit is supergoedkoop, zoals een kortingsbon krijgen.
- Nieuwe tekst (Uncached Input): Dit is het dure gedeelte, maar het is eigenlijk maar een klein deel van de taart (slechts 1,3% van de rekening!).
Er is echter een verborgen kostenpost die het whiteboard niet duidelijk laat zien. De auteurs vonden een "ontoegewezen residu" van 8,7% in de rekening dat hun standaard uitsplitsing niet kon verklaren. Dit overgebleven deel is niet willekeurig; het schaalt direct met hoe hard de AI nadenkt. Bij het Haiku 4.5-model geldt: hoe meer "denkinspanning" je instelt, hoe groter deze mysterieuze rekening wordt. Het suggereert dat zelfs wanneer de tekst klein lijkt, de AI mogelijk dure mentale arbeid verricht die niet zichtbaar is in de token-count.
Het probleem is dat wanneer je tekst comprimeert, je niet alleen bespaart op het "Nieuwe tekst"-gedeelte. Je bent misschien de "Lezen van het bord"-kant aan het verstoren. Als je een bestand te veel comprimeert, kan de AI in de war raken, vergeten waar hij mee bezig was, en de hele geschiedenis van het gesprek opnieuw moeten lezen om het te begrijpen.
Elke keer dat de AI die geschiedenis opnieuw moet lezen, moet hij deze weer op het bord schrijven. En schrijven is duur! Dus, zelfs als je een paar woorden bespaarde, dwong je de AI om de "schrijfkosten" telkens opnieuw te betalen.
De "38% Korting" die meer kostte
De auteurs testten een fancy compressiesysteem (genaamd RTK-ML) dat erin slaagde om 38,4% van de ruwe tool-output tekst te verminderen. Je zou denken dat dit een fortuin zou besparen, toch?
Fout.
In hun gepaarde tests zorgde dit systeem er zelfs voor dat de kosten met 6,8% stegen (met een 95% betrouwbaarheidsinterval van [+2,8, +11,3]).
Waarom? Omdat de compressie zo agressief was dat de AI extra stappen moest ondernemen. De AI moest extra diagnostische rondes draaien, bestanden opnieuw lezen en meer vragen stellen. Elke van die extra stappen betekende het opnieuw verzenden van de volledige gesprekshistorie, wat alle winst van de tekstcompressie tenietdeed.
Het paper sluit de gedachte expliciet uit dat "minder tokens = lagere kosten". Ze ontdekten dat de relatie tussen hoeveel tekst je verwijdert en hoeveel geld je bespaart, vrijwel niet bestaat. De correlatie was een zwakke 0,15, wat zo dicht bij nul ligt dat het praktisch een muntopgooi is.
De ramp van de "Broken Anchor"
Er is nog een andere manier waarop compressie kan tegenwerken: het kan de aanwijzingen breken die de AI nodig heeft om zijn werk te doen.
De auteurs voerden een speciale test uit op Go programmeertaken. Ze ontdekten dat wanneer ze de tekst comprimeerden, de AI soms de "verbatim edit anchors" verloor — de exacte, byte-voor-byte regels code die hij nodig had om een bug te repareren door te kopiëren en te plakken.
Stel je voor dat je een lek in een pijp probeert te repareren, maar de instructies die je leest zijn zo erg samengeperst dat het specifieke deel dat je moet doorsnijden nu een wazige vlek is. De AI probeert het te reparen, maar de "pleister" (de fix) past niet omdat de instructies corrupt zijn geraakt.
- Zonder compressie: De AI paste succesvol 27 van de 40 patches toe.
- Met compressie: De AI slaagde er slechts in om 15 van de 40 toe te passen.
In deze specifieke test kostte de gecomprimeerde versie niet alleen meer per succesvolle fix; het faalde ook vaker. De auteurs merken op dat hoewel de gecomprimeerde versie goedkoper leek per poging, de "kosten per opgelde probleem" feitelijk dubbel waren ($0,515 vs. $0,248) omdat het zo vaak mislukte.
De "Black Box" Proxy
Ze testten ook een andere tool genaamd Headroom, die fungeert als een tussenpersoon die de berichten herschrijft voordat ze de AI bereiken. Deze was een totale ramp voor de portemonnee. Het maakte de kosten 48,4% hoger (met een 95% CI van [+42,3, +55,0]) dan niets doen, zonder enige verbetering in de succesratio.
De Conclusie
Het paper concludeert dat als je geld wilt besparen op AI-coding agents, je niet alleen naar een "token teller" kunt kijken en ervan uitgaan dat je wint.
- Wat ze bewezen: In deze specifieke, real-world tests, leidde het inkorten van tekst niet tot lagere kosten. Sterker nog, voor het RTK-ML systeem maakte het de zaken duurder. Voor Headroom maakte het de zaken veel duurder.
- Wat ze maten: Ze gokten niet; ze volgden 2.908 werkelijke runs met echte rekeningen die rond de $175,92 bedroegen (alleen al voor de hoofdcampagne), plus een extra 8,7% van de rekening die schaalt met de denkinspanning en die niet verklaard kon worden door standaard token-counts.
- Wat ze suggereren: De enige manier om te weten of een compressietool werkt, is door de eindafrekening per succesvolle taak te meten, niet het aantal verwijderde woorden.
Dus, de volgende keer dat iemand tegen je zegt: "We hebben de data met 50% gecomprimeerd om geld te besparen!", kun je glimlachen en zeggen: "Cool, maar heb je gecheckt of de AI daardoor het hele boek opnieuw moest lezen?" Want in de wereld van AI-agents is de kortste weg soms de duurste weg.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.