Token Reduction Is Not Cost Reduction
Dieses Paper zeigt auf, dass die Reduzierung der Token-Anzahl in den Kontexten von Coding-Agenten die fakturierten Kosten nicht zuverlässig senkt, da der Prompt-Cache-Verkehr dominiert und das Risiko des Aufgabenfehlers besteht, und argumentiert stattdessen dafür, die Kosteneffizienz anhand der erfolgsbereinigten fakturierten Kosten anstatt allein durch die Token-Reduktion zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten eine High-Tech-Detektei, in der Ihre superintelligenten KI-Detektive (genannt „Coding Agents“) Geheimnisse lösen, indem sie Dateien lesen, Befehle ausführen und mit Ihnen chatten. Jedes Mal, wenn sie eine Datei lesen oder einen Befehl ausführen, erhalten Sie eine Rechnung vom Cloud-Anbieter.
Lange Zeit dachten alle, der beste Weg, Geld zu sparen, sei es, die Detektive weniger Text lesen zu lassen. Die Logik war simpel: „Wenn wir die Dateien, die sie lesen, komprimieren, senken wir die Wortanzahl, und die Rechnung sinkt!“ Es klang wie ein perfekter Plan, so als würde man einen Koffer packen, indem man die Luft herauspresst.
Aber dieses Paper mit dem Titel „Token Reduction Is Not Cost Reduction“ ist hier, um uns zu sagen, dass die Koffer-Analogie eine Falle ist. Die Autoren führten ein massives Experiment durch – über 2.908 Detektiv-Läufe über 7 verschiedene Codebasen und 3 verschiedene KI-Modelle hinweg –, um zu sehen, was tatsächlich mit der Rechnung passiert.
Hier ist die Wendung, die sie entdeckten: Das Schrumpfen des Textes senkt nicht immer die Kosten. Tatsächlich führt das Schrumpfen des Textes manchmal dazu, dass die Rechnung steigt.
Die Überraschung im „Cached Memory“
Der größte Schocker ist, wohin das Geld eigentlich fließt. Die Autoren brachen die Rechnung auf und fanden heraus, dass 87 % der rekonstruierten Kosten (und etwa 80 % der tatsächlichen Rechnung) von etwas namens „Prompt-Cache-Traffic“ stammen.
Stellen Sie sich das Gedächtnis der KI wie ein super-schnelles, magisches Whiteboard vor:
- Auf das Board schreiben (Cache Creation): Das kostet Geld, ist aber eine einmalige Gebühr.
- Vom Board lesen (Cache Reads): Das ist super günstig, wie ein Rabattgutschein.
- Neuer Text (Uncached Input): Das ist der teure Teil, aber er ist eigentlich nur ein winziger Bruchteil des Kuchens (nur etwa 1,3 % der Rechnung!).
Es gibt jedoch eine versteckte Kostenstelle, die das Whiteboard nicht klar zeigt. Die Autoren fanden einen 8,7 %igen „unattributierbaren Restwert“ in der Rechnung, den ihre Standard-Aufschlüsselung nicht erklären konnte. Dieser verbleibende Rest ist nicht zufällig; er skaliert direkt damit, wie hart die KI nachdenkt. Beim Modell Haiku 4.5 gilt: Je mehr „Denkaufwand“ (Thinking Effort) man einstellt, desto größer wird dieser mysteriöse Teil der Rechnung. Dies deutet darauf hin, dass selbst wenn der Text klein aussieht, die KI möglicherweise teure mentale Arbeit leistet, die sich nicht in der Token-Anzahl widerspiegelt.
Das Problem ist, dass man beim Komprimieren von Text nicht nur beim Teil des „neuen Textes“ spart. Man stört möglicherweise den Teil des „Vom Board Lesens“. Wenn man eine Datei zu stark komprimiert, kann die KI verwirrt werden, den Faden verlieren und muss die gesamte Historie des Gesprächs erneut lesen, um wieder den Anschluss zu finden.
Jedes Mal, wenn die KI diese Historie erneut lesen muss, muss sie sie wieder auf das Board schreiben. Und Schreiben ist teuer! Also hat man, selbst wenn man ein paar Wörter gespart hat, die KI gezwungen, die „Schreibgebühr“ immer und immer wieder zu bezahlen.
Der „38 % Schnitt“, der mehr kostete
Die Autoren testeten ein ausgefeiltes Kompressionssystem (genannt RTK-ML), das erfolgreich 38,4 % des rohen Tool-Output-Textes reduzierte. Man würde denken, dass dies ein Vermögen spart, richtig?
Falsch.
In ihren Paar-Tests erhöhte dieses System die Kosten tatsächlich um 6,8 % (mit einem 95 %-Konfidenzintervall von [+2,8, +11,3]).
Warum? Weil die Kompression so aggressiv war, dass die KI zusätzliche Schritte unternehmen musste. Sie musste zusätzliche Diagnose-Durchläufe machen, Dateien erneut lesen und mehr Fragen stellen. Jeder dieser zusätzlichen Schritte bedeutete, die gesamte Gesprächshistorie erneut zu übertragen, was die Ersparnisse durch die Textkompression zunichtemachte.
Das Paper schließt die Idee explizit aus, dass „weniger Tokens = niedrigere Kosten“ bedeuten. Sie fanden heraus, dass die Beziehung zwischen der Menge des entfernten Textes und den eingesparten Kosten im Grunde nicht existent ist. Die Korrelation war ein schwacher Wert von 0,15, was so nah an Null liegt, dass es praktisch einem Münzwurf entspricht.
Das Desaster des „Broken Anchor“
Es gibt noch einen anderen Weg, wie Kompression nach hinten losgehen kann: Sie kann die Hinweise zerstören, die die KI für ihre Arbeit benötigt.
Die Autoren führten einen speziellen Test zu Go-Programmieraufgaben durch. Sie fanden heraus, dass die KI bei der Komprimierung des Textes manchmal die „Verbatim Edit Anchors“ verlor – also die exakten, Byte-für-Byte genauen Zeilen des Codes, die sie benötigte, um einen Bug zu beheben.
Stellen Sie sich vor, Sie versuchen, ein Leck in einem Rohr zu reparieren, aber die Anweisungen, die Sie lesen, wurden so sehr zusammengestaucht, dass der spezifische Teil, den Sie schneiden müssen, nun nur noch ein verschwommener Fleck ist. Die KI versucht die Reparatur, aber der „Patch“ (die Korrektur) passt nicht, weil die Anweisungen korrumpiert wurden.
- Ohne Kompression: Die KI wandte 27 von 40 Patches erfolgreich an.
- Mit Kompression: Die KI schaffte nur 15 von 40.
In diesem speziellen Test war die komprimierte Version nicht nur teurer pro erfolgreicher Korrektur; sie scheiterte auch häufiger. Die Autoren merken an, dass die komprimierte Version zwar pro Versuch günstiger aussah, die „Kosten pro gelöstem Problem“ jedoch tatsächlich doppelt so hoch waren ($0,515 gegenüber $0,248), weil sie so oft fehlschlug.
Der „Black Box“ Proxy
Sie testeten auch ein anderes Tool namens Headroom, das wie ein Vermittler fungiert, der die Nachrichten umschreibt, bevor sie die KI erreichen. Dieses war ein totaler Reinfall für den Geldbeutel. Es machte die Kosten um 48,4 % höher (mit einem 95 %-KI von [+42,3, +55,0]) als gar nichts zu tun, ohne die Erfolgsrate zu verbessern.
Das Fazit
Das Paper kommt zu dem Schluss, dass man nicht einfach nur auf einen „Token-Zähler“ schauen und davon ausgehen kann, dass man gewinnt, wenn man Geld sparen will.
- Was sie bewiesen haben: In diesen spezifischen, realen Tests führte das Kürzen von Text nicht zuverlässig zu niedrigeren Kosten. Tatsächlich machte es für das RTK-ML-System die Dinge teurer. Für Headroom machte es die Dinge sogar viel teurer.
- Was sie gemessen haben: Sie haben nicht nur geraten; sie haben 2.908 tatsächliche Durchläufe mit echten Rechnungen verfolgt, die insgesamt etwa 175,92 $ betrugen (nur für die Hauptkampagne), plus weitere 8,7 % der Rechnung, die mit dem Denkaufwand skalieren und durch Standard-Token-Zählungen nicht erklärt werden konnten.
- Was sie vorschlagen: Der einzige Weg, um festzustellen, ob ein Kompressionstool funktioniert, besteht darin, die Endabrechnung pro erfolgreicher Aufgabe zu messen, nicht die Anzahl der entfernten Wörter.
Wenn Ihnen also das nächste Mal jemand sagt: „Wir haben die Daten um 50 % komprimiert, um Ihnen Geld zu sparen!“, können Sie lächeln und sagen: „Cool, aber haben Sie geprüft, ob die KI deshalb das ganze Buch noch einmal lesen musste?“ Denn in der Welt der KI-Agenten ist der kürzeste Weg manchmal der teuerste.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.