💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Dieses Paper stellt InflationAgent vor, ein neuartiges Routing-Framework, das die „Token-Inflations“-Lücke in agentischen LLM-Systemen durch die Vorhersage von Workflow-Ebene-Kosten mittels CoT-Branching-Entropie adressiert und die Modellauswahl durch einen semantischen Wechselkurs optimiert, wodurch eine höhere Genauigkeit mit weniger Token als bestehende Methoden wie FrugalGPT erreicht wird.

Ursprüngliche Autoren: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Veröffentlicht 2026-08-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen Lieferdienst für eine Flotte von Robotern. Einige Roboter sind winzig, schnell und kostengünstig im Betrieb, aber sie werden manchmal verwirrt und lassen Pakete fallen. Andere sind riesig, superintelligent und teuer, machen aber fast nie einen Fehler. In der Welt der Künstlichen Intelligenz sind diese Roboter „Large Language Models“ (LLMs). Sie sind die Gehirne hinter Chatbots und Coding-Assistenten. Normalerweise, wenn wir eine Frage stellen, schicken wir sie einfach an einen Roboter und warten auf eine Antwort. Aber in der realen Welt sind die Dinge chaotisch. Wenn der winzige Roboter einen Fehler macht, gibt ein intelligentes System nicht einfach auf; es bittet den Roboter, es noch einmal zu versuchen. Es kann sogar den riesigen Roboter zur Hilfe rufen. Dies wird als „agentisches System“ bezeichnet – ein Team von KI-Agenten, die zusammenarbeiten, um ein Problem zu lösen.

Das Problem ist, dass wir die Kosten dieser Lieferungen bisher völlig falsch berechnet haben. Wir haben den Preis für eine einzelne Fahrt berechnet und dabei vergessen, dass wenn der Roboter abstürzt und zurück zum Lager fahren muss, um es erneut zu versuchen, wir für die gesamte Hin- und Rückfahrt bezahlen und nicht nur für ein One-Way-Ticket. In diesem Paper geht es um eine neue Art, diese KI-Teams zu verwalten, damit wir nicht versehentlich unser Budget verbrennen, indem wir den falschen Roboter für einen Job schicken, der zu vielen Wiederholungsversuchen führt.

Die versteckten Kosten des „Noch einmal versuchen“

Stellen Sie sich vor, Sie sind auf einem Jahrmarkt an einem Spielstand. Sie haben eine begrenzte Menge an Geld (Token) zum Spielen. Sie können zwischen einer billigen, wackeligen Maschine wählen, die 1 $ pro Versuch kostet, oder einer schicken, hochmodernen Maschine, die 10 $ pro Versuch kostet.

Die alte Denkweise war simpel: „Die billige Maschine kostet 1 $, also nehme ich die!“ Aber hier ist der Haken: Die billige Maschine ist tückisch. Wenn Sie ihr eine schwierige Frage stellen, könnte sie sie falsch beantworten. Also müssen Sie erneut 1 $ zahlen, um es ein zweites Mal zu versuchen. Und ein drittes Mal. Und ein viertes Mal. Bis Sie schließlich die richtige Antwort erhalten, haben Sie 5 $ für die billige Maschine ausgegeben. Währenddessen hätte die schicke Maschine es beim ersten Mal für 10 $ richtig gemacht.

Dieses Paper nennt diese versteckten Extrakosten „Token-Inflation“. Es ist die Lücke zwischen dem, was Sie zu zahlen glauben (ein Versuch), und dem, was Sie tatsächlich zahlen (fünf Versuche). Die Autoren fanden heraus, dass diese Inflation bei schwierigen Aufgaben enorm sein kann. Ein kleines, billiges Modell kann am Ende 4,25 Mal teurer sein als erwartet, weil es ständig scheitert und Wiederholungen benötigt.

Die neue Strategie: Der „InflationAgent“

Die Forscher haben ein neues System namens InflationAgent entwickelt, um dies zu beheben. Anstatt nur auf den Preisschild eines einzelnen Versuchs zu schauen, agiert dieses System wie ein kluger Jahrmarktmanager, der genau weiß, welche Maschinen anfällig für Ausfälle sind.

So funktioniert es, Schritt für Schritt:

1. Der „Bauchgefühl-Check“ (CoT Branching Entropy)
Bevor das System überhaupt einen Roboter bittet, ein Problem zu lösen, führt es einen schnellen, kostenlosen Test durch. Es bittet einen kleinen, lokalen Roboter, über das Problem dreimal nachzudenken.

Wenn der Roboter drei Mal dieselbe Antwort gibt, weiß das System, dass das Problem einfach ist.
Wenn der Robster drei völlig unterschiedliche, verwirrte Antworten gibt, weiß das System, dass das Problem schwer ist und der Roboter wahrscheinlich in einer Schleife aus Wiederholungsversuchen stecken bleibt.
Die Autoren nennen diese Messung CoT Branching Entropy. Es ist, als würde man prüfen, ob ein Automotor stottert, bevor man die Reise überhaupt antritt. Dies kostet nichts extra, da es auf einem lokalen Computer geschieht und nicht auf teuren Cloud-Servern.

2. Der „Preisschild“-Rechner
Unter Verwendung dieses „Bauchgefühl-Checks“ sagt das System voraus, wie hoch die „Inflation“ sein wird. Es rät nicht einfach; es nutzt einen kleinen, intelligenten Rechner (ein Machine-Learning-Modell), der auf vergangenen Daten trainiert wurde. Es prognostiziert: „Wenn wir diese schwere Frage an den kleinen Roboter senden, wird er wahrscheinlich 3 Mal scheitern, also sind die realen Kosten 3x der Preis.“

3. Der „Best Deal“-Selektor
Nun berechnet das System die Semantic Exchange Rate (SER). Das ist eine schicke Art zu fragen: „Wie viel Genauigkeit bekomme ich für jeden Dollar, den ich tatsächlich ausgebe?“

Wenn der kleine Roboter zwar billig ist, aber 4 Mal scheitert, ist sein „Angebot“ schrecklich.
Wenn der große Roboter zwar teuer ist, aber es beim ersten Mal richtig macht, könnte sein „Angebot“ tatsächlich besser sein.
Das System wählt den Roboter, der den besten Wert bietet, nicht nur den günstigsten Aufkleberpreis.

4. Die „Frischer Start“-Regel
Dies ist der wichtigste Trick. Wenn das System eine Frage an einen Roboter sendet und dieser scheitert, und es sich dann entscheidet, an einen größeren, intelligenteren Roboter zu eskalieren, dann wirft es den alten fehlgeschlagenen Versuch weg.
Die Forscher entdeckten etwas Überraschendes: Wenn man dem großen Roboter die chaotischen, verwirrten Notizen des gescheiterten Versuchs des kleinen Roboters zeigt, wird auch der große Roboter verwirrt! Es ist, als würde man einem Genie die krakeligen Notizen eines schwächelnden Schülers zeigen; das Genie könnte anfangen, an sich selbst zu zweifeln.
Indem man dem großen Roboter einen frischen Prompt (einen sauberen Schreibtisch) gibt, hält das System die Genauigkeit hoch. Hätten sie die fehlgeschlagenen Notizen einfach weitergegeben, wäre die Genauigkeit des großen Roboters bei schweren Fragen um 34,8 Prozentpunkte gesunken.

Was sie herausgefunden haben

Das Team hat dies an mathematischen Problemen (GSM8K) und kniffligen Trivia-Fragen (HotpotQA) getestet. Hier ist das Ergebnis:

Die Inflation ist real: Bei schwierigen Trivia-Fragen hatte das kleine Modell (Qwen2.5-7B) eine Inflationsrate von 4,25×. Das bedeutete, dass für jeden Dollar, von dem man dachte, dass man ihn ausgibt, tatsächlich 4,25 $ ausgegeben wurden, weil der Roboter immer wieder scheiterte.
Bessere Ergebnisse für weniger Geld: Wenn sie ein festes Budget (ein striktes Limit für die Anzahl der Token, die sie ausgeben durften) festlegten, erreichte ihr neues System (InflationAgent) 94,7 % der richtigen Antworten. Die alte, populäre Methode (FrugalGPT) erreichte nur 91,0 %.
Token sparen: Um die gleiche Genauigkeit von 91,0 % zu erreichen, die die alte Methode erzielte, nutzte das neue System 31 % weniger Token. Das ist eine massive Ersparnis.
Die Gefahr von „Mehr Versuchen“: Sie fanden heraus, dass es nicht ewig hilft, dem kleinen Roboter einfach mehr Chancen zu geben (bis zu 10 Mal). Ab einem gewissen Punkt wurde der Roboter durch seine eigenen vergangenen Fehler verwirrt, und seine Genauigkeit sank tatsächlich. Manchmal ist es besser, zu einem smarteren Roboter zu wechseln, als immer wieder mit dem Kopf gegen die Wand zu rennen.

Das Fazleit

Dieses Paper zeigt, dass in der Welt der KI „billig“ nicht immer billig ist. Wenn ein Modell wahrscheinlich scheitert und immer wieder neue Versuche benötigt, wird es teuer und ineffizient. Indem wir messen, wie wahrscheinlich es ist, dass ein Modell stecken bleibt (mittels der „Bauchgefühl“-Entropie), und indem wir bei einem Wechsel zu einem stärkeren Modell einen frischen Start einlegen, können wir Geld sparen und bessere Antworten erhalten.

Die Autoren sind aufgrund ihrer Tests mit spezifischen Mathematik- und Trivia-Datensätzen zuversichtlich über diese Ergebnisse. Sie deuten an, dass dies zwar hervorragend für Reasoning-Aufgaben funktioniert, wir aber noch herausfinden müssen, wie wir es auf offenere Gespräche oder Werkzeuge anwenden können. Aber für den Moment haben sie bewiesen, dass ein wenig kluge Planung einen langen Weg geht, um das KI-Budget unter Kontrolle zu halten.

Technisches Resümee: Nicht alle Token sind gleich: Inflationsbewusstes Routing für agentische LLM-Systeme

Problemstellung

Moderne agentische Systeme, die auf Large Language Models (LLMs) basieren, verwenden häufig Retry-Mechanismen (Wiederholungsmechanismen), wenn ein Modell nicht in der Lage ist, eine Anfrage korrekt zu beantworten oder eine unvollständige Reasoning-Kette produziert. Während bestehende Routing-Systeme (z. B. FrugalGPT, RouteLLM) die Kosten basierend auf dem Preis pro Token eines einzelnen Aufrufs optimieren, berücksichtigen sie nicht die kumulativen Kosten von Retries.

Die Autoren definieren Token-Inflation als das Verhältnis zwischen den wahren Workflow-Kosten (einschließlich aller Retries) und den geschätzten Kosten eines Einzelaufrufs:
$\text{Inflation}(m, x) = \frac{C_{\text{true}}(m, x)}{C_{\text{direct}}(m, x)}$
Wobei $C_{\text{true}}$ die Summe der konsumierten Token über $k^*$ Versuche bis zum Erfolg (oder Erschöpfung der Retries) ist und $C_{\text{direct}}$ die Token-Anzahl eines einzelnen Versuchs darstellt.

Die Arbeit zeigt, dass diese Inflation nicht vernachlässigbar und hochgradig variabel ist. Bei schwierigen Multi-Hop-Aufgaben kann ein „billiges“ kleines Modell wiederholt scheitern, was zu einer wahren Kostenstruktur führt, die 4,25-mal höher ist als die Schätzung des Einzelaufrufs. Folglich können Routing-Entscheidungen, die ausschließlich auf Schätzungen des Einzelaufrufs basieren, die realen Kosten systematisch um mehr als das 2-Fache unterschätzen, was zu einer suboptimalen Modellauswahl führt.

Methodik: InflationAgent

Um dies zu adressieren, schlagen die Autoren InflationAgent vor, eine vierstufige Routing-Pipeline, die darauf ausgelegt ist, die Semantic Exchange Rate (SER) zu maximieren, definiert als die erwartete Genauigkeit dividiert durch die vorhergesagten wahren Kosten:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{true}}(m, x)}$

Die Pipeline operiert wie folgt:

Merkmalsextraktion (Lokal): Das System extrahiert strukturelle Merkmale aus der Abfrage (Token-Anzahl, Vokabular-Diversität, Multi-Hop-Hinweise), ohne API-Aufrufe zu tätigen.
Berechnung der CoT Branching Entropy (CBE) (Lokal): Das System sampelt $K$ unabhängige Reasoning-Ketten von einem lokalen Modell. Es berechnet die Shannon-Entropie der resultierenden Antwortverteilung:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
Eine hohe Entropie deutet auf divergierende Reasoning-Pfade und eine hohe Abfragekomplexität hin und dient als kostenfreier Proxy für die Wahrscheinlichkeit von Retries.
Inflationsvorhersage & Routing: Ein leichtgewichtiges Multi-Layer-Perzeptron (MLP) sagt den Inflationsfaktor ( $\hat{\text{Inflation}}$ ) unter Verwendung von vier Merkmalen voraus: CBE, Agreement-Score, durchschnittliche Kettenlänge und Prompt-Token-Anzahl. Das System schätzt die wahren Kosten ( $\hat{C}_{\text{true}} = C_{\text{direct}} \times \hat{\text{Inflation}}$ ) und wählt die Modell-Tier mit der höchsten SER aus.
Ausführung mit Fresh-Escalation: Das gewählte Modell führt die Abfrage aus. Wenn die beobachtete Inflation die Vorhersage um mehr als das 2-Fache übersteigt, eskaliert das System zu einer stärkeren Modell-Tier. Entscheidend ist hierbei, dass diese Eskalation einen frischen Prompt verwendet, der die fehlgeschlagene Reasoning-Kette verwirft, um eine Kontext-Kontamination zu verhindern.

Zentrale Beiträge

Systematische Messung der Token-Inflation: Die Autoren instrumentierten ein agentisches Retry-Harness über drei Modell-Tiers (Qwen2.5-7B, GPT-4o-mini, GPT-4o) und zwei Datensätzen (GSM8K, HotpotQA). Sie fanden heraus, dass die Inflation je nach Aufgabentyp signifikant variiert und bei einem 7B-Modell bei Multi-Hop-QA einen Wert von 4,25× erreicht, während GPT-4o bei derselben Aufgabe nur um 2,92× inflatierte.
CoT Branching Entropy (CBE): Ein neuartiges Signal für die Schwierigkeit vor der Ausführung, das vollständig via lokaler Inferenz berechnet wird. Es sagt eine hohe Inflation mit einem AUROC von 0,887 voraus, was es ermöglicht, den Retry-Overhead zu antizipieren, ohne zusätzliche API-Kosten zu verursachen.
Semantic Exchange Rate (SER) Routing: Ein Routing-Ziel, das die Genauigkeit gegen die vorhergesagten wahren Kosten abwägt, statt nur gegen die Kosten eines Einzelaufrufs.
Fresh-Escalation Policy: Eine empirische Erkenntnis, dass das Weiterreichen fehlgeschlagener Reasoning-Ketten die Performance eines stärkeren Modells verschlechtert. Die Autoren zeigen, dass die Kontamination von GPT-4o mit fehlgeschlagenen Ketren eines kleineren Modells die Genauigkeit bei schwierigen Abfragen um 34,8 Prozentpunkte reduziert, was die Notwendigkeit validiert, den fehlgeschlagenen Kontext während der Eskalation zu verwerfen.

Experimentelle Ergebnisse

Die Evaluierung wurde auf GSM8K und HotpotQA mit einem festen Token-Budget und maximal 5 Retries durchgeführt.

Genauigkeit vs. Kosten: Auf GSM8K erreichte InflationAgent eine Genauigkeit von 94,7 % im Vergleich zu 91,0 % des Baseline-Modells FrugalGPT. Um das Genauigkeitsniveau von FrugalGPT zu erreichen, benötigte InflationAgent 31 % weniger Token.
Inflationsvorhersage: Der MLP-Prädiktor erreichte eine Pearson-Korrelation von 0,714 und einen AUROC von 0,887 auf dem Hold-out-Testset zur Erkennung von Hoch-Inflations-Abfragen (Schwellenwert $\ge$ 2×).
Grenzerträge: Eine Erhöhung der Retries für ein kleines Modell (Qwen2.5-7B) zeigte abnehmende Erträge; die Genauigkeit erreichte ihren Höhepunkt bei 5× dem Budget (92,5 %) und sank auf 82,0 % bei 10× aufgrund von Kontextfenster-Interferenzen durch fehlgeschlagene Ketten.
Kontext-Kontamination: In einem kontrollierten Experiment sank die Genauigkeit von GPT-4o von 73,9 % auf 39,1 %, als es mit fehlgeschlagenen Reasoning-Ketten von Qwen2.5-7B gespeist wurde – ein statistisch signifikanter Abfall ( $p=0,0078$ ).

Bedeutung und Ansprüche

Das Paper behauptet, dass Token-Inflation ein kritischer, bisher übersehener Faktor im Design agentischer Systeme ist. Durch das Ignorieren des Retry-Overheads können bestehende Routing-Strategien unbeabsichtigt Modelle auswählen, die pro Token zwar „billig“, aber pro erfolgreicher Aufgabe teuer sind.

Die Autoren führen an, dass InflationAgent dies löst, indem es:

Die Lücke zwischen Einzelaufruf-Schätzungen und wahren Workflow-Kosten explizit modelliert.
Lokale Inferenz (CBE) nutzt, um diese Lücke ohne zusätzliche API-Kosten vorherzusagen.
Eine „Fresh-Escalation“-Strategie implementiert, die die Degradierung der Performance nachgelagerter Modelle durch Kontext-Kontamination verhindert.

Die Arbeit etabliert, dass für schwierige Multi-Hop-Aufgaben ein nominell billiges Modell mit hoher Inflation weder kosteneffizient noch effektiv ist. Das vorgeschlagene Framework bietet einen Weg zu effizienterer agentischer Inferenz, indem es Routing-Entscheidungen mit den wahren ökonomischen Kosten der Aufgabenbewältigung in Einklang bringt.

Limitationen

Die Autoren merken an, dass ihre Evaluierung auf zwei Reasoning-Benchmarks (GSM8K, HotpotQA) beschränkt ist und sich nicht auf offene Generierung, Multi-Turn-Dialoge oder Tool-Use-Agenten erstreckt. Der Inflations-Prädiktor ist auf spezifische Aufgabenverteilungen trainiert, und die Generalisierbarkeit auf andere Aufgaben bleibt eine offene Frage. Zudem sind die verwendeten Recheneinheiten-Verhältnisse (Compute Unit Ratios) fix und berücksichtigen keine dynamische API-Preisgestaltung.