🤖 AI

Auditing Pay-Per-Token in Large Language Models

Diese Arbeit stellt einen auf Martingaltheorie basierenden Auditierungsrahmen vor, der es einem vertrauenswürdigen Dritten ermöglicht, Token-Fehlmeldungen von Anbietern von Large Language Models mit hoher Sicherheit zu erkennen, ohne vertrauenswürdige Anbieter fälschlicherweise zu beschuldigen.

Ursprüngliche Autoren: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Token-Taxi-Betrug"

Stell dir vor, du bestellst einen Taxiservice, der nach Kilometern abrechnet. Du sagst: „Fährst du mich zum Bahnhof?" Der Fahrer fährt dich hin. Aber am Ende sagt er: „Das waren aber 50 Kilometer, nicht 10! Hier ist die Rechnung."

Das ist genau das Problem, das diese Forscher untersucht haben.

Die Situation: Millionen Menschen nutzen KI-Modelle (wie Chatbots) über Cloud-Dienste.
Die Abrechnung: Die Anbieter berechnen das Geld nicht pro Antwort, sondern pro Token (das sind kleine Wortteile, aus denen die KI-Sätze bestehen).
Der Betrug: Da nur der Anbieter sieht, wie die KI intern arbeitet, kann er theoretisch lügen. Er könnte sagen: „Deine Antwort bestand aus 100 Token", obwohl die KI eigentlich nur 10 Token gebraucht hat. Er behält das Geld für die 90 „falschen" Token.

Das ist wie ein Taxifahrer, der den Tacho manipuliert, während du im Auto sitzt. Du siehst nur das Ziel, nicht den Weg.

Die Lösung: Der „Unabhängige Prüfer"

Die Forscher haben einen Weg gefunden, wie ein vertrauenswürdiger Dritter (ein Auditor) diesen Betrug aufdecken kann, ohne dass der Anbieter mitmachen muss.

Stell dir vor, du hast einen Super-Detektiv, der:

Die KI genau kennt (er hat den Bauplan).
Immer wieder Fragen stellt.
Prüft, ob die Rechnung des Anbieters mit dem übereinstimmt, was die KI wirklich produziert hätte.

Wie funktioniert der Detektiv? (Die Magie der Mathematik)

Der Detektiv nutzt eine clevere mathematische Methode (genannt Martingale-Theorie), die man sich wie eine Wette vorstellen kann:

Der Start: Der Detektiv startet mit einem „Vertrauens-Saldo" von 1 Euro.
Die Frage: Er stellt eine Frage an den Anbieter.
Der Vergleich:
- Der Anbieter sagt: „Das waren 50 Token."
- Der Detektiv rechnet im Hintergrund nach: „Hmm, basierend auf der KI-Logik, wie viele Token müssten im Durchschnitt für diese Antwort sein?"
- Wenn der Anbieter fair ist, stimmt die Zahl überein. Der Saldo bleibt bei 1 Euro.
- Wenn der Anbieter lügt (und mehr Token meldet als nötig), gewinnt der Detektiv bei dieser Wette. Der Saldo steigt.
Der Alarm: Solange der Anbieter fair ist, schwankt der Saldo nur ein bisschen um 1 Euro herum. Aber sobald er anfängt zu lügen, wächst der Saldo exponentiell.
Das Ende: Sobald der Saldo einen bestimmten Schwellenwert (z. B. 20 Euro) erreicht, weiß der Detektiv zu 99,9 % sicher: Hier wird betrogen! Er kann den Anbieter entlarven.

Das Geniale daran

Unvermeidbar: Es ist mathematisch bewiesen, dass man den Betrug immer findet, egal wie schlau die Lüge ist. Man muss nur lange genug schauen.
Schnell: In den Tests hat der Detektiv einen betrügerischen Anbieter schon nach weniger als 70 Fragen entlarvt.
Fehlerfrei: Ein ehrlicher Anbieter wird fast nie fälschlicherweise beschuldigt. Das Risiko eines „falschen Alarms" liegt unter 5 %.

Ein Beispiel aus der Praxis

Stell dir vor, ein Anbieter nutzt ein KI-Modell, das die Antwort „Tangier, Marokko" generiert.

Ehrlich: Die KI nutzt 4 Token: |Tang|ier|,| Morocco|.
Betrügerisch: Der Anbieter behauptet, die KI habe 7 Token genutzt: |Tang|ier|,| |Mor|oc|co|.
Der Detektiv: Er weiß, dass die KI bei diesem Satz normalerweise nur 4 Token braucht. Er fragt 70 Mal nach ähnlichen Sätzen. Jedes Mal, wenn der Anbieter 7 Token meldet, steigt sein „Vertrauens-Saldo" beim Detektiv. Nach 70 Fragen ist der Saldo so hoch, dass der Betrug offenkundig ist.

Warum ist das wichtig?

Aktuell gibt es keine Kontrolle. Anbieter haben einen finanziellen Anreiz, zu lügen, weil sie mehr Geld verdienen, je mehr Token sie melden. Diese Forschung zeigt, dass wir technische Werkzeuge brauchen, um diese Lücken zu schließen.

Es ist wie ein Zollbeamter am Flughafen: Ohne ihn könnte jeder Schmuggler durchkommen. Mit diesem neuen „mathematischen Zoll" können wir sicherstellen, dass wir für das bezahlen, was wir wirklich bekommen – und nicht für das, was uns jemand nur vorgaukelt.

Kurz gesagt: Die Forscher haben einen mathematischen „Lügendetektor" gebaut, der KI-Anbieter auf die Schliche kommt, wenn sie bei der Abrechnung schummeln, und das alles mit einer Sicherheit, die man kaum übertreffen kann.

1. Problemstellung

Das Paper adressiert ein fundamentales wirtschaftliches und technisches Problem im Bereich „LLM-as-a-Service" (Large Language Models als Dienstleistung).

Preismodell: Die meisten Cloud-Anbieter nutzen ein „Pay-Per-Token"-Modell, bei dem Nutzer für die Anzahl der generierten Token bezahlen.
Informationsasymmetrie: Es besteht eine Informationsasymmetrie zwischen Anbieter und Nutzer. Der Anbieter kennt den gesamten Generierungsprozess (inklusive der genauen Tokenisierung), während der Nutzer nur den finalen String und die vom Anbieter gemeldete Token-Anzahl sieht.
Moral Hazard: Da die Tokenisierung eines Strings nicht eindeutig ist (ein String kann auf verschiedene Weisen in Token zerlegt werden), haben Anbieter einen finanziellen Anreiz, die Token-Anzahl zu manipulieren (zu übermelden), um ihre Gewinne zu steigern. Ein Anbieter könnte beispielsweise einen 4-Token-String als 7-Token-String deklarieren, ohne den sichtbaren Text zu verändern.
Fehlende Überprüfung: Bisher fehlten robuste Methoden, um solche Manipulationen durch einen vertrauenswürdigen Dritten (Auditor) zu erkennen, ohne dass der Anbieter den vollständigen Quellcode oder das Modell offenlegen muss (obwohl das Paper von einem Szenario ausgeht, in dem ein Auditor Zugriff auf das Modell hat).

2. Methodik

Die Autoren entwickeln einen Audit-Rahmen, der auf der Martingal-Theorie und sequentiellen Hypothesentests basiert.

A. Formalisierung als sequentieller Test

Das Problem wird als sequentieller Hypothesentest formuliert:

Nullhypothese ( $H_0$ ): Der Anbieter ist ehrlich (meldet die tatsächliche Token-Anzahl).
Alternativhypothese ( $H_1$ ): Der Anbieter manipuliert die Token-Anzahl (die erwartete Länge der gemeldeten Sequenz ist größer als die der generierten Sequenz).
Misreporting-Intensität ( $I(\pi)$ ): Ein Maß für die Schwere der Manipulation, definiert als die durchschnittliche zusätzliche Anzahl von Token, die der Anbieter pro Prompt meldet.

B. Schätzung der erwarteten Token-Länge (Algorithmus 1)

Ein zentrales technisches Element ist die Schätzung der durchschnittlichen Länge der Token-Sequenzen, die ein Modell verwendet, um einen bestimmten String $s$ zu kodieren ( $E[\text{len}(T) | \text{str}(T)=s]$ ).

Da die direkte Berechnung dieser bedingten Erwartung schwierig ist, verwenden die Autoren eine modifizierte Generierungsprozess.
Sie maskieren alle Token, die nicht zu dem Ziel-String $s$ führen, und sampeln nur aus den erlaubten Token.
Um eine Verzerrung (Bias) durch diese Maskierung zu korrigieren, verwenden sie eine gewichtete Monte-Carlo-Schätzung (basierend auf Importance Sampling).
Ergebnis: Sie entwickeln einen unverzerrten (unbiased) Schätzer für die durchschnittliche Token-Länge, der effizient berechnet werden kann.

C. Der Audit-Prozess (Algorithmus 2)

Der Auditor führt einen sequentiellen Test durch:

Der Auditor sendet einen Prompt $Q$ .
Der Anbieter meldet eine Antwort mit einer Token-Sequenz $\tilde{T}$ .
Der Auditor berechnet die Differenz $E_i$ zwischen der gemeldeten Länge und dem Schätzwert der erwarteten Länge für den String $\text{str}(\tilde{T})$ .
Diese Differenzen werden in einem Martingal-Prozess $M_i$ akkumuliert: $M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$ .
Entscheidung: Sobald $M_i$ einen Schwellenwert $1/\alpha$ überschreitet, wird der Anbieter als unehrlich markiert.

D. Theoretische Garantien

Falsch-Positiv-Rate (False Positive Rate): Unter $H_0$ (ehrlicher Anbieter) ist $M_i$ ein Martingal. Mittels Ville's Ungleichung wird bewiesen, dass die Wahrscheinlichkeit, einen ehrlichen Anbieter fälschlicherweise zu markieren, durch $\alpha$ begrenzt ist (z. B. $\alpha = 0.05$ ).
Detektionsgarantie: Unter $H_1$ (unehrlicher Anbieter) wächst das Martingal exponentiell. Es wird bewiesen, dass der Test mit Wahrscheinlichkeit 1 einen unehrlichen Anbieter detektiert, unabhängig von der spezifischen Manipulationsstrategie des Anbieters, solange die Misreporting-Intensität $I(\pi) > 0$ ist.

3. Wichtige Beiträge

Erster Audit-Rahmen für Token-Manipulation: Das Paper ist das erste, das sich spezifisch mit der ökonomischen Ausbeutung durch Token-Manipulation befasst und einen mathematisch fundierten Audit-Rahmen dafür bietet.
Unverzerrter Schätzer: Entwicklung eines neuen, effizienten und unverzerrten Schätzers für die durchschnittliche Token-Länge eines Strings, der auf Importance Sampling und randomisierter Truncation basiert.
Robustheit: Der Rahmen funktioniert unabhängig von der Strategie des Anbieters (deterministisch oder stochastisch) und garantiert die Detektion bei jeder positiven Manipulationsintensität.
Theoretische Sicherheit: Streng mathematische Beweise für die Kontrolle der Falsch-Positiv-Rate und die fast sichere Detektion von Betrügern.

4. Ergebnisse (Experimente)

Die Autoren validierten ihren Ansatz mit Modellen aus den Familien Llama, Gemma und Ministral sowie Prompts aus der LMSYS Chatbot Arena.

Ehrliche Anbieter: Bei 150 Simulationen pro Modell wurde kein einziger ehrlicher Anbieter fälschlicherweise als unehrlich markiert (Falsch-Positiv-Rate war praktisch 0, weit unter dem theoretischen Limit von $\alpha=0.05$ ).
Unehrliche Anbieter: Der Rahmen detektierte Manipulationen (sowohl zufällige als auch heuristische Strategien) zuverlässig.
Effizienz: Ein unehrlicher Anbieter wurde im Durchschnitt nach weniger als 70 gemeldeten Ausgaben (Queries) entlarvt.
Einfluss der Intensität: Je höher die Manipulationsintensität ( $I(\pi)$ ), desto schneller erfolgte die Detektion.
Robustheit: Der Ansatz funktionierte auch, wenn der Auditor Zugriff auf eine quantisierte Version des Modells hatte, während der Anbieter eine andere Version nutzte (Approximate Model Access).

5. Bedeutung und Ausblick

Ökonomische Relevanz: Das Paper zeigt, dass das aktuelle Pay-Per-Token-Modell ohne Überwachung anfällig für Betrug ist. Der vorgeschlagene Audit-Rahmen bietet eine Lösung, um das Vertrauen zwischen Nutzern und Anbietern wiederherzustellen.
Regulatorische Implikationen: Die Arbeit stützt sich auf die EU-KI-Verordnung (Artikel 74), die vertrauenswürdigen Dritten den Zugang zu proprietären Modellen für Audits erlaubt. Dies unterstreicht die praktische Anwendbarkeit in einem regulierten Umfeld.
Zukunft: Die Autoren sehen Bedarf an der Entwicklung von Audits, die auch mit eingeschränktem Modellzugriff funktionieren, und an der systematischen Erfassung weiterer Manipulationsstrategien, ähnlich wie bei „Jailbreaks".

Zusammenfassend bietet das Paper einen mathematisch rigorosen und empirisch validierten Weg, um die Integrität von LLM-Dienstleistungen in Bezug auf Token-Abrechnung sicherzustellen, und stellt ein wichtiges Werkzeug für die zukünftige Regulierung und den Markt für Generative KI dar.