Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives
Dieser Artikel zeigt auf, dass das aktuelle Pay-per-Token-Preismodell für große Sprachmodelle einen finanziellen Anreiz für Anbieter schafft, Token-Anzahlen falsch zu melden und Benutzer überzupreisen, eine Verwundbarkeit, die selbst bei Transparenzanforderungen bestehen bleibt, aber durch die Einführung eines auf der Zeichenzahl basierenden Preismechanismus gemildert werden kann, der für Anbieter weiterhin profitabel bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen Koch ein, um Ihnen eine Mahlzeit zuzubereiten. In der Welt der Large Language Models (LLMs) sind Sie der Kunde und der Cloud-Anbieter ist der Koch. Derzeit basiert die Art und Weise, wie Sie für diese Mahlzeit bezahlen, auf einer sehr spezifischen Regel: Sie bezahlen für jedes „Zutaten"-Token, das der Koch angeblich verwendet hat.
Hier liegt das Problem: Der Koch sieht den gesamten Kochprozess, aber Sie sehen nur das fertige Gericht. Aufgrund dessen hat der Koch einen geheimen Vorteil.
Der „Token"-Trick
In der Welt des Papers werden Wörter in Abschnitte unterteilt, die „Tokens" genannt werden. Zum Beispiel könnte das Wort „Damaskus" als ein großer Block (1 Token) zubereitet oder in winzige Stücke wie „Da", „ma", „s", „cus" (4 Tokens) gehackt werden.
Das aktuelle System (Pay-Per-Token):
Wenn der Koch „Damaskus" als einen Block zubereitet, berechnet er Ihnen 1 Token. Aber da der Kunde die Küche nicht sehen kann, könnte ein unehrlicher Koch dasselbe Wort heimlich in vier winzige Stücke hacken und Ihnen 4 Tokens in Rechnung stellen. Das Essen schmeckt gleich, der Text sieht gleich aus, aber Ihre Rechnung ist doppelt so hoch.
Das Paper argumentiert, dass das aktuelle Preismodell einen finanziellen Anreiz für Anbieter schafft, genau das zu tun: Sie zu überbuchen, indem sie Wörter in mehr Stücke zerlegen als notwendig.
Der „Rezept"-Check (Transparenz)
Sie könnten denken: „Was ist, wenn ich den Koch bitte, mir das Rezept zu zeigen? Wenn sie 'Damaskus' in vier Stücke zerlegen, kann ich prüfen, ob das eine normale Art ist, es zuzubereiten."
Das Paper sagt, das hilft, ist aber keine perfekte Lösung.
- Der schwierige Teil: Den längstmöglichen Weg zu finden, ein Wort so zu zerlegen, dass es dennoch wie ein normales Rezept aussieht, ist mathematisch unmöglich, in kurzer Zeit perfekt zu lösen (es ist ein NP-Hard-Problem). Es ist wie der Versuch, den einzigen längsten Pfad durch ein riesiges Labyrinth zu finden, ohne sich zu verirren.
- Die Lücke: Allerdings haben die Autoren einen „klugen Spickzettel" (einen Algorithmus) entwickelt, der nicht den perfekten längsten Weg finden muss. Er findet einfach einen gut genug langen Weg, der normal aussieht.
- Das Ergebnis: Ihre Experimente zeigen, dass selbst wenn der Koch das Rezept zeigen muss, er diesen Spickzettel immer noch nutzen kann, um Wörter ausreichend zu zerlegen, um mehr Geld zu verdienen, und die Kosten für das Überprüfen des Rezepts geringer sind als das zusätzliche Geld, das sie verdienen. Also tun sie es trotzdem.
Die Lösung: Bezahlen nach dem „Buchstaben"
Um diesen Betrug zu stoppen, schlägt das Paper eine neue Zahlungsweise vor: Pay-per-Character (Bezahlung nach Buchstaben).
Statt dafür zu bezahlen, wie viele „Blöcke" (Tokens) der Koch verwendet hat, bezahlen Sie dafür, wie viele Buchstaben im fertigen Gericht enthalten sind.
- Ob der Koch „Damaskus" als einen Block oder vier winzige Blöcke zubereitet, das Wort hat immer noch 8 Buchstaben.
- Wenn Sie 1 Cent pro Buchstabe bezahlen, beträgt die Rechnung immer 8 Cent.
- Der Koch kann kein zusätzliches Geld verdienen, indem er das Wort anders zerlegt, da sich die Gesamtzahl der Buchstaben nie ändert.
Der „Gewinnmarge"-Twist
Das Paper räumt ein, dass es einen kleinen Haken gibt. Unter dem neuen System könnte sich der Gewinn des Kochs je nach Sprache oder den spezifisch verwendeten Wörtern leicht ändern (einige Sprachen haben natürlicherweise weniger Buchstaben pro Wortblock als andere).
Allerdings bieten die Autoren eine einfache Lösung: Der Koch kann einfach seinen Preis pro Buchstabe basierend auf der durchschnittlichen Anzahl von Buchstaben festlegen, die er normalerweise verwendet. Auf diese Weise kann er auf das faire „Pay-per-Character"-System umsteigen, ohne seinen durchschnittlichen Gewinn zu verlieren, während Sie vor Überbuchung geschützt sind.
Zusammenfassung
- Das Problem: Die aktuelle KI-Preisgestaltung erlaubt es Anbietern, Wörter heimlich in mehr Stücke zu zerlegen, um Sie mehr zu belasten, und Sie können nicht beweisen, dass sie es getan haben.
- Die „Transparenz"-Lösung: Wenn man sie auffordert, ihre Arbeit vorzuzeigen, hilft das, aber sie können immer noch clevere Wege finden, Wörter zu zerlegen und mehr Geld zu verdienen.
- Die echte Lösung: Ändern Sie die Preisgestaltung auf Pay-per-Character. Da die Anzahl der Buchstaben in einem Satz feststeht, bleibt der Preis unabhängig davon, wie die KI ihn aufteilt, fair, und der Anreiz zum Betrug verschwindet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.