💬 NLP

Are you going to finish that? A Practical Study of the Partial Token Problem

Diese Arbeit untersucht das „Partial Token Problem“ und zeigt auf, dass realistische Prompts, die mitten in einem Token enden – insbesondere in Sprachen ohne Leerzeichen, Komposita-Sprachen und Code –, schwerwiegende Wahrscheinlichkeitsverzerrungen in großen Sprachmodellen verursachen, die sich mit zunehmender Skalierung nicht verbessern, während gleichzeitig die Wirksamkeit exakter Lösungen zur Laufzeit validiert wird.

Ursprüngliche Autoren: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Spiel namens „Satz vervollständigen“ mit einem sehr intelligenten, aber etwas starren Roboter. Sie tippen einen Satz ein und der Roboter soll das nächste Wort erraten.

Normalerweise funktioniert das perfekt. Aber dieses Paper entdeckt einen spezifischen Fehler, bei dem der Roboter verwirrt ist – nicht, weil er die Wörter nicht kennt, sondern weil er sie anders zählt.

Hier ist die Aufarbeitung des Problems, der Beweise und der Lösung, unter Verwendung einfacher Analogien.

1. Das Kernproblem: Der „Halb-Ziegel“-Fehler

Stellen Sie sich das Gehirn des Roboters wie eine Bibliothek vor, in der jedes Buch aus Ziegeln (Tokens) besteht.

Ihre Sicht: Sie sehen Wörter (wie „Apfel“ oder „ist“).
Die Sicht des Roboters: Er sieht Ziegel. Manchmal deckt ein Ziegel ein ganzes Wort ab. Manchmal deckt ein Ziegel zwei Wörter ab. Manchmal ist ein Ziegel in der Mitte durchgeschnitten.

Das Problem der partiellen Tokens tritt auf, wenn Sie mitten in einem dieser Ziegel aufhören zu tippen.

Die Analogie: Stellen Sie sich vor, der Roboter erwartet, dass das Wort „Verarbeitung“ ein einziger, solider Ziegel ist.
Der Fehler: Sie tippen „Verarbe“ und hören auf.
Die Verwirrung: Der Roboter sieht „Verarbe“ und denkt: „Warte, ich kenne den Ziegel ‚Verarbeitung‘. Aber wenn ich als nächstes ‚itung‘ hinzufüge, breche ich meine eigenen Regeln, denn ‚Verarbeitung‘ sollte ein unzerbrechlicher Ziegel sein!“

Weil der Roboter darauf trainiert wurde, nur ganze Ziegel zu sehen, bekommt er Angst davor, das Wort so zu vervollständigen, wie Sie es erwarten. Er denkt: „Wenn du bei ‚Verarbe‘ aufgehört hast, willst du wahrscheinlich als Nächstes nicht ‚itung‘, sondern etwas völlig anderes.“

2. Wo tritt das auf? (Die drei Fallen)

Das Paper fand heraus, dass dies nicht nur ein seltener englischer Fehler ist. Es tritt häufig in drei Situationen auf, in denen „Wörter“ und „Ziegel“ nicht übereinander eins zu eins passen:

Sprachen ohne Leerzeichen (wie Chinesisch): Im Englischen signalisieren Leerzeichen dem Roboter, wo ein Wort endet. Im Chinesischen gibt es keine Leerzeichen. Der Roboter muss raten, wo ein Wort endet und das nächste beginnt.
- Beispiel: Die Phrase „ist ein“ könnte ein einziger Ziegel sein. Wenn Sie „ist“ tippen und aufhören, haben Sie diesen Ziegel in der Mitte durchgeschnitten. Der Roboter gerät in Panik.
Sprachen, die Wörter zusammenkleben (wie Deutsch): Deutsch kombiniert oft zwei Wörter zu einem riesigen Wort (wie „Eigelb“).
- Beispiel: Wenn der Roboter „Ei“ sieht und Sie dort aufhören, aber der Roboter denkt, dass „Eigelb“ ein einziger Ziegel ist, wird er verwirrt darüber, was als Nächstes kommt.
Computercode: Code verwendet Symbole wie () oder :. Oft ist ein ganzer Block von Symbolen ein einziger Ziegel.
- Beispiel: Wenn Sie def main() tippen und aufhören, aber der Roboter denkt, dass (): ein einziger Ziegel ist, bleibt er beim Versuch stecken, das nächste Symbol zu erraten.

3. Wie schlimm ist es? (Der „stille Absturz“)

Die Forscher testeten dies mit vielen verschiedenen Robotern (KI-Modellen). Die Ergebnisse waren schockierend:

Der Einbruch der Wahrscheinlichkeit: Wenn der Roboter gezwungen ist, nach einem „halben Ziegel“ zu raten, sinkt sein Vertrauen, die richtige Antwort zu geben, um das 1.000- bis 10.000-fache. Es ist wie ein Schüler, der die Antwort kennt, aber so viel Angst vor den Bewertungsregeln des Lehrers hat, dass er sich weigert, sie aufzuschreiben.
Der Einbruch der Genauigkeit: Der Roboter gibt nicht mehr in 60 % bis 95 % der Fälle die richtige Antwort. Er lässt vielleicht einen Buchstaben weg, fügt ein seltsames Leerzeichen hinzu oder gibt ein völlig falsches Wort an.
Größer ist nicht besser: Man könnte denken: „Wenn wir den Roboter intelligenter machen (größeres Modell), wird er das beheben.“ Doch nicht. Das Paper fand heraus, dass größere, intelligentere Roboter bei diesem Problem sogar schlechter werden. Sie sind so sehr auf ihre spezifischen „Ziegel“-Regeln trainiert, dass sie noch sturer darauf beharren, diese Regeln nicht zu brechen.

4. Die Lösungen: Wie man den Fehler behebt

Das Paper testete zwei Wege, um den Fehler während der „Denkphase“ (Inferenz) zu beheben:

Methode A: „Token Healing“ (Der Rückzug):
- Wie es funktioniert: Wenn Sie „Verarbe“ tippen und der Roboter verwirrt ist, sagt man dem Roboter: „Okay, vergiss den letzten Teil. Tu so, als hättest du nur ‚Ver‘ gesehen.“
- Das Ergebnis: Es hilft manchmal, ist aber ein Glücksspiel. Es ist, als würde man versuchen, eine zerbrochene Vase zu reparieren, indem man die Spitze abschneidet; es passt vielleicht, ist aber nicht perfekt.
Methode B: „ByteSampler“ (Die Landkarte):
- Wie es funktioniert: Anstatt zu raten, zeichnet diese Methode eine Karte von jedem möglichen Weg, wie der Roboter Ihren Satz gelesen haben könnte. Sie findet den Pfad, der exakt zu Ihrem Text passt, und setzt von dort aus fort.
- Das Ergebnis: Es funktioniert perfekt. In den Tests brachte diese Methode den Roboter dazu, die korrekte Antwort 100 % der Zeit zu geben, selbst wenn der Prompt mitten in einem Ziegel abgeschnitten war. Es ist, als hätte man ein GPS, das die Route sofort neu berechnet, wenn man einen falschen Abzweig nimmt, um sicherzustellen, dass man trotzdem ans Ziel kommt.

Das Fazbeurteil

Das Paper kommt zu dem Schluss, dass KI-Modelle zwar fantastisch im Verständnis von Sprache sind, aber auch Sklaven der spezifischen Art sind, wie sie angewiesen wurden, Wörter zu zählen (Tokenisierung). Wenn ein Nutzer aufhört zu tippen, auf eine Weise, die nicht mit den internen Zählregeln des Roboters übereinstimmt, bricht das Vertrauen des Roboters zusammen.

Die gute Nachricht? Wir müssen die Roboter nicht neu bauen. Wir müssen nur ein klügeres „GPS“ (wie ByteSampler) während des Denkprozesses verwenden, um sicherzustellen, dass sie nicht über ihre eigenen Zählregeln stolpern.

Technische Zusammenfassung: „Are you going to finish that? Eine praktische Studie zum Partial Token Problem“

Problemdefinition
Das Partial Token Problem (PTP) entsteht aus einer grundlegenden Diskrepanz zwischen der Art und Weise, wie Nutzer mit Sprachmodellen (LMs) interagieren, und der Art und Weise, wie LMs Text verarbeiten. Nutzer geben Prompts als Zeichenketten (Strings) vor, während LMs auf Sequenzen von Token arbeiten, die durch einen Tokenizer generiert wurden. Das PTP tritt auf, wenn das Prompt eines Nutzers mitten in einem gültigen Token (einem „Partial Token“) endet. Da LMs ausschließlich auf validen Token-Sequenzen trainiert wurden, weisen sie Fortsetzungen, die solche partiellen Token vervollständigen, unerwartet niedrige Wahrscheinlichkeiten zu. Während das Phänomen in der Literatur (z. B. Lundberg, 2023; Ribeiro, 2023) gut dokumentiert ist, stützte sich frühere Arbeit weitgehend auf willkürliche Zeichen-Präfixe, um das Phänomen zu illustrieren. Folglich blieb die Verbreitung und Schwere des PTP in realistischen Prompts, die natürliche Wort- oder syntaktische Grenzen respektieren, untererforscht.

Methodik
Die Autoren untersuchen das PTP systematisch in realistischen Szenarien, indem sie Domänen identifizieren, in denen Token-Grenzen häufig nicht mit semantischen oder syntaktischen Grenzen übereinstimmen:

Logographische Systeme (Chinesisch): Wörter werden nicht durch Whitespace getrennt, was dazu führt, dass Tokenizer Zeichen über Wortgrenzen hinweg zusammenführen.
**Hochgradig kompoundierende Sprachen (Deutsch): Komposita werden oft von Tokenizern auf eine Weise segmentiert, die morphologische Grenzen ignoriert.
Code: Identifikatoren und aufeinanderfolgende Satzzeichen werden häufig zu einzelnen Token zusammengeführt.

Um das Problem zu quantifizieren, konstruierten die Autoren eine „Repeat-after-me“-Aufgabe (Wiederhole mich). Sie segmentierten natürliche Sätze in Präfixe und Fortsetzungen derart, dass:

Das Präfix an einer vollständigen Wortgrenze endet (semantisch natürlich).
Das Präfix an einer partiellen Token-Grenze relativ zum Tokenizer endet (Verletzung der Bedingung, dass encode(prompt) + encode(continuation) == encode(prompt + continuation) gilt).
Die Fortsetzung eindeutig ist (das Modell muss exakt den bereitgestellten Text wiederholen).

Die Studie evaluierte eine vielfältige Auswahl an Frontier-Modellen (darunter QWEN3, HUNYUAN, LLAMA, OLMO, GEMMA und MISTRAL) über diese Domänen hinweg. Die Leistung wurde anhand zweier Metriken gemessen:

$\Delta$ Logprob: Die Differenz der Log-Wahrscheinlichkeit, die dem korrekten nächsten Token zwischen dem wort-ausgerichteten (partiellen Token) Prompt und dem token-ausgerichteten (Back-off) Prompt zugewiesen wird.
$\Delta$ Acc: Die Differenz in der Genauigkeit bei der Greedy-Dekodierung der korrekten Fortsetzung.

Kernergebnisse

Hohe Verbreitung von Fehlausrichtungen: Standardmäßige Tokenizer weisen signifikante Fehlausrichtungsraten auf. Im Chinesischen entsprechen 14 %–25 % der Wortgrenzen nicht den Token-Grenzen. In Code liegen Satzzeichen-Grenzen in den meisten Modellen mit Raten von über 50 % innerhalb von Tokens.
Schwere Wahrscheinlichkeitsverzerrung: Wenn mit einem PTP konfrontiert, weisen Modelle drastisch niedrigere Wahrscheinlichkeiten für die korrekte Fortsetzung zu. Im Chinesischen sinkt die Wahrscheinlichkeit im Vergleich zu token-ausgerichteten Prompts um bis zu vier Größenordnungen.
Genauigkeitskollaps: Modelle sagen die korrekte Fortsetzung 60 %–95 % seltener voraus, wenn das Prompt mit einem partiellen Token endet. Beispielsweise sank die Genauigkeit von QWEN3-32B im Chinesischen von 93,92 % (token-ausgerichtet) auf 15,36 % (wort-ausgerichtet).
Skalierung hilft nicht: Die Verschlechterung nimmt mit der Modellgröße nicht ab; in vielen Fällen leiden größere Modelle unter gleichen oder sogar größeren Einbußen. Die Autoren hypothetisieren, dass größere Modelle besser an ihre spezifischen Trainings-Tokenizer angepasst sind, was sie zu der Überzeugung führt, dass eine Sequenz von Tokens (z. B. process + in) nicht durch ein Zeichen (z. B. g) gefolgt werden kann, das ein einzelnes Token (processing) bilden würde.
Mitigation zur Inferenzzeit:
- Token Healing: Ein heuristischer Ansatz, der das letzte Token(s) aus dem Prompt entfernt und die Generierung so einschränkt, dass sie dem entfernten Text entspricht. Dies zeigte gemischte Ergebnisse, verbesserte die Genauigkeit in einigen Fällen, scheiterte aber in anderen (z. B. Deutsch).
- ByteSampler: Eine exakte Lösung (Hayase et al., 2025), die einen Baum aller validen Token-Sequenzen konstruiert, die das Prompt-Präfix abdecken, und einen Pfad sampelt. Diese Methode erreichte eine Genauigkeit von 100 % über alle drei Domänen (Chinesisch, Deutsch, Code) hinweg bei geringem Rechenaufwand (0,12–1,17 zusätzliche Forward-Passes).

Bedeutung und Beiträge
Das Paper zeigt, dass das Partial Token Problem kein bloßes Artefakt willkürlicher Text-Abschneidungen ist, sondern ein schwerwiegender Fehlermodus in realistischen, semantisch natürlichen Anwendungsfällen. Die Autoren behaupten:

Reale Auswirkungen: Das Problem ist in nicht-englischen Sprachen und in Code allgegenwärtig und betrifft selbst Prompts, die mit vollständigen Wörtern enden.
Limitierungen der Skalierung: Die Erhöhung der Modellgröße löst das Problem nicht, da Modelle stärker an ihre Trainings-Tokenisierungsschemata gebunden werden.
Praktische Empfehlungen: Die Studie validiert die Effektivität exakter Lösungen zur Inferenzzeit wie ByteSampler, die das Problem vollständig beheben können, ohne ein Retraining des Modells zu erfordern.

Die Arbeit unterstreicht, dass LMs nicht nur Sprache modellieren, sondern auch den spezifischen Tokenizer, mit dem sie trainiert wurden, und dass diese Interaktion vorhersehbare Biases erzeugt, wenn Prompt-Grenzen nicht mit Token-Grenzen übereinstimmen. Die Autoren geben praktische Empfehlungen für Inferenz-Provider, exakte Lösungen zu adoptieren, um Zuverlässigkeit in diversen linguistischen und kodierungstechnischen Kontexten zu gewährleisten.