💬 NLP

LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers

Dieses Paper stellt LiteToken vor, eine Methode, die seltene „Residuen“-Token aus BPE-Vokabularen identifiziert und entfernt, um die Modellparameter zu reduzieren und die Robustheit gegenüber verrauschten Eingaben zu verbessern, oft ohne dass ein zusätzliches Fine-Tuning vortrainierter Modelle erforderlich ist.

Ursprüngliche Autoren: Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, die menschliche Sprache zu lesen und zu schreiben. Um dies zu tun, müssen Sie Sätze zuerst in kleine Stücke zerlegen, die sogenannte „Token“ (wie Wörter oder Wortteile), damit der Roboter sie verstehen kann. Die populärste Methode hierfür ist ein Verfahren namens BPE (Byte Pair Encoding).

Denken Sie beim BPE-Prozess an eine Baustelle, auf der eine Crew ein Vokabular von Grund auf erstellt. Sie beginnen mit einzelnen Buchstaben. Dann schauen sie in eine riesige Bibliothek von Büchern und sagen: „Hey, die Buchstaben 't' und 'h' kommen ständig zusammen vor. Lasst uns sie zu einem neuen Block namens 'th' zusammenkleben.“ Später sehen sie 'th' und 'e' zusammen oft und kleben diese zusammen, um 'the' zu bilden. Sie machen dies immer weiter und bauen so immer größere Blöcke auf.

Das Problem: Das zurückgelassene „Gerüst“

Das Paper identifiziert einen unordentlichen Nebeneffekt dieses Konstruktionsprozesses. Manchmal baut die Crew einen temporären Block (wie „includ“), weil dieser in einem bestimmten Moment während der Konstruktionsphase sehr häufig vorkam. Später baut sie jedoch einen noch größeren Block („include“ oder „including“).

In einer perfekten Welt würde die Crew den temporären „includ“-Block abreißen und wegwerfen. Aber in der aktuellen BPE-Methode lassen sie ihn trotzdem in der Vokabelliste stehen.

Die Autoren nennen diese übrig gebliebenen Blöcke „Intermediate Merge Residues“ (Zwischen-Merge-Reste).

Die Analogie: Stellen Sie sich vor, Sie bauen ein Haus. Sie benutzen ein temporäres Gerüst, um in das zweite Stockwerk zu gelangen. Sobald das Dach montiert ist, nehmen Sie das Gerüst wieder ab. Aber in diesem Szenario hat die Baucrew vergessen, das Gerüst zu entfernen. Nun ist Ihr Haus voller nutzloser Holzpfähle, die Platz wegnehmen, hässlich aussehen und jeden verwirren, der versucht, durch die Räume zu gehen.

Diese „Gerüst-Token“ (wie „includ“, „delet“, „framewor“) werden im echten Leben selten verwendet, da die vollständigen Wörter („include“, „delete“, „framework“) bevorzugt werden. Dennoch liegen sie im Wörterbuch des Roboters, verbrauchen Speicherplatz und Rechenleistung. Schlimmer noch: Weil der Roboter sie kaum jemals sieht, wird er verwirrt, wenn er ihnen doch einmal begegnet (zum Beispiel, wenn jemand ein Wort falsch schreibt oder ein Hacker versucht, das System auszutricksen).

Die Lösung: LiteToken

Die Autoren entwickelten ein Werkzeug namens LiteToken, um dieses Chaos zu beseitigen. Es ist wie ein „Frühjahrsputz“ für das Wörterbuch des Roboters.

So funktioniert es, Schritt für Schritt:

Die Detektivarbeit: Das Werkzeug scannt das Wörterbuch und sucht nach diesen „Gerüst“-Token. Es stellt zwei Fragen:
- Wird dieser Token selten allein verwendet? (Niedrige Frequenz).
- Tritt dieser Token nur in sehr spezifischen, vorhersehbaren Situationen auf? (Niedrige „Entropie“ oder Varianz).
- Beispiel: Wenn der Token „includ“ immer nur direkt vor „e“ oder „ing“ erscheint, ist er wahrscheinlich nur ein übrig gebliebenes Stück. Aber wenn ein Token wie „re“ in „rewrite“, „recover“ und „refund“ vorkommt, ist er ein nützlicher Baustein und bleibt bestehen.
Die Entfernung: Einmal identifiziert, werden diese nutzlosen Token zur Löschung markiert.
Die Neuzusammensetzung: Wenn der Roboter auf ein Wort stößt, das früher durch diese nutzlosen Token getrennt wurde, zerlegt das Werkzeug das Wort in seine Basiskomponenten (Buchstaben) und baut es dann unter Verwendung nur der guten, nützlichen Blöcke neu auf. Es ist, als würde man das Gerüst entfernen und es durch eine saubere, solide Wand ersetzen.

Die Ergebnisse: Ein leichterer, stärkerer Roboter

Die Autoren haben dies an mehreren berühmten KI-Modellen (wie Qwen, Llama und GPT) getestet. Hier ist, was sie herausgefunden haben:

Es ist „Plug-and-Play“: Sie müssen den Roboter nicht neu trainieren oder ihm etwas Neues beibringen. Sie können einfach das alte Wörterbuch gegen das neue, aufgeräumte Wörterbuch austauschen, und der Roboter arbeitet genauso gut.
Spart Platz: Durch das Entfernen von etwa 5 % bis 10 % der nutzlosen Token benötigt der Roboter weniger Speicher und führt Berechnungen schneller aus. Es ist, als würde man schwere, nutzlose Ziegel aus einem Rucksack entfernen, damit man schneller rennen kann.
Besser im Umgang mit Fehlern: Wenn Menschen Tippfehler machen oder versuchen, den Roboter mit seltsamen Eingaben auszutricksen, wird der alte Roboter oft verwirrt, weil er versucht, die „Gerüst“-Token sinnvoll zu interpretieren. Der neue „Lite“-Roboter geht viel besser mit diesen Fehlern um, da er sich nicht auf diese fragilen, halbfertigen Blöcke verlassen muss.
Kein Verlust an Intelligenz: Trotz der Entfernung dieser Token hat die Fähigkeit des Roboters, Fragen zu beantworten oder Geschichten zu schreiben, nicht nachgelassen. Er blieb genauso intelligent.

Zusammenfassung

Kurz gesagt argumentiert das Paper, dass viele KI-Modelle eine Menge „digitalen Müll“ mit sich herumtragen – nutzlose, halbfertige Wortteile, die von ihrem Training übrig geblieben sind. LiteToken ist ein einfaches Werkzeug, das diesen Müll hinauskehrt und die KI-Modelle leichter, schneller und robuster gegenüber Fehlern macht, ohne dass dafür ein erneutes Training erforderlich ist.

Technisches Resümee: LiteToken: Entfernung von intermediären Merge-Residuen aus BPE-Tokenizer

1. Problemstellung

Während Large Language Models (LLMs) ein dramatisches Wachstum bei Parametern und Trainingsdaten erlebt haben, hat das Design ihrer Tokenizer – insbesondere des weit verbreiteten Byte Pair Encoding (BPE) – vergleichsweise wenig kritischer Betrachtung erfahren. Dieses Paper identifiziert eine spezifische Ineffizienz in Standard-BPE-Vokabularen, die als „intermediäre Merge-Residuen“ (auch als „Scaffold-Token“ bezeichnet) bezeichnet wird.

Während des BPE-Trainings führt der Algorithmus iterativ die häufigsten benachbarten Token-Paare zusammen (Merges). Viele Token, die während dieses Prozesses entstehen, sind im Moment ihrer Entstehung sehr häufig, werden jedoch später durch weitere Merges absorbiert. Infolgedessen erscheinen diese Token im finalen tokenisierten Korpus nur selten, verbleiben jedoch im Vokabular. Die Autoren identifizieren drei primäre Probleme, die durch diese Residuen verursacht werden:

Token-Verschwendung: Diese Token belegen Kapazitäten in den Token-Embeddings und Dekodierungsschichten, ohne effektiv genutzt zu werden, was zu verschwendeten Parametern und FLOPs führt (geschätzt 1–3 % bei Modellen $\le$ 8B Parametern).
Leistungsdegradierung: Da diese Token im finalen Korpus selten sind, sind sie untertrainiert. Modelle weisen höhere Fehlerraten auf, wenn sie Eingaben verarbeiten, die diese Token triggern, insbesondere in atypischen oder Out-of-Distribution-Szenarien.
Vulnerabilität: Die geringe Frequenz und die Assoziation mit verrauschten Textmustern machen diese Token zu einem Vektor für adversarielle Angriffe und reduzieren die Robustheit gegenüber Tippfehlern oder Jailbreak-ähnlichen Perturbationen.

2. Methodik: LiteToken

Die Autoren schlagen LiteToken vor, einen leichtgewichtigen, Plug-and-Play-Algorithmus, der darauf ausgelegt ist, intermediäre Merge-Residuen aus einem bestehenden BPE-Tokenizer zu identifizieren und zu entfernen, ohne den Tokenizer oder das Modell neu trainieren zu müssen. Der Prozess umfasst drei Hauptphasen:

A. Identifikationsalgorithmus

Die Methode nutzt eine korpusgestützte statistische Analyse, um echte Residuen von linguistisch bedeutsamen Low-Frequency-Token (wie Wurzeln, Präfixen oder Suffixen) zu unterscheiden. Sie verwendet zwei Metriken:

Final/Intermediate (FI) Ratio: Dies misst die Häufigkeit eines Tokens im finalen Korpus ( $F_1$ ) im Verhältnis zu seinen Gesamtvorkommen während des Merge-Prozesses ( $F_1 + F_2$ ). Ein niedriges Verhältnis deutet darauf hin, dass das Token größtenteils in größere Einheiten zusammengeführt wurde.
$R = \frac{F_1}{F_1 + F_2}$
Neighbor Entropy Filtering: Um gültige morphologische Einheiten (z. B. „re“ in „rewrite“ oder „import“ als eigenständiges Wort) nicht zu entfernen, berechnet der Algorithmus die Entropie der linken und rechten Nachbar-Token. Intermediäre Residuen haben typischerweise fixierte, niedrige Entropie-Kontexte (z. B. ist „includ“ fast immer gefolgt von „e“, „ing“ usw.), während valide Wurzeln oder eigenständige Wörter eine höhere Nachbar-Diversität aufweisen.
$S(t) = \min \{S_{left}(t), S_{right}(t)\}$
Tokens werden als Residuen klassifiziert, wenn ihr FI-Verhältnis unter einem Schwellenwert ( $r$ ) und ihr Entropie-Score unter einem Schwellenwert ( $s$ ) liegt.

B. Entfernung und Re-Merging

Sobald Residuen identifiziert wurden, wird der Tokenizer über einen Split- und Re-Merge-Prozess modifiziert:

Split: Wenn ein Token, das zur Residuen-Menge gehört, auftritt, kehrt der Algorithmus rekursiv die Merge-Operationen um, die es erzeugt haben, und spaltet es zurück in seine Vorgänger-Tokens auf, bis nur noch Nicht-Residuen (oder Basis-Tokens) übrig bleiben. Dies stellt sicher, dass keine unbekannten Tokens generiert werden.
Re-Merge: Um eine übermäßige Sequenzfragmentierung zu verhindern, wendet der Algorithmus einen Re-Merge-Schritt unter Verwendung der „unmaskierten“ gelernten Merges an. Dies kombiniert die gesplitteten Tokens wieder zu kompakteren, linguistisch ausgerichteten Einheiten (z. B. die Rekonstruktion von „corruption“ aus Split-Teilen), ohne die entfernten Residuen-Tokens wieder einzuführen.

C. Output-Layer-Maskierung

Um zu verhindern, dass das Modell während der autoregressiven Dekodierung Residuen-Tokens generiert, werden die entsprechenden Spalten in der Output-Projektionsmatrix ( $O \in \mathbb{R}^{d_h \times N_{vocab}}$ ) maskiert. Die Autoren merken an, dass das Re-Merging nicht während der Generierung angewendet wird, um die Kompatibilität mit KV-Caches zu wahren.

D. Kompatibilität mit Tiktoken

Die Methode wurde für tiktoken (verwendet von Lsama-3, GPT und Gemma-Familien) angepasst, das keinen strikten Merge-Baum besitzt. Für diese Tokenizer betrachtet der Algorithmus alle zulässigen Merge-Pfade, die ein spezifisches Token ergeben, und führt die Frequenzstatistik basierend auf der tatsächlich verwendeten Merge-Tabelle während der Kodierung durch.

3. Zentrale Beiträge

Systematische Charakterisierung: Das Paper liefert eine empirische Analyse, die zeigt, dass etwa 5 % bis 10 % der Tokens in weit verbreiteten LLM-Tokenizer (einschließlich Qwen, DeepSeek, Llama-3 und GPT-Familien) intermediäre Merge-Residuen sind.
LiteToken-Algorithmus: Eine neuartige, trainingsfreie Methode zur Pruning dieser Residuen, die die Vokabulargröße und Modellparameter reduziert und gleichzeitig die Token-Effizienz verbessert.
Plug-and-Play-Einsatz: Der Ansatz ermöglicht es, modifizierte vortrainierte Modelle sofort zu nutzen, ohne ein Fine-Tuning durchzuführen, wodurch die Gesamtleistung erhalten bleibt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LiteToken auf Modellen mit einer Größe von 0,6B bis 70B Parametern (Qwen, Llama-3, DeepSeek, etc.) unter Verwendung der Datensätze C4-en, RedPajama und SQuAD.

Parameter- und Rechenleistungsreduktion: Das Entfernen von Residuen reduziert die Vokabulargröße um 5–10 %, was zu einer proportionalen Reduktion der Embedding- und Output-Layer-Parameter führt (bis zu ~2,6 % bei 0,6B-Modellen).
Sprachmodellierungs-Performance: Der modifizierte Tokenizer („Lite“) zeigte einen vernachlässigbaren Einfluss auf die Perplexität (PPL). Beispielsweise lag die PPL-Differenz zwischen dem Original- und dem Lite-Tokenizer auf C4-en bei weniger als 0,5 für Qwen-3-8B und Llama-3.1-70B.
Robustheit: Die signifikantesten Gewinne wurden in der Robustheit beobachtet. In Perturbations-Tests (Tippfehler und adversarielle Token-Grenzen) zeigten LiteToken-Modelle eine höhere Genauigkeit bei der Fehlerkorrektur und der Beantwortung von Fragen im Vergleich zu den Originalmodellen. Beispielsweise wurde der Leistungsabfall für Qwen-3-8B unter Perturbation von 1,78 % auf 0,82 % reduziert.
Allgemeine Performance: Bei Standard-Benchmarks wie SQuAD blieb die F1-Score durch die Entfernung der Residuen innerhalb einer vernachlässigbaren Marge (z. B. 0,833 vs. 0,829 für Qwen-3-8B), was bestätigt, dass das Pruning die allgemeinen NLP-Fähigkeiten nicht beeinträchtigt.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass das Design von Tokenizern eine kritische, jedoch oft übersehene Komponente der LLM-Architektur ist. Die Autoren behaupten, dass intermediäre Merge-Residuen eine greifbare Ineffizienz darstellen, die computergestützte Ressourcen verschwendet und Vulnerabilitäten gegenüber verrauschten Inputs schafft.

Durch die Einführung von LiteToken demonstrieren die Autoren:

Ein signifikanter Teil des Vokabulars in modernen BPE-Tokenizer ist redundant.
Das Entfernen dieser Residuen verbessert die Robustheit des Modells gegen Tippfehler und adversarielle Perturbationen, ohne die Kosten eines erneuten Trainings.
Die „Plug-and-Play“-Natur der Methode ermöglicht sofortige Einsatzvorteile in Bezug auf Speicherersparnis und Inferenz-Effizienz.

Die Autoren kommen zu dem Schluss, dass während sich ihre aktuelle Arbeit auf Englisch und lateinische Skripte konzentriert, das Phänomen der intermediären Residuen wahrscheinlich auch in anderen Sprachen auftritt, was die Notwendigkeit weiterer Untersuchungen zur Optimierung von Tokenizern über diverse linguistische Strukturen hinweg nahelegt. Sie betonen, dass ihre Arbeit in ihrem Umfang bescheiden ist, da sie sich auf die Tokenisierungsschicht konzentriert, und lassen die Wechselwirkungen mit dem Modell-Retraining als Richtung für zukünftige Forschung offen.