💬 NLP

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

Das Papier stellt FLEXITOKENS vor, eine flexible Tokenisierungsmethode für Byte-Level-Sprachmodelle, die einen lernbaren Grenzvorhersager mit einem vereinfachten Trainingsziel einsetzt, um die Starrheit fester Tokenizer zu überwinden, wodurch eine Überfragmentierung reduziert und in verschiedenen Sprachen und Aufgaben Leistungssteigerungen von bis zu 10 % erzielt werden.

Ursprüngliche Autoren: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu lesen und zu verstehen. Um dies zu tun, muss der Roboter Sätze in kleinere, handhabbare Stücke zerlegen, die „Tokens" genannt werden. Denken Sie an Tokens wie an die Ziegelsteine, die ein Maurer zum Bau einer Mauer verwendet.

Seit langem verwenden Roboter einen sehr starren Satz von Ziegelsteinen. Diese Steine waren vorab in spezifische Formen (wie „un-", „do", „able") geschnitten, basierend auf einem festen Regelbuch. Dies funktioniert hervorragend für die Sprachen und Themen, für die der Roboter ursprünglich trainiert wurde. Sobald der Roboter jedoch versucht, etwas Neues zu lesen – etwa ein medizinisches Fachjournal, ein Programmierhandbuch oder eine Sprache, die er noch nie gesehen hat – verursacht dieses starre Regelbuch Probleme.

Das Problem: Der „Einheits-Ziegelstein"

Das Papier bezeichnet dieses Problem als Überfragmentierung.

Stellen Sie sich vor, Sie versuchen, eine Mauer aus einem langen, durchgehenden Textband zu bauen. Wenn Ihr Regelbuch besagt: „Jedes Mal, wenn Sie einen Bindestrich sehen, schneiden Sie das Band", könnten Sie ein einzelnes Wort wie „hypertrophisch" (ein medizinischer Begriff) in winzige, unbrauchbare Schnitzel zerlegen: „hyper", „tro", „phisch".

Das Ergebnis: Der Roboter muss viel zu viele winzige Ziegelsteine tragen, um die Mauer zu bauen. Dies macht den Bau langsam, teuer (in Bezug auf Rechenleistung) und verwirrend. Der Roboter verliert die Bedeutung des gesamten Wortes, weil er zu sehr mit dem Betrachten der winzigen, zerbrochenen Stücke beschäftigt ist.
Der alte Weg: Traditionelle Methoden (wie BPE) sind wie eine Fabrik, die alle Ziegelsteine vorab zuschneidet, bevor der Roboter überhaupt mit dem Bauen beginnt. Sobald die Steine zugeschnitten sind, können sie nicht mehr geändert werden, selbst wenn der Roboter später eine andere Art von Haus baut.

Die Lösung: FLEXITOKENS

Die Autoren dieses Papiers, FLEXITOKENS, schlagen einen intelligenteren Weg vor. Anstatt vorgefertigte Ziegelsteine zu verwenden, geben sie dem Roboter einen intelligenten, flexiblen Schneider, der lernt, das Band während des Bauens zu zerschneiden.

So haben sie es getan, unter Verwendung einer einfachen Analogie:

Die alte Regel (Die „Fixierte Komprimierung"-Falle):
Frühere Versuche, Roboter dazu zu bringen, ihre eigenen Ziegelsteine zu schneiden, verwendeten eine strenge Regel: „Sie müssen das Band so schneiden, dass Sie am Ende genau 3 Ziegelsteine für jede 10 Zoll Text erhalten."
- Der Fehler: Wenn der Text in einer Sprache verfasst ist, in der Wörter natürlicherweise lang sind (wie Türkisch), könnte das Erzwingen einer 3-Ziegel-Regel ein einzelnes Wort in winzige, bedeutungslose Stücke zerhacken. Wenn der Text in einer Sprache verfasst ist, in der Wörter kurz sind (wie Chinesisch), könnte dieselbe Regel zwei verschiedene Wörter zu einem verwirrenden Klumpen zusammenkleben. Die Regel war zu starr, um sich an die spezifische „Form" des Textes anzupassen.
Die neue Regel (FLEXITOKENS):
FLEXITOKENS ändert die Regel in einen flexiblen Bereich. Anstatt zu sagen: „Sie müssen genau 3 Ziegelsteine haben", sagt es: „Sie können zwischen 2 und 4 Ziegelsteinen liegen, je nachdem, was für diesen spezifischen Satz Sinn ergibt."
- Der „Scharnier"-Verlust: Das Papier führt eine spezielle Trainingsmethode ein (einen „scharnierartigen Verlust"), der wie eine Sicherheitszone wirkt. Wenn der Roboter den Text in eine Anzahl von Stücken schneidet, die innerhalb des sicheren Bereichs liegt, erhält der Roboter eine „Durchgangserlaubnis" – keine Strafe. Dies ermöglicht dem Roboter Flexibilität. Er kann einen langen medizinischen Begriff in einen großen, bedeutungsvollen Ziegelstein zerlegen oder einen kurzen Satz in viele kleine Ziegelsteine zerlegen, je nachdem, was ihm hilft, die Bedeutung am besten zu verstehen.

Was passierte, als sie es versuchten?

Die Forscher testeten diesen neuen flexiblen Schneider an vielen verschiedenen Sprachen (darunter Englisch, Spanisch, Russisch, Hindi und Telugu) und verschiedenen Themen (wie Medizin und Programmierung).

Weniger Chaos: Der Roboter hörte auf, Wörter unnötig zu zerhacken. Zum Beispiel lernte er in einem medizinischen Text, „hypertrophisch" als eine einzige, kohärente Einheit zu behalten, anstatt es in Müllstücke zu zerlegen.
Schneller und intelligenter: Da der Roboter nicht so viele winzige, zerbrochene Ziegelsteine tragen musste, verarbeitete er Informationen schneller und verwendete weniger Arbeitsspeicher.
Bessere Leistung: Bei Aufgaben wie Übersetzung und dem Verstehen von Sätzen schnitt der Roboter mit dem flexiblen Schneider besser ab als Roboter, die die alten, starren Methoden verwendeten. Er bewältigte sogar Sprachen, die er noch nie gesehen hatte (wie Urdu), viel besser, ohne sie in winzige, verwirrende Fragmente zu zerlegen.

Das Fazit

Stellen Sie sich FLEXITOKENS als Aufrüstung eines Roboters vor: von einem vorgefertigten, Plastik-Spielzeug-Ziegelsteineset zu einem intelligenten 3D-Drucker, der Ziegelsteine der perfekten Größe und Form für das drucken kann, was er gerade baut.

Indem man dem Roboter erlaubt, wie er Wörter basierend auf dem Kontext zerlegt (anstatt eine feste Regel zu erzwingen), zeigt das Papier, dass Sprachmodelle effizienter werden, neue Sprachen besser bewältigen und komplexe Themen wie Medizin verstehen können, ohne durch „überzerteilten" Text verwirrt zu werden.

Technische Zusammenfassung: FLEXITOKENS

Problemstellung

Die Anpassung von Sprachmodellen (LMs) an neue Datenverteilungen, wie etwa unbekannte Domänen, Sprachen oder Schriftsysteme, mittels einfacher Feinabstimmung wird häufig durch die Starrheit von Subwort-Tokenizern (z. B. BPE) behindert. Diese Tokenizer bleiben während der Anpassung statisch, was zu einer ineffizienten Tokenisierung führt, die sich durch eine übermäßige Fragmentierung in kontexten außerhalb der Trainingsverteilung auszeichnet. Diese Übersegmentierung erhöht die Sequenzlängen, was zu einem höheren Rechenaufwand, einem gesteigerten Speicherbedarf und höheren Inferenzkosten führt, gleichzeitig aber die Leistung in nachgelagerten Aufgaben verschlechtert.

Während „tokenizerfreie" Ansätze, die Bytes direkt modellieren oder lernbare Tokenisierungsmodule innerhalb des Sprachmodells verwenden, entstanden sind, um dieses Problem zu adressieren, führen sie eine neue Form von Starrheit ein. Bestehende gradientenbasierte Tokenisierungsmethoden verlassen sich typischerweise auf einen Hilfsverlust (z. B. einen binomialen Verlust), der eine feste Kompressionsrate erzwingt, die während des Vor-Trainings festgelegt wurde. Diese feste Rate verhindert, dass sich der Tokenizer an die spezifischen strukturellen Anforderungen neuer Domänen (z. B. morphologisch reiche Sprachen oder spezialisierte medizinische Terminologie) oder unbekannte Schriftsysteme anpasst, was häufig zu einer suboptimalen Segmentierung führt.

Methodik

Die Autoren schlagen FLEXITOKENS (FXT) vor, ein flexibles, gradientenbasiertes Tokenisierungsframework, das entwickelt wurde, um Tokenisierungsstrategien während der Anpassung dynamisch weiterentwickeln zu lassen.

Modellarchitektur

Das Modell ist ein Byte-Level-Transformer, der ein lernbares Tokenisierungsmodul direkt in die Architektur integriert, angelehnt an das Design von Nawrot et al. (2023). Die Architektur besteht aus drei Hauptstufen:

Tokenisierung/Downsampling: Ein leichtgewichtiges Transformer-Modul (1–2 Schichten) verarbeitet die Eingabe-Byte-Sequenz. Ein Boundary-Predictor schätzt die Wahrscheinlichkeit einer Segmentgrenze an jeder Position. Diskrete Grenzen werden durch eine harte Gumbel-Sigmoid-Reparametrisierung der Bernoulli-Verteilung erhalten, um die Differenzierbarkeit zu gewährleisten.
Sprachmodellierung: Das Modell poolt die Byte-Level-Versteckten Zustände zwischen den vorhergesagten Grenzen, um Token-Level-Repräsentationen zu erzeugen, die von Standard-Transformer-Blöcken verarbeitet werden.
Upsampling: Ein finales Modul rekonstruiert die Byte-Level-Ausgabewahrscheinlichkeiten aus den Token-Level-Repräsentationen unter Verwendung von Skip-Connections und einem leichtgewichtigen Transformer.

Das FLEXITOKENS-Ziel

Die Kerninnovation liegt im Trainingsziel für den Boundary-Predictor. Im Gegensatz zu früheren Methoden, die eine strikte Ziel-Kompressionsrate $\alpha$ durch einen binomialen Verlust erzwingen, führt FLEXITOKENS einen hinge-ähnlichen Verlust ein, der einen Bereich akzeptabler Kompressionsraten definiert, anstatt einen einzelnen Punkt.

Die Verlustfunktion $L_{BP}$ ist definiert als:
$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$
Wobei:

$k$ die Anzahl der vorhergesagten Grenzen ist.
$N$ die Gesamtzahl der Bytes ist.
$\alpha$ die Obergrenze der Kompressionsrate ist.
$\beta = \alpha - \lambda\sigma$ die Untergrenze ist, wobei $\sigma$ die Standardabweichung der Tokenisierungsraten über die Stichproben und $\lambda$ ein Hyperparameter ist.

Schlüsselmechanismus: Fällt die Kompressionsrate ( $k/N$ ) in den Bereich $[\beta, \alpha]$ , ist der Verlust null. Dies entfernt die Strafe für variierende Kompressionsraten innerhalb des akzeptablen Bandes und ermöglicht es dem Modell, die Segmentierung dynamisch an die Struktur der Eingabesequenz anzupassen, ohne in einen starren globalen Durchschnitt gezwungen zu werden.

Multilinguale Anpassung

Um multilinguales Training zu handhaben, bei dem verschiedene Schriftsysteme unterschiedliche Byte-Komplexitäten erfordern (z. B. Lateinisch vs. Devanagari), schlagen die Autoren die Verwendung eines gemeinsamen Boundary-Predictors mit sprachspezifischen Hyperparametern ( $\alpha_L$ ) vor. Diese Parameter werden aus einem kleinen parallelen Korpus zwischen einer Ankersprache (Englisch) und der Zielsprache abgeleitet, was eine gerechte Tokenisierung über verschiedene Schriftsysteme hinweg sicherstellt, ohne dass separate Predictor für jede Sprache erforderlich sind.

Hauptbeiträge

Flexibles Trainingsziel: Die Einführung einer verlustbasierten Funktion auf Basis eines Bereichs, die die Einschränkung fester Kompressionsraten lockert und es Tokenizern ermöglicht, sich während der Feinabstimmung an variierende Datenverteilungen anzupassen.
Dynamische Anpassung: Der Nachweis, dass die erlernten Tokenisierungsgrenzen sich verschieben können, um domänenspezifische Muster zu erfassen (z. B. medizinische Begriffe als ganze Einheiten zu behandeln) oder unbekannte Schriftsysteme ohne Übersegmentierung zu handhaben.
Einheitliches multilinguales Framework: Eine Methode, um eine gerechte Tokenisierung über diverse Schriftsysteme hinweg unter Verwendung eines einzigen gemeinsamen Predictors mit abgeleiteten sprachspezifischen Grenzen zu erreichen, wodurch die Komplexität schriftsystemspezifischer Predictor vermieden wird.

Ergebnisse

Die Autoren bewerteten FLEXITOKENS an mehreren multilingualen Benchmarks (abdeckend Lateinisch, Kyrillisch, Devanagari und Telugu) und diversen Aufgaben, einschließlich Übersetzung, Named Entity Recognition (NER) und Sentiment-Analyse.

Leistungssteigerungen: FLEXITOKENS schnitt bei generativen Aufgaben wie der maschinellen Übersetzung konsistent besser ab als Baselines (BPE, statisches Byte-Pooling und binomial-verlustbasierte Tokenizer). Es wurden Verbesserungen von bis zu 21 Punkten gegenüber BPE beobachtet. Auf XNLI (Natural Language Inference) wurden im Vergleich zur binomialen Baseline Gewinne von über 3 Punkten verzeichnet.
Kompressionseffizienz: Die Methode erreichte im Vergleich zu Baselines signifikant höhere durchschnittliche Kompressionsraten (weniger Tokens pro Sequenz), was zu einer reduzierten Inferenz-Laufzeit führte.
Reduzierte Fragmentierung: Eine qualitative Analyse zeigte, dass FLEXITOKENS die Überfragmentierung von Tokens reduzierte, insbesondere für morphologisch reiche Sprachen (Hindi, Telugu) und unbekannte Schriftsysteme (Urdu), wo BPE bis zu 6-mal mehr Tokens erzeugte.
Skalierbarkeit: Experimente mit variierenden Modellgrößen (Klein: 126M, Mittel: 388M) und Schichtkonfigurationen bestätigten, dass die Methode effektiv skaliert, wobei tiefere Modelle noch höhere Kompression und Leistung erzielen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FLEXITOKENS eine kritische Einschränkung bei der aktuellen Anpassung von Sprachmodellen adressiert: die Unfähigkeit statischer oder starr eingeschränkter Tokenizer, sich mit den Daten weiterzuentwickeln. Indem es dem Tokenizer ermöglicht, seine Segmentierungsstrategie flexibel innerhalb eines definierten Bereichs anzupassen, ermöglicht die Methode:

Effiziente Inferenz: Höhere Kompressionsraten reduzieren die Rechenkosten.
Robustheit gegenüber Verteilungsverschiebungen: Das Modell passt sich an neue Domänen und unbekannte Sprachen an, ohne dass der Tokenizer neu trainiert oder durch heuristische Ersetzungen ersetzt werden muss.
Semantische Ausrichtung: Der Tokenizer lernt, semantisch sinnvolle Tokens wiederherzustellen, die für spezifische Aufgaben relevant sind (z. B. medizinische Terminologie), anstatt sich auf vor-trainierte Subwort-Einheiten zu verlassen.

Die Autoren schließen, dass anpassbare Tokenisierungsstrategien entscheidend für den Aufbau effizienterer und generalisierbarer Sprachmodelle sind, insbesondere in multilingualen und domänenspezifischen Settings. Sie erkennen Einschränkungen hinsichtlich des Rechenbudgets für größere Skalierungen und potenzieller Herausforderungen bei Sprachen mit diskontinuierlichen Morphemen (z. B. semitische Sprachen) an, betonen jedoch, dass die Methode allgemein ist und wahrscheinlich auf eine breitere sprachliche Vielfalt übertragbar sein wird.