💬 NLP

Emergent retokenization symmetry in large language models: phenomenology and applications

Dieses Paper zeigt auf, dass große Sprachmodelle während des Trainings teilweise eine emergente Symmetrie zu semantisch äquivalenten Token-Segmentierungen entwickeln, was offenbart, dass „Retokenisierung“ – das Ersetzen kanonischer Tokenisierungen durch alternative gültige Segmentierungen – als ein sauberer Probeinstrument für kompositorisches Verständnis und als eine neuartige Sampling-Strategie zur Inferenzzeit dient, die in der Lage ist, Lösungen wiederherzustellen, die von konventionellen Methoden verpasst wurden.

Ursprüngliche Autoren: Kanishk Jain, Matthew Day, Tankut Can

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kanishk Jain, Matthew Day, Tankut Can

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein Buch, aber anstatt ganze Wörter zu lesen, ist das Buch in einem seltsamen Code gedruckt, bei dem jedes Wort in unterschiedlich große Stücke zerlegt wird. Manchmal ist „wahrscheinlich“ ein einzelnes Stück. Ein anderes Mal besteht es aus zwei Teilen: „wah“ und „rscheinlich“.

In der Welt der Large Language Models (LLMs) ist das genau so, wie sie lesen. Sie sehen nicht Buchstaben; sie sehen „Token“ (Textstücke). Normalerweise hat der Computer eine strikte Regel (einen Tokenizer), die besagt: „Zerlege 'wahrscheinlich' immer in 'wah' und 'rscheinlich'.“ Das ist der kanonische Weg.

Diese Arbeit stellt eine faszinierende Frage: Was wäre, wenn wir die Regeln brechen würden? Was wäre, wenn wir dem Modell denselben Satz füttern würden, ihn aber anders zerstückeln (z. B. „wa“ + „hr“ + „scheinlich“)? Würde das Modell verwirrt werden, oder würde es die Bedeutung immer noch verstehen?

Die Autoren nennen diesen Prozess Retokenisierung. Hier ist das, was sie herausgefunden haben, einfach erklärt:

1. Die „Geheimsprache“ des Modells

Die Forscher entdeckten, dass das Modell, obwohl es darauf trainiert ist, Wörter immer auf die „standardmäßige“ Weise zu lesen, die „nicht-standardmäßigen“ Wege im Geheimen auch versteht.

Die Analogie: Stellen Sie sich einen Koch vor, der darauf trainiert ist, Zwiebeln in perfekte, gleichmäßige Würfel zu schneiden. Wenn Sie ihm einen Haufen Zwiebeln geben, die in ungleichmäßige, seltsame Formen geschnitten sind, kann er vielleicht trotzdem die Suppe kochen. Er versteht, dass „Zwiebel“ „Zwiebel“ ist, ungeachtet der Form.
Das Ergebnis: Das Modell ist nicht perfekt blind gegenüber den seltsamen Formen. Es kann immer noch die Mathematik betreiben, den Code schreiben oder die Frage beantworten. Es ist jedoch auch nicht perfekt blind. Die seltsamen Formen führen dazu, dass das interne „Gehirn“ (seine verborgenen Zustände) des Modells etwas anders arbeitet. Es ist, als wäre der Koch leicht gestresst, wenn die Zwiebeln seltsam geschnitten sind, selbst wenn die Suppe am Ende immer noch gut schmeckt.

2. Eine neue Art, „die Würfel zu rollen“

Wenn wir eine KI bitten, ein Problem zu lösen, fragen wir sie normalerweise so oft, bis sie die beste Antwort findet. Dies nennt man Temperature Sampling. Es ist wie das Werfen eines Würfels, um zu sehen, was die KI als Nächstes sagt.

Die Autoren fanden einen neuen Weg, um unterschiedliche Antworten zu erhalten: Retokenization Sampling.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Labyrinth zu lösen.
- Standard Sampling: Sie gehen denselben Pfad, aber jedes Mal, wenn Sie an einer Gabelung ankommen, werfen Sie eine Münze, um zu entscheiden, ob Sie links oder rechts gehen.
- Retokenization Sampling: Sie gehen denselben Pfad, aber Sie ändern die Karte leicht ab. Vielleicht zeichnen Sie die Wände neu oder ändern die Beschriftungen an den Abzweigungen. Obwohl das Ziel dasselbe ist, zwingt die neue Karte Ihr Gehirn dazu, einen anderen Weg zu nehmen, um dorthin zu gelangen.
Das Ergebnis: Manchmal hilft diese „neue Karte“ der KI, eine Lösung zu finden, die sie mit der Standardkarte übersehen hätte. Es ist, als würde man eine geheime Tür im Labyrinth finden, die man nur sieht, wenn man den Bauplan aus einem anderen Blickwinkel betrachtet.

3. Wo es funktioniert (und wo nicht)

Die Autoren testeten dies bei drei Arten von Aufgaben:

Mathematik (GSM8K): Das Modell kam ganz gut zurecht. Das seltsame Zerstückeln half nicht viel, aber es machte das Modell auch nicht kaputt.
Multiple Choice (MMLU): Das Modell war hier sehr empfindlich. Das Ändern der Stücke machte es etwas wahrscheinlicher, die falsche Antwort zu wählen.
Programmierung (HumanEval): Hier wurde es spannend. Programmierung hat viele Wege, dasselbe Problem zu lösen. Die Forscher fanden heraus, dass die KI durch das Ändern der Art und Weise, wie der Code zerstückelt wurde, manchmal völlig andere, korrekte Wege fand, um das Programm zu schreiben, die sie sonst nicht gefunden hätte.

4. Der Preis der Kreativität

Es gibt einen Haken.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Buch schneller zu lesen.
- Standardweg: Sie lesen die Wörter ganz normal.
- Retokenization-Weg: Sie müssen jedes Wort erst einmal neu zerstückeln, bevor Sie es lesen können.
Das Ergebnis: Da das Modell diese „seltsam zerstückelten“ Wörter verarbeiten muss, benötigt es mehr Rechenleistung (und Zeit), um die Antwort zu erhalten. Es ist weniger effizient als die Standardmethode. Die Arbeit kommt zu dem Schluss, dass diese Methode zwar ein cooles Werkzeug ist, um neue Lösungen zu finden (besonders in der Programmierung), sie aber kein magisches Mittel ist, um die Standardnutzung von KI zu ersetzen, da sie langsamer und teurer ist.

Zusammenfassung

Die Arbeit zeigt, dass KI-Modelle klüger sind, als wir dachten. Sie memorieren nicht nur einen Weg, Wörter zu lesen; sie besitzen ein flexibles Verständnis, das es ihnen ermöglicht, mit verschiedenen „Zerstückelungen“ desselben Textes umzugehen.

Indem wir den Text absichtlich in seltsame Stücke zerlegen, können wir die KI dazu zwingen, auf leicht unterschiedliche Weise zu denken, wodurch sie manchmal korrekte Antworten (besonders in der Programmierung) findet, die sie sonst übersehen hätte. Es ist ein neues Werkzeug, um zu erforschen, wie KI denkt, und es beweist, dass die Art und Weise, wie wir Informationen an einen Computer liefern, genauso wichtig ist wie die Information selbst.

Technisches Resümee: Emergente Retokenisierungs-Symmetrie in Large Language Models

Problemstellung

Die Tokenisierung in Large Language Models (LLMs) führt zu einer repräsentativen Redundanz: Eine einzelne Byte-Zeichenfolge kann in mehrere gültige Token-Sequenzen (Segmentierungen) zerlegt werden, die dieselbe Oberflächentext-Darstellung ergeben. Standard-Tokenizer (z. B. BPE, WordPiece) wählen eine einzige „kanonische“ Segmentierung aus, typischerweise über Greedy- oder Dynamic-Programming-Algorithmen. Während das Training auf diesen kanonischen Formen Standard ist, bleibt unklar, ob Modelle lernen, semantisch äquivalente, nicht-kanonische Segmentierungen als invariante Eingaben zu behandeln.

Vorherige Arbeiten haben hervorgehoben, dass die Tokenisierung eine Quelle der Sprödigkeit ist, bei der Modelle bei Aufgaben auf Zeichenebene oder bei spelling-sensitiven Operationen versagen. Im Gegenzug deuten jüngste Studien darauf hin, dass Modelle möglicherweise ein emergentes kompositorisches Verständnis besitzen und ganzwortbasierte Repräsentationen aus Subword-Sequenzen rekonstruieren können. Es besteht jedoch eine Lücke im Verständnis des Trade-offs zwischen Segmentierungs-Invarianz (verschiedene Segmentierungen derselben Zeichenfolge identisch behandeln) und Segmentierungs-Sensitivität (verschiedene Segmentierungen induzieren unterschiedliche interne Zustände und Ausgaben). Die meisten bisherigen Studien zu Eingabe-Perturbationen (z. B. Paraphrasierung, Tippfehler) verändern die Oberflächen-Zeichenkette, was semantische Änderungen mit Robustheit gegenüber der Formulierung konfundiert. Es besteht ein Bedarf an einem kontrollierten Probe-Verfahren, das den Effekt der Tokenisierung isoliert, ohne die zugrunde liegende Byte-Zeichenfolge, Syntax oder Semantik zu verändern.

Methodik

Die Autoren führen Retokenisierung als kontrollierte Inference-Zeit-Intervention ein. Gegeben eine feste Vokabular und eine Byte-Zeichenfolge $s$ , definieren sie:

$E_0(s)$ : Die kanonische Token-Kodierung.
$E_\mu(s)$ : Jede andere gültige Segmentierung von $s$ unter demselben Vokabular.

Der Kern des experimentellen Aufbaus ist das Retokenisierungs-Sampling:

Stochastische Retokenisierung: Für einen gegebenen Prompt generieren die Autoren $k$ gültige nicht-kanonische Segmentierungen, indem sie Tokens zufällig neu segmentieren (unter Verwendung eines Algorithmus, der gleichmäßig aus gültigen Dekompositionen sampelt) mit einer Wahrscheinlichkeit $p_{retok}$ .
Greedy Decoding: Das Modell wird auf jedem segmentierten Prompt unter Verwendung von Greedy Decoding (Temperatur = 0) ausgeführt. Dies stellt sicher, dass die Output-Diversität allein aus der Eingabe-Repräsentation resultiert und nicht aus der Output-Sampling-Randomität.
Metrik: Sie definieren pass@retok(k) als die Wahrscheinlichkeit, dass mindestens einer der $k$ retokenisierten Prompts eine korrekte Lösung liefert. Dies ist das direkte Analogon zur Standard-pass@k-Metrik, jedoch mit Diversität, die aus der Eingabe-Segmentierung statt aus der Output-Stochastizität stammt.

Die Studie verwendet diese Methodik über:

Modelle: Die OLMo-2-Familie (7B Parameter) über verschiedene Trainingsstadien (Pre-training, SFT, DPO, Instruct) sowie andere Modellfamilien (Qwen3, Llama-3.1, Gemma, Pythia).
Benchmarks: HumanEval (Code-Generierung), GSM8K (Mathematisches Denken), GSM8K Python (Code-vermitteltes Mathematik-Denken) und MMLU (Wissensabruf).
Vergleiche: Die Autoren vergleichen die Retokenisierung mit:
- Kanonischem Temperatur-Sampling: Standardmäßige Output-seitige Diversität.
- Typo-Sampling: Eingabe-Perturbationen, die die Oberflächen-Zeichenkette verändern (ein weniger kontrollierter, aber stärkerer Such-Axis).
- Hidden State Analyse: Messung der Verschiebung (Displacement) und Varianz der latenten Repräsentationen über die Layer hinweg.

Zentrale Beiträge

Retokenisierung als kontrollierte Sonde: Die Arbeit formalisiert die Retokenisierung als semantik-erhaltende Intervention. Sie verändert nur die Token-Ebene der Dekomposition einer festen Byte-Zeichenfolge, was eine saubere Isolation von Segmentierungseffekten von semantischen oder syntaktischen Änderungen ermöglicht.
Emergente Symmetrie und Residual-Sensitivität: Durch die Hidden-State-Analyse zeigen die Autoren, dass die internen Repräsentationen von nicht-kanonischen Segmentierungen zusammen clustern (was auf emergente Symmetrie hindeutet), aber nicht zum kanonischen Zustand kollabieren. Eine „Residual-Sensitivität“ bleibt bestehen, die besonders in den finalen Layern des Modells akzentuiert ist. Diese Sensitivität wird während des Pre-trainings und Post-trainings schrittweise erlernt.
Retokenisierungs-Sampling-Protokoll: Die Autoren führen pass@retok(k) ein, um zu quantifizieren, wie die Diversität der Eingabe-Repräsentation den Projekterfolg beeinflusst. Sie zeigen, dass diese Metrik eine steigende Kurve mit abnehmendem Grenznutzen aufweist, ähnlich dem Standard-pass@k, was darauf hindeutet, dass unterschiedliche Segmentierungen distinkte, nützliche Trajektorien erschließen.
Aufgabenspezifische Gewinne und Robustheitstrends:
- Wiederherstellung versäumter Lösungen: Auf HumanEval und GSM8K stellt das Retokenisierungs-Sampling korrekte Lösungen wieder her, die das kanonische Decoding übersieht.
- Strukturelle Diversität: Eine AST-basierte Analyse auf HumanEval zeigt, dass die korrekten retokenisierten Generationen ein erhebliches Spektrum an Programmstrukturen abdecken und nicht bloß ein einziges kanonisches Template sind.
- Modell-Skalierung: Stärkere Modelle bleiben unter Retokenisierung generell stärker, und die Segmentierungs-Robustheit korreliert mit der allgemeinen Modellkapazität.
Recheneffizienz-Analyse: Die Autoren vergleichen Retokenisierung mit Temperatur- und Typo-Sampling unter einem angeglichenen Prompt-Token-Budget. Sie stellen fest, dass Retokenisierung zwar eine einzigartige Diversität bietet, aber weniger recheneffizient als Temperatur-Sampling ist, da nicht-kanonische Segmentierungen oft die Prompt-Länge erhöhen.

Ergebnisse

Repräsentationsraum: Während des Pre-trainings nehmen die Verschiebung (Bias) und die Varianz der latenten Repräsentationen unter Retokenisierung ab, verschwinden jedoch nicht. Der finale Layer zeigt die größte Sensitivität gegenüber Segmentierungsänderungen.
Verhaltensleistung:
- HumanEval: Das Retokenisierungs-Sampling zeigt die größte Lücke im Vergleich zu kanonischem pass@k und stellt strukturell diverse korrekte Programme wieder her. Einige Aufgaben werden nur durch Retokenisierungs-Sampling gelöst.
- GSM8K & GSM8K Python: Die Retokenisierung verbessert die Leistung, obwohl die Lücke zum kanonischen Sampling geringer ist als bei der Code-Generierung.
- MMLU: Aufgrund des kleinen, diskreten Antwortraums sättigt wiederholtes Sampling (sowohl kanonisch als auch retokenisiert) schnell, wodurch pass@retok in diesem Bereich weniger distinkt ist.
Trainingsdynamik: Sowohl pass@k als auch pass@retok(k) verbessern sich während des Pre-trainings und zeigen starke Anstiege während des Post-trainings (SFT, DPO, Instruct). Dies deutet darauf hin, dass Segmentierungs-Invarianz eine gelernte Eigenschaft ist, die mit der Modellkapazität skaliert.
Vergleich mit Tippfehlern: Typo-Sampling übertrifft die Retokenisierung im Allgemeinen hinsichtlich der Rohgenauigkeitsgewinne, ist aber weniger kontrolliert, da es die sichtbare Textoberfläche verändert. Die Retokenisierung bleibt die „sauberste“ Sonde für segmentierungsspezifische Effekte.
Diversität: Die retokenisierten Generationen kollabieren nicht in ein einzelnes Template; sie explorieren ein Spektrum an Programmstrukturen, das mit Temperatur-gesampelten Generationen vergleichbar ist, trotz der Verwendung von Greedy Decoding.

Bedeutung und Behauptungen

Das Paper positioniert die Retokenisierung als eine einfache, aber leistungsstarke Sonde für Large Language Models und bietet zwei primäre Erkenntnisse:

Wissenschaftliche Erkenntnis: Es offenbart, dass tokenisierte Modelle eine emergente, partielle Segmentierungs-Symmetrie besitzen. Sie sind nicht strikt an kanonische Tokenisierungen gebunden und können äquivalente Eingaben auf vielfältige Weise verarbeiten, behalten jedoch eine Residual-Sensitivität bei, die die Berechnung beeinflusst. Dies stellt die Sichtweise infrage, dass Tokenisierung lediglich ein Kompressionsschritt ist, und legt nahe, dass sie ein fundamentaler Teil der computationalen Schnittstelle des Modells ist.
Praktische Anwendung: Die Retokenisierung bietet eine neue Sampling-Strategie (Retokenization Sampling), die Diversität aus den internen Berechnungen des Modells mittels semantisch äquivalenter Eingaben generiert. Obwohl sie derzeit kein direkter Ersatz für das Temperatur-Sampling ist (aufgrund höherer Rechenkosten durch längere Prompts), dient sie als komplementäre Achse für die Suche. Sie kann Lösungen wiederherstellen, die durch konventionelle Methoden verpasst wurden, insbesondere in offenen Domänen wie der Code-Generierung, in denen mehrere valide algorithmische Familien existieren.

Die Autoren behaupten bescheiden, dass diese Arbeit das Verständnis von kompositorischem Verständnis und Prompt-Sensitivität vertieft und zeigt, dass die Multiplizität gültiger Segmentierungen einen „mechanistisch bedeutsamen Freiheitsgrad“ darstellt, der in eingesetzten tokenisierten LLMs nicht ignoriert werden kann. Sie behaupten nicht, dass die Retokenisierung universell überlegen gegenüber anderen Sampling-Methoden ist, sondern dass sie eine einzigartige, semantik-erhaltende Quelle der Diversität bietet.