🤖 machine learning

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models

Dieser Beitrag stellt Kronecker-Embeddings vor, eine deterministische Faktorisierungsmethode auf Byte-Ebene, die traditionelle große Embedding-Tabellen durch einen festen Encoder und eine gelernte Projektion ersetzt, wodurch mehr als 90 % der trainierbaren Parameter auf der Eingabeseite eliminiert werden, während gleichzeitig die Trainingseffizienz, die Robustheit gegenüber Rechtschreibfehlern und die Speichernutzung zur Laufzeit in großen Sprachmodellen verbessert werden.

Ursprüngliche Autoren: Rohan Shravan

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rohan Shravan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek vor, in der jedes Buch einen einzigartigen Ausweis hat. In einem standardmäßigen Large Language Model (KI) ist das allererste, was der Computer tut, wenn er ein Wort sieht, dass er in einem massiven, vorab geschriebenen Telefonbuch nach dem Ausweis dieses Wortes sucht. Dieses Telefonbuch wird als Embedding-Tabelle bezeichnet.

Für kleine Modelle ist dieses Telefonbuch noch handhabbar. Doch für die massiven „Frontier"-Modelle, die die fortschrittlichsten KIs von heute antreiben, ist dieses Telefonbuch zu einem aufgebläkten Monster geworden. Es beansprucht hunderte Millionen Dollar wert an Computerspeicher und zwingt die KI, einen enormen Teil ihrer Denkkraft darauf zu verwenden, nur zu memorieren, welcher Ausweis zu welchem Wort gehört, bevor sie überhaupt beginnt, über die Bedeutung des Satzes nachzudenken.

Kronecker-Embeddings ist eine neue Methode, um diese Bibliothek zu bauen, die das riesige Telefonbuch vollständig eliminiert.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der alte Weg: Das riesige Telefonbuch

Stellen Sie sich die Standard-KI als einen Schüler vor, der ein Wörterbuch auswendig lernen muss, in dem jedes einzelne Wort, von „Apfel" bis „Zephyr", eine spezifische, zufällige Nummer zugewiesen bekommt.

Das Problem: Wenn das Wörterbuch 130.000 Wörter enthält, muss der Schüler 130.000 zufällige Zahlen auswendig lernen. Dies beansprucht einen enormen Platz in seinem Gehirn (Speicher) und verlangsamt ihn.
Die Eigenart: Die Studie fand heraus, dass dieses „Telefonbuch" tatsächlich sehr schlecht darin ist, Wortfamilien zu verstehen. Wenn Sie die KI nach „laufen" fragen, sagt ihr Telefonbuch, dass die nächsten Wörter „Run", „run" und „.run" sind (nur dasselbe Wort mit unterschiedlicher Großschreibung oder Zeichensetzung). Sie behandelt „laufen" und „laufend" als Fremde, obwohl sie verwandt sind.

2. Der neue Weg: Der Lego-Plan

Kronecker-Embeddings wirft das Telefonbuch weg. Stattdessen gibt sie der KI einen Lego-Plan.

Wie es funktioniert: Jedes Wort ist nur eine Kette aus winzigen Bausteinen (Bytes). Der Plan besagt: „Wenn Sie an erster Stelle ein 'b' sehen, verwenden Sie dieses spezifische Lego-Teil. Wenn Sie an zweiter Stelle ein 'a' sehen, verwenden Sie jenes Teil."
Die Magie: Die KI memorisiert nicht das Wort „laufen". Sie baut das Wort „laufen" im laufenden Betrieb, indem sie die Teile für 'l', 'ä', 'u', 'f', 'e', 'n' an ihren spezifischen Positionen zusammensteckt.
Das Ergebnis: Die KI benötigt kein riesiges Telefonbuch mehr. Sie benötigt nur eine winzige Bedienungsanleitung (eine Projektionsmatrix), um zu wissen, wie man diese Lego-Teile zu einer sinnvollen Form zusammensteckt. Dies spart 91–94 % des Speichers, der normalerweise für die Eingabeseite des Modells benötigt wird.

3. Was die Studie tatsächlich herausfand

Die Forscher testeten diese neue Methode gegen die alte und stellten einige überraschende Dinge fest:

Sie ist schlauer bei Tippfehlern: Da die neue Methode Wörter aus ihren einzelnen Buchstaben (Bytes) aufbaut, versteht sie, dass „netwrok" sehr ähnlich zu „network" ist. Wenn Sie einen Tippfehler machen, erkennt die KI immer noch die Form des Wortes. Die alte Methode, die sich auf das riesige Telefonbuch verlässt, zerlegt das Wort bei einem Tippfehler oft in verwirrende Fragmente.
- Analogie: Wenn Sie „Katze" als „Kst" falsch schreiben, denkt die alte KI vielleicht, Sie sprechen von einem völlig anderen, unbekannten Objekt. Die neue KI sieht, dass „K" und „t" an den richtigen Stellen sind, und weiß, dass Sie wahrscheinlich „Katze" meinten.
Sie lernt schneller: In ihren Tests lernte die KI, die den Lego-Plan (Kronecker) verwendete, etwa 2,5 % besser als die KI, die das Telefonbuch verwendete, das nächste Wort in einem Satz vorherzusagen. Sie erreichte dieses Fähigkeitsniveau zudem mit 43 % weniger Trainings-Schritten.
Sie „vergisst" keine neuen Wörter nicht: Wenn Sie die KI bitten, über ein erfundenes Wort wie „Kronektikus" zu sprechen, gerät die alte KI in Verwirrung und erfindet eine falsche Definition. Die neue KI kann, da sie Wörter aus Buchstaben aufbaut, das erfundene Wort perfekt wiederholen und behält die genaue Rechtschreibung bei, die Sie ihr gegeben haben.

4. Die Kompromisse (Der Haken)

Die Studie ist offen über die Nachteile.

Verwirrende Zwillinge: Da die neue Methode die Buchstaben betrachtet, hält sie manchmal Wörter, die sich ähnlich sehen, für verwandt, auch wenn sie unterschiedliche Bedeutungen haben. Zum Beispiel sehen „berechnen" und „pendeln" buchstäblich sehr ähnlich aus. Die neue KI könnte denken, sie seien enge Cousins, obwohl es beim einen um Mathematik und beim anderen um Reisen geht. Die KI muss ihr „Gehirn" (den Rest des Modells) nutzen, um den Unterschied basierend auf dem Kontext herauszufinden.
Kein „Verknüpfen" der Knoten: Im alten System konnte die KI dasselbe Telefonbuch zum Lesen und Schreiben verwenden, um Speicherplatz zu sparen. Das neue System ist strukturell zu unterschiedlich, um dies zu tun, sodass es eine separate kleine Anleitung zum Schreiben benötigt. Die Studie stellt jedoch fest, dass die größten KI-Modelle ohnehin bereits von dieser Praxis des „Verknüpfens" wegkommen.

5. Warum dies für die Zukunft wichtig ist

Die Studie legt nahe, dass wir durch die Beseitigung des riesigen, schweren Telefonbuchs diesen massiven Computer-Speicherplatz freimachen können.

Die Umwidmung: Anstatt Speicherplatz für eine statische Liste von Wörtern zu verschwenden, kann dieser gesparte Platz genutzt werden, um das „Gehirn" der KI (den Transformer-Körper) größer, intelligenter oder fähiger zu machen, längere Dokumente zu lesen.
Edge-Geräte: Für den Betrieb von KI auf Handys oder kleinen Geräten ist dies ein Game-Changer. Die neue Methode ermöglicht es, die KI ohne eine mehrere Gigabyte große Wortliste zu versenden. Sie kann Wörter aus einer winzigen 4,5-MB-Datei rekonstruieren, anstatt aus einer 2-GB-Datei, was den Betrieb leistungsstarker KI auf kleiner Hardware erheblich erleichtert.

Zusammenfassung:
Kronecker-Embeddings ersetzt ein massives, starres Wörterbuch durch ein flexibles, buchstabenweises Konstruktionsset. Es spart enorme Mengen an Speicherplatz, kommt besser mit Tippfehlern zurecht, lernt schneller und ermöglicht es der KI, Wörter zu handhaben, die sie noch nie gesehen hat, wobei die Architektur des restlichen Teils der KI exakt gleich bleibt.

Technische Zusammenfassung: Kronecker-Einbettungen

1. Problemstellung

Moderne Large Language Models (LLMs) basieren auf einer gelernten Eingabe-Einbettungstabelle der Form $|V| \times d_{model}$ , um Token-Identifikatoren auf kontinuierliche Vektoren abzubilden. Auf Frontier-Skalen verbraucht diese Tabelle vor jeder kontextuellen Berechnung hunderte Millionen bis Milliarden trainierbarer Parameter. Zum Beispiel weist ein Modell mit einem Vokabular von 130.000 Wörtern und $d_{model}=4096$ allein für die Eingabeeinbettungen etwa 537 Millionen Parameter zu. Dies erzeugt erhebliche ingenieurtechnische Reibungsverluste: Die Tabelle muss über datenparallele Ranks hinweg shardet werden, verursacht Kommunikationsaufwand in tensor-parallelen Setups und erfordert massiven Speicher für Optimierer-Zustände (ungefähr 16 Bytes pro Parameter im gemischten Präzisions-Adam). Darüber hinaus vertritt die Arbeit die These, dass die Notwendigkeit, diese feste Abbildung von Token-IDs zu Vektoren zu lernen, eine offene Frage ist, insbesondere angesichts der ingenieurtechnischen Kosten und der Natur der Struktur, die diese Einbettungen tatsächlich entwickeln.

2. Methodik: Kronecker-Einbettungen

Die Autoren schlagen Kronecker-Einbettungen vor, eine deterministische, strukturierte Ersatzlösung für die gelernte Eingabe-Einbettungstabelle. Die Methode behält die Standard-BPE- oder SentencePiece-Tokenisierung bei, ersetzt jedoch die Nachschlagetabelle durch einen festen Encoder und eine einzelne gelernte Projektion.

Kernmechanismus

Für ein Token mit der UTF-8-Bytesequenz $b = (b_1, \dots, b_L)$ wird die Einbettung wie folgt berechnet:

Byte-Positionskodierung: Das Token wird in seine konstituierenden Bytes und deren Positionen zerlegt.
Kronecker-Produkt: Ein deterministischer Codec-Vektor $\kappa(b) \in \mathbb{R}^D$ $κ (b) \in R^{D}$ wird konstruiert, wobei $D = d_c \times d_p$ $D = d_{c} \times d_{p}$ .
- $d_c = 256$ (vollständiges Byte-Alphabet).
- $d_p$ ist die maximale Byte-Position (z. B. 32).
- Der Codec ist die Summe der Kronecker-Produkte aus One-Hot-Byte-Vektoren und One-Hot-Positionsvektoren: $\kappa(b) = \frac{1}{\sqrt{L}} \sum_{p=1}^L c_{b_p} \otimes p_p$ .
Normalisierung: Der Codec-Ausgang unterliegt einer pro-Token- $z$ -Normalisierung (Mittelwert 0, Standardabweichung 1), um das frühe Training zu stabilisieren.
Gelernte Projektion: Eine einzelne trainierbare lineare Schicht $W_{proj} \in \mathbb{R}^{D \times d_{model}}$ projiziert den Codec-Vektor auf die verborgene Dimension des Modells.

Operative Varianten

gpu_table: Berechnet die vollständige $|V| \times D$ -Codec-Tabelle beim Start vor. Die Berechnung ist vernachlässigbar (Gather), aber der Speicherverbrauch ist hoch (Gigabytes).
gpu_dynamic: Berechnet den Codec während des Vorwärtsdurchlaufs on-the-fly unter Verwendung eines kompakten Byte-Puffers (~4,5 MB für ein Vokabular von 131.000 Wörtern). Dies tauscht einen geringen Rechenaufwand (0,01–0,24 % der Schrittdauer) gegen massive Speichereinsparungen ein.

Induktive Verzerrung

Die Methode führt eine Byte-Ebene-Lokalität ein: Zwei Strings erhalten ähnliche Einbettungen genau dann, wenn sie Bytes an denselben Positionen teilen. Dies bewahrt Groß-/Kleinschreibungsunterschiede (z. B. swift vs. SWIFT) und Robustheit gegenüber Tippfehlern (z. B. seperate vs. separate), im Gegensatz zu Standard-BPE-Einbettungen, die dazu neigen, typografische Varianten zu clustern.

3. Hauptbeiträge

A. Erkenntnisse aus Cross-Model-Proben

Die Autoren analysierten Eingabeeinbettungen über sechs moderne Sprachmodelle (135M bis 671B Parameter, einschließlich Llama-3.2, Qwen3, DeepSeek-V3 usw.):

Typografisches Clustering: Trainierte BPE-Einbettungen clustern typografische Varianten (z. B. run, Run, .run) weit stärker als morphologische Verwandte (z. B. running, runner). Dieses Muster gilt über Tokenizer-Familien und Skalen hinweg.
Kronecker-Flucht: Kronecker-Einbettungen entgehen diesem typografischen Clustering und rufen stattdessen bytesimilar Strings ab.
Morphologische Struktur: Keine der beiden Methoden entwickelt ein striktes morphologisches Clustering auf der Einbettungsebene. In einer geschichteten Probe von 124M-Checkpoints tauscht die BPE-Arm-erste Transformer-Schicht morphologische Geometrie gegen Kookkurrenz-/kontextuelle Geometrie, während Kronecker die Byte-Ebene-Geometrie durch frühe Schichten hinweg bewahrt.

B. Kontrollierter Trainingsvergleich

Ein Drei-Samen-Vergleich auf der nanoGPT GPT-2 124M-Architektur, trainiert auf 2,5 Milliarden Token von FineWeb-Edu:

Leistung: Kronecker erreichte eine 2,5 ± 0,2 % niedrigere Validierungsverlust als die BPE-gebundene Baseline (Lücke von 0,083 Nats, ~9 % niedrigere Perplexität).
Konvergenz: Die Verlustlücke weitete sich während des Trainings aus und stabilisierte sich bei der Konvergenz, anstatt sich zu verkleinern.
Effizienz: Kronecker benötigte 1,43× weniger Optimierer-Schritte, um den konvergierten Verlust der BPE-Baseline zu erreichen.
Parameteranzahl: Bei 124M-Skala wurden die einseitig trainierbaren Parameter um 91 % reduziert (von 38,6M auf 3,1M), obwohl die Gesamtzahl der trainierbaren Parameter leicht anstieg (3,1M) aufgrund der Notwendigkeit eines entkoppelten Ausgabe-Kopfes (Gewichtsbindung ist architektonisch mit Kroneckers $D \neq d_{model}$ unvereinbar). Auf Frontier-Skalen (z. B. 120B-MoE) erreicht die einseitige Reduktion 94 % (503M gesparte Parameter).

C. Robustheits- und Fidelity-Proben

Rechtschreib-Robustheit: Bei 110 sauberen/fehlerhaften Prompt-Paaren behielt Kronecker in 55,5 % der Fälle die Top-1-Vorhersage bei, verglichen mit 47,3 % für BPE (+8,2 pp). Es zeigte auch eine niedrigere KL-Divergenz zwischen sauberen und fehlerhaften Verteilungen (-7,6 %) und eine höhere Kosinus-Ähnlichkeit in den finalen verborgenen Zuständen (+2,6 %).
Generations-Fidelity: Qualitative Proben zeigten, dass Kronecker-Modelle bytes-novelle Strings und Tippfehler (z. B. kronekticus, netwrok) durch autoregressive Generierung „widerhallen", während BPE-Modelle sie fragmentierten und vergaßen.

D. Mechanismus-Beobachtungen

Stabiles Ziel: BPE-Einbettungsnormen driftet während des Trainings von std=0,020 auf 0,026, während Kronecker-Projektionsnormen stabil bei ~1,0 bleiben. Dies deutet darauf hin, dass Kronecker ein stabiles repräsentatives Ziel für den Transformer-Körper bietet.
Speichereffizienz: Die on-the-fly-Variante reduziert den Speicherbedarf des Eingabepfads von ~2,15 GB (vorberechnete Tabelle) auf ~4,5 MB (Byte-Puffer) bei Produktions-Vokabulargrößen.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Kronecker-Einbettungen eine parameter-effiziente, Drop-in-Ersatzlösung für Standard-Eingabeeinbettungen bieten, die:

Den Einbettungs-Flaschenhals eliminiert: Reduziert einseitig trainierbare Parameter um 91–94 % auf Frontier-Skalen, wodurch Kapazität für den Transformer-Körper frei wird oder der Speicher für Optimierer-Zustände reduziert wird.
Trainingsdynamiken verbessert: Erzielt in kontrollierten Settings einen niedrigeren Validierungsverlust und eine schnellere Konvergenz, möglicherweise aufgrund eines stabilen repräsentativen Ziels und einer parameter-effizienten Optimierung.
Robustheit erhöht: Bietet inhärente Robustheit gegenüber Tippfehlern und bewahrt die Byte-Ebene-Fidelity bei der Generierung, eine Eigenschaft, die bei Standard-BPE-Einbettungen fehlt.
Die Rolle der Einbettung neu definiert: Hinterfragt die Annahme, dass gelernte Einbettungen Morphologie erfassen müssen, und zeigt stattdessen, dass sie primär typografische Varianten erfassen, während Kronecker eine eindeutige Byte-Ebene-induktive Verzerrung bietet.

Die Autoren stellen ausdrücklich fest, dass die Methode kein Tokenizer-Ersatz ist und auch kein Zeichen-basiertes Modell; sie operiert auf Token-Sequenzen, ersetzt jedoch die Einbettungsnachschlage. Sie räumen Einschränkungen ein, darunter die Unfähigkeit, Gewichtsbindung zu verwenden, das Clustering von semantisch weit entfernten, aber bytesimilar Wörtern (z. B. compute/commute) und die Notwendigkeit weiterer Validierung auf Frontier-Skalen (1B+ Parameter) und auf mehrsprachigen Datensätzen.

5. Einschränkungen und zukünftige Arbeiten

Die Arbeit identifiziert mehrere offene Fragen:

Skalierung: Ob der Validierungsverlust-Vorteil und die geschichteten Erkenntnisse bei Skalen von 1B–7B+ und darüber hinaus gelten.
Entkoppelte Baselines: Der kontrollierte Vergleich verwendete eine BPE-gebundene Baseline; zukünftige Arbeiten sollten mit BPE-entkoppelten Baselines vergleichen.
Mechanismus: Der genaue Mechanismus für den Leistungsgewinn (stabiles Ziel vs. Parameter-Effizienz vs. induktive Verzerrung) bleibt eine offene Frage.
Ausgabeseite: Das aktuelle Design lässt den Ausgabe-Kopf als eine Standard-gelernte Matrix. Die Autoren hypothesieren, dass zukünftige Arbeiten Kronecker auf die Ausgabeseite für vokabular-freies Decodieren erweitern könnten, dies ist jedoch ungetestet.

Die Arbeit wird mit Code, reproduzierbaren Skripten und vier vortrainierten LightningLM-Modellen (2B bis 120B-MoE) veröffentlicht, um Stabilität im großen Maßstab zu demonstrieren.