Technische Zusammenfassung: Berechnung der optimalen Tokenisierung

Problemstellung

Skalierungsgesetze haben traditionell das effiziente Design großer Sprachmodelle (LLMs) geleitet, indem sie das optimale Gleichgewicht zwischen Modellgröße und Volumen der Trainingsdaten vorschreiben. Standardansätze drücken das Datenvolumen jedoch in Tokens aus, einer Einheit, die inhärent vom spezifischen Tokenizer und dessen Kompressionsrate (die durchschnittliche Anzahl von Bytes pro Token) abhängt. Diese Abhängigkeit übersieht die Informationsdichte der Dateneinheit selbst. Folglich sind bestehende Skalierungserkenntnisse an spezifische Tokenisierungsschemata (z. B. BPE) gebunden, was die wahre Beziehung zwischen Rechenleistung, Daten und Modellparametern potenziell verschleiern kann. Die Arbeit adressiert die Lücke im Verständnis, wie die Kompressionsrate ($T$) die rechenoptimierten Skalierungstrends beeinflusst und ob das optimale Verhältnis von Daten zu Parametern in Tokens oder Bytes ausgedrückt werden sollte.

Methodik

Um die Rolle der Kompressionsrate systematisch zu untersuchen, ohne durch Störvariablen wie die Vokabulargröße zu verfälschen, verwendeten die Autoren die Byte Latent Transformer (BLT)-Architektur. BLT ermöglicht eine präzise Kontrolle der Kompressionsrate, indem byte-level Eingaben basierend auf einem Entropieschwellenwert in latente Tokens segmentiert werden. Dies erlaubt das Training von Modellen mit variierendem $T$, während die Vokabulargröße (und somit die Parameteranzahl) konstant gehalten wird.

Experimentelles Setup:

• Modelle: Die Studie trainierte 988 latent tokenisierte Modelle (BLT) und 320 subword-tokenisierte Modelle (unter Verwendung von Varianten für Character, BPE, SuperBPE und maskiertes BPE).
• Skala: Die Modelle reichten von 50 Millionen bis 7 Milliarden Parametern.
• Rechenbudgets: Die Experimente umfassten Budgets von $5 \times 10^{18}$ bis $2 \times 10^{21}$ FLOPs.
• Kompressionsraten ($T$):
  • Latente Modelle: $T \in \{1, 2, 4, 6, 8, 12\}$ Bytes/Token.
  • Subword-Modelle: $T \in \{1,01, 3,71, 4,16, 4,57, 6,16\}$ Bytes/Token.
• Daten: Das Training wurde primär auf dem DCLM-Korpus (reines Englisch) durchgeführt, mit Erweiterungen auf fünf weitere Sprachen (Französisch, Vietnamesisch, Russisch, Arabisch, Hindi) und einem künstlich aufgeblähten englischen Datensatz.
• Auswertung: Die Modelle wurden mittels Bits-Per-Byte (BPB) auf dem C4-Validierungsset evaluiert. Dabei wurde sichergestellt, dass die Kontextlänge in Bytes (z. B. 8192 Bytes) und nicht in Tokens gemessen wurde, um Konsistenz über verschiedene Kompressionsraten hinweg zu gewährleisten.

Analyseansatz:
Die Autoren passten Potenzgesetze in zwei Stufen an:

1. Skalierungsgesetz I: Bestimmung der optimalen Trainingsdatengröße ($B^\star$) und Modellgröße ($N^\star$) für ein gegebenes Rechenbudget ($C$) und eine gegebene Kompressionsrate ($T$) durch Finden des Minimums der IsoFLOP-Kurven (Verlust vs. Daten/Parameter).
2. Skalierungsgesetz II: Modellierung der Dynamik des optimalen Verlusts ($L^\star$) als Funktion von $C$ und $T$, insbesondere die Untersuchung der Existenz einer optimalen Kompressionsrate.

Hauptbeiträge und Ergebnisse

1. Skalierungsgesetz I: Bytes vs. Tokens

Die Studie stellt fest, dass in rechenoptimalen Konfigurationen das optimale Verhältnis zwischen Trainingsdaten-Bytes und Modellparametern unabhängig von der Kompressionsrate annähernd konstant bleibt.

• Ergebnis: Das optimale Verhältnis von Bytes pro Parameter ($\rho^\star$) liegt für englische Daten bei etwa 60 Bytes pro Parameter.
• Implikation: Die weit verbreitete „Chinchilla"-Regel von ca. 20 Tokens pro Parameter ist ein Artefakt der spezifischen Kompressionsrate von BPE-Tokenizern ($T \approx 4,57$). Bei der Verallgemeinerung von Skalierungsrezepten über verschiedene Tokenizer hinweg sollten Entwickler das Verhältnis von Trainingsbytes zu Parametern anpassen, nicht das von Tokens zu Parametern.
• Mathematische Form: $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ und $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$, wobei $\alpha \approx 0,465$ und $\beta \approx 0,471$. Da $\alpha$ und $\beta$ nahe bei 0,5 liegen, bleibt das Verhältnis $\rho^\star = B^\star/N^\star$ über variierende $C$ und $T$ hinweg nahezu konstant.

2. Skalierungsgesetz II: Optimale Kompressionsrate

Die Arbeit entdeckt, dass es eine spezifische optimale Kompressionsrate ($T^\star$) gibt, die den Verlust für ein festes Rechenbudget minimiert.

• Nicht-Monotonie: Der Verlust ist in Bezug auf die Kompression nicht monoton; Abweichungen von $T^\star$ in beide Richtungen (zu niedrige oder zu hohe Kompression) erhöhen den Verlust.
• Abhängigkeit von der Rechenleistung: Die optimale Kompressionsrate nimmt mit steigendem Rechenbudget ab. Beispielsweise beträgt bei $C=10^{20}$ FLOPs $T^\star \approx 3,69$, während bei $C=2 \times 10^{21}$ FLOPs $T^\star \approx 3,33$ gilt.
• Validierung bei Subword-Tokenisierung: Dieser Trend gilt auch für subword-tokenisierte Modelle. Überraschenderweise schnitten Modelle mit 90 % des BPE-Vokabulars maskiert (niedrigere effektive Kompression) bei großen Skalen besser ab als Standard-BPE-Modelle, was darauf hindeutet, dass eine niedrigere Kompression für sehr große Modelle vorteilhaft sein kann.

3. Multilinguale Verallgemeinerung

Die Erkenntnisse erstrecken sich auf Sprachen jenseits des Englischen, wobei die optimalen Werte mit der interlingualen Parität (dem Verhältnis der Byte-Länge, die erforderlich ist, um dieselbe Information in verschiedenen Sprachen auszudrücken) korrelieren.

• Sprachspezifität: Sprachen mit höherer Parität (geringere Informationsdichte pro Byte, z. B. Hindi, Russisch) erfordern eine höhere optimale Kompressionsrate und ein höheres optimales Verhältnis von Bytes pro Parameter.
• Aktuelle Tokenizer: Beliebte mehrsprachige Tokenizer (z. B. Llama 3, Qwen 3) neigen dazu, ressourcenstarke Sprachen (wie Englisch) zu überkomprimieren und ressourcenschwache Sprachen (wie Hindi) zu unterkomprimieren, was von der berechneten optimalen $T^\star$ abweicht.

4. Trade-offs beim Inferenz

Während eine niedrigere Kompression (näher an der optimalen $T^\star$ für das Training) eine bessere Leistung liefert, erhöht sie die Inferenz-Rechenkosten pro Byte. Die Arbeit weist auf einen Trade-off hin: Höhere Kompression reduziert die Inferenzkosten, kann jedoch die Leistung verschlechtern, wenn sie signifikant von der für das Training optimalen Rate abweicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste umfassende Studie über den Einfluss der Kompressionsrate auf die Recheneffizienz von Sprachmodellen zu liefern. Ihre primäre Bedeutung liegt in:

1. Verallgemeinerung von Skalierungsgesetzen: Sie entkoppelt Skalierungsgesetze von spezifischen Tokenizern, indem sie Bytes als fundamentale Einheit für die Datenskalierung etabliert, anstatt Tokens.
2. Optimale Tokenisierungsstrategie: Sie zeigt, dass die „optimale" Kompressionsrate nicht statisch ist, sondern vom Trainings-Rechenbudget und dem spezifischen Sprachbereich abhängt.
3. Leitlinien für Entwickler: Sie rät Modellentwicklern, Tokenisierungsschemata zu wählen, die mit dem rechenoptimalen Verhältnis von Bytes pro Parameter übereinstimmen, und sprachspezifische Kompressionsraten zu berücksichtigen, insbesondere für mehrsprachige Modelle, bei denen Standard-Subword-Tokenizer oft versagen, eine optimale Kompression zu erreichen.

Die Autoren kommen zu dem Schluss, dass zwar die latente Tokenisierung (BLT) eine präzise Kontrolle bietet, um diese Trends zu entdecken, die abgeleiteten Skalierungsgesetze jedoch konsistent für subword-tokenisierte Modelle gelten und damit handlungsleitende Richtlinien für die Auswahl von Tokenisierungsschematen zur Maximierung der Recheneffizienz bieten.