Technische Zusammenfassung: Leviathan – Entkopplung von Eingabe- und Ausgabedarstellungen in Sprachmodellen

1. Problemstellung

Moderne große Sprachmodelle (LLMs) verwenden typischerweise eine gekoppelte Gewichte-Architektur, bei der eine einzige Embedding-Matrix $E \in \mathbb{R}^{V \times D}$ eine Doppelfunktion erfüllt: Sie bildet Eingabetokens auf kontinuierliche Darstellungen ab und projiziert verborgene Zustände zurück in den Vokabularraum zur Vorhersage von Ausgaben. Diese Kopplung zwingt eine einzelne Matrix, zwei unterschiedliche Ziele gleichzeitig zu erfüllen:

1. Eingabedarstellung: Erfordert Glattheit, wobei semantisch verwandte Tokens benachbarte Regionen im Darstellungsräum einnehmen.
2. Ausgabenklassifikation: Erfordert Diskriminierung, indem effektiv alle Tokens im Vokabular voneinander getrennt werden.

Die Autoren hypothesieren, dass diese Kopplung eine architektonische Einschränkung auferlegt. Während vollständig entkoppelte Modelle (die separate Eingabe- und Ausgabematrizen lernen) diese Ziele theoretisch entkoppeln, erweisen sie sich in der Praxis als ineffektiv. Experimente zeigen, dass vollständig entkoppelte Modelle trotz einer Erhöhung der Parameteranzahl um ca. 50 % schlechter abschneiden als gekoppelte Baselines, was darauf hindeutet, dass die zusätzlichen Parameter aufgrund von Optimierungsproblemen und unzureichendem Trainingssignal für diskrete Embeddings, insbesondere für seltene Tokens, nicht effektiv genutzt werden.

2. Methodik: Die Leviathan-Architektur

Leviathan führt eine Transformer-Architektur ein, die die Eingabedarstellung von der Ausgabeprojektion entkoppelt, ohne die prohibitiven Parameterkosten vollständig entkoppelter Embeddings in Kauf zu nehmen.

2.1 Gelernte Embedding-Vektorisierung (LEV)

Die Kerninnovation ist die LEV-Schicht, die die dichte Eingabe-Embedding-Matrix durch eine gelernte kontinuierliche Funktion $G: \{0, \dots, V-1\} \to \mathbb{R}^D$ ersetzt. Diese Funktion bildet Token-Indizes über einen kompakten, Parameter-teilenden Mechanismus auf Embeddings ab:

• Kompositionelle Indizierung: Das Vokabular wird in $k$ Komponenten mittels einer Basis-$b$-Zerlegung faktorisiert, wodurch ein Token-Index $i$ in ein Tupel $(i_1, \dots, i_k)$ umgewandelt wird.
• Gemeinsame Codebücher: Diese Indizes werden auf gemeinsame Codebücher $C_1, \dots, C_k$ abgebildet, was eine Seed-Darstellung $z(i)$ ergibt. Dies ermöglicht es seltenen Tokens, von Gradientensignalen zu profitieren, die über gemeinsam genutzte Einträge weitergeleitet werden, die von strukturell ähnlichen Tokens verwendet werden.
• Kontinuierliche Projektion: Der Seed wird projiziert und auf eine begrenzte latente Koordinate $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$ normalisiert.
• Spline-Erweiterung: Jede Dimension wird durch eine univariate quadratische B-Spline-Basiserweiterung mit $\kappa$ Knoten modelliert.
• Tensorprodukt: Die Dimensionen werden über ein Tensorprodukt vom Rang $r$ kombiniert.
• Kopf-Summation: Das finale Embedding ist die Summe der Ausgaben von $h$ parallelen Köpfen nach einer linearen Projektion.

2.2 Architektur und Entkopplung

• Entkoppelter Ausgabekopf: Die LEV-Schicht ermöglicht es, dass der Ausgabeprojektionskopf vollständig entkoppelt bleibt (eine dichte Matrix, die unabhängig von der Eingabe ist).
• Parametereffizienz: Da die LEV-Schicht deutlich kleiner ist als eine dichte Embedding-Tabelle, ist der Overhead des entkoppelten Ausgabekopfs vernachlässigbar. Im Maßstab von 1,2 Milliarden Parametern beträgt die gesamte Parametererhöhung nur 0,2 %.
• Induktive Verzerrung: Die Architektur verhängt eine Glattheits-induktive Verzerrung über den Tokenraum, im Gegensatz zur diskreten, potenziell anisotropen Geometrie herkömmlicher Lookup-Tabellen.

3. Experimentelles Setup

• Modelle: Die Experimente wurden an Decoder-only-Transformern in drei Maßstäben durchgeführt: 200M, 400M und 1,2B Parameter.
• Baselines:
  • TIED: Standard-Baseline mit gekoppelten Gewichten.
  • UNTIED: Vollständig entkoppeltes Modell (611M Parameter im 400M-Maßstab).
  • ALBERT: Faktorisierte Baseline mit abgestimmten Eingabeparametern (lineare Kompression) mit einem entkoppelten Ausgabekopf.
  • Ablationen: Parameter-abgestimmte Flat-MLP und Factored-MLP, um die Beiträge von Nichtlinearität und kompositioneller Struktur zu isolieren.
• Training: Alle Modelle wurden auf The Pile (urheberrechtsfrei) mit identischen Hyperparametern, Seeds und Token-Budgets trainiert (bis zu 24,1 Mrd. Tokens für 1,2B-Modelle).
• Evaluation: Sprachmodellierungsleistung auf einem zurückgehaltenen Validierungsset von The Pile, Zero-Shot-Verallgemeinerung auf Wikitext-103 und Downstream-Benchmarks (HellaSwag, ARC, PIQA, WinoGrande, LAMBADA).

4. Wichtige Ergebnisse

4.1 Leistung in der Sprachmodellierung

Leviathan übertrifft die Baseline mit gekoppelten Gewichten konsistent über alle Maßstäbe hinweg, wobei die Leistungslücke mit fortschreitendem Training und zunehmendem Modellmaßstab größer wird.

• 1,2B-Maßstab: Leviathan reduzierte die Validierungs-Perplexität um 9,2 % (0,087 Nats) im Vergleich zur gekoppelten Baseline.
• Probeneffizienz: Im 1,2B-Maßstab benötigte Leviathan 2,1× weniger Trainingstokens, um den finalen Verlust der gekoppelten Baseline zu erreichen.
• Trainingsdynamik: Bei kleineren Maßstäben (200M) unterbot Leviathan zunächst die Baseline, bevor es diese übertraf; bei 1,2B übertraf es die Baseline während des gesamten Trainings.

4.2 Vergleich mit Alternativen

• Vs. Vollständig Entkoppelt: Das vollständig entkoppelte Modell (UNTIED) unterbot die gekoppelte Baseline während des gesamten Trainings, was bestätigt, dass eine naive Entkopplung ohne effiziente Parametrisierung suboptimal ist.
• Vs. Lineare Faktorisierung: Die ALBERT-artige faktorisierte Baseline unterbot ebenfalls die gekoppelte Baseline, was darauf hindeutet, dass alleinige lineare Kompression die darstellerischen Vorteile der gekoppelten Geometrie nicht wiederherstellen kann.
• Vs. Leviathan: Leviathan übertraf sowohl UNTIED als auch ALBERT und zeigt, dass nichtlineare kontinuierliche Generierung sowohl der naiven Entkopplung als auch der linearen Faktorisierung innerhalb von Chinchilla-optimalen Rechenbudgets überlegen ist.

4.3 Downstream-Aufgaben und Verallgemeinerung

• Downstream-Aufgaben: Im 1,2B-Maßstab verbesserte Leviathan die Leistung auf allen sechs bewerteten Downstream-Benchmarks. Bemerkenswert ist eine 30%ige Reduktion der Perplexität auf LAMBADA.
• Zero-Shot-Transfer: Auf Wikitext-103 (eine andere Verteilung) zeigte Leviathan mit zunehmendem Maßstab steigende Perplexitätsverbesserungen (2,4 % bei 200M, 12,3 % bei 1,2B), was darauf hindeutet, dass seine kontinuierlichen Darstellungen effektiver über Datenverteilungen hinweg transferiert werden.

4.4 Frequenzstratifizierte Analyse

Die Leistungsgewinne sind stark im langen Schwanz der Tokenverteilung konzentriert:

• Seltene Tokens: Für Tokens, die weniger als 1-mal in 10 Millionen Vorkommen auftreten, reduzierte Leviathan die Perplexität im 1,2B-Maßstab um 81 %.
• Häufige Tokens: Für Tokens, die öfter als 1-mal in 10 Tausend Vorkommen auftreten, sank die Verbesserung auf nahezu null (und war für die häufigsten leicht negativ), da diskrete Embeddings ausreichen, wenn die Trainingssignale stark sind.
• Mechanismus: Die kontinuierliche Parametrisierung teilt Gradienten über strukturell ähnliche Tokens, was ein robustes Signal liefert, wo diskrete Lookups aufgrund von Datendürre versagen.

4.5 Robustheit

• Vokabulargröße: Die Ergebnisse blieben über Vokabulargrößen von 50k, 100k und 200k hinweg konsistent, mit relativen Verbesserungen von ca. 2 % insgesamt.
• Ablationen: Die Gewinne wurden zerlegt in: kontinuierliche Darstellung (+1,13 %), kompositionelle Struktur (+0,37 %) und trennbare Spline-Glattheit (+0,62 %).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die gängige Praxis des Weight-Tying eine architektonische Einschränkung auferlegt, die nicht durch einfaches Entkoppeln der Gewichte behoben wird. Stattdessen besteht die optimale Lösung darin, Eingabe- und Ausgabedarstellungen zu entkoppeln und gleichzeitig Glattheit durch kontinuierliche Parametrisierung zu erzwingen.

• Architektonische Einsicht: Die darstellerische Geometrie von Eingabe-Embeddings ist von Bedeutung. Kontinuierliche Parametrisierung ist ein daten- und recheneffizientes Mittel, um diese Geometrie zu verbessern, insbesondere für seltene Tokens, bei denen diskrete Embeddings Schwierigkeiten haben.
• Effizienz: Leviathan erzielt diese Gewinne mit einem vernachlässigbaren Parameter-Overhead (0,2 % im 1,2B-Maßstab), was es zu einem praktischen Upgrade für moderne Sprachmodelle macht.
• Skalierbarkeit: Die Vorteile der LEV-Schicht potenzieren sich mit Maßstab und Daten, was darauf hindeutet, dass mit wachsenden Modellen der Vorteil glatter, kontinuierlicher Eingabedarstellungen gegenüber diskreten Lookups ausgeprägter wird.

Die Autoren schließen, dass das frequenzabhängige Verbesserungsmuster zwar korrelativ ist, die Konsistenz über Maßstäbe, Vokabulare und architektonische Varianten hinweg jedoch robuste Belege dafür liefert, dass kontinuierliche Parametrisierung die Optimierungsprobleme effektiv mildert, die mit dem Lernen diskreter Embeddings für seltene Tokens verbunden sind.