Technische Samenvatting: Leviathan – Koppeling van Input- en Outputrepresentaties in Taalmodellen Loskoppelen

1. Probleemstelling

Moderne grote taalmodellen (LLM's) maken doorgaans gebruik van een gekoppelde-gewichten architectuur, waarbij één enkele embedding-matrix $E \in \mathbb{R}^{V \times D}$ een dubbele rol vervult: het afbeelden van input-tokens naar continue representaties en het projecteren van verborgen toestanden terug naar de vocabulaire-ruimte voor outputvoorspelling. Deze koppeling dwingt één enkele matrix om tegelijkertijd twee verschillende doelen te vervullen:

1. Inputrepresentatie: Vereist gladheid, waarbij semantisch gerelateerde tokens nabije gebieden in de representatieruimte bezetten.
2. Outputclassificatie: Vereist discriminatie, waarbij effectief alle tokens over het vocabulaire worden gescheiden.

De auteurs veronderstellen dat deze koppeling een architecturale beperking oplegt. Hoewel volledig ongekoppelde modellen (die aparte input- en outputmatrices leren) deze doelen theoretisch ontkoppelen, blijken ze in de praktijk ineffectief. Experimenten tonen aan dat volledig ongekoppelde modellen onderpresteren ten opzichte van gekoppelde baselines, ondanks een toename van het aantal parameters met ongeveer 50%. Dit suggereert dat de extra parameters niet effectief worden benut vanwege optimalisatieschwierigheden en een onvoldoende trainingsignaal voor discrete embeddings, met name voor zeldzame tokens.

2. Methodologie: De Leviathan Architectuur

Leviathan introduceert een Transformer-architectuur die de inputrepresentatie ontkoppelt van de outputvoorspelling, zonder de prohibitieve parameterkosten van volledig ongekoppelde embeddings te incalculeren.

2.1 Geraamde Embedding Vectorisatie (LEV)

De kerninnovatie is de LEV-laag, die de dichte input-embedding-matrix vervangt door een geleerde continue functie $G: \{0, \dots, V-1\} \to \mathbb{R}^D$. Deze functie mapt token-indexen naar embeddings via een compact, parameter-delerend mechanisme:

• Compositional Indexering: Het vocabulaire wordt gefactoriseerd in $k$ componenten met behulp van een decompositie in basis-$b$, waarbij een token-index $i$ wordt omgezet in een tuple $(i_1, \dots, i_k)$.
• Gedeelde Codeboeken: Deze indexen worden gemapt naar gedeelde codeboeken $C_1, \dots, C_k$, wat een zaadrepresentatie $z(i)$ oplevert. Hierdoor kunnen zeldzame tokens profiteren van gradiëntsignalen die worden doorgegeven via gedeelde invoer die door structureel vergelijkbare tokens worden gebruikt.
• Continue Projectie: Het zaad wordt geprojecteerd en genormaliseerd naar een gebonden latente coördinaat $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$.
• Spline-expansie: Elke dimensie wordt gemodelleerd door een univariate kwadratische B-spline-basis-expansie met $\kappa$ knooppunten.
• Tensorproduct: Dimensies worden gecombineerd via een tensorproduct van rang $r$.
• Koptelling: De uiteindelijke embedding is de som van de outputs van $h$ parallelle koppen na een lineaire projectie.

2.2 Architectuur en Ontkoppeling

• Ontkoppelde Outputkop: De LEV-laag staat toe dat de outputprojectiekop volledig ongekoppeld blijft (een dichte matrix die onafhankelijk is van de input).
• Parameter-efficiëntie: Omdat de LEV-laag aanzienlijk kleiner is dan een dichte embedding-tabel, is de overhead van de ongekoppelde outputkop verwaarloosbaar. Op de schaal van 1,2 miljard parameters is de totale toename van parameters slechts 0,2%.
• Inductieve Bias: De architectuur legt een gladheids-inductieve bias op over de tokenruimte, in contrast met de discrete, potentieel anisotrope geometrie van standaard lookup-tabellen.

3. Experimentele Opstelling

• Modellen: Experimenten werden uitgevoerd op decoder-only Transformers op drie schalen: 200M, 400M en 1,2B parameters.
• Baselines:
  • TIED: Standaard baseline met gekoppelde gewichten.
  • UNTIED: Volledig ongekoppeld model (611M parameters op de 400M-schaal).
  • ALBERT: Factorisatie met input-parameter-match (lineaire compressie) met een ongekoppelde outputkop.
  • Ablaties: Parameter-gematchte Flat MLP en Factored MLP om de bijdragen van nonlineariteit en compositional structuur te isoleren.
• Training: Alle modellen werden getraind op The Pile (ongeschonden) met identieke hyperparameters, zaden en tokenbudgetten (tot 24,1 miljard tokens voor 1,2B-modellen).
• Evaluatie: Taalmodelprestaties op een vastgehouden validatieset van The Pile, zero-shot generalisatie op Wikitext-103, en downstream benchmarks (HellaSwag, ARC, PIQA, WinoGrande, LAMBADA).

4. Belangrijkste Resultaten

4.1 Taalmodelprestaties

Leviathan presteert consistent beter dan de baseline met gekoppelde gewichten over alle schalen, waarbij de prestatiekloof zich verbreedt naarmate de training vordert en de modelschaal toeneemt.

• 1,2B-schaal: Leviathan verlaagde de validatie-perplexiteit met 9,2% (0,087 nats) ten opzichte van de gekoppelde baseline.
• Sample-efficiëntie: Op de 1,2B-schaal vereiste Leviathan 2,1× minder trainingstokens om het uiteindelijke verlies van de gekoppelde baseline te bereiken.
• Trainingsdynamiek: Op kleinere schalen (200M) presteerde Leviathan aanvankelijk onder de baseline voordat deze deze kruiste; op 1,2B presteerde het tijdens de hele training beter dan de baseline.

4.2 Vergelijking met Alternatieven

• Tegenover Volledig Ontkoppeld: Het volledig ongekoppelde model (UNTIED) presteerde tijdens de hele training onder de gekoppelde baseline, wat bevestigt dat naïeve ontkoppeling zonder efficiënte parametrisatie suboptimaal is.
• Tegenover Lineaire Factorisatie: De ALBERT-stijl gefactoriseerde baseline presteerde ook onder de gekoppelde baseline, wat aangeeft dat lineaire compressie alleen de representatieve voordelen van de gekoppelde geometrie niet kan herstellen.
• Tegenover Leviathan: Leviathan presteerde beter dan zowel UNTIED als ALBERT, wat aantoont dat niet-lineaire continue generatie superieur is aan zowel naïef ontkoppelen als lineaire factorisatie binnen Chinchilla-optimale rekenbudgetten.

4.3 Downstream en Generalisatie

• Downstream Taken: Op de 1,2B-schaal verbeterde Leviathan de prestaties op alle zes geëvalueerde downstream benchmarks. Opmerkelijk is dat het een 30% vermindering van de perplexiteit op LAMBADA bereikte.
• Zero-Shot Transfer: Op Wikitext-103 (een andere verdeling) toonde Leviathan toenemende perplexiteitsverbeteringen met de schaal (2,4% bij 200M, 12,3% bij 1,2B), wat suggereert dat zijn continue representaties effectiever over data-verdelingen worden overgedragen.

4.4 Frequentie-gestratificeerde Analyse

De prestatiewinsten zijn sterk geconcentreerd in de lange staart van de tokenverdeling:

• Zeldzame Tokens: Voor tokens die minder dan 1 op 10 miljoen keer voorkomen, verlaagde Leviathan de perplexiteit met 81% op de 1,2B-schaal.
• Frequente Tokens: Voor tokens die meer dan 1 op 10 duizend keer voorkomen, daalde de verbetering tot bijna nul (en licht negatief voor de meest frequente), aangezien discrete embeddings voldoende zijn wanneer trainingsignalen sterk zijn.
• Mechanisme: De continue parametrisatie deelt gradiënten over structureel vergelijkbare tokens, waardoor een robuust signaal wordt geboden waar discrete lookups falen door data-schaarste.

4.5 Robuustheid

• Vocabulaire-grootte: De resultaten bleven consistent over vocabulaire-groottes van 50k, 100k en 200k, met relatieve verbeteringen van ongeveer 2% over de hele linie.
• Ablaties: De winsten werden ontleed in: continue representatie (+1,13%), compositional structuur (+0,37%) en scheidbare spline-gladheid (+0,62%).

5. Betekenis en Claims

Het artikel beweert dat de standaardpraktijk van gewichtskoppeling een architecturale beperking oplegt die niet wordt opgelost door gewichten simpelweg te ontkoppelen. In plaats daarvan omvat de optimale oplossing het ontkoppelen van input- en outputrepresentaties terwijl gladheid wordt afgedwongen via continue parametrisatie.

• Architecturale Inzicht: De representatieve geometrie van input-embeddings maakt uit. Continue parametrisatie is een data- en reken-efficiënte manier om deze geometrie te verbeteren, met name voor zeldzame tokens waar discrete embeddings moeite hebben.
• Efficiëntie: Leviathan bereikt deze winsten met een verwaarloosbare parameter-overhead (0,2% op de 1,2B-schaal), waardoor het een praktische upgrade is voor moderne taalmodellen.
• Schaalbaarheid: De voordelen van de LEV-laag versterken zich met schaal en data, wat suggereert dat naarmate modellen groeien, het voordeel van gladde, continue inputrepresentaties ten opzichte van discrete lookups duidelijker wordt.

De auteurs concluderen dat hoewel het frequentie-afhankelijke verbeteringspatroon correlatief is, de consistentie over schalen, vocabulaires en architecturale varianten robuust bewijs levert dat continue parametrisatie effectief de optimalisatieschwierigheden vermindert die gepaard gaan met het leren van discrete embeddings voor zeldzame tokens.