A Single-Layer Model Can Do Language Modeling

Technische Samenvatting: Een Enkel-Laags Model Kan Taalmodellering Uitvoeren

Probleemstelling
Moderne taalmodellen schalen hun capaciteit doorgaans door de diepte te vergroten, waarbij meerdere lagen worden gestapeld en elke laag zijn eigen toestand behoudt (bijvoorbeeld per-laag KV-caches in Transformers of per-laag matrixtoestanden in Mamba, GDN, RWKV en xLSTM). Dit verdeelt de berekening en het geheugen over de stapel. In tegenstelling hierbij vertrouwen biologische neurale netwerken sterk op recurrentie – het herhaaldelijk bezoeken van dezelfde schakeling in de tijd – in plaats van stapelen. Het artikel onderzoekt de levensvatbaarheid van deze biologische vorm voor taalmodellering: specifiek, hoe ver een enkele, ondiepe recurrente laag kan komen wanneer het bij elke stap een enkele toestandsvector opnieuw bezoekt, in plaats van de toestand over een diepe stapel te verdelen.

Methodologie: Grounded Prediction Networks (GPN)
De auteurs stellen Grounded Prediction Networks (GPN) voor, een architectuur die wordt gedefinieerd door een enkele toestandsvector die bij elke tijdstap opnieuw wordt bezocht. De kernlus bestaat uit drie bewerkingen:

1. Grounding: De vorige voorspelde toestand ($s^p_{t-1}$) wordt via een gegateerde residual samengevoegd met het huidige waargenomen token ($x_t$) om een gegrounde toestand ($s^g_t$) te produceren.
2. Voorspelling: De gegrounde toestand wordt verwerkt om de volgende toestand ($s^p_t$) te voorspellen. Deze voorspelling wordt gedecodeerd tot een tokenverdeling voor de volgende stap.
3. Geheugen (GPN+M): De auteurs breiden de basis-GPN uit tot GPN+M door een gecentraliseerde matrixgeheugen ($M$) toe te voegen. Dit geheugen wordt bijgewerkt via een gegateerde delta-regel en parallel gelezen met een Feed-Forward Network (FFN). Zowel het FFN (offline parameters) als het geheugenuitlezen (online parameters) fungeren als additieve voorspellers voor de toestandswijziging.

In tegenstelling tot standaard recurrente modellen die een toestand per laag behouden, gebruikt GPN één brede, ondiepe laag met één gedeelde matrixgeheugen. Diepte wordt bereikt via tijd (het opnieuw bezoeken van de lus) in plaats van ruimte (stapelen van lagen). De toestandsvector vervult een dubbele rol: het fungeert als een voorspelling voor de volgende stap en als een codering van de tot nu toe waargenomen geschiedenis, waarbij "grounding" de codering voor de volgende cyclus voltooit.

Belangrijkste Bijdragen

1. Architectuur: De introductie van GPN en GPN+M, die gebruikmaken van een enkele toestandsvector, één FFN en één gecentraliseerd matrixgeheugen dat bij elke stap opnieuw wordt bezocht, in contrast met de gestapelde per-laag toestanden van Transformers en lineaire RNN's.
2. Conceptueel Kader: Een benadering waarbij de voorspelling van de toestand voor de volgende stap wordt gezien als onderdeel van de codering van die stap, waarbij één enkele vector beide rollen vervult.
3. Empirisch Bewijs: Prestatiebenchmarks bij 130M parameters die aantonen dat een 1-laags GPN+M een concurrerende perplexiteit bereikt in vergelijking met diepe basismodellen, waarbij een variant met 2 lagen de kloof verder verkleint.
4. Observabiliteit: Omdat de volledige werkcontext één enkele vector is, kunnen de auteurs direct de geometrie ervan inspecteren zonder door residu-stromen te hoeven graven. Zij identificeren emergente structuren die niet expliciet in de architectuur zijn ontworpen.

Resultaten
Geëvalueerd op het FineWeb-Edu-dataset (130M parameters, 2048 contextvenster):

• 1-Laags GPN+M: Bereikt een perplexiteit (PPL) van 18,06. Dit ligt binnen 13% van een 12-laags Transformer++ (PPL 16,05) en 18% van een 10-laags Gated DeltaNet (GDN) (PPL 15,34).
• 2-Laags GPN+M: Bereikt een PPL van 16,95, waardoor de kloof wordt verkleind tot 6% van de Transformer++ en 11% van de GDN.
• LAMBADA Taak: De ondiepe modellen vertonen een lagere nauwkeurigheid op contextafhankelijke taken in vergelijking met diepe basismodellen, wat een kostenpost aangeeft voor de diepte van de berekening per token.
• Geen Geheugen (GPN): Een versie zonder matrixgeheugen presteert aanzienlijk slechter (PPL 23,51), wat de noodzaak bevestigt van het associatieve geheugendeel.

Emergente Structuren (Analyse)
De toestandsvector met één enkele vector maakt directe geometrische analyse mogelijk, waarbij drie structuren worden blootgelegd die spontaan ontstonden zonder expliciete regularisatie:

1. Hoge-Rang Geometrie: De toestandsvector is breed ($d=2496$) en maakt gebruik van zijn volledige breedte. Het vertoont bijna gedecorrelateerde dimensies en geen "dode" dimensies, met een stabiele rang van ~40.
2. Persistente Standaard-Tokenrichting: Het gemiddelde van de toestandsvector ($\bar{s}$) is een grote, vaste offset die decodeert tot een verdeling die wordt gedomineerd door frequente functietokens (bijvoorbeeld "de", "en", ","). Deze richting blijft bestaan, zelfs wanneer een expliciete bias aan de decoder wordt toegevoegd, wat suggereert dat het structurele rollen vervult die verder gaan dan eenvoudige decoding (bijvoorbeeld het ankeren van RMSNorm).
3. Splitsing in Snel/Trage Geheugen: De 15 architecturaal identieke geheugenhoofden splitsen zich spontaan tijdens het trainen in twee pools: een "snelle" pool (6 hoofden) met halfwaardetijden van 1–3 tokens, en een "trage" pool (9 hoofden) met halfwaardetijden variërend van 5 tot 322 tokens. Dit creëert een geheugensysteem met twee tijdschalen zonder expliciet architecturaal ontwerp.

Betekenis en Beperkingen
Het artikel beweert dat een enkele ondiepe recurrente laag taalmodellering effectief kan uitvoeren, waarbij het bij overeenkomstige parameteraantallen binnen ongeveer 13% van diepe basismodellen komt. De betekenis ligt in het aantonen dat "diepte" kan worden vervangen door tijd-herbezoekte recurrentie en dat een enkele vector complexe, emergente geheugenstructuren (splitsingen in snel/trage) en geometrische eigenschappen (persistente ankers) kan ondersteunen die doorgaans verborgen zitten in diepe residu-stromen.

Echter, de auteurs zijn bescheiden over de huidige staat van het werk:

• Niet Productieklaar: Het model wordt sequentieel uitgevoerd in Python zonder parallelisatie langs de sequentiedimensie, waardoor de trainingskosten aanzienlijk hoger zijn dan bij Transformers.
• Schaal: De resultaten zijn gebaseerd op één enkele seed bij 130M parameters zonder schaalingsstudies.
• Beschrijvende Aard: De analyse van emergente structuren (zoals de standaard-tokenrichting) is observationeel; het artikel claimt geen causaal bewijs van hun nut via ablatie.
• Contextkosten: Het ondiepe model betaalt een meetbare kostenpost voor taken die diepe context vereisen (zoals LAMBADA), wat aangeeft dat hoewel de aanpak levensvatbaar is, diepe stapels nog steeds voordelen bieden voor specifieke context-zware voorspellingen.

Het werk dient als een proof of concept voor de "grounded prediction"-lus en de levensvatbaarheid van modellen met een toestandsvector van één enkele vector, en biedt een nieuwe lens voor het observeren hoe taalmodellen informatie organiseren.