💬 NLP

Tapered Language Models

Dit artikel introduceert Tapered Language Models (TLMs), een architectuuronafhankelijk ontwerpprincipe dat de perplexiteit en downstream-prestaties verbetert door de MLP-breedte monotoon te laten afnemen van eerdere naar latere lagen onder een vast parameterbudget, waarmee wordt aangetoond dat niet-uniforme capaciteitsallocatie beter presteert dan traditionele stacks met een uniforme breedte.

Oorspronkelijke auteurs: Reza Bayat, Ali Behrouz, Aaron Courville

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Reza Bayat, Ali Behrouz, Aaron Courville

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een modern taalmodel (zoals de AI achter deze chat) voor als een lange lopende band in een fabriek. Deze fabriek heeft veel stations (lagen) die op elkaar zijn gestapeld. Op elk station krijgen de arbeiders exact dezelfde hoeveelheid gereedschap, dezelfde ruimte en dezelfde tijd om hun werk te doen. Dit is de standaardregel geweest sinds de allereerste "Transformer"-modellen werden gebouwd.

Het onderzoekspapier "Tapered Language Models" stelt een eenvoudige vraag: Wat als de arbeiders aan het begin van de lijn eigenlijk méér gereedschap nodig hebben dan de arbeiders aan het einde?

De ontdekking: Niet alle stations zijn gelijk

De onderzoekers merkten op dat in deze AI-fabrieken de latere stations vaak alleen het werk van de eerdere stations polijsten of verfijnen, in plaats van iets volledig nieuws te creëren. Het is als een team van redacteuren: de eerste paar redacteuren doen het zware werk door het verhaal te vinden en de plot te fixen, terwijl de laatste paar redacteuren alleen controleren op typefouten.

Als je het "typecontrole"-team dezelfde enorme werkruimte en budget geeft als het "verhaal-creërende" team, verspil je middelen. Het onderzoek bewijst dat als je die extra ruimte van het einde afhaalt en aan het begin geeft, de hele fabriek beter werkt.

Het experiment: Het herverdelen van de tools

Om dit te testen, namen de onderzoekers een standaard AI-model en deden ze een "budgetwissel". Ze hielden het totale aantal tools en de totale kosten exact gelijk, maar ze verplaatsten ze:

De "Wider-Early" opstelling: Ze gaven de eerste paar lagen (het begin van de lopende band) grotere, krachtigere tools en maakten de latere lagen kleiner.
- Resultaat: De AI werd aanzienlijk slimmer. Hij maakte minder fouten (lagere "perplexity") en begreep taal beter.
De "Wider-Late" opstelling: Ze deden het tegenovergestelde, waarbij ze de grote tools aan het einde van de lijn gaven en kleine tools aan het begin.
- Resultaat: De AI werd veel slechter. Hij had moeite met het begrijpen van de basis omdat de vroege lagen te zwak waren om een solide fundament te bouwen.

De oplossing: Het "Tapered" ontwerp

In plaats van alleen een scherpe overgang te maken tussen grote en kleine tools, stellen de auteurs een vloeiende overgang voor, genaamd Tapered Language Models (TLMs).

Denk aan een trechter of een piramide:

De bovenkant (het begin van het model) is breed en krachtig.
Naarmate je lager in de stapel komt, wordt de breedte geleidelijk en vloeiend kleiner.
De onderkant (het einde) is smal en efficiënt.

Ze testten drie manieren om deze trechter vorm te geven:

Lineair: Een rechte helling naar beneden.
Sigmoïde: Een steile daling in het midden, met platte boven- en onderkanten.
Cosine: Een vloeiende, zachte curve die breed begint, in het midden vertraagt en aan het einde geleidelijk afvlakt.

De winnaar: De Cosine-curve (de vloeiende, zachte trechter) werkte over de hele linie het beste.

Waarom werkt dit?

Het paper duikt in waarom dit gebeurt. Ze keken naar wat de AI op elk niveau daadwerkelijk "denkt".

Vroege lagen: Deze doen het zware werk, creëren nieuwe kenmerken en begrijpen de kernbetekenis. Ze hebben veel "hersencapaciteit" (parameters) nodig.
Late lagen: Deze zijn vooral bezig met het herhalen of versterken van wat er al is gevonden. Ze hebben niet zoveel nieuwe capaciteit nodig; ze hoeven alleen het werk te polijsten.

Door de latere lagen te verkleinen, stopt het model met het verspillen van energie aan redundant werk en concentreert het zijn kracht waar het echt nodig is: aan het begin.

De resultaten

De onderzoekers testten dit idee op vier verschillende soorten AI-architecturen (niet alleen de standaard soort) en drie verschillende formaten (van klein tot groot). In elk geval:

De "Tapered" modellen presteerden beter dan de standaard "Uniform" modellen.
Ze deden dit zonder extra kosten, extra tools of extra rekenkracht toe te voegen. Het was een "gratis upgrade" simpelweg door de bestaande middelen te herverdelen.

De essentie

Jarenlang hebben AI-ontwerpers aangenomen dat elke laag in een neuraal netwerk identiek moet zijn. Dit paper laat zien dat dat niet waar is. Door de AI als een trechter te behandelen — meer capaciteit aan het begin en minder aan het einde — kunnen we het slimmer, sneller en efficiënter maken, zonder dat het ook maar een cent extra kost. Het is een eenvoudige ontwerpwijziging die voor het grijpen lag.

Technische Samenvatting: Tapered Language Models

Probleemstelling
Moderne taalmodellen (LM's), inclusief Transformers, recurrente varianten en geheugen-gebaseerde architecturen, delen een gemeenschappelijke structurele standaard: een stapel identieke lagen waarbij parameters uniform over de diepte worden toegewezen. Ondanks groeiend bewijs dat lagen niet uniform bijdragen aan de uiteindelijke output—waarbij vroege lagen vaak oppervlakkige syntactische patronen vastleggen en latere lagen de residu-stromen verfijnen in plaats van ze te transformeren—blijft deze uniforme allocatie de standaard. Dit onderzoek stelt dat deze "one-size-fits-all"-benadering faalt om de asymmetrie van laag-belangelijkheid te weerspiegelen, wat potentieel parametercapaciteit verspilt in latere lagen waar deze minder wordt benut.

Methodologie
De auteurs introduceren Tapered Language Models (TLMs), een architecturaal principe waarbij een parameter-dragend component monotoon wordt afgenomen (getaperd) over de diepte onder een vaststaand totaalbudget.

Doelcomponent: De studie implementeert dit principe op de MLP-intermediaire breedte ( $d_{ff}$ ). MLP's zijn gekozen omdat ze de parameteromvang domineren en de breedte blootstellen als een zuivere, enkelvoudige variatie-as die onafhankelijk is van het token-mixing module.
Tapering-schema's: In plaats van discrete blokgewijze allocaties, stellen de auteurs vloeiende, continue verval-schema's voor voor $d_{ff}(l)$ $d_{f f} (l)$ over lagen $l \in \{0, \dots, L-1\}$ $l \in {0, \dots, L - 1}$ . Drie schema's worden geëvalueerd:
1. Lineair: Constante mate van verval.
2. Cosine: Volgt een halve cosinuscurve, waarbij het verval traag verloopt bij de eindpunten en steil in het midden.
3. Sigmoid: Concentreert de transitie in een smalle band rond het middelpunt.
Restricties: Het tapering-proces is strikt budget-behoudend. De gemiddelde breedte per laag wordt beperkt tot de baseline uniforme breedte ( $\frac{1}{L}\sum d_{ff}(l) = d_{ff}^{baseline}$ ), waardoor het totale aantal parameters en de FLOPs (zowel tijdens training als inferentie) identiek blijven aan de uniforme baseline.
Experimentele Opzet: Het principe wordt geëvalueerd over vier verschillende architecturen (Standaard Transformer, Gated Attention, Hope-attention en Titans) en drie model-schalen (440M, 760M en 1.3B parameters). De studie gebruikt een vaste trainingsopzet (Llama 3 tokenizer, 4K sequentielengte) en vergelijkt getaperde modellen met uniforme baselines op in-distributie validatie-perplexiteit, out-of-distribution perplexiteit (WikiText, LAMBADA) en acht commonsense reasoning benchmarks.

Belangrijkste Resultaten

Richting van Allocatie is Cruciaal: Een motiverend experiment op een 440M Transformer verdeelde de lagen in vroege, middelste en late groepen. Het toewijzen van meer capaciteit aan vroege lagen ("Wider-early") verbeterde de perplexiteit met 0,32 punten ten opzichte van de uniforme baseline. Omgekeeld leidde het toewijzen van meer capaciteit aan latere lagen ("Wider-late") tot een verslechtering van de prestaties met meer dan 1,0 punt, wat aantoont dat de richting van de capaciteit essentieel is.
Optimaal Schema en Ratio: Een sweep van breedte-ratio's en schema's op het 440M model toonde aan dat het Cosine-schema consequent beter presteerde dan de Lineaire en Sigmoid-schema's. De optimale configuratie werd gevonden bij een start-naar-einde breedte-ratio van 1.50 $\to$ 0.50, wat een validatie-perplexiteit van 14,44 opleverde (een verbetering van 1,84 punt ten opzichte van de uniforme baseline van 16,28).
Generalisatie: Het toepassen van de vaste optimale configuratie (Cosine, 1.5/0.5) op de 760M en 1.3B modellen over alle vier de architecturen verbeterde consequent de perplexiteit en de downstream commonsense reasoning nauwkeurigheid. Winsten werden waargenomen ongeacht of de token-mixing module softmax attention, gated attention of recurrente/geheugen-gebaseerde mechanismen gebruikte.
Mechanistisch Inzicht: Analyse van getrainde transformers toonde aan dat de MLP-outputs met toenemende diepte steeds meer uitgelijnd raken met de bestaande residu-stroom (gemeten via cosine similarity). Dit suggereert dat latere MLPs de bestaande inhoud versterken in plaats van nieuwe kenmerken te berekenen. Tapering sluit aan bij dit patroon door de capaciteit te verminderen waar deze het minst wordt gebruikt (latere lagen) en deze te heralloceren naar eerdere lagen waar deze meer orthogonaal en nuttig is.

Betekenis en Claims
Het artikel vestigt diepte-bewuste capaciteitsallocatie als een eenvoudige, architectuur-agnostische ontwerp-hefboom voor taalmodellen. De auteurs beweren dat het taperen van de MLP-breedte een "gratis" prestatieverbetering biedt—het verbetert de perplexiteit en de nauwkeurigheid van downstream taken zonder het aantal parameters of de rekenkosten te verhogen.

De betekenis ligt in het uitdagen van de overgeërfde uniformiteit van het Transformer-chassis. De resultaten suggereren dat het principe van tapering betrekking heeft op de algemene allocatie van parameters over de diepte, in plaats van eigenschappen die specifiek zijn voor aandachtmechanismen. Hoewel de auteurs opmerken dat het specifieke optimale schema (Cosine, 1.5/0.5) is afgeleid van een 440M model en mogelijk niet het globale optimum is voor alle schalen, wijst de consistente winst over diverse architecturen en groottes erop dat het principe robuust is. Het artikel concludeert dat diepte-bewuste allocatie een "verborgen hefboom" is die binnen het zicht ligt en kan worden toegepast op foundation models buiten taalmodellering, inclusief visuele en multimodale transformers.