🤖 machine learning

Anatomical Heterogeneity in Transformer Language Models

Dit paper weerlegt de aanname van homogeniteit in transformer-taalmodellen door aan te tonen dat lagen aanzienlijk heterogeen zijn in belangrijkheid en trainingsbehoeften, wat leidt tot een nieuwe 'Growth Transformer Training'-methode die de kosten met ongeveer 54% verlaagt terwijl de prestaties verbeteren.

Oorspronkelijke auteurs: Tomasz Wietrzykowski

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tomasz Wietrzykowski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) niet als een eentonige fabrieksvloer werkt, waar elke machine precies hetzelfde doet. In plaats daarvan werkt het meer als een menselijk lichaam of een ontwikkelend embryo.

Dit is de kern van het nieuwe onderzoek van Tomasz Wietrzykowski. Hij heeft gekeken naar een klein taalmodel (SmolLM2) en ontdekt dat de verschillende lagen (de "verdiepingen" van de hersenen van de AI) totaal niet gelijk zijn. Sommige zijn cruciaal, sommige zijn nutteloos, en sommige zijn zelfs schadelijk.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Grote Ontdekking: Niet alle lagen zijn even belangrijk

Tot nu toe dachten onderzoekers dat je alle lagen van een AI-model op dezelfde manier moet trainen, alsof je elke spier in je lichaam even vaak laat sporten. Wietrzykowski zegt: "Nee, dat klopt niet."

Hij heeft een "anatomische kaart" gemaakt van het model en vond drie soorten lagen:

Het "Hersenstam"-gedeelte (De Kritieke Kern): Dit zijn lagen 8 tot 11. Als je deze verwijdert of verstoort, crasht het model volledig. Het is alsof je de motor uit een auto haalt; de auto rijdt niet meer. Deze lagen doen het zware denkwerk.
Het "Vestigiale" gedeelte (De "Anti-Lagen"): Dit is het meest verrassende. Er zijn lagen (zoals 14 en 17) die het model juist vertragen. Als je ze verwijdert of ze "dommer" maakt, wordt het model beter. Het is alsof je een appeltje uit je lichaam verwijdert (zoals de appendix bij mensen); het doet niets goeds en haalt het alleen maar in de weg.
Het "Verbindingsweefsel": Veel lagen zijn gewoon "opvulling". Ze helpen een beetje, maar als je ze verwijdert, merkt het model nauwelijks verschil.

2. De "Anti-Lagen" en de "R2-Paradox"

Wetenschappers dachten: "Als we weten hoe de gewichten van laag 1 eruitzien, kunnen we ze makkelijk voorspellen voor laag 2." En inderdaad, wiskundig gezien was dat bijna perfect (91% voorspelbaar).

Maar toen ze de AI daadwerkelijk probeerden te "repareren" door deze voorspelde gewichten te gebruiken, crashte het systeem.

De Analogie: Stel je voor dat je een symfonieorkest hebt. Je kunt de noten van de fluit perfect voorspellen op basis van de klarinet. Maar als je de fluitist vervangt door een robot die die exacte noten speelt, klinkt het nog steeds niet goed, omdat de nuance en de interactie met de andere instrumenten ontbreken. De AI is zo gevoelig dat zelfs een klein wiskundig verschil de hele "muziek" verstoort.

3. De "Growth Training" Methode: Bouwen als een Embryo

De auteur stelt een nieuwe manier voor om AI's te trainen, die hij "Growth Transformer Training" noemt. In plaats van alles tegelijk te trainen (zoals een uniform leger), train je het model als een embryo dat zich ontwikkelt.

Stap 1: De basis leggen. Je traint eerst alleen de belangrijkste lagen (de "hersenen").
Stap 2: Groeien. Zodra die lagen goed werken, "kloon" je ze naar de volgende lagen en train je die verder.
Stap 3: De schadelijke delen weglaten. Je traint de "anti-lagen" helemaal niet of verwijdert ze.

Het resultaat?
In een experiment bleek dat deze nieuwe methode 4,7 keer beter presteerde dan de oude methode, terwijl ze evenveel tijd en rekenkracht gebruikten. Sterker nog: ze deden het zelfs beter met 37% minder rekenkracht.

4. Waarom werkt dit?

Stel je voor dat je een huis bouwt.

De oude manier: Je laat 30 arbeiders tegelijk aan elke muur werken, zonder plan. Sommige muren zijn al klaar, anderen zijn nog holle grond. Het is chaotisch en inefficiënt.
De nieuwe manier (Growth Training): Je bouwt eerst een stevig fundament en de dragende muren (de kritieke lagen). Zodra die staan, bouw je pas de verdiepingen erbovenop. Je gebruikt de bestaande muren als blauwdruk voor de nieuwe. Je bouwt geen muren in de kamer waar je de badkamer wilt (de anti-lagen), en je gebruikt geen dure tegels voor de schuur (de redundante lagen).

Conclusie voor de gewone mens

Dit onderzoek zegt ons dat AI's niet "slimmer" worden door ze gewoon groter en uniformer te maken. Ze worden slimmer als we ze organisch laten groeien.

We moeten de "hersenen" van de AI extra trainen.
We moeten de "schadelijke" lagen weggooien.
We moeten de "opvulling" minder trainen.

Als we dit doen, krijgen we slimme AI's die sneller leren, minder energie verbruiken en minder rekenkracht nodig hebben. Het is een verschuiving van "meer van hetzelfde" naar "slimmer bouwen".

Titel: Anatomische Heterogeniteit in Transformer Taalmodellen

Auteur: Tomasz Wietrzykowski (Onafhankelijk Onderzoeker, Wrocław, Polen)
Model: SmolLM2-135M (30 lagen, 135M parameters)

1. Het Probleem

Huidige trainingsprotocollen voor Large Language Models (LLM's) gaan uit van een uniforme computatiebudget voor alle lagen van een transformer. Er wordt impliciet aangenomen dat alle lagen functioneel homogeen zijn en evenveel leerinspanning vereisen.

De auteur betwist deze aanname. Net als in biologische neurale systemen, waar embryonale ontwikkeling gestructureerd verloopt met verschillende precisie-eisen per orgaan, wordt er onderzocht of transformerlagen een vergelijkbare hiërarchie van belangrijkheid vertonen. Het centrale vraagstuk is of deze heterogeniteit kan worden benut om trainingskosten te verlagen en de kwaliteit te verbeteren.

2. Methodologie

De studie analyseert het decoder-only model SmolLM2-135M met behulp van vijf onafhankelijke diagnostische metrieken:

Ablatie-analyse (Lagenbelang): Voor elke laag ( $L_0$ tot $L_{29}$ ) worden de gewichten vervangen door het gemiddelde van de buren. De degradatie in Perplexity (PPL) wordt gemeten om lagen te classificeren als redundant, minimaal, belangrijk, kritiek of als anti-laag.
Gewichtspredictie: Er wordt getest of de gewichten van latere lagen voorspeld kunnen worden uit eerdere lagen (via Ridge-regressie op polynoom- en sinusfuncties van de laagindex).
Structuuranalyse: Berekening van de delta-correlatie ( $\Delta_l = W_{l+1} - W_l$ ) om patronen in de gewichtsverandering tussen lagen te identificeren.
Gewichtsmanipulatie: Testen van vijf strategieën (zoals 0-stellen, klonen, mengen en schalen) op redundante lagen om te zien welke de modelcoherentie behoudt.
Herstelsnelheid (Recovery Speed): Het injecteren van Gaussisch ruis in specifieke lagen en meten van het aantal trainingsstappen dat nodig is om de PPL weer te stabiliseren. Dit dient als proxy voor het trainingsbudget per laag.

3. Belangrijkste Bijdragen en Ontdekkingen

A. Anatomische Heterogeniteit en Hiërarchie

De analyse onthult een schokkende variatie in laagbelang (een bereik van -0,6% tot +63.419% PPL-degradatie):

Kritieke Kern (L8–L11): Deze lagen vormen het "brein" van het model. Ablatie van L11 leidt tot een catastrofale degradatie van +63.419%.
Input/Output Parsers: L1-L2 zijn cruciaal voor inputverwerking; L23-L24 en L27-L28 zijn essentieel voor outputvoorbereiding.
Redundant Weefsel: Veel lagen (bijv. L3, L5, L6) zijn relatief onbelangrijk.
Anti-Lagen (L14, L17): Een verrassende ontdekking waarbij het verwijderen of verstoren van deze lagen de prestaties verbetert (negatieve degradatie). Dit suggereert dat deze lagen actief schadelijk zijn voor het model.

B. Het R²-Perplexity Paradox

Hoewel de gewichten van lagen wiskundig zeer voorspelbaar zijn (bijv. $R^2 = 0.91$ voor MLP gate_proj), leidt het vervangen van gewichten door voorspelde waarden tot catastrofale mislukkingen.

Reden: Non-lineaire foutopbouw. De softmax-attentie-mechanismen zijn extreem gevoelig voor kleine afwijkingen. Statistische voorspelbaarheid impliceert geen functionele uitwisselbaarheid.

C. Universeel Oscillerend Patroon

Er wordt een universele correlatie van ongeveer -0,50 gevonden tussen de delta's van opeenvolgende lagen. Dit suggereert een "staande golf" in de laagruimte: als laag $N$ de representatie in richting $A$ verschuift, compenseert laag $N+1$ dit door in richting $-A$ te verschuiven, terwijl een nieuwe verfijning wordt toegevoegd.

D. Effectiviteit van Gewichtsmanipulatie

Van de vijf geteste strategieën voor het aanpassen van redundante lagen is alleen gewichtsschaling (Scale $\alpha = 0,9$ ) effectief.

Het 0-stellen, klonen of mengen van gewichten vernietigt de modelcoherentie.
Alleen een zachte verzwakking (attenuatie) behoudt de richting van de correcties die deze lagen leveren.

E. Herstelsnelheid als Budgetindicator

Lagen verschillen sterk in herstelsnelheid na ruisinjectie. Kritieke lagen (zoals L11) herstellen niet of zeer traag, terwijl outputlagen snel herstellen. Dit biedt een empirische basis voor het toewijzen van trainingsbudgetten.

4. Growth Transformer Training (Resultaten)

Gebaseerd op deze inzichten wordt een nieuwe trainingsparadigma voorgesteld: Growth Transformer Training. Dit imiteert biologische ontwikkeling door lagen gefaseerd te trainen, waarbij de kritieke kern eerst wordt opgebouwd en downstream-lagen worden geïnitieerd via klonen van reeds getrainde kernlagen.

Proof-of-Concept Experiment:
Een heterogeen 12-laags model (gebaseerd op de belangkaart) werd getraind en vergeleken met een uniforme baseline (beide 9,57M parameters).

Resultaat: Growth Training bereikte een validatieverlies van 0,127 versus 0,599 voor de uniforme baseline (een verbetering van 4,7x) bij hetzelfde aantal trainingsstappen.
Efficiëntie: Growth Training was 13% sneller in wall-clock tijd.
Kostenefficiëntie: Een Growth-model getraind met slechts 50% van het budget (416 stappen) presteerde beter dan een uniform model dat volledig was getraind (656 stappen).

5. Significantie en Conclusie

Het artikel concludeert dat transformerlagen niet homogeen zijn, maar een complexe anatomie vertonen met gespecialiseerde functies, vergelijkbaar met biologische organismen.

Theoretische Impact: Het weerlegt het idee dat alle lagen gelijkwaardig zijn en introduceert het concept van "anti-lagen".
Praktische Toepassing: Door trainingsbudgetten dynamisch toe te wijzen op basis van herstelsnelheid en laagbelang (Growth Training), kunnen aanzienlijke efficiëntiewinsten worden behaald zonder kwaliteitsverlies.
Toekomst: De auteurs pleiten voor het toepassen van deze strategie op grotere modellen (1B+ parameters) en het verder onderzoeken van de oorsprong van anti-lagen.

De studie biedt een fundament voor een nieuw soort "biologisch geïnspireerde" trainingsprotocollen die de interne dynamiek van neurale netwerken respecteren in plaats van ze uniform te behandelen.