🧬 biology

Features have life history. And we should care

Dit artikel onthult dat taalmodellen beschikken over een persistente "dragersteiger" van ongeveer 50 schaarse kenmerken die zich binnen de eerste 1% van de training snel assembleren en fungeren als een dragende fundering die de daaropvolgende representatieve structuur en ontwikkeling van het model bepaalt.

Oorspronkelijke auteurs: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat het trainen van een groot taalmodel (zoals die essays schrijven of met je chatten) gelijkstaat aan het bouwen van een enorme, bruisende stad van de grond af. Normaal gesproken zien we, wanneer we naar de voltooide stad kijken, een stabiele kaart van wegen en gebouwen. We gaan ervan uit dat alles tegelijkertijd en in hetzelfde tempo is opgegroeid.

Maar dit artikel stelt dat de stad een verborgen levensgeschiedenis heeft. Sommige delen van de stad werden in het aller eerste uur gebouwd en veranderden nooit; ze werden het onwrikbare fundament. Andere delen kwamen later, werden op dat fundament gebouwd en zijn veel fragieler.

Hier is het verhaal van dat fundament, verteld aan de hand van de bevindingen uit het artikel:

1. Het "Draagsteun": Het Skelet van de Stad

De onderzoekers ontdekten dat er binnen deze AI-modellen een kleine groep van ongeveer 50 speciale "kenmerken" bestaat (stel ze je voor als de belangrijkste nutsvoorzieningen van de stad: water, elektriciteit, internet).

Ze verschijnen vroeg: Deze 50 kenmerken komen bijna onmiddellijk naar voren, binnen de eerste 1% van de trainingstijd.
Ze blijven hangen: In tegenstelling tot andere kenmerken die in en uit springen als tijdelijke bouwteams, overleven deze 50 tot het allerlaatste moment.
Ze houden alles overeind: De auteurs noemen deze groep het "Draagsteun". Het is het skelet van het model. Als je deze specifieke 50 kenmerken verwijdert, crasht de prestatie van het model veel harder dan wanneer je willekeurige andere 50 kenmerken verwijdert.

2. Het Twee-Fasen Bouwproject

Het artikel stelt dat het trainingsproces plaatsvindt in twee distincte fasen, zoals een bouwproject met een strikte tijdslijn:

Fase 1: De "Selectie" (De Eerste 1%)
Stel je een chaotische bouwplaats voor waar duizenden arbeiders proberen muren te bouwen. In de eerste paar minuten worden de "goede" arbeiders (het toekomstige Draagsteun) geïdentificeerd. Het zijn degenen die vroeg verschijnen, werken aan de belangrijkste taken en niet worden ontslagen. Tegen de tijd dat de eerste 1% van het werk is afgerond, is het skelet al vastgesteld. Het model heeft in wezen "beslist" welke 50 kenmerken de leiders zullen zijn.
Fase 2: De "Kalibratie" (De Overige 99%)
Voor de rest van de training bouwt het model geen nieuwe skeletten. In plaats daarvan fijntunet het alleen de verf en de bedrading rondom dat vaste skelet. Het polijst de geometrie en zorgt dat de bestaande leiders beter werken, maar het verandert niet wie de leiders zijn.

3. Het "Kristallen Bol"-Effect

Een van de meest verrassende bevindingen is dat je kunt voorspellen wie de leiders zullen zijn voordat het model zelfs maar goed is in zijn werk.

De onderzoekers keken naar het model op het allerbegin (Stap 1k). Op dit punt is het model verschrikkelijk in het voorspellen van tekst.
Echter, ze konden kijken welke kenmerken het meest breed en consistent afvuurden (activeerden).
Met alleen die vroege data bouwden ze een "kristallen bol" (een eenvoudige voorspeller) die 80% van de toekomstige leiders correct kon identificeren voordat het model iets nuttigs had geleerd.
De Les: De "functie" van het model (wat het doet) wordt eerst bepaald. Zijn "richting" (hoe het verbinding maakt met het uiteindelijke antwoord) wordt pas later gepolijst.

4. De Stamboom van Kenmerken

Het Draagsteun zit er niet alleen maar bij; het fungeert als een ouder voor de rest van het model.

Naarmate de training doorgaat, worden nieuwe kenmerken geboren.
Het artikel vond dat ongeveer 64% van alle kenmerken in het uiteindelijke model "nakomelingen" zijn van die oorspronkelijke 50 leiders. Ze zijn georganiseerd in een hiërarchie, zoals een stamboom, waarbij de vroege leiders de grootouders zijn en de nieuwere, specifiekere kenmerken de kinderen en kleinkinderen.
De oorspronkelijke 50 kenmerken zijn de "wortels" die de hele structuur bij elkaar houden.

5. Waarom Dit Belangrijk Is (Het "Waarom Moeten We Omzien?" Deel)

De auteurs zeggen dat we erom moeten geven omdat onze huidige manier van AI bestuderen gelijkstaat aan het nemen van een foto van de voltooide stad en proberen uit te zoeken hoe deze is gebouwd.

Het Probleem: Als je alleen naar het voltooide model kijkt, kun je het onderscheid niet maken tussen een kenmerk dat vanaf dag één een leider was en een kenmerk dat laat aankwam. Ze zien er hetzelfde uit op de foto.
De Oplossing: Door de "levensgeschiedenis" te volgen (wie wanneer werd geboren en wie overleefde), kunnen we de echte dragende structuur zien.
De Verrassing: De kenmerken die het meeste gewicht dragen (het Draagsteun) zijn vaak diegenen die eruitzien als saaie, technische "infrastructuur" (zoals het verwerken van byte-codes of bestandsformaten) in plaats van de "slimme" kenmerken die we verwachten (zoals het begrijpen van emoties of grammatica). De "slimme" kenmerken zijn eigenlijk gewoon de decoraties die bovenop dit saaie, onwrikbare fundament zijn gebouwd.

Samenvattende Analogie

Stel je het trainen van een AI voor als het laten groeien van een enorme eik.

Het Draagsteun: De diepe penwortel en de hoofdstam. Deze worden gevestigd in de eerste paar dagen van het leven van de zaailing. Ze zijn moeilijk te veranderen en dragen het gewicht van de hele boom.
De Rest van de Boom: De takken, bladeren en twijgen. Deze groeien later, aftakkend van de hoofdstam. Ze zijn talrijk en specifiek, maar vertrouwen volledig op de stam voor ondersteuning.
Het Inzicht uit het Artikel: Als je de boom wilt begrijpen, kijk dan niet alleen naar de bladeren (het uiteindelijke snapshot). Je moet kijken naar de wortels (de levensgeschiedenis). De wortels werden zeer vroeg gekozen, en de rest van de boom groeide eromheen.

Kortom: Het "brein" van de AI wordt niet gelijkmatig gebouwd. Het kiest zijn belangrijkste onderdelen in de eerste paar minuten van de training, en besteedt de volgende 99% van zijn tijd alleen aan het leren hoe ze beter te gebruiken.

Technische Samenvatting: Levensgeschiedenis van Kenmerken en het Dragerssteunframe in het Trainen van Taalmodellen

Probleemstelling
Huidige mechanistische interpretabiliteit is grotendeels afhankelijk van statische "momentopnames" van getrainde modellen, waarbij kenmerken worden behandeld als vaste entiteiten bij convergentie. Deze benadering verduistert de dynamische processen van het ontstaan, het voortbestaan en het sterven van kenmerken die tijdens het trainen plaatsvinden. Het artikel stelt dat kenmerken een "levensgeschiedenis" bezitten — waarbij hun vuuridentiteit (waarop ze reageren) en decoderrichting (hoe ze voorspellingen beïnvloeden) in de loop van de tijd worden gevolgd — wat cruciaal is voor het begrijpen van de interne structuur van het model. Specifiek onderzoeken de auteurs of een persistent subset van kenmerken een structurele ruggengraat vormt die de representatieve ruimte van het model organiseert, en of deze structuur vroeg in het trainingsproces wordt bepaald of zich uniform doorlopend ontwikkelt.

Methodologie
De studie maakt gebruik van Sparse Autoencoders (SAE's) om activaties in de residustroom te ontleden in interpreteerbare kenmerken over twee Pythia-modelschalen (160M en 410M parameters). De methodologie omvat:

Longitudinale Tracking: SAE's worden getraind op zeven checkpoints (stappen 0, 1k, 10k, 40k, 80k, 120k, 143k) over vier lagen van de residustroom per schaal.
Kenmerkmatching: Kenmerken over checkpoints worden gematcht met behulp van Hongaarse toewijzing op basis van correlatie van activatieprofielen ( $r \ge 0.5$ ). Dit maakt het construeren van "stamlijnen" mogelijk die geboorte, dood en stabiliteit volgen.
Levensgeschiedenis-metrieken: De auteurs definiëren "persistente dragers" als kenmerken waarvan de stamlijnen stabiel blijven in ten minste 4 van de 6 momentopnames na initialisatie.
Structurele Analyse: Een cross-layer Directed Acyclic Graph (DAG) wordt geconstrueerd met behulp van de Containment Index (CI), die de fractie tokens meet waarbij een kenmerk in een lagere laag vuurt als een subset van een kenmerk in een hogere laag.
Ladingmeting: In plaats van per-kenmerk ablatie, gebruiken de auteurs gezamenlijke cross-layer ablatie, waarbij populaties van kenmerken over alle geinstrumenteerde lagen gelijktijdig op nul worden gezet om de geaggregeerde toename in cross-entropy ( $\Delta CE$ ) te meten.
Voorspellende Modellering: Een logistische regressiemodel, getraind op eigenschappen van de vuurruimte op stap 1k, wordt gebruikt om te voorspellen welke kenmerken tegen stap 143k persistente dragers zullen worden.

Belangrijkste Bijdragen

Levensgeschiedenis van Kenmerken als Eenheid van Analyse: Het artikel operationaliseert het volgen van kenmerken over trainingscheckpoints heen, en onderscheidt tussen kenmerken die breed actief zijn door ruis en die welke breed actief zijn door stabiele, dragende rollen.
Identificatie van het Dragerssteunframe: De auteurs identificeren een kleine populatie van $\sim50$ sparse kenmerken (51 in Pythia-160M, 49 in Pythia-410M) die een "dragerssteunframe" vormen. Deze kenmerken ontstaan vroeg, blijven tijdens het trainen bestaan en organiseren het grootste deel van de representatieve structuur van het model.
Vier Eigenschappen van het Steunframe:
- Vroege Assemblage: Het steunframe assembleert snel in de eerste 1% van het trainen (Fase I). De geboortecijfers van kenmerken collapse met $\sim40\times$ in deze fase, en het steunframe is grotendeels gefixeerd voordat het model bekwaam kan voorspellen.
- Dragende Aard: Gezamenlijke ablatie van persistente dragers leidt tot aanzienlijk hogere cross-entropy-kosten ( $\sim0.90$ nats voor 160M) in vergelijking met op aantal gematchte niet-persistente wortels of bladeren. Deze ladingkloof is onzichtbaar voor standaard per-vuur single-kenmerk ablatiemethoden.
- Functie gaat Richting Vooraf: De identiteit van toekomstige dragers is voorspelbaar uit vuurpatronen op stap 1k (AUC 0,80–0,83) voordat decoderrichtingen zijn gestabiliseerd. Dit suggereert dat selectie het lidmaatschap van het steunframe vroeg bepaalt, terwijl gradiëntafstijging later de geometrie rondom dit vaste substraat kalibreert.
- Zaad van Ontwikkeling: Bij convergentie rekruteert het steunframe 64% (160M) en 53% (410M) van alle actieve kenmerken in een hiërarchische structuur die wordt gedefinieerd door token-set-bevatting.

Resultaten

Trainingsdynamiek: Training is niet-uniform. Fase I (stappen 0–1k) wordt gekenmerkt door hoge turbulentie en snelle turnover van kenmerken. Tegen stap 1k zijn 73% van de uiteindelijke dragers in het 160M-model al aanwezig.
Overlevingsvoordeel: Kenmerken met hoge vuurentropie op stap 1k hebben een enorm overlevingsvoordeel (43% overleving tot stap 143k) in vergelijking met lage-entropie kenmerken (0,6%).
Ablatie-Asymmetrie: De dragende capaciteit van het steunframe is alleen detecteerbaar via gezamenlijke cross-layer interventie. Single-kenmerk ablatie toont geen significant verschil in belang tussen wortel-, midden- en bladniveaus, waardoor de ware rol van het steunframe wordt verdoezeld.
Semantische Inhoud: Het steunframe omvat zowel semantisch interpreteerbare kenmerken (discoursmarkers, morfologische uitgangen) als "byte-boundary-infrastructuur"-kenmerken (Unicode-vervangingstekens, bestandsuitbreidingen). Verrassend dragen de infrastructuurkenmerken het grootste deel van de ablatielading, terwijl de semantisch leesbare kenmerken in isolatie bijna geen lading dragen, hoewel beide deel uitmaken van de steunframe-hiërarchie.
Voorspelbaarheid: Een voorspeller die uitsluitend is getraind op eigenschappen van de vuurruimte op stap 1k (entropie, CI, activatiesterkte) identificeert toekomstige dragers succesvol met hoge verrijking (9,3 $\times$ boven de basisrate), wat bevestigt dat het steunframe wordt bepaald door vroege functionele eigenschappen in plaats van late-stadia geometrische kalibratie.

Betekenis en Claims
Het artikel betoogt dat het begrijpen van de levensgeschiedenis van kenmerken essentieel is voor interpretabiliteit, debugging en veiligheid. De primaire claim is dat de representatieve structuur van het model niet uniform wordt gevormd, maar wordt gevestigd via een tweefasig proces:

Selectie (Fase I): De eerste 1% van het trainen fungeert als een selectorg, die bepaalt welke kenmerken overleven om het dragende steunframe te vormen.
Kalibratie (Fase II/III): De resterende 99% van het trainen kalibreert de decoderrichtingen en de geometrie rondom dit voorbestaande substraat.

De auteurs claimen dat interpretabiliteitsmethoden die pas bij convergentie beginnen, mogelijk het product van dit proces analyseren in plaats van de oorzaken. Door het steunframe vroeg te identificeren, wordt het mogelijk om:

Populaties van kenmerken te triageren voordat het model volledig is getraind.
Te onderscheiden tussen dragende structurele elementen en transientie of niet-dragende kenmerken.
Een meetbaar substraat te bieden voor theorieën over kritieke leerperioden en de loterijticket-hypothese.

Het artikel concludeert dat het steunframe grotendeels is gefixeerd door selectie in de eerste 1% van het trainen, en dat het daaropvolgende trainen voornamelijk de geometrie rondom deze gevestigde basis verfijnt. Dit daagt het beeld uit dat modelstructuur geleidelijk en uniform ontstaat, en suggereert in plaats daarvan dat het "skelet" van het model bijna onmiddellijk wordt bepaald.