🤖 machine learning

When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Dit artikel volgt de ontwikkelingsbanen van aandachtscircuits over drie taalmodellen in de 1B-klasse, waarbij wordt onthuld dat de vorming van inductiecircuits en aandachtszinkers (attention sinks) afzonderlijke, tijdelijk gescheiden transities zijn in plaats van één enkel evenement, en dat specifieke circuitcapaciteiten vroeg in de training kunnen worden geïdentificeerd zonder het uiteindelijke model te vereisen.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een groep van drie jonge studenten kijkt (de AI-modellen) die leren lezen en een enorme bibliotheek aan boeken begrijpen. Deze studenten zijn ongeveer even groot (1 miljard "hersencellen"), maar hebben verschillende leraren en verschillende boeken.

De onderzoekers wilden een simpele vraag beantwoorden: Wanneer leren deze studenten eigenlijk specifieke trucjes?

Specifiek zochten ze naar twee dingen:

De "Naboots"-truc: Leren een patroon te zien zoals "A... B... A" en correct raden dat het volgende woord "B" moet zijn. (Dit wordt een inductiecircuit genoemd).
De "Eerste Pagina"-gewoonte: Altijd aandacht besteden aan het allereerste woord van een zin, ongeacht waar de zin over gaat. (Dit wordt een attention sink genoemd).

Lama tijd dachten wetenschappers dat deze twee dingen op exact hetzelfde moment gebeurden, als een lichtschakelaar die omgaat. Dit artikel zegt: Nee, dat is niet waar. Ze gebeuren op zeer verschillende momenten, en de manier waarop ze gebeuren hangt af van hoe de student is gebouwd en wat hij leest.

Hier is het verhaal van wat ze ontdekten, met eenvoudige analogieën:

1. De "Niet-Mogen"-zone (De Begane Grond)

De onderzoekers ontdekten een regel die nooit wordt gebroken: De eerste twee lagen van het brein (Laag 0 en Laag 1) leren de "Eerste Pagina"-gewoonte nooit.

De Analogie: Stel je een fabriekslijn voor. De eerste twee stations zijn slechts grondstoffen die binnenkomen; ze zijn nog niet verwerkt. Je kunt niet een "fabrieksmanager" (de attention sink) hebben die beslissingen neemt bij het allereerste station, omdat er daar nog niet genoeg informatie is.
De Bevinding: Hoeveel de studenten ook studeren, de onderste lagen van hun brein zullen deze gewoonte nooit ontwikkelen. Het is een harde regel van hun architectuur, niet iets wat ze niet hebben kunnen leren.

2. De "Midden-Eerst" Verrassing

Je zou verwachten dat de "Eerste Pagina"-gewoonte onderaan begint en langzaam omhoog beweegt naarmate het brein slimmer wordt. De onderzoekers ontdekten het tegenovergestelde.

De Analogie: Stel je een gebouw voor. Je verwacht misschien dat de lichten van de begane grond naar boven toe aangaan. In plaats daarvan gaan de lichten in het midden van het gebouw eerst aan, en daarna verspreidt de gewoonte zich naar buiten. De lagen net boven de "Niet-Mogen-Zone" zijn juist de laatsten die deze gewoonte leren.
De Bevinding: De "Eerste Pagina"-gewoonte kristalliseert eerst in het midden van het netwerk, niet onderaan.

3. De Twee Verschillende "Lichtschakelaars"

Dit is de grootste ontdekking. De onderzoekers volgden wanneer de "Naboots"-truc en de "Eerste Pagina"-gewoonte verschenen.

De "Naboots"-truc (Inductie): Dit gebeurt zeer vroeg. Bij de studenten die getraind werden op de "DCLM"-boeken, was deze truc al volledig geleerd tegen de tijd dat ze ongeveer 20–23 miljard woorden hadden gelezen. Het is als een kind dat leert veters strikken; het gebeurt snel en daarna is het klaar.
De "Eerste Pagina"-gewoonte (Attention Sink): Dit gebeurt veel, veel later. Bij dezelfde studenten kwam deze gewoonte pas echt op gang tussen de 260 en 400 miljard woorden.
De Analogie: Het is alsoك leren fietsen (de truc) in week één gebeurt, maar leren om voor elke race altijd naar de startlijn te kijken (de gewoonte) gebeurt pas in jaar vijf. Het zijn twee volledig gescheiden gebeurtenissen, gescheiden door een enorme tijdsspanne.

4. De Vorm van het Leren Hangt Af van de "School"

De onderzoekers testten drie verschillende studenten:

Pythia: Las "The Pile" boeken.
OLMo: Las "DCLM" boeken.
OLMoE: Las "DCLM" boeken maar heeft een speciale "Mixture of Experts"-hersenen (zoals het hebben van 64 verschillende leraren en er slechts 8 gebruiken voor elke taak).

Ze ontdekten dat de vorm van de leercurve veranderde op basis van de student:

De Geleidelijke Helling: Pythia en OLMoE leerden de "Eerste Pagina"-gewoonte langzaam en gestaag, zoals water dat een badkuip vult.
De Scherpe Sprong: OLMo (het standaard dichte brein dat DCLM leest) leerde het in één keer. Het ene moment had het bijna geen "Eerste Pagina"-gewoonte, en het volgende moment (tussen twee controlepunten in) maakte het een sprong van 7% naar 70%. Het was een plotselinge "faseovergang", zoals ijs dat plotseling water wordt.

De Les: Dezelfde boeken (DCLM) produceerden een langzame leerling in de ene student en een plotselinge springer in een andere, simpelweg omdat hun hersenarchitectuur anders was.

5. Je Hoeft Niet te Wachten Tot het Afstuderen

Een van de meest praktische bevindingen gaat over wanneer je deze vaardigheden kunt zien.

De Bevinding: Als je wilt weten welke delen van het brein de "Naboots"-truc uitvoeren, hoef je niet te wachten tot de student de hele bibliotheek heeft gelezen.
De Analogie: Stel je voor dat je wilt weten of een student goed is in wiskunde. Je hoeft niet te wachten tot hij zijn vierjarige studie heeft voltooid. Tegen de tijd dat hij slechts 1% van zijn cursusmateriaal heeft voltooid, kun je al 67% van de wiskundievaardigheden zien die hij uiteindelijk zal hebben.
Het Resultaat: Onderzoekers kunnen deze hersencircuits identificeren met behulp van een student die pas 1% van zijn training door heeft. Je hoeft niet te wachten op het definitieve, voltooide model om te begrijpen hoe het brein werkt.

Samenvatting

Dit artikel vertelt ons dat het "magische moment" van AI-leren geen grote enkele gebeurtenis is.

Timing: Het brein leert patronen te kopiëren (inductie) veel eerder dan het leert geobsedeerd te zijn door het eerste woord (attention sink).
Locatie: De obsessie met het eerste woord begint in het midden van het brein, niet onderaan.
Variatie: Afhankelijk van het ontwerp van het brein, kan deze obsessie langzaam verschijnen of als een plotselinge explosie.
Efficiëntie: We kunnen deze vaardigheden heel vroeg in de training zien ontstaan, dus we hoeven niet te wachten tot de AI "klaar" is om te bestuderen hoe het denkt.

Technische Samenvatting: Ontwikkelingspaden van Capaciteit en de Emergentie van Attention-Sinks

Probleemstelling
Dit artikel adresseert een gat in het mechanistische begrip van pretraining-dynamiek in transformer-taalmodellen. Waar eerder werk twee verschillende fenomenen heeft geïdentificeerd—inductie-koppen (die het $A \dots A \to B$ kopieerpatroon implementeren, gekoppeld aan in-context leren) en attention sinks (betrouwbare aandacht voor het eerste token, ongeacht de inhoud)—worden deze vaak onder de noemer "attention emergence" samengevoegd. Olsson et al. [2022] beschreven de vorming van inductie als een scherpe "faseovergang", terwijl Xiao et al. [2024] attention sinks documenteerden als een stabiele inferentie-eigenschap. Dit artikel stelt de vraag: treden deze twee fenomenen simultaan op als één enkele transitie, of zijn ze temporeel scheidbaar? En hoe beïnvloeden architectuur (dense versus Mixture-of-Experts) en de pretraining-corpus (The Pile versus DCLM) de timing en de vorm van deze emergenties in 1B-klasse modellen?

Methodologie
De auteurs volgen het ontwikkelingspad van attention-circuits over drie 1B-klasse modellen die twee architecturen en twee corpora beslaan:

Pythia 1B: Dense transformer, getraind op The Pile.
OLMo 1B-0724-hf: Dense (Llama-stijl) transformer, getraind op DCLM.
OLMoE 1B-7B-0924: Mixture-of-Experts (1B actief/7B totaal) transformer, getraind op DCLM.

De studie maakt gebruik van een 30-run ontwikkelingspaneel, waarbij een driestaps mechanistische interpreteerbaarheid-recept wordt toegepast op 10 log-gespaarde revisies per model:

Synthetische Inductie Batch: Een gecontroleerde dataset van 2.000 sequenties ( $A \dots A \to B$ ) gebruikt om inductie-capaciteiten te proberen.
Participation Ratio (PR) Spectrale Signaal: Berekend op de per-head attention output op de tweede- $A$ positie. PR meet de spectrale diversiteit van de output van de head, wat dient als een signaal voor gespecialiseerde computationele taken.
Capaciteit-Specifieke Selectiviteit Screen: Een all-head screen dat koppen classificeert in zes categorieën (inductie, vorige-token, duplicaat-token, BOS/eerste-token, zelf, lokaal) op basis van attention-selectiviteitsratio's. Koppen worden toegewezen aan een klasse als de selectiviteit een specifieke drempel overschrijdt (bijv. 50× voor inductie, 30× voor BOS).
Causale Verificatie: Groep-ablatie van geïdentificeerde circuits om hun functionele rol te bevestigen.

Belangrijkste Bevindingen

1. De L0/L1 Zero-BOS Floor is een Architecturale Eigenschap (F1)
Over alle 30 revisies en alle drie de modellen heen produceren lagen 0 en 1 nul koppen die geclassificeerd zijn als BOS-attractors. Deze "zero-BOS floor" houdt stand van random initialisatie tot het einde van de training. De auteurs interpreteren dit als een architecturale beperking: L0-inputs zijn ongecontextualiseerde token-embeddings, en L1-outputs missen cross-token integratie, waardoor het onmogelijk is voor attention sinks (die niet-triviale cross-positie informatie vereisen) om in deze lagen te vormen. Dit is een geleerd resultaat van het gradiëntsignaal, niet een artefact van de data.

2. Distinctieve Emergentievormen voor BOS-Attractors (F2)
De vorming van de BOS-attractor fractie volgt drie kwalitatief verschillende trajecten afhankelijk van de data-architectuur koppeling:

Pythia 1B (Pile, Dense): Een geleidelijke, monotone stijging van 0% naar ~58%.
OLMo 1B (DCLM, Dense): Een scherpe faseovergang. De fractie springt van 7,4% bij 117B tokens naar 70,3% bij 264B tokens (een toename van 63 procentpunt tussen opeenvolgende checkpoints).
OLMoE 1B-7B (DCLM, MoE): Een geleidelijke, monotone stijging, vergelijkbaar met Pythia, maar bereikt een hogere verzadiging (~76%).
Dit demonstreert dat de "scherpte" van de attention sink transitie geen universele eigenschap is van de data (DCLM), maar wordt gemoduleerd door de architectuur (Dense versus MoE).

3. Inductie en Attention Sinks zijn Temporeel Scheidbaar (F3)
De vorming van inductie-circuits gaat in DCLM-getrainde modellen de vorming van BOS-attractors voor met een orde van grootte in tokens:

OLMo 1B: Inductie-circuits vormen zich bij ~~23B tokens; BOS-attractors bereiken 50% verzadiging bij 264B tokens (~~11,5× verschil).
OLMoE 1B-7B: Inductie vormt zich bij ~~20B tokens; BOS-attractors bereiken 50% bij 419B tokens (~~21× verschil).
Het artikel concludeert dat de vorming van capaciteit-circuits en de vorming van attention-sinks twee distincte transities zijn, en geen enkelvoudige faseovergang-gebeurtenis.

4. Vroege Convergentie van Capaciteit-Screens (F4)
De capaciteit-specifieke screen convergeert naar het uiteindelijke inductie-circuit met slechts een klein deel van het trainingsbudget.

OLMo 1B: 67% van het uiteindelijke inductie-circuit wordt geïdentificeerd bij 10B tokens (~0,3% van de totale training).
OLMoE 1B-7B: 67% geïdentificeerd bij 41B tokens (~0,8%).
Pythia 1B: 67% geïdentificeerd bij 6B tokens (~2,0%).
Dit impliceert dat voor de ontdekking van circuits het uiteindelijke model niet vereist is; tussenliggende checkpoints bevatten het grootste deel van het identificeerbare circuit.

5. Spectrale Signalen Precederen Selectiviteitsdrempels (F5)
Voor elke finale-checkpoint inductie-kop die gesampled is, stijgt de per-head Participation Ratio (PR) significant op of vóór de revisie waarbij de capaciteit-selectiviteitsratio de classificatiedrempel overschrijdt. In Pythia 1B steeg het PR-signaal voor de top inductie-kop ongeveer 12× eerder (in token-aantal) dan de overschrijding van de selectiviteitsdrempel. Dit suggereert dat het spectrale signaal een vroege indicator is van specialisatie.

Betekenis en Claims
Dit artikel positioneert zich als de "activatieruimte-helft" van een bredere studie over emergentie, ter aanvulling op parameterruimte-analyses van spectrale-randdynamiek. De primaire bijdragen zijn:

Verfijning van de "Inductie Faseovergang": De auteurs stellen dat de term "inductie faseovergang" ambigu is. Bij DCLM-data op 1B schaal verwijst het naar twee distincte gebeurtenissen: een vroege capaciteitstransitie (inductie) en een latere, data- en architectuurafhankelijke transitie (attention sinks).
Restricties voor Mechanistische Theorie: De bevindingen leggen specifieke restricties op aan elke theorie over attention sinks:
1. Het moet de universele L0/L1 zero-BOS floor verklaren.
2. Het moet kunnen verklaren hoe dezelfde data (DCLM) een scherpe transitie produceert in dense modellen, maar een geleidelijke stijging in MoE-modellen.
3. Het moet onderscheid maken tussen de timing van capaciteit-emergentie en sink-emergentie.
Methodologische Nut: Het artikel demonstreert dat mechanistische interpreteerbaarheid effectief uitgevoerd kan worden op tussenliggende checkpoints (0,3–2% van de training) zonder te wachten op het finale model, en dat specifieke screeningmethoden vereist zijn om capaciteit-koppen te onderscheiden van de dominante BOS-attractor populatie in latere trainingsstadia.

De auteurs verklaren expliciet dat deze bevindingen gebaseerd zijn op specifieke trainingsruns en niet beweren de volledige verwachting van alle mogelijke seeds te vertegenwoordigen, hoewel zij opmerken dat de kwalitatieve patronen (L0/L1 floor, scheiding van transities) robuust zijn over de geteste configuraties.