🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

Dit artikel identificeert een fundamentele negatieve gewichtsdrift veroorzaakt door de interactie tussen standaardverliezen en positief bevooroordeelde activeringen, wat leidt tot hoge activeringsverspreiding en nauwkeurigheidsafgronden in diepe netwerken, waardoor de auteurs afgekapte ReLU $^2$ en GELU $^2$ voorstellen als effectieve oplossingen die verspreiding, stabiliteit en prestaties in evenwicht brengen.

Oorspronkelijke auteurs: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe machine bouwt die bestaat uit duizenden kleine schakelaars (neuronen) die patronen leren herkennen. Jarenlang hebben ingenieurs deze machines aangepast via trial-and-error, waarbij ze functies toevoegden die goed leken te werken zonder volledig te begrijpen waarom ze werken.

Dit artikel, getiteld "Bug or Feature2," onderzoekt een verborgen eigenaardigheid in hoe deze machines leren. De auteurs ontdekten een "geest" in de machine: een neiging van de interne instellingen (gewichten) om langzaam in een negatieve richting te drijven, waardoor veel van de schakelaars volledig uitschakelen.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Negatieve Drijfkracht" (Het touwtrekken)

Stel je voor dat de machine begint met alle instellingen perfect in evenwicht rond nul. De auteurs ontdekten dat, vanwege de manier waarop de machine zijn fouten berekent (met behulp van standaard wiskundige formules genaamd "verliesfuncties") en de manier waarop hij informatie verwerkt (met behulp van "activatiefuncties" zoals ReLU), er een subtiele, onzichtbare strijd plaatsvindt.

Het Mechanisme: In de allereerste seconden van het trainen duwt de wiskunde de instellingen iets naar de negatieve kant.
Het Resultaat: Zodra een instelling negatief wordt, blijft hij negatief. Het is als een bal die een heuvel afrolt; zodra hij begint, blijft hij gaan tot hij tegen een muur aanbotst. Dit gebeurt zelfs als de machine met willekeurige, nonsens-data wordt gevoerd. Het is een gebrek in het trainingsproces zelf, niet in de data.

2. De "Stille Schakelaars" (Activatie-Sparsiteit)

Stel je nu voor dat die schakelaars gloeilampen zijn.

Met ReLU (een veelvoorkomend type schakelaar): Als de instelling negatief drijft, gaat de gloeilamp volledig uit en blijft hij uit. De auteurs ontdekten dat in sommige modellen (zoals een klein taalmodel genaamd GPT-nano) tot wel 90% van de gloeilampen uitgaat en stil blijft.
De Vraag: Is dit een Bug of een Feature?
- Bug: Als te veel lichten uitgaan, kan de machine blind worden en stoppen met leren.
- Feature: Als de machine zijn werk kan doen met minder lichten aan, kan hij efficiënter zijn.

3. De "Kloof" (Het Gevaargebied)

De onderzoekers testten hoeveel stilte de machine kon verdragen voordat hij kapot ging. Ze ontdekten een scherpe "Kloof".

De Veilige Zone: Als je tot 70% van de schakelaars uitschakelt, werkt de machine nog bijna even goed als voorheen. Het is verrassend robuust.
De Kloof: Als je probeert meer dan 70% uit te schakelen (zeg 80% of 90%), crasht de prestatie van de machine. Het is als proberen een auto te rijden met slechts één wiel; het werkt prima totdat je een bepaalde snelheid bereikt, waarna het uit elkaar valt.
De Uitzondering: Machines met "skip-verbindingen" (zoals ResNet of Transformers) zijn als auto's met reservewielen; ze kunnen veel meer stilte verdragen voordat ze crashten.

4. Het "Verkwadraten"-Experiment (ReLU2)

De auteurs probeerden een nieuw type schakelaar genaamd ReLU2, dat het signaal kwadrateert (maakt grote getallen nog groter).

Het Probleem: Dit creëerde "Spikes". Stel je voor dat een paar gloeilampen plotseling zo fel oplichten dat ze doorbranden of het systeem verblinden. In de middenlagen van de machine werden deze spikes gevaarlijk groot.
De Oplossing: Ze ontdekten dat het clipping van de spikes (een plafond zetten voor hoe fel de lamp kan worden) het probleem oploste.
De Winnaar: Een "Clipped ReLU2" werkte beter dan het origineel, en een "Clipped GELU2" (een ander soepel type schakelaar) presteerde zelfs het beste op het taalmodel, met het laagste foutpercentage.

5. De "Bevriezing"-Truc (Berekeningsefficiëntie)

De "drijfkracht" vindt vooral plaats in de eerste stappen van het trainen. Daarna stabiliseren de instellingen zich.

Het Idee: Normaal gesproken berekent de machine zijn "zwaartepunt" (normalisatiestatistieken) elke keer opnieuw wanneer hij een nieuw beeld of een nieuwe zin ziet. Dit is traag.
De Hack: De auteurs ontdekten dat, zodra de initiële drijfkracht is gestabiliseerd (na een korte "warm-up"), je die berekeningen kunt bevriezen. Je stopt met het opnieuw berekenen en gebruikt gewoon de getallen van het begin.
Het Voordeel: Hierdoor traint de machine ongeveer 25–30% sneller zonder zijn uiteindelijke intelligentie te schaden. Het is als de thermostaat instellen zodra de kamer de juiste temperatuur heeft bereikt, in plaats van elke seconde de temperatuur te controleren.

Samenvatting

Het artikel onthult dat moderne AI-modellen van nature "dode zones" ontwikkelen waar veel neuronen stoppen met werken door een wiskundige eigenaardigheid in hoe ze leren.

Het is geen bug in de data; het is een bug in de optimalisatiemath.
Stilte is oké tot op zekere hoogte (70%), maar te veel stilte zorgt voor een crash.
Nieuwe schakelaars (Gekwadrateerde functies) kunnen krachtig zijn, maar hebben "clipping" nodig om gevaarlijke spikes te voorkomen.
Het bevriezen van vroege berekeningen kan training aanzienlijk versnellen.

De auteurs concluderen dat wat eruitziet als een willekeurig neveneffect, eigenlijk een beheersbaar mechanisme is dat, als het wordt begrepen, ons kan helpen snellere en efficiëntere AI te bouwen.

Technische Samenvatting: Bug of Feature2: Gewichtsdrift, Activatiesparsiteit en Pieken

Probleemstelling

Het ontwerp van moderne neurale architecturen is geëvolueerd via incrementele empirische keuzes, doch de intrinsieke mechanismen die de trainingsdynamiek regeren, blijven deels onbegrepen. Dit artikel identificeert een systematische negatieve gewichtsdrift veroorzaakt door de interactie tussen standaard verliesfuncties (MSE, cross-entropy) en positief bevooroordeelde activatiefuncties (bijv. ReLU, GELU, SiLU) bij afwezigheid van middelpunt-normalisatie.

Het kernprobleem is dat tijdens de vroege iteraties van training, gradiëntafname de gewichten naar negatieve waarden drijft. Dit gebeurt omdat de verwachte gradiënt met betrekking tot positieve pre-activaties niet-negatief is. Bijgevolg verschuiven pre-activaties naar beneden, waardoor meer neuronen onder de nulwaarde vallen. Wanneer deze worden doorgegeven aan activatiefuncties zoals ReLU, worden deze negatieve pre-activaties tot nul afgeplat, wat harde activatiesparsiteit induceert. De auteurs onderzoeken of deze emergente spasiteit een gunstig kenmerk is voor efficiëntie of een schadelijke bug die de modelprestaties verslechtert. Daarnaast onderzoekt het artikel pathologische activatiepieken die worden waargenomen bij gekwadrateerde activatiefuncties (bijv. ReLU2) binnen transformer-architecturen.

Methodologie

1. Formele Analyse van Gewichtsdrift

De auteurs leveren een formeel bewijs voor op ReLU gebaseerde Multi-Layer Perceptrons (MLP's) bij initialisatie.

Theoretisch Kader: Zij definiëren een effectieve gewichtsmatrix $V_{eff}$ die de compositie van daaropvolgende lineaire lagen en ReLU-poorten vertegenwoordigt.
Kernstelling: Onder initialisatie van gewichten met een gemiddelde van nul en onafhankelijke, identiek verdeelde (i.i.d.) eigenschappen, vertonen de rijen van $V_{eff}$ een gemiddelde van nul maar een niet-negatieve kruiscorrelatie ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
Gradiëntanalyse: Voor zowel MSE- als cross-entropy-verlies is de verwachte gradiënt met betrekking tot elke positieve pre-activatie niet-negatief. Aangezien gradiëntafname gewichten bijwerkt in de negatieve richting van de gradiënt ( $w \leftarrow w - \eta \nabla w$ ), drijft deze consequent positieve gradiënt de gewichten naar negatieve waarden.
Zelfversterkende Cyclus: Naarmate de gewichten negatief worden, verschuiven pre-activaties verder onder de nulwaarde, waardoor het aandeel dode neuronen toeneemt en de drift wordt versterkt.

2. Empirische Validatie

De auteurs verifiëren deze dynamiek in diverse settings:

Architecturen: MLP, ResNet-18, MaxViT, MP-SENet en GPT-nano.
Activaties: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU en ReLU2.
Data: Training op zowel real-world datasets (CIFAR-10, ImageNet-1K, FineWeb) als volledig willekeurige invoer om optimalisatiedynamiek te isoleren van data-distributie.
Optimaliseerders: SGD, SGD met momentum en Adam/AdamW.

3. Controle van Sparsiteit en Analyse van Trade-offs

Om te bepalen of spasiteit een "bug" of "feature" is, controleren de auteurs expliciet de spasiteitsniveaus met twee mechanismen:

Top-K Sparsiteit: Behoudt de top $k\%$ van de activaties (gebruikt in combinatie met GELU).
Percentielcentering (PC): Een voorgestelde methode die activaties verschuift met een doelpercentiel $q$ in plaats van het gemiddelde, alvorens ReLU toe te passen, waardoor het aandeel tot nul gemaakte activaties direct wordt gecontroleerd.
Evaluatie: Zij benchmarken 79 configuraties over architecturen heen om de relatie tussen spasiteitsniveaus en modelnauwkeurigheid/verlies in kaart te brengen.

4. Onderzoek naar Gekwadrateerde Activaties en Pieken

Het artikel analyseert ReLU2 ( $max(0, x)^2$ ) en GELU2 in GPT-nano.

Piekdetectie: Zij observeren massale activatiepieken in lagen 2–4 van GPT-nano bij gebruik van ReLU2.
Mitigatie: Zij testen het clipping van deze activaties bij drempels (15 en 50) om te bepalen of de pieken schadelijk zijn (bugs) of informatief (features).

Belangrijkste Resultaten

1. Negatieve Gewichtsdrift is Intrinsiek

Universaliteit: De drift treedt op in alle geteste architecturen en activatiefuncties, inclusief die zonder expliciete normalisatie (bijv. RMSNorm).
Oorsprong in Optimalisatie: Het fenomeen blijft bestaan zelfs op willekeurige data, wat bevestigt dat het een eigenschap is van de optimalisatiedynamiek en niet van de data-distributie.
Grootte: De drift is het meest uitgesproken in de eerste trainingsiteraties en stabiliseert naarmate de gradiënten afnemen. Optimaliseerders op basis van momentum versnellen deze initiële drift.
Gevolg voor Sparsiteit: In op ReLU gebaseerde modellen induceert deze drift natuurlijke spasiteit die oploopt tot 90% in GPT-nano zonder expliciete regularisatie.

2. De "Kliff" van Sparsiteit-Nauwkeurigheid

Trade-off Curs: De prestaties blijven stabiel over matige spasiteitsniveaus ( $s \lesssim 0,7$ ) maar verslechteren scherp boven een kritieke drempel (de "kliff").
Afhankelijkheid van Architectuur:
- MLP's: Lijden aan catastrofale ineenstorting bij ~85% spasiteit.
- ResNet: Toont monotoon verval met gestructureerde (kanaalgewijze) spasiteit, maar behoudt robuustheid met ongestructureerde spasiteit.
- Transformers (ViT, GPT): Vertonen extreme veerkracht. GPT-nano behoudt prestaties dicht bij de baseline tot ~91% spasiteit.
Onafhankelijkheid van Mechanisme: De specifieke methode om spasiteit te induceren (Top-K versus Percentielcentering) heeft een marginale impact in vergelijking met het spasiteitsniveau zelf.

3. Activatiefuncties en Sparsiteit

GELU: Bereikt de hoogste nauwkeurigheid in de meeste classificatietaken, maar induceert minimale natuurlijke spasiteit.
ReLU2: Zeer gevoelig voor normalisatie. Het stort in op MLP's zonder normalisatie, maar bereikt de laagste validatieverlies (3,250) op GPT-nano in vergelijking met GELU (3,260).
ReLUificatie: Het converteren van met GELU getrainde modellen naar ReLU via één epoch fine-tuning herstelt 55–74% spasiteit met verwaarloosbaar nauwkeurigheidsverlies (<1%), wat een praktische strategie voor efficiëntie biedt.

4. Pathologische Pieken en Clipping

Oorsprong van Pieken: Pieken in GPT-nano ontstaan in de up-projectie van MLP-blokken en worden versterkt door de kwadrateringsoperatie in ReLU2.
Voordelen van Clipping:
- Geclept ReLU2: Presteert beter dan ongeclept ReLU2 (3,236 versus 3,251), wat aangeeft dat extreme pieken schadelijk zijn.
- Geclept GELU2: Bereikt het beste algehele validatieverlies (3,233) op GPT-nano.
- ViT-resultaten: Gekwadrateerde activaties presteren niet beter dan GELU op MaxViT, wat suggereert dat de voordelen van gekwadrateerde activaties specifiek kunnen zijn voor autoregressieve modellen.

5. Rekenkundige Efficiëntie via Accumulatie Stop

Observatie: Aangezien de gewichtsdrift stabiliseert na enkele duizenden stappen, is dynamische berekening van normalisatiestatistieken (percentielen, gemiddelden) niet noodzakelijk voor de volledige trainingsduur.
Methode: De auteurs stellen Accumulation Stop (AS) voor, waarbij statistieken worden berekend via een Exponentiële Glijdend Gemiddelde (EMA) tijdens een warm-up-fase (bijv. 50k stappen) en vervolgens worden bevroren.
Resultaat: Dit herstelt de trainingsdoorvoer naar niveaus dicht bij de baseline (door de ~25–30% overhead van dynamische percentielberekening te verwijderen) zonder de modelkwaliteit te verslechteren (FID/IS-scores blijven stabiel of verbeteren).

Betekenis en Claims

Het artikel herformuleert activatiesparsiteit niet als een emergente eigenschap van data, maar als een controleerbaar gevolg van de interactie tussen verliesfuncties, activatiefuncties en normalisatielagen.

Mechanistisch Begrip: Het werk biedt een theoretische en empirische verklaring voor waarom moderne architecturen (die vaak middelpuntcentering weglaten, bijvoorbeeld door RMSNorm te gebruiken) systematische gewichtsdrift en hoge spasiteit vertonen.
Ontwerprichtlijnen:
- Spasiteitscontrole: Aggressieve spasiteit (tot ~70-80%) kan worden bereikt zonder significante prestatiedegradatie in op transformers gebaseerde modellen, wat een weg biedt voor rekenkundige efficiëntie.
- Keuze van Activatie: Hoewel ReLU2 prestatiewinst biedt in LLM's, vereist het clipping om pathologische pieken te mitigeren. GELU blijft een robuuste baseline voor algemeen gebruik.
- Efficiëntie: De techniek "Accumulation Stop" biedt een praktische methode om trainings overhead te verminderen door normalisatiestatistieken te bevriezen na de fase van initiële driftstabilisatie.
Beperkingen: De auteurs merken op dat theoretische bewijzen strikt van toepassing zijn op initialisatie en ReLU, met extensies naar gladde activaties die empirisch zijn. De toepasbaarheid van deze bevindingen op frontier-schaal LLM's (1B+ parameters) en de optimale clipping-drempels voor verschillende architecturen blijven open vragen.

Het artikel concludeert dat het begrijpen van deze "schijnbaar toevallige" ontwerpkiezen cruciaal is voor de toekomstige ontwikkeling van architecturen, zeker nu het vakgebied beweegt naar niet-centerende normalisatie en spasiteitsinferentie.