🤖 machine learning

Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

Dit artikel demonstreert via een architecturale interventie van "Ledger Residuals" dat massale activaties in transformers niet louter artefactën zijn van overbelaste residual streams, maar functioneel robuuste kenmerken die opnieuw verschijnen zelfs wanneer het model wordt gedwongen een beschermd, decode-only kanaal te gebruiken voor zijn finale representatie.

Oorspronkelijke auteurs: Maruthi Vemula (University of North Carolina at Chapel Hill)

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maruthi Vemula (University of North Carolina at Chapel Hill)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantisch, superintelligent robotbrein voor (een "Transformer") dat leert verhalen te schrijven door miljoenen boeken te lezen. Terwijl het leert, merkten wetenschappers iets vreemds op in de binnenkant van dit brein: een handvol specifieke "draden" (wiskundige dimensies) lichtte plotseling op met enorme energie, terwijl de rest gedimd bleef.

Nog vreemder nog: deze superheldere draden waren altijd verbonden met het allereerste woord van een zin.

De Grote Vraag: Glitch of Feature?
Wetenschappers discussiëren over de vraag waarom dit gebeurt.

Team "Glitch" (De Artefact-hypothese): Zij denken dat dit slechts een rommelig bijproduct is van hoe het brein is gebouwd. Het is alsof een student probeert zijn huiswerk te maken op één enkel whiteboard dat hij ook als antwoordblad voor een examen moet gebruiken. De student raakt in de war, dus krabbelt hij enorme, slordige aantekeningen in de hoek om alles georganiseerd te houden. Als we de student een apart, schoon whiteboard zouden geven voor het uiteindelijke antwoord, zou hij die slordige krabbels niet meer nodig hebben.
Team "Feature" (De Functionele hypothese): Zij denken dat de robot deze heldere draden nodig heeft. Misschien fungeren ze als een "startknop" of een "zwaartekrachtanker" dat voorkomt dat het hele denkproces uit elkaar valt. Als je ze verwijdert, gaat de robot kapot.

Het Experiment: De "Ledger"-test
De auteur van dit artikel, Maruthi Vemula, besloot de discussie tussen Team "Glitch" te beslechten door een nieuw soort robotbrein te bouwen om Team "Glitch" te testen.

Hij creëerde een nieuw ontwerp genaamd Ledger Residuals. In plaats van één rommelig whiteboard, gaf hij de robot twee duidelijke gebieden:

De "Scratchpad" (Deliberatie): Een rommelige, uitwisbare ruimte waar de robot al zijn denkwerk kan doen, fouten kan maken en dingen kan wegvegen terwijl hij bezig is.
De "Ledger" (Commitment): Een beschermd, vergrendeld notitieboek. De robot kan erin schrijven, maar hij kan nooit iets wissen of overschrijven wat er al staat. Dit is de enige plek waar de robot naar mag kijken wanneer hij zijn uiteindelijke antwoord moet geven.

De Logica:
Als Team "Glitch" gelijk heeft, zou de robot tevreden zijn. Hij heeft een schone, beschermde plek om zijn antwoord te schrijven. Hij zou die enorme, slordige "outlier"-draden niet meer nodig hebben, omdat hij niet meer hoeft te jongleren met denken en antwoorden op hetzelfde bord.

Het Resultaat: De Robot Bouwt de Bende Weer Op
Het experiment was een duidelijk falen voor Team "Glitch".

Zelfs met de speciale "Ledger"-notitieboek had de robot toch die enorme, heldere draden gecreëerd.

Het maakte niet uit dat de robot een schone plek had om zijn antwoord te schrijven.
Het maakte niet uit dat de "Scratchpad" vrij was om rommelig te zijn.
De robot bouwde onmiddellijk exact dezelfde "superheldere draad" opnieuw op binnen de beschermde Ledger.

Sterker nog, de onderzoekers probeerden de robot dwingender te maken door het moeilijker te maken om in de Ledger te schrijven (een "sparsity penalty"). In plaats van het gedrag te stoppen, werd de robot juist méér geobsedeerd door die ene specifiek draad, waardoor deze nog helderder en gefocuster werd op het eerste woord van de zin.

De Analogie
Denk aan een chef-kok in een keuken.

De Oude Manier: De chef moet groenten snijden, de saus mengen en het gerecht opmaken, allemaal op dezelfde enkele snijplank. Om het uiteindelijke gerecht veilig te houden, stapelt hij een enorme, gloeiende berg ingrediënten in de hoek (de "massieve activatie") zodat hij het niet kwijtraakt.
De Test: De onderzoekers gaven de chef een aparte, glazen vitrine voor het uiteindelijke gerecht. Ze zeiden: "Nu kun je snijden en mengen op je rommelige plank, en alleen het uiteindelijke gerecht in de schone vitrine plaatsen. Je hebt die enorme berg ingrediënten niet meer nodig."
De Uitkomst: De chef begon onmiddellijk een enorme berg ingrediënten te bouwen binnenin de glazen vitrine. Hij negeerde de rommelige plank en concentreerde zich volledig op de schone vitrine.

De Conclusie
Het artikel concludeert dat deze "massieve activaties" geen glitch zijn veroorzaakt door een slordig ontwerp. Ze zijn architecturaal robuust. Dit betekent dat de robot ze nodig heeft om correct te functioneren. Hoe je het ontwerp ook verandert of het een schone plek geeft om te werken, de robot zal altijd een manier vinden om die specifieke "startknop"-draad opnieuw op te bouwen.

Het artikel suggereert dat deze draden waarschijnlijk een functionele noodzaak zijn—misschien fungeren ze als een "zwaartekrachtanker" of een "startsignaal" waar het brein op vertrouwt om te voorkomen dat zijn gedachten de controle verliezen. De onderzoekers hebben hun code vrijgegeven zodat anderen dit patroon op zelfs grotere robots kunnen proberen te breken, maar tot nu toe houdt het patroon stand.

Technische Samenvatting: Massale Activaties zijn Architecturaal Robuust

Probleemstelling
Getrainde transformer-modellen vertonen consistent "massale activaties": een kleine set verborgen dimensies met magnituden die duizenden malen groter zijn dan het mediaan. Deze uitschieters zijn structureel specifiek; ze verschijnen op vaste dimensies over verschillende inputs en concentreren zich zwaar op het begin-token (of scheidingsteken) van de sequentie. Ze ontstaan vroeg in het netwerk, blijven aanwezig in de daaropvolgende lagen en fungeren als dragende componenten; het op nul zetten ervan veroorzaakt het instorten van het model.

Het ontstaan van deze activaties is een onderwerp van actief debat. Eén kamp beschouwt ze als een artefact van de overbelaste rol van de residual stream, waarbij één enkele stream zowel moet dienen als een veranderbare kladblok voor tussenliggende berekeningen als een stabiele accumulator voor het uiteindelijke antwoord. Voorstanders van dit standpunt argumenteren dat expliciete architecturale interventies (bijv. QK-normalisatie, key/value-biases) de magnitude van deze uitschieters kunnen onderdrukken met minimale impact op de taalmodelleringsprestaties. Het tegenovergestelde kamp beschouwt ze als functionele noodzakelijkheden, die mogelijk dienen als attention sinks om overmatige vermenging te voorkomen, als adaptieve gradiëntregulatoren, of als bias-termen die nodig zijn voor specifieke berekeningen.

De centrale vraag die wordt behandeld is of massale activaties een verwijderbaar bijproduct van de architectuur zijn, of een functionele vereiste die het model ongeacht het gebruikte mechanisme om de lees- en schrijfrollen te scheiden, toch zal reconstrueren.

Methodologie: Ledger Residuals
Om de artefact-hypothese direct te testen, introduceren de auteurs Ledger Residuals, een architecturale interventie die de standaard enkele residual stream splitst in twee afzonderlijke kanalen:

Deliberation Stream ( $D$ ): Een veranderbaar "kladblok" waar sublagen vrij kunnen schrijven en, cruciaal, inhoud kunnen wissen. Dit stelt tussenliggende berekeningen in staat om verouderde data te overschrijven zonder deze te begraven.
Commitment Stream ( $C$ ): Een beschermde, alleen-toevoegbare "ledger" (grootboek). Sublagen kunnen inhoud aan deze stream toevoegen via een geleerde gate, maar kunnen deze niet overschrijven. Cruciaal is dat de unembedding-laag (het output-hoofd van het model) uitsluitend uit deze stream decodeert.

Het ontwerp zorgt ervoor dat als massale activaties slechts een provisorische oplossing zijn voor het conflict tussen de rollen van kladblok en antwoord, het bieden van een toegewezen, beschermd kanaal voor het antwoord de noodzaak ervan zou moeten wegnemen. De architectuur is geparametriseerd om exact te reduceren tot een standaard pre-norm transformer onder specifieke gate-instellingen, wat garandeert dat eventuele geobserveerde verschillen voortkomen uit de factorisatie zelf en niet uit een verhoogde capaciteit.

De auteurs trainden decoder-only transformers op 160M en 290M parameterschaal op de FineWeb-Edu corpus. Ze vergeleken vier configuraties bij een gelijke validatieverlies:

Vanilla: Standaard pre-norm transformer.
Suppress: Vanilla met QK-normalisatie (bekend om het verminderen van de magnitude van uitschieters).
Ledger: De voorgestelde split-stream architectuur met een lichte sparsity-penalty op commitments.
Ledger-HS: Dezelfde architectuur met een zesmaal sterkere sparsity-penalty om het commitment-kanaal te dwingen spaars te zijn.

Belangrijkste Resultaten
De interventie slaagde er niet in om massale activaties te elimineren, wat leidde tot een duidelijk negatief resultaat voor de artefact-hypothese:

Reconstructie in het Beschermde Kanaal: In de Ledger-modellen heeft de beschermde Commitment stream ( $C$ ) de canonieke, vaste-dimensie, start-token uitschieter gereconstrueerd. Hoewel de magnitude van de uitschieter in $C$ lager was dan in het standaard "Vanilla" model, bleef de structurele handtekening behouden: de feature was geconcentreerd op dezelfde vaste dimensie en was sterk gekoppeld aan het start-token (BOS).
Sparsity Intensifieert de Feature: In tegenstelling tot de intuïtie dat het afdwingen van sparsity in het commitment-kanaal de vorming van persistente uitschieters zou voorkomen, maakte de Ledger-HS configuratie (hoge sparsity-penalty) de feature juist sterker. De persistentie van de dominante dimensie nam toe van 0,58 naar 0,96, en de concentratie op het start-token steeg van 3,36 naar 4,69. Het model heeft de feature niet verlaten; het heeft zijn schaarse "commitments" er juist in geconcentreerd.
Magnitude vs. Structuur: De studie maakt onderscheid tussen de magnitude van een uitschieter en de structuur ervan. Hoewel QK-normalisatie (de "Suppress" baseline) erin slaagde de magnitude en de start-token concentratie te verminderen, toonde de Ledger-architectuur aan dat zelfs wanneer het model een schoon kanaal krijgt, de structuur (vaste dimensie + start-token lock) opnieuw verschijnt.
Geen Prestatieverlies: De verplaatsing van de uitschieter-magnitude naar de commitment stream had geen meetbare impact op de validatie-perplexiteit of de robuustheid van het model tegen gewicht-kwantisatie (8-bit en 4-bit).

Betekenis en Claims
Het artikel claimt dat massale activaties architecturaal robuust zijn. Het feit dat het model de specifieke vaste-dimensie, start-token uitschieter reconstrueert in een toegewezen, beschermd kanaal — ondanks dat het een aparte ruimte heeft voor berekeningen — suggereert dat deze activaties niet louter een artefact zijn van de dubbele rol van de residual stream. In plaats daarvan lijken ze een functionele noodzaak te zijn waar het model actief op vertrouwt, ongeacht waar het wordt gedwongen zijn uiteindelijke representatie op te slaan.

De auteurs positioneren dit als bewijs dat de "functionele" zijde van het debat ondersteunt. Ze stellen dat hoewel de magnitude van uitschieters kan worden onderdrukt (zoals aangetoond door eerder werk met biases of normalisatie), de onderliggende structuur standhoudt wanneer het model de architecturale vrijheid krijgt om het artefact te vermijden. De studie bepaalt niet de specifieke functie die deze activaties dienen (bijv. attention sink, gradiëntregulator of bias-term), maar demonstreert dat het model deze specifieke structurele feature zal reconstrueren telkens wanneer het decodeert van een representatie.

De auteurs stellen de Ledger Residuals architectuur en de meetcode beschikbaar om reproductie en opschaling van deze test te faciliteren. Ze erkennen beperkingen, waaronder de relatief kleine modelgroottes (290M) en het gebruik van een enkele seed, en merken op dat verder testen op grotere schaal en diverse taken vereist is om deze bevindingen volledig te generaliseren.

Technische Samenvatting: Massale Activaties zijn Architecturaal Robuust

Meer zoals dit