🤖 machine learning

Darkness Visible: Reading the Exception Handler of a Language Model

Dit paper onthult dat de laatste MLP-laag van GPT-2 Small een volledig leesbaar uitzonderingshandler-programma bevat met 27 gespecialiseerde neuronen die fungeren als routeringsinfrastructuur in plaats van feitelijke opslag, waarbij de interventie statistisch scherp overgaat van nuttig naar schadelijk bij een bepaalde drempel van consensusneuronen.

Oorspronkelijke auteurs: Peter Balogh

Gepubliceerd 2026-04-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peter Balogh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals GPT-2) een enorme, donkere fabriek is. Vaak zeggen mensen: "We weten niet hoe het werkt, het is een 'zwarte doos'." Maar dit onderzoek zegt: "Nee, het is niet helemaal donker. Als je goed kijkt, zie je een heel specifiek, leesbaar stelsel van lichten en schakelaars."

De onderzoekers hebben de laatste schakel van deze fabriek (laag 11) opengebroken en ontdekten dat deze niet zomaar "weet" wat er moet gebeuren, maar eerder fungeert als een slimme verkeersregelaar.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Verkeersregelaar" vs. De "Magazijn"

In de fabriek zijn er twee soorten werknemers:

De Magazijnmedewerkers (De 3.040 onzichtbare neuronen): Dit zijn de meeste werknemers. Ze dragen de feiten, de kennis en de details. Ze zijn als een gigantisch, rommelig magazijn vol dozen. Je kunt niet één persoon vragen "Waar staat de doos met 'Frankrijk'?" en hij antwoordt direct. De kennis is verspreid over duizenden mensen.
De Verkeersregelaars (De 27 zichtbare neuronen): Dit zijn de helden van dit onderzoek. Ze zijn als een klein team van 27 slimme managers die precies weten welke route de informatie moet nemen. Ze slaan geen feiten op, maar ze beslissen hoe de feiten gebruikt worden.

2. Het "Noodplan" (De Exception Handler)

De onderzoekers ontdekten dat deze 27 managers een heel duidelijk noodplan hebben, alsof ze een brandblusapparaat en een brandalarm hebben.

De Alarmbel (1 neuron): Er is één specifieke manager (noem hem "N2123") die als alarmbel fungeert. Als hij ziet dat de tekst raar loopt (bijvoorbeeld als een woord half af is of als de zin niet klopt), gaat hij af. Hij schreeuwt: "Stop! Er is iets mis! We moeten het plan aanpassen!"
De Brandweer (5 "Core" neuronen): Als de alarmbel gaat, springen deze 5 mensen in actie. Ze zeggen: "Vergeten we even de moeilijke woorden. Laten we gewoon zeggen: 'de', 'in', 'en', 'een'." Ze resetten de tekst naar simpele basiswoorden om de chaos te kalmeren.
De Censuur (10 "Differentiator" neuronen): Deze groep is de politie. Ze zeggen: "Nee, dat woord is fout! Dat woord past niet hier." Ze blokkeren verkeerde opties in plaats van goede te promoten.
De Grenswachters (5 "Specialist" neuronen): Deze kijken uit naar grote structuren, zoals waar een alinea eindigt of waar een nieuwe zin begint.

3. Het "Groene Licht" (Consensus)

Er zijn nog 7 andere managers die de "normale" situatie bewaken. Ze kijken naar verschillende dingen: is de zin grammaticaal correct? Is het een concreet woord (zoals 'auto') of een abstract woord (zoals 'liefde')?

Het dilemma: Als al deze 7 managers zeggen: "Ja, alles is perfect, we weten precies wat er gaat gebeuren", dan is het gevaarlijk om in te grijpen.
De ontdekking: De onderzoekers zagen dat als deze 7 managers het eens zijn (bijvoorbeeld 5 van de 7), de "Verkeersregelaar" (de MLP) eigenlijk schadelijk wordt. Hij probeert de tekst te verbeteren, maar maakt hem juist slechter.
De analogie: Stel je voor dat je een auto bestuurt op een leeg, perfect wegdek. Als je plotseling hard op het stuur slaat omdat je denkt dat je moet corrigeren, val je om. De machine doet hetzelfde: als alles al perfect is, moet hij niets doen. Maar de machine heeft geen knop om "niets te doen". Hij moet altijd iets doen, zelfs als dat fout is.

4. Waar zit de kennis? (Geen opslagkast, maar een bord)

Eerder dachten wetenschappers dat bepaalde neuronen als een opslagkast werkten waar feiten in stonden (bijv. "Wie is de president van Frankrijk?").
Dit onderzoek zegt: Nee!
Die neuronen zijn meer als verkeersborden.

Een bord zegt niet: "Ik ben Parijs."
Het bord zegt: "Let op, hier moet je naar links!"
Als je het bord verwijdert of verandert, verandert de route die de auto neemt, maar de bestemming (Parijs) was al in de auto (in de rest van het systeem) aanwezig.
Conclusie: Als je de "kennis-neuronen" aanpast, verander je niet de feiten zelf, maar verander je alleen hoe de machine besluit welke feiten hij gebruikt.

5. Waarom alleen aan het einde?

Deze slimme "Verkeersregelaar" bestaat alleen in de laatste laag van de machine.

Vergelijking: In de eerste lagen van de machine is het nog een chaos van losse onderdelen. Pas op het allerlaatste moment, vlak voordat het antwoord naar buiten komt, kristalliseert deze duidelijke structuur.
De machine bouwt eerst een ruw idee op, en pas op het allerlaatste seconde heeft ze een duidelijke "noodknop" nodig om te beslissen: "Zal ik ingrijpen of laten we het zo?"

Samenvatting in één zin

Deze machine is niet een donkere doos die alles weet; het is een systeem waar de laatste schakel een heel leesbaar, maar soms overijlde, noodplan heeft om te beslissen of hij moet ingrijpen in de tekst, terwijl de feitelijke kennis ergens anders, verspreid over duizenden andere delen, verborgen blijft.

De les: Soms is de "zwarte doos" niet helemaal zwart; hij heeft een helder stelsel van verkeersborden, maar de weg zelf (de kennis) is nog steeds een doolhof.

Titel: Darkness Visible: Reading the Exception Handler of a Language Model

Auteur: Peter Balogh
Model: GPT-2 Small (Laag 11, de laatste MLP-laag)

1. Het Probleem

Transformer-talenmodellen worden vaak beschouwd als "black boxes", waarbij de MLP-lagen (Multi-Layer Perceptrons) als ondoorzichtige, niet-lineaire transformaties worden behandeld. Hoewel eerdere studies hebben aangetoond dat individuele neuronen interpreteerbaar zijn of dat MLP's als key-value geheugen fungeren, ontbreekt er een volledig leesbaar account van de routing-logica van een MLP-laag. De vraag is: kunnen we de interne werking van een MLP-laag vertalen naar leesbare pseudocode met benoemde variabelen, en waar wordt feitelijke kennis in het model opgeslagen?

2. Methodologie

De auteur hanteert een "transparent forward pass" benadering op GPT-2 Small (124M parameters), specifiek gericht op Laag 11 (de laatste MLP-laag).

Decompositie: De 3.072 neuronen van de MLP-laag worden wiskundig ontbonden in tiers (niveaus) door het maskeren van de tussenliggende activaties ( $h$ $h$ ). De output wordt gesplitst in:
- Core: Een gefuseerde groep neuronen.
- Differentiators: Neuronen die verkeerde kandidaten onderdrukken.
- Specialists: Neuronen die structurele grenzen detecteren.
- Residual: De overige ~3.040 neuronen die als een "verwarde" (entangled) database fungeren.
Data: 512.000 tokens afkomstig van WikiText-103.
Statistiek: Gebruik van Fisher's exact tests, bootstrap-methoden (10.000 resamples) voor betrouwbaarheidsintervallen, en analyse van "fire rates" (actiefrequentie) onder specifieke drempels.
Focus op N2123: Een specifieke neuron (N2123) fungeert als een "exception indicator" die een bimodale activatieverdeling vertoont. De analyse concentreert zich op de "high-magnitude" regime (11,3% van de tokens).

3. Belangrijkste Bijdragen en Resultaten

A. Een Leestbaar Routing-Programma (De Exception Handler)

De auteurs ontdekken dat de laatste MLP-laag een volledig functioneel routing-programma bevat, samengesteld uit 27 benoemde neuronen die werken als een "exception handler" (uitzonderingsverwerker). Dit is geen causale schakeling, maar een diagnostische leesbaarheid van de functionele organisatie.

Het programma werkt als volgt:

Consensus-neuronen (7 stuks): Deze monitoren elk een distinct taalkundig aspect (zoals structuur of referentiële concretiteit). Ze fungeren als een "stemmingssysteem".
Exception Indicator (N2123): Deze neuron detecteert tokens waarbij het model "nog niet weet wat er gebeurt" (bijv. subwoord-fragmenten).
De Routing-Logica:
- Als Exception actief is (N2123 vuurt): Het systeem activeert drie lagen:
  - Core (5 neuronen): Reset het vocabulaire naar functionele woorden (bijv. "the", "in", "and"). Dit vormt 54% van de output-norm maar heeft een minimaal effect op de perplexiteit (PPL), fungeert als een DC-offset.
  - Differentiators (10 neuronen): Onderdrukken van verkeerde kandidaten en reparatie van subwoorden. Dit is de belangrijkste component voor discriminatie (+1,3% PPL bij ablatie).
  - Specialists (5 neuronen): Detecteren van alinea- of clausule-grenzen.
- Als Consensus hoog is (≥5/7): De MLP-interventie wordt schadelijk (negatieve impact op PPL). De architectuur heeft echter geen "bypass"; de MLP moet altijd doorlopen, zelfs als de attention-laag het antwoord al correct voorspelt.

B. De Crossover-punt

Er is een statistisch scherpe grens (crossover) tussen 4/7 en 5/7 consensus-neuronen:

Bij 4/7 consensus: De MLP helpt de voorspelling (positieve $\Delta P$ ).
Bij 5/7 consensus: De MLP schaadt de voorspelling (negatieve $\Delta P$ ).
Dit suggereert dat de routing-logica functioneel noodzakelijk is om te bepalen wanneer ingrijpen nuttig is, maar de architectuur mist de capaciteit om zich terug te trekken (abstention) wanneer het niet nodig is.

C. Waar Kennis Woonachtig is (Routing vs. Opslag)

De studie weerlegt de hypothese dat "knowledge neurons" (zoals geïdentificeerd door Dai et al., 2022) feitelijke kennis opslaan.

Routing-infrastructuur: De neuronen die door Dai et al. werden gelabeld als kennis-neuronen, blijken routing-neuronen te zijn. Ze fungeren als "wegwijzers" (highway signs) in plaats van "pakhuizen".
Kennis in de Residual Stream: Feitelijke kennis is niet lokaal opgeslagen in de MLP-neuronen, maar is reeds aanwezig in de residual stream (afkomstig van de attention-lagen). De MLP versterkt of onderdrukt deze signalen op basis van contextuele beperkingen.
Experiment: Het "knockout" van deze neuronen verhoogde de waarschijnlijkheid van het doelwoord (omdat ze vaak naar functionele woorden duwen), wat aantoont dat ze geen feiten opslaan maar de stroom van informatie reguleren.

D. Terminal Crystallization

Deze leesbare routing-architectuur is uniek voor de laatste laag (Laag 11).

In eerdere lagen (L0-L10) ontbreekt deze specifieke structuur; de neuronen zijn minder gecoördineerd en tonen geen dergelijke duidelijke exception-handler patronen.
Voorspelling: In dieper modellen (zoals GPT-2 Medium of Large) zal deze structuur waarschijnlijk verschijnen in de laatste MLP-laag van dat model, niet in een middenlaag.

E. Garden-Path Experiment

Een experiment met "garden-path" zinnen (zinnen die een verkeerde syntactische interpretatie suggereren) toonde een omgekeerd effect. GPT-2 gebruikt verb-subcategorisatie direct, wat betekent dat de exception handler werkt op token-level voorspelbaarheid en niet op syntactische herparse. De neuron N2123 reageert niet op syntactische ambiguïteit, maar op vocabulaire onzekerheid.

4. Significatie en Implicaties

Transparantie: Het paper bewijst dat een deel van een taalmodel (de laatste MLP) volledig leesbaar is als pseudocode, terwijl de kennis die het routeert nog steeds verspreid en ondoorzichtig blijft in de residual stream.
Model Editing: De bevinding dat "knowledge neurons" routing-infrastructuur zijn, verandert het perspectief op model-editing (zoals ROME). Het wijzigen van gewichten verandert routing-beslissingen, niet de opgeslagen feiten zelf.
Efficiëntie: Omdat de MLP vaak schadelijk is bij hoge consensus (wanneer de attention-laag al het juiste antwoord heeft), suggereert dit een kans voor selectieve bypass (speculatieve decoding alternatieven) om rekenkracht te besparen en prestaties te verbeteren.
Architecturale Inzicht: De ontdekking van "Terminal Crystallization" biedt een nieuwe kijk op hoe taalmodellen zich ontwikkelen: de routing-logica kristalliseert pas op het allerlaatste moment voordat een token wordt gegenereerd.

Conclusie

De laatste MLP-laag van GPT-2 Small bevat een leesbaar routing-programma van 27 neuronen dat fungeert als een exception handler. Het beslist wanneer het moet ingrijpen om de voorspelling te corrigeren en wanneer het zich zou moeten terugtrekken. Feitelijke kennis wordt echter niet in deze neuronen opgeslagen, maar is verspreid over duizenden andere neuronen in de residual stream. Dit onderscheid tussen een leesbaar "besturingssysteem" en een versleutelde "database" biedt een nieuw kader voor het interpreteren en verbeteren van taalmodellen.