💬 NLP

Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution

Dit paper introduceert NeuronLens, een nieuw raamwerk dat de interpretatie en manipulatie van grote taalmodellen verbetert door polysemantische neuronen te analyseren op basis van hun activatieranges in plaats van discrete toewijzingen, wat leidt tot gerichte ingrepen met minder schade aan andere concepten.

Oorspronkelijke auteurs: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, Peizhong Ju, A. B. Siddique

Gepubliceerd 2026-04-13

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, Peizhong Ju, A. B. Siddique

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Neuronen spreken in "bereiken", niet in één woord: Een nieuwe manier om AI te begrijpen

Stel je voor dat een groot taalmodel (zoals de AI die dit antwoord schrijft) een enorm orkest is. In dit orkest zitten duizenden muzikanten (de neuronen). De oude manier om te kijken hoe dit orkest werkt, was alsof je dacht: "Die ene trompettist speelt alleen maar jazz. Als we die stomdood maken, verdwijnt de jazz uit het nummer."

Maar de onderzoekers van deze paper hebben ontdekt dat dit niet klopt. De trompettist is polysemantisch. Dat is een groot woord voor: hij speelt jazz, maar ook blues, rock en soms zelfs een beetje klassiek. Als je die trompettist volledig uitschakelt, verdwijnt niet alleen de jazz, maar ook de blues en de rock. Het hele orkest klinkt dan rot.

Het nieuwe inzicht: Het gaat om de "volume-knop"

De onderzoekers (Muhammad Umair Haider en zijn team) hebben iets moois ontdekt. Ze keken niet naar wie er speelt, maar naar hoe hard er wordt gespeeld.

Stel je voor dat onze trompettist een volume-knop heeft:

Als hij zacht speelt (volume 1-3), denkt hij aan jazz.
Als hij hard speelt (volume 8-10), denkt hij aan blues.
Als hij extreem hard blaast (volume 11-12), denkt hij aan rock.

De oude methode was: "Doe de trompettist uit." (Dit is als neuron masking).
De nieuwe methode, NeuronLens, is: "Draai alleen de volume-knop zachtjes naar beneden als hij jazz speelt, maar laat de blues en rock gewoon doorgaan."

Hoe werkt NeuronLens?

De Golfpatronen: De onderzoekers zagen dat wanneer het orkest over "jazz" praat, de volume-knop van de trompettist een mooi, rond patroon maakt (een zogenaamde "Gaussische verdeling"). Bij "blues" maakt hij een ander rond patroon. Deze patronen overlappen nauwelijks.
De Interventie: In plaats van de hele trompettist stil te leggen, kijken ze precies naar het bereik van de volume-knop dat hoort bij "jazz". Ze onderdrukken alleen dat specifieke bereik.
Het Resultaat: De jazz verdwijnt (of wordt heel stil), maar de blues en rock klinken nog steeds perfect. Het orkest klinkt niet meer als een rommelige soep.

Waarom is dit belangrijk?

Preciezer: Je kunt een AI leren om "haat" niet meer te zeggen, zonder dat hij ook "liefde" of "wiskunde" vergeet.
Minder schade: Als je een hele neuron (een muzikant) uitschakelt, gaat de AI vaak "dwaas" doen of fouten maken in andere taken. Met NeuronLens blijft de AI slim en correct, zelfs als je een specifiek concept verwijdert.
Bewijs: Ze hebben het getest op verschillende modellen (zoals Llama en GPT-2). Ze zagen dat hun methode veel minder schade aanrichtte aan de algemene intelligentie van de AI dan de oude methoden.

Kortom:
Vroeger dachten we dat neuronen één ding deden. Nu weten we dat ze veelzijdig zijn, maar dat ze verschillende "ideeën" op verschillende manieren (volume-niveaus) uitspelen. NeuronLens is een slimme bril die ons toelaat om precies dat ene volume-niveau te regelen, zonder de rest van het orkest te verstoren.

Het is alsof je in een drukke kamer niet de hele persoon hoeft te verwijderen om een gesprek te stoppen, maar alleen de toonhoogte van hun stem kunt veranderen zodat ze alleen nog maar fluisteren over dat ene onderwerp.

Titel: Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution

Publicatie: Transactions on Machine Learning Research (04/2026)
Auteurs: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, Peizhong Ju, A.B. Siddique

1. Het Probleem: Polysemantisme en Discrete Attributie

Grote Taalmodellen (LLMs) vertonen een wijdverbreid fenomeen genaamd polysemantisme: individuele neuronen coderen meerdere, ogenschijnlijk ongerelateerde semantische concepten tegelijkertijd. Bestaande methoden voor modelinterpretatie en -controle maken vaak gebruik van een discrete neuron-tot-concept attributie. Dit betekent dat ze aannemen dat een heel neuron verantwoordelijk is voor één specifiek concept.

Deze aanpak heeft twee grote nadelen:

Onbedoelde bijwerkingen: Als men een neuron "uitschakelt" (masking) om een specifiek concept te verwijderen, worden ook alle andere concepten die door datzelfde neuron worden gecodeerd, beschadigd.
Suboptimale interpretatie: Het is onnauwkeurig om te zeggen dat een neuron "het concept X is", terwijl het in werkelijkheid een mengsel van concepten vertegenwoordigt.

De auteurs stellen dat de huidige discrete benadering leidt tot onnauwkeurige interpretaties en inefficiënte manipulatie van modellen.

2. Methodologie: NeuronLens en Activeringsbereiken

De kern van dit onderzoek is de observatie dat, hoewel neuronen polysemantisch zijn, de activeringsmagnitudes voor specifieke concepten binnen een neuron wel degelijk gestructureerd zijn.

Kernobservatie: Gaussische Verdelingen

Door systematische analyse van zowel encoder- als decoder-based LLMs (zoals Llama-3.2, GPT-2, BERT) ontdekten de auteurs dat:

Activeringen van een neuron, geconditioneerd op een specifiek concept, een Gaussische (normale) verdeling vormen.
Deze verdelingen voor verschillende concepten binnen hetzelfde neuron hebben distincte middelpunten en minimale overlap.
Dit suggereert dat elk concept een specifiek "activeringsbereik" inneemt binnen het spectrum van een neuron, in plaats van dat het hele neuron aan één concept is gekoppeld.

De Oplossing: NeuronLens

Op basis van deze observatie introduceren de auteurs NeuronLens, een framework voor interpretatie en manipulatie dat werkt op activeringsbereiken in plaats van op hele neuronen.

Berekenen van het bereik: Voor een gegeven concept $c$ en neuron $j$ berekent NeuronLens de gemiddelde activering ( $\mu$ ) en de standaardafwijking ( $\sigma$ ) over de trainingsdata. Het attributiebereik wordt gedefinieerd als:
$AR(l, j, c) = [\mu - \tau \times \sigma, \mu + \tau \times \sigma]$
Waarbij $\tau$ een hyperparameter is (standaard 2.5) die de breedte van het bereik bepaalt.
Causale Interventie: In plaats van een heel neuron op nul te zetten, past NeuronLens een operator $\phi$ $ϕ$ alleen toe op activeringen die binnen dit specifieke bereik vallen.
- Als $h_j(x) \in AR$ , dan wordt de activering gemoduleerd (bijv. op nul gezet voor concept-erasure).
- Als $h_j(x) \notin AR$ , blijft de activering ongewijzigd.
Adaptieve Damping: De auteurs introduceren ook een geavanceerde "adaptive dampening" techniek waarbij de onderdrukking evenredig is met de afstand tot het gemiddelde, wat nog zachtere en preciezere interventies mogelijk maakt.

3. Belangrijkste Bijdragen

Empirisch Bewijs voor Verdelingen: Het paper toont aan dat concept-geconditioneerde neurale activeringen in LLMs Gaussische verdelingen vormen met beperkte overlap, zelfs in polysemantische neuronen.
NeuronLens Framework: Een nieuw, range-based framework dat concepten toewijst aan specifieke activeringsbereiken binnen neuronen, wat een fijnmazigere interpretatie mogelijk maakt dan discrete neuron-toewijzing.
Causale Validatie: Uitgebreide experimenten tonen aan dat range-based interventies (masking) doelconcepten effectief kunnen verwijderen of manipuleren terwijl ze significantly minder schade toebrengen aan bijbehorende concepten en de algemene modelcapaciteiten dan traditionele neuron-masking.

4. Resultaten en Evaluatie

De auteurs hebben hun methode getest op diverse datasets (IMDB, SST2, AG-News, Emotions, DBPedia-14) en modellen (BERT, GPT-2, Llama-3.2-3B).

Doelwitte Manipulatie: Range-based masking (ARM) leidt tot een vergelijkbare degradatie van het doelconcept als volledige neuron-masking (soms zelfs iets beter), wat aantoont dat het bereik het concept effectief isoleert.
Vermindering van Bijwerkingen: Het meest opvallende resultaat is de drastische reductie in onbedoelde schade aan auxiliary concepts (andere concepten in het dataset).
- ARM reduceerde de degradatie van bijbehorende concepten met tot 25 procentpunten in vergelijking met neuron-masking (bijv. op Llama-3.2).
Behoud van Algemene Capaciteiten:
- Perplexity (PPL): Neuron-masking veroorzaakte grote stijgingen in perplexity (bijv. +7.4 tot +8.8), wat aangeeft dat de taalmodelleringskwaliteit ernstig werd aangetast. Range-based masking hield de stijging beperkt tot 0.4 tot 0.8.
- MMLU Benchmark: Neuron-masking verlaagde de redeneer- en kennisprestaties (MMLU) consistent. Range-based masking behield of verbeterde deze prestaties in de meeste gevallen.
Adaptieve Damping: De nieuw geïntroduceerde adaptieve damping-techniek presteerde het best, met de laagste perplexiteitsstijgingen en minimale schade aan bijbehorende concepten.

5. Betekenis en Conclusie

Dit werk vormt een paradigmaverschuiving in de interpretatie van neurale netwerken. Het weerlegt het idee dat neuronen discrete eenheden voor één concept zijn, en stelt in de plaats dat concepten worden gecodeerd in specifieke regio's van een neuron's activeringsdomein.

De implicaties zijn groot voor:

Modelveiligheid: Precieze verwijdering van schadelijke concepten (zoals bias of toxiciteit) zonder de bruikbaarheid van het model te vernietigen.
Interpretatie: Een meer accurate manier om te begrijpen hoe LLMs semantische informatie verwerken.
Controle: Het mogelijk maken van gerichte "steering" of manipulatie van modelgedrag met minimale collaterale schade.

Kortom, NeuronLens bewijst dat we neuronen niet als "aan/uit" schakelaars moeten behandelen, maar als dynamische kanalen waar concepten worden gemanipuleerd via hun activeringsintensiteit.