GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models

Dit paper introduceert GLUScope, een open-source tool die onderzoekers helpt neuronen in Transformer-taalmodellen met SwiGLU-activatiefuncties te analyseren door voorbeelden te tonen voor alle vier mogelijke tekencombinaties van de gate- en input-activaties.

De kern

GLUScope: Een Verrekijker voor de Geheime Gedachten van AI

Stel je voor dat een moderne taalmodel (zoals de slimme AI's die we vandaag gebruiken) een enorm, complex orgel is. Elke toets op dat orgel is een "neuron" (een neurale cel) die een specifiek geluid maakt of een bepaald woord helpt te kiezen.

Vroeger, toen AI-modellen nog "simpel" waren, werkten deze neurons als een simpele lichtschakelaar: of het licht ging aan (positief signaal) of het bleef uit (negatief signaal). Onderzoekers hadden al gereedschappen om te kijken welke zinnen de lichtschakelaar het hardst aanzetten.

Maar de nieuwe, slimme AI-modellen gebruiken een veel complexer systeem, genaamd GLU (Gated Linear Units). In plaats van een simpele schakelaar, hebben deze neurons nu twee deuren die tegelijkertijd open of dicht kunnen gaan.

Hier is hoe GLUScope werkt, uitgelegd met een paar simpele metaforen:

1. Het Probleem: De Vier Deuren

Bij de oude AI's was het makkelijk: als een neuron "aan" stond, zagen we direct wat het deed.
Bij de nieuwe AI's (zoals Llama of OLMo) heeft elke neuron twee ingangen:

1. De Poort (Gate): Beslist of de deur open mag.
2. De Invoer (Input): De daadwerkelijke informatie die binnenkomt.

Elke deur kan open (positief) of dicht (negatief) zijn. Dat geeft vier mogelijke combinaties:

• 🟢🟢 Beide open (Goed, goed)
• 🟢🔴 Poort open, Invoer dicht (Goed, slecht)
• 🔴🟢 Poort dicht, Invoer open (Slecht, goed)
• 🔴🔴 Beide dicht (Slecht, slecht)

De verwarring: De oude gereedschappen keken alleen naar het eindresultaat. Ze zagen bijvoorbeeld dat een neuron soms een negatief geluid gaf, maar ze wisten niet waarom. Was het omdat de poort open was maar de invoer negatief was? Of omdat beide dicht waren? Het was alsof je een auto ziet stilstaan, maar je weet niet of de motor kapot is of dat de remmen zijn getrokken.

2. De Oplossing: GLUScope

GLUScope is een nieuwe, open-source tool (een soort digitale verrekijker) die deze vier combinaties apart bekijkt.

Stel je voor dat je een detective bent die een verdachte (een neuron) observeert. In plaats van alleen te kijken of de verdachte "schuldig" of "onschuldig" is, kijkt GLUScope naar vier specifieke situaties:

1. Wanneer was hij blij en deed hij iets goeds?
2. Wanneer was hij blij maar deed hij iets raars?
3. Wanneer was hij boos maar deed hij iets goeds?
4. Wanneer was hij boos en deed hij iets raars?

Voor elke van deze vier situaties toont GLUScope voorbeelden uit echte teksten. Je kunt dus zien: "Ah, deze neuron wordt heel sterk geactiveerd als het woord 'weer' (again) komt, maar alleen als de poort gesloten is en de invoer negatief is!"

3. Een Waanzinnig Ontdekking

De auteurs van het paper gebruiken GLUScope om een geheim te onthullen bij een neuron in een model genaamd OLMo.

• De theorie: Op basis van de interne "bouwkundige tekeningen" (de gewichten) leek het erop dat deze neuron vooral het woord "weer" (again) moest helpen.
• De realiteit: Toen ze GLUScope gebruikten, zagen ze iets verrassends. De neuron gaf het sterkste signaal voor "weer" niet wanneer alles "goed" was, maar juist in een van de "rare" combinaties (waar de poort gesloten was).
• De les: Zonder GLUScope hadden onderzoekers dit gemist. Ze hadden gedacht dat de neuron niet belangrijk was voor het woord "weer", omdat ze alleen naar de "normale" situaties keken. GLUScope liet zien dat de neuron een heel specifieke, subtiele rol speelde die alleen zichtbaar was in die ene, complexe situatie.

Waarom is dit belangrijk?

Vroeger was het alsof we probeerden een heel complex uurwerk te begrijpen door alleen naar de wijzers te kijken. Nu, met GLUScope, kunnen we de kleine tandwieltjes en veren vanbinnen bekijken en zien hoe ze precies samenwerken.

Kortom:
GLUScope is een gratis hulpmiddel voor onderzoekers om de "gedachten" van de nieuwste, slimste AI-modellen te lezen. Het helpt ons begrijpen dat AI niet alleen "aan" of "uit" is, maar een heel complex spelletje speelt met vier verschillende manieren om te reageren. En door die nuances te zien, kunnen we de AI beter begrijpen, controleren en verbeteren.

Je kunt het zelf proberen via hun website (de link staat in het paper), waar je kunt zien welke zinnen welke neurons activeren, gesplitst in deze vier mysterieuze categorieën.

Technische samenvatting

Probleemstelling

Bestaande tools voor mechanistische interpretatie van Large Language Models (LLM's), zoals Neuroscope, zijn grotendeels ontworpen voor modellen met traditionele activeringsfuncties (zoals ReLU, GELU of Swish). Deze tools gaan er vaak impliciet van uit dat een neuron alleen positieve activeringen produceert of dat de interpretatie van positieve activeringen voldoende is.

Echter, moderne state-of-the-art modellen (zoals OLMo, Llama en Gemma) gebruiken gegateerde activeringsfuncties (GLU-varianten zoals SwiGLU en GEGLU). Deze functies introduceren een complexiteit die bestaande tools niet aannemen:

• Een neuron in een GLU-structuur heeft twee invoercomponenten: een "gate" ($x_{gate}$) en een "in" ($x_{in}$).
• De uiteindelijke output is het product van een getransformeerde gate en de input: $Swish(x_{gate}) \cdot x_{in}$.
• Omdat zowel $x_{gate}$ als $x_{in}$ positief of negatief kunnen zijn, ontstaan er vier mogelijke tekencombinaties (gate+, in+; gate+, in-; gate-, in+; gate-, in-).
• Elke combinatie kan een fundamenteel ander functioneel gedrag vertegenwoordigen. Bestaande tools die alleen kijken naar de sterkste absolute activeringen, missen vaak belangrijke patronen die voorkomen in specifieke tekencombinaties (bijvoorbeeld zwakkere maar semantisch zeer betekenisvolle activeringen in de "gate-, in-" categorie).

Methodologie

De auteurs presenteren GLUScope, een open-source toolset die specifiek is ontworpen om de complexiteit van GLU-neuronen te analyseren. De aanpak bestaat uit drie hoofdbestanddelen:

1. Data-Generatie en Dataset:

   • De auteurs hebben een model (OLMo-7B-0424) uitgevoerd op een subset van de Dolma-dataset (ongeveer 20 miljoen tokens).
   • Voor elk neuron in het MLP-layer worden niet alleen de sterkste activeringen geregistreerd, maar worden de activeringen gesplitst op basis van de vier tekencombinaties van $x_{gate}$ en $x_{in}$.
   • Voor elke combinatie worden statistieken verzameld: frequentie, gemiddelde waarden, en de top-k (of bottom-k) activeringen met de bijbehorende dataset-indexen.
   • Er worden vier tussenliggende activeringen vastgelegd: hook_post (eindoutput), hook_pre_linear ($x_{in}$), hook_pre ($x_{gate}$), en swish ($Swish(x_{gate})$).

2. Visualisatieplatform (GLUScope Website):

   • Een webinterface die mensvriendelijke samenvattingen biedt voor geselecteerde neuronen.
   • Elke neuron-pagina toont een tabel met de vier tekencombinaties.
   • Voor elke combinatie worden tekstvoorbeelden getoond die de sterkste activeringen vertegenwoordigen, inclusief de context van de tokens.
   • De interface stelt onderzoekers in staat om te zien welke teksten specifieke tekencombinaties activeren, wat essentieel is voor het begrijpen van het gedrag van gated neurons.

3. Openbare Artefacten:

   • De auteurs publiceren de code, de verwerkte Dolma-subset, het uitgebreide activatiedataset en de website zelf. Dit stelt anderen in staat om hun eigen analyses uit te voeren of nieuwe visualisaties te genereren zonder het model opnieuw op de hele dataset te hoeven draaien.

Kernbijdragen

• GLUScope Tool: De eerste tool die specifiek is ontworpen voor het analyseren van neuronen in modellen met gated activation functions (SwiGLU/GEGLU).
• Gedetailleerde Sign-Combinatie Analyse: In plaats van alleen naar de "sterkste activatie" te kijken, splitst GLUScope data op in vier kwadranten (gate+/in+, gate+/in-, etc.). Dit onthult dat neuronen vaak verschillende functies hebben afhankelijk van de tekencombinatie.
• Reproduceerbaarheid: Publicatie van een groot activatiedataset en de code om dit te genereren, wat de barrière voor interpretatie-onderzoek verlaagt.
• Nieuwe Inzichten: De tool maakt het mogelijk om patronen te ontdekken die met traditionele methoden onzichtbaar blijven.

Resultaten en Gevonden Inzichten

De auteurs demonstreren de kracht van GLUScope aan de hand van twee gebruiksscenario's:

1. Model-brede Correlatieanalyse:

   • Door het gebruik van het activatiedataset ontdekten de auteurs een sterke negatieve correlatie tussen de cosinus-afstand van de gewichten ($w_{in}$ en $w_{out}$) en de frequentie waarmee $x_{gate} > 0$ optreedt. Dit suggereert dat de structuur van de gewichten direct samenhangt met hoe vaak een neuron in een bepaalde modus (gate aan/uit) werkt.

2. Case Study: Neuron 31.9634:

   • Verwachting: Op basis van gewichtsanalyse leek het neuron gerelateerd aan het token "again" (via $w_{out}$) en "minus again" (via $w_{gate}$ en $w_{in}$). Men zou verwachten dat het neuron vooral positief activeert wanneer "again" een goede volgende token is.
   • GLUScope Inzicht:
     • Het neuron activeert vaak negatief (67,7% van de gevallen is $gate+, in-$).
     • De meest interpreteerbare patronen werden gevonden in de $gate-, in-$ combinatie (alleen 17,34% van de gevallen). In deze gevallen activeert het neuron sterk wanneer het woord "again" een logische volgende token is (bijv. na "once").
     • Cruciaal punt: Deze specifieke activeringen waren relatief zwak (max 1,58) vergeleken met de extreme activeringen in andere combinaties. Een traditionele tool die alleen naar de top-activeringen kijkt, zou deze semantisch zeer waardevolle "gate-, in-" patronen volledig hebben gemist. GLUScope maakte het mogelijk om deze subtielere, maar cruciale, functie te identificeren.

Betekenis en Impact

GLUScope vult een kritieke lacune in het veld van mechanistische interpretatie. Terwijl de gemeenschap steeds meer overgaat naar GLU-modellen, bleven de analyse-instrumenten achter bij de complexiteit van deze architecturen.

• Nuance in Interpretatie: De tool toont aan dat "een neuron" niet altijd één betekenis heeft; het gedrag is afhankelijk van de interne dynamiek van de gate en de input.
• Toekomstgericht: Door de focus op gated neurons, biedt GLUScope een robuustere basis voor het begrijpen van moderne LLM's dan eerdere tools.
• Community: De open-source aard en de beschikbaarheid van datasets stimuleren verdere research naar neuron-gedrag en helpen de overgang van "black-box" naar begrijpelijke modellen.

De auteurs erkennen beperkingen, zoals het feit dat de tool niet direct toepasbaar is op MoE-modellen (Mixture of Experts) of niet-Transformer architecturen (zoals Mamba), maar benadrukken dat de focus op GLU een noodzakelijke stap is voor het begrijpen van de huidige generatie taalmodellen.