Stel je voor dat je een gigantische, magische bibliotheek hebt waar elk boek is geschreven door een superintelligënte robot die heeft geleerd te spreken door bijna alles op het internet te lezen. Deze robot, bekend als een Large Language Model (of LLM), is ongelooflijk goed in het afmaken van je zinnen, het schrijven van code of het vertellen van verhalen. Maar hier is de crux: niemand weet echt hoe hij het doet. Het is als een zwarte doos. Je stopt een vraag in, en er komt een perfect antwoord uit, maar de tandwielen die binnenin draaien zijn een wirwar van miljarden kleine schakelaars (parameters) die geen mens gemakkelijk kan lezen.

Wetenschappers die "mechanistic interpretability" bestuderen, zijn als detectives die proberen deze zwarte doos uit elkaar te halen om de tandwielen te zien. Ze willen de specifieke kleine circuits binnen het brein van de robot vinden die verantwoordelijk zijn voor specifieke taken, zoals weten dat "Parijs" de hoofdstad van "Frankrijk" is of weten hoe het een regel CSS-code schrijft. Een recente methode genaamd "Parameter Decomposition" probeert dit te doen door het brein van de robot af te breken in kleine, doelgerichte onderdelen. Echter, deze methode is als het proberen in kaart te brengen van elke straat in een enorm land, alleen maar om de route naar je lokale bakkerij te vinden — het kost een enorme hoeveelheid tijd, geld en computerkracht. Het is zo duur dat het momenteel onmogelijk is om dit te doen voor de grootste, slimste robots die er bestaan.

Hier komt een nieuwe paper van Antoine Vigouroux en Lee Sharkey om de hoek kijken. Ze stellen een slimme kortere weg voor genaamd "Targeted Parameter Decomposition" (of tPD). In plaats van te proberen het hele brein van de robot in één keer in kaart te brengen, vragen ze: "Wat als we alleen maar geven om hoe de robot één specifiek ding afhandelt, zoals CSS-code of een specieke wiskundige truc?" Hun methode bouwt een groot vangnet dat al het spul opvangt wat de robot doet buiten van dat ene ding, waardoor wetenschappers hun energie alleen kunnen richten op de specifieke tandwielen die er toe doen. Ze testten dit op kleinere robotbreinen en vonden dat het net zo goed werkt als de dure, volledige mapping-methode, maar gebruikt slechts een fractie van de computerkracht. Sterker nog, ze waren in staat om het geheugen van de robot voor specifieke commando's (zoals "import numpy as") chirurgisch te verwijderen en zelfs om te wisselen, zodat de robot "import pandas as" zou zeggen in plaats van "import numpy as", allemaal zonder het vermogen van de robot om iets anders te doen te breken. Het is een manier om delicate hersenchirurgie op AI uit te voeren zonder een hele reeks aan medische apparatuur nodig te hebben.

Het Grote Idee: Het "Allesomvattende" Vangnet

Beschouw een neuraal netwerk (het robotbrein) als een enorm orkest. Elk instrument (of gewicht) speelt een deel in het maken van de muziek. De oude manier om dit orkest te begrijpen was om te proberen de bladmuziek voor elk instrument dat elke mogelijke noot speelt in elke mogelijke song te opschrijven. Dit is de "full-model decomposition" waar de auteurs over spreken. Het is accuraat, maar het is alsoal een symfonie transcriberen terwijl de band duizend verschillende liedjes tegelijkertijd speelt. Het duurt eeuwig en vereist een enorm team van muzikanten (computers) om het bij te houden.

De auteurs realiseerden zich dat als je alleen wilt begrijpen hoe het orkest één specifiek liedje speelt (zoals een CSS-codefragment), je niet de hele concert wilt transcriberen. Je moet alleen weten welke instrumenten dat specifieke liedje spelen. Maar er is een probleem: als je alleen naar dat ene liedje luistert, zou je kunnen denken dat een instrument een noot speelt terwijl het eigenlijk alleen een geluid maakt omdat de kamer een echo geeft. Je kunt niet onderscheiden of een instrument echt belangrijk is voor dat liedje of dat het er alleen is voor de andere liedjes.

Om dit op te lossen, hebben de auteurs een "catch-all" component uitgevonden. Stel je voor dat je een orkest opneemt. Je plaatst een microfoon op de specifieke instrumenten die je interessant vindt (de "target"), maar je plaatst ook een gigantische, supergevoelige geluidsabsorberende deken over de rest van het podium. Deze deken (de $\Delta$-component genoemd) vangt alle geluiden op van de andere instrumenten die niet deel uitmaken van jouw specifieke liedje.

Door het systeem met twee datastromen tegelijkertijd te trainen — het specifieke liedje dat je wilt bestuderen en een enorme mix van andere willekeurige liedjes — leert de "catch-all" deken alles te absorberen wat niet het doelwit is. Dit dwingt de specifieke microfoons om alleen de instrumenten op te pikken die werkelijk essentieel zijn voor het doelwitliedje. Als een instrument alleen voor de andere liedjes wordt gebruikt, slokt de deken het op, en blijven de microfoons stil. Dit betekent dat de wetenschappers de exacte "circuits" voor een specifieke taak kunnen vinden zonder het hele orkest in kaart te hoeven brengen.

Wat Ze Vonden: Snelheid, Precisie en Chirurgie

Het team testte dit idee op enkele "toy models" (eenvoudige, kleine robots) en vond dat het perfect werkte. Wanneer ze het systeem vroegen om alleen naar drie specifieke kenmerken te kijken, vond het exact de drie mechanismen die nodig waren, waarbij de andere 97 werden genegeerd. Het was alsof je drie specifieke sleutels in een enorme sleutelbos vond zonder naar de andere 97 sleutels te hoeven kijken. Niet alleen vonden ze de juiste sleutels, maar ze deden het ook veel sneller — ongeveer vijf keer sneller dan de oude methode — en ze hadden een veel kleinere computer nodig om de klus te klaren.

Vervolgens gingen ze over naar een echt taalmodel, een 4-block transformer getraind op een enorme dataset genaamd "The Pile". Ze wilden zien of ze de mechanismen die CSS-code afhandelen konden isoleren. Met hun gerichte methode slaagden ze erin een "CSS-alleen" submodel te extraheren. Dit submodel gebruikte slechts ongeveer 7% van de rekenkracht (FLOPs) van de volledige decompositie-methode.

De resultaten waren opmerkelijk. Wanneer ze hun CSS-alleen model draaiden op CSS-code, werkte het net zo goed als de originele robot. Maar wanneer ze probeerden Engels of Python te spreken, stortte het volledig in en herhaalde het vaak alleen het woord "the" of "count". Dit bewees dat ze erin geslaagd waren de specifieke "CSS-hersenen" te isoleren van de rest van de robot. Nog cooler: ze vonden specifieke sub-componenten die verantwoordelijk waren voor zaken zoals het herkennen van inspringing (indentation) in CSS-code, maar niet in Python-code. Toen ze deze specifieke componenten uitschakelden, stopte de robot met het begrijpen van CSS-inspringing, maar bleef zijn vermogen om Python-code te schrijven perfect intact.

De Ultieme Test: Hersenchirurgie op een 12-Block Model

Het meest opwindende deel van de paper gebeurde toen ze dit toepasten op een groter model, een 12-block transformer met 85 miljoen non-embedding parameters. Ze richtten zich op een zeer specifieke taak: de gewoonte van de robot om de zin "import numpy as" te voltooien met "np" en "import pandas as" met "pd". Dit zijn veelvoorkomende commando's in Python-programmering.

Met behulp van hun gerichte methode identificeerden ze 248 specifieke sub-componenten die verantwoordelijk zijn voor deze voltooiingen. Vervolgens voerden ze een vorm van digitale "chirurgie" uit.

Eerst ablereerden (schakelden ze uit) ze de componenten die specifiek zijn voor "numpy". Het resultaat? De robot kon "import numpy as" niet langer voltooien met "np". Het was alsof het geheugen van die specifieke associatie was gewist. Maar hier is de magie: het vermogen van de robot om de rest van alles te schrijven — Engelse tekst, andere code, willekeurige zinnen — was volledig onaangetast. Het werd niet in de war gebracht en maakte nergens fouten.

Daarna probeerden ze iets nog gedurfder: herbedraden (rewiring). Omdat elke component een "input"-richting en een "output"-richting heeft, wisselden ze de output-richtingen van de "numpy"- en de "pandas"-componenten. Ze zeiden in feepelijk gezegd tegen het "numpy"-deel van het brein om met de "pandas"-stem te spreken, en vice versa.

Het resultaat was bizar en perfect. Wanneer je "import numpy as" typde, voltooide de robot het nu met "pd". Wanneer je "import pandas as" typte, voltooide het met "np". Het maakte niet alleen een fout; het had de kennis daadwerkelijk verwisseld. En opnieuw: deze verandering was ongelooflijk specifiek. Het gedrag van de robot op de rest van het internet (meer dan 100.000 tokens aan algemene data) bleef bijna identiek aan de originele versie. De "bijwerkingen" waren verwaarloosbaar.

Waarom Dit Belangrijk Is (en Wat Het Niet Is)

Deze paper suggereert dat we niet hoeven te wachten op supercomputers om het volledige brein van een enorme AI in kaart te brengen om het te begrijpen of aan te passen. We kunnen inzoomen op specifieke gedragingen, de tandwielen isoleren die ze laten werken, en zelfs een beetje bijsturen, terwijl we de rest van de machine soepel laten draaien.

De auteurs zijn echter voorzichtig met te hoge verwachtingen. Ze merken op dat deze methode het beste werkt voor specifieke, goed gedefinieerde taken zoals onthouden van sequenties (zoals "import numpy") of specifieke codetypes (zoals CSS). Ze geven toe dat het bewerken van complexe "wereldkennis" (zoals feiten over geschiedenis of wetenschap) moeilijker kan zijn, omdat het brein meerdere redundante manieren kan gebruiken om hetzelfde feit op te slaan. Als de robot twee verschillende tandwielen heeft die beide dezelfde taak uitvoeren, zal het uitzetten van één tandwiel de robot misschien niet stoppen met de taak, omdat het andere tandwiel het overneemt. Ze wijzen er ook op dat hun grootste model nog steeds klein was vergeleken met de "frontier" modellen van vandaag, dus er kunnen nieuwe uitdagingen zijn bij het opschalen.

Maar voor nu is deze "Targeted Parameter Decomposition" een krachtig nieuw hulpmiddel. Het is als het hebben van een scalpel in plaats van een moker. In plaats van te proberen het hele robotbrein in één keer te begrijpen, kunnen we nu voorzichtig het deksel optillen, precies kijken naar het deel waar we nieuwsgierig naar zijn, en het misschien zelfs een klein duwtje geven, zonder de rest van de machine te breken.