Binnen de uitgestrekte, digitale geesten van moderne kunstmatige intelligentie bestaat een verborgen laag van activiteit die onderzoekers pas net beginnen in kaart te brengen. Deze systemen, bekend als grote taalmodellen, denken niet in zinnen of alinea's zoals mensen dat doen. In plaats daarvan verwerken ze informatie via miljarden kleine, onderling verbonden schakelaars die neuronen worden genoemd. Wanneer je een computer vraagt een gedicht te schrijven, een wiskundig probleem op te lossen of een regel code te debuggen, lichten specifieke groepen van deze neuronen op om het werk te verrichten. Jarenlang hebben wetenschappers gestreden om te begrijpen welke neuronen verantwoordelijk zijn voor welke taken. De moeilijkheid ligt in de enorme schaal van de operatie; deze modellen zijn zo complex dat het kijken naar hun werking vaak voelt als proberen een stad te begrijpen door naar een enkele straatlantaarn te kijken. Eerdere methoden om de juiste schakelaars te vinden waren ofwel te traag om praktisch te zijn, ofwel zo gefocust op individuele momenten dat ze het grotere plaatje van hoe het systeem zich in de loop van de tijd gedraagt, misten.

Een team van onderzoekers heeft nu een nieuwe manier geïntroduceerd om naar deze digitale geesten te luisteren, een methode die zij RACE noemen. In plaats van te proberen het hele systeem te reverse-engineeren of de invloed van elke individuele verbinding te berekenen, behandelt deze aanpak de interne activiteit van het model als een statistisch patroon. De onderzoekers realiseerden zich dat neuronen die een specifiek doel dienen, zoals het schrijven van Python-code of het oplossen van algebra, niet zomaar willekeurig vuren. In plaats daarvan dragen ze op een consistente, stabiele manier bij aan de interne staat van het model telkens wanneer dat specifieke type taak wordt uitgevoerd. Door deze consistente bijdragen over duizenden voorbeelden heen te volgen, kan het team identificeren welke neuronen de echte specialisten zijn voor een bepaalde baan. Dit gaat niet over het vinden van een neuron dat één keer vuurt en het daarna vergeet; het gaat over het vinden van de neuronen die betrouwbaar opdagen om aan het werk te gaan telkens wanneer het model gevraagd wordt iets specifieks te doen.

De kern van deze ontdekking is een verschuiving in hoe wetenschappers belang meten. Oudere technieken vertrouwden vaak op complexe berekeningen die vereisten dat de computer achteruit door zijn eigen logica liep, een proces dat ongelooflijk traag en rekenkundig duur was. De nieuwe methode, RACE, werkt in een enkele voorwaartse passage (forward pass), waarbij het observeert hoe het model informatie verwerkt terwijl deze natuurlijk van begin tot eind stroomt. Het kijkt naar de minuscule updates die elk neuron maakt aan de interne geheugenstroom van het model. Als een neuron de denkrichting van het model consequent in de juiste richting duwt voor een specifieke taak, krijgt het een hoge score. Als het gedrag grillig is of als het slechts in een paar zeldzame gevallen helpt, wordt het genegeerd. Dit stelt de onderzoekers in staat om een betrouwbare kaart van de mogelijkheden van het model te bouwen zonder de noodzaak te hebben om elke mogelijke uitkomst te stoppen en te berekenen.

Om te testen of deze kaart accuraat was, voerden de onderzoekers een reeks gecontroleerde experimenten uit op verschillende grote taalmodellen, variërend van kleinere modellen met 4 miljard parameters tot massieve modellen met 32 miljard parameters. Ze richtten zich op drie afzonderlijke gebieden: het schrijven van computercode, het oplossen van wiskundige problemen en het controleren van specifieke gedragingen, zoals het gebruiken van een bepaalde stijl van zinsstructuur. In elk geval gebruikten ze de RACE-methode om de topneuronen te identificeren die verantwoordelijk zijn voor die taak. Daarna voerden ze een delicate operatie uit: ze schakelden die specifieke neuronen tijdelijk uit terwijl het model aan het werk was.

De resultaten waren opmerkelijk. Toen de onderzoekers de neuronen die door RACE waren geïdentificeerd voor programmeertaken dempten, daalde het vermogen van het model om correcte code te schrijven aanzienlijk, terwijl het vermogen om algemene vragen te beantwoorden of wiskundige problemen op te lossen grotendeels intact bleef. Hetzelfde gold voor wiskunde; het uitschakelen van de wiskundige neuronen verlamde de redeneervaardigheden van het model zonder de algemene taalvaardigheid aan te tasten. Dit bevestigde dat de methode erin geslaagd was de specifieke componenten te isoleren die verantwoordelijk zijn voor deze vaardigheden. In contrast hiermee, wanneer ze oudere, minder nauwkeurige methoden gebruikten om neuronen te selecteren om uit te schakelen, was de schade vaak wijdverspreid en tastte het de prestaties van het model breed aan, in plaats van zich op slechts één vaardigheid te richten.

Een van de belangrijkste bevindingen was het verschil tussen de twee hoofdtypen neuronen binnen deze modellen. De onderzoekers ontdekten dat de neuronen die verantwoordelijk zijn voor wiskundig redeneren en programmeren hoog gespecialiseerd waren en zelden werden gedeeld tussen taken. De neuronen die echter betrokken zijn bij aandacht (attention) — het deel van het model dat beslist op welke woorden het zich moet concentreren — waren veel meer algemeen. Deze aandacht-neuronen leken herbruikbare instrumenten die het model met bijna alles hielpen, van het schrijven van poëzie tot het oplossen van vergelijkingen. Dit onderscheid verklaart waarom sommige delen van het model gemakkelijker te snoeien of aan te passen zijn dan andere; de gespecialiseerde delen zijn als toegewijde gereedschappen in een werkplaats, terwijl de aandacht-delen als de handen zijn die ze vasthouden.

De onderzoekers ontdekten ook dat hun methode ongelooflijk efficiënt was. Terwijl eerdere technieken vereisten dat de computer berekeningen uitvoerde die gelijkstonden aan het 144 keer draaien van het model om de neuronen te scoren, vereiste de nieuwe methode minder dan één volledige run. Deze snelheid maakt het mogelijk om veel grotere modellen dan ooit tevoren te analyseren en te auditeren. Het betekent ook dat ontwikkelaars in de toekomst potentieel deze techniek kunnen gebruiken om modellen te verfijnen, ongewenste gedragingen te verwijderen of specifieke vaardigheden te verbeteren zonder het hele systeem vanaf nul opnieuw te hoeven trainen.

De studie keek ook naar hoe deze gespecialiseerde neuronen zich gedragen wanneer het model wordt gevraagd iets te doen dat iets anders is dan waarvoor het is getraind. Wanneer de onderzoekers het model testten op nieuwe, ongeziene wiskundige problemen, zorgden de door RACE geïdentificeerde neuronen nog steeds voor een aanzienlijke daling in prestaties wanneer ze werden uitgeschakeld. Dit suggereert dat de methode de fundamentele machinerie van de vaardigheid vindt, en niet slechts een gememoriseerd patroon voor een specifieke set vragen. Het vermogen van het model om zijn kennis te generaliseren, rust op deze zelfde stabiele neuronen.

Misschien wel de meest subtiele ontdekking betrof het vermogen van het model om specifieke stilistische keuzes te gebruiken, zoals het schrijven van Python-code die een bepaald soort lijststructuur gebruikt. De onderzoekers trainden het systeem om deze specifieke stijl te herkennen en schakelden vervolgens de corresponderende neuronen uit. Het resultaat was een model dat nog steeds code kon schrijven, maar bijna volledig stopte met het gebruiken van die specifieke stijl, zelfs terwijl het nog steeds op andere manieren correcte code kon schrijven. Dit niveau van precisie suggereert dat de methode zeer nauwe gedragingen kan isoleren, wat een manier biedt om de output van het model met chirurgische nauwkeurigheid te sturen.

De onderzoekers erkennen dat hun methode geen perfecte oplossing is voor elk probleem. Ze merkten op dat het het beste werkt voor de delen van het model die informatie op een eenvoudige, additieve manier verwerken, maar dat het minder effectief is bij het in kaart brengen van de complexere, overlappende interacties die plaatsvinden in de aandacht-mechanismen. Ze merken ook op dat de methode steunt op lineaire patronen, wat betekent dat het enkele van de meer ingewikkelde, niet-lineaire manieren waarop neuronen samenwerken, zou kunnen missen. Echter, voor het overgrote deel van de geteste taken bood de aanpak een heldere, betrouwbare en snelle manier om te begrijpen wat het model doet.

Dit werk vormt een belangrijke stap voorwaarts in het veld van mechanistische interpreteerbaarheid, dat ernaar streeft de "black box" van kunstmatige intelligentie te openen. Door een manier te bieden om specifieke functionele componenten binnen deze enorme systemen te identificeren en te isoleren, hebben de onderzoekers ons een nieuw instrumentarium gegeven om de technologie die ons wereld in toenemende mate vormgeeft, te begrijpen, te debuggen en te verbeteren. Het vermogen om exact aan te wijzen welke delen van een model verantwoordelijk zijn voor een specifieke vaardigheid, betekent dat we verder kunnen gaan dan gissen en kunnen beginnen met het nemen van geïnformeerde beslissingen over hoe deze systemen worden gebouwd en hoe ze moeten worden gebruikt. De weg vooruit gaat niet langer over het proberen tegelijkertijd te begrijpen van de hele stad, maar over het vermogen om een specifieke straat af te lopen en precies te weten wat daar gebeurt.