When Is a Steerable Concept Representation Real? Measurement Confounds in a Cross-Family Audit of Neuroscience Parallels in LLMs
Dit artikel auditeert door neurowetenschappen geïnspireerde claims in grote taalmodellen over 17 modellen en vijf families, waarbij wordt onthuld dat gerapporteerde parallellen zoals conceptstuurbaarheid en mentale kaarten vaak artefacten zijn van ongekalibreerde meetkeuzes in plaats van robuuste, schaalafhankelijke emergente vermogens, wat daarmee het kritieke belang benadrukt van gestandaardiseerde protocollen en adequate controles in de AI-neurowetenschap.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die probeert uit te zoeken hoe een gigantisch, onzichtbaar brein werkt. Jarenlang hebben wetenschappers echte menselijke hersenen bestudeerd en ontdekt dat specifieke cellen oplichten voor specifieke zaken—zoals een "Jennifer Aniston-neuron" dat alleen vuurt wanneer je haar gezicht ziet, of een "mentale kaart" in je hoofd die je helpt bij het navigeren door een stad. Onlangs is een nieuw veld genaald "AI-neuroscience" begonnen met het bestuderen van Large Language Models (LLM's)—de superintelligente computerprogramma's die verhalen schrijven en vragen beantwoorden—en vroeg zich af: "Hebben deze computers dezelfde soort hersencellen en kaarten?"
Om dit te beantwoorden, gebruiken onderzoekers twee hoofdinstrumenten. Eerst gebruiken ze een "decoder" (genaamd linear probing) om te zien of ze een specifieke gedachte kunnen lezen, zoals een getal of een locatie, door simpelweg naar de interne elektrische signalen van de computer te kijken. Ten tweede gebruiken ze een "afstandsbediening" (genaamd activation steering) om de computer te prikkelen met een specifiek signaal om te zien of ze de computer kunnen dwingen zijn gedrag te veranderen, zoals het meer laten praten als een piraat of minder als een robot. De grote vraag is: naarmate deze computerbreinen groter en slimmer worden, ontwikkelen ze dan op een voorspelbare, magische manier dezelfde menselijke kenmerken?
Dit artikel is een enorme realiteitscheck voor dat opwindende idee. De auteurs, een team van de Fudan Universiteit, besloten deze claims te auditeren door 17 verschillende computermodellen te testen uit vijf verschillende families, variërend van kleine modellen met 0,6 miljard parameters tot reuzen met 72 miljard. Ze behandelden de modellen als een laboratoriumexperiment, waarbij ze dezelfde tests herhaaldelijk uitvoerden met strikte regels om te zien of de resultaten echt waren of slechts een meetartefact.
Hier is de twist: het artikel stelt vast dat veel van de "coole ontdekkingen" over AI-hersenen eigenlijk illusies zijn, veroorzaakt door meetproblemen.
De "Magie" die geen Magie was
Een populair idee was dat naarmate AI-modellen groter worden, hun vermogen om te worden "gestuurd" (gecontroleerd met een remote signaal) magisch verschijnt en sterker wordt, als een superkracht die uit het niets tevoorschijn komt. Het artikel laat zien dat dit een leugen is. Het blijkt dat de onderzoekers die dit ontdekten een "ruwe" meting gebruikten die geen rekening hield met het feit dat grotere modellen veel sterkere interne elektrische signalen hebben. Het is alsof je probeert te meten hoe hard je een auto kunt duwen door een klein speelgoedautootje te vergelijken met een echte vrachtwagen, maar daarbij dezelfde hoeveelheid kracht gebruikt voor beide. Het speelgoedautootje vliegt door de kamer, terwijl de vrachtwagen nauwelijks beweegt. Als je niet corrigeert voor de grootte van het voertuig, zou je kunnen denken dat het speelgoedautootje sterker is!
Toen de auteurs hun meetlint aanpasten om "appels met appels" te vergelijken (door de kracht te normaliseren ten opzichte van de grootte van het model) en stopten met het willekeurig kiezen van instellingen, verdween de "magische emergentie". Het sturingsvermogen was er al die tijd, zelfs in de kleine modellen, maar het werd niet significant sterker naarmate de modellen groeiden. De "superkracht" was slechts een meetfout.
De Vormveranderende Getalneuronen
Een andere claim was dat AI-modellen "getalneuronen" hebben die lijken op klokvormige curves (een specifieke vorm die in het midden piekt), net als in menselijke hersenen. Het artikel vond dat deze vorm volledig afhangt van de manier waarop je kiest welke neuronen je bekijkt. Als je neuronen selecteert op basis van een eenvoudige regel, zie je alleen "monotone" neuronen (die alleen maar omhoog of omlaag gaan). Maar als je een slimmere, vorm-agnostische regel gebruikt, vind je wél klokvormige neuronen in bijna elk model. Dus de neuronen zijn er wel, maar de "regel" voor het vinden ervan was bevooroordeeld in eerdere studies, waardoor de waarheid werd verborgen.
De Kaart die écht Werkt
Niet alles was een fopje. Het artikel vond dat één ding onwrikbaar is: een "lineaire wereldkaart". Net zoals mensen een mentale kaart van de geografie hebben, coderen deze AI-modellen consistent de breedtegraad en lengtegraad van steden in een rechte, leesbare lijn. Dit was waar voor elk getest model, van het kleinste 0,6B tot de massieve 72B. Omdat deze test geen geprik of het selecteren van specifieke neuronen inhield, werd het niet beïnvloed door de meettrucs. Het is een authentiek kenmerk dat alle controles doorstaat.
Het Taalmysterie
Ten slotte keken het team of de modellen specifieke "taalcellen" hebben die Chinees anders behandelen dan Engels. De resultaten waren rommelig. Hoewel ze konden vinden dat de modellen gevoelig waren voor taal, keerde de richting van het effect (welke taal sterker was) om afhankelijk van de wiskundige methode die ze gebruikten om de neuronen te vinden. Dit suggereert dat hoewel de modellen wel taal-specifieke delen hebben, we het nog niet eens kunnen worden over hoe ze precies georganiseerd zijn of hoe sterk ze zijn.
De Grote Conclusie
Het artikel concludeert dat het probleem met AI-neuroscience niet is dat we geen coole parallellen vinden tussen computers en hersenen; het is dat we niet rigoureus genoeg zijn geweest. De auteurs stellen dat zonder strikte controles—zoals het gebruik van dezelfde meeteenheden voor alle modellen en het testen op data die het model nog niet heeft gezien—we gemakkelijk "schaalwetten" of "emergente vermogens" kunnen verzinnen die niet echt zijn.
Kortom: de wereldkaart is echt, de getalneuronen bestaan maar zien er anders uit dan we dachten, en de "sturings-superkracht" is slechts een meetfout. De auteurs hebben hun strikte testprotocol, tools en code vrijgegeven, zodat toekomstige wetenschappers kunnen stoppen met gissen en kunnen beginnen met meten met dezelfde precisie als de echte neurowetenschap. Het veld is niet kapot; het heeft alleen betere linialen nodig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.