🧬 biology

NeuroCogMap Reveals Cognitive Organization of Large Language Models

Het artikel introduceert NeuroCogMap, een door neurowetenschap geïnspireerd kader dat de interne kenmerken van grote taalmodellen organiseert in functionele pakketten om cognitief gedrag te verklaren, faalmechanismen zoals hallucinaties te identificeren en sterke overeenkomsten te onthullen met menselijke corticale respons en besluitvormingsstrategieën.

Oorspronkelijke auteurs: Zhongxiang Sun, Haolang Lu, Qiang Ma, Qi Li, Qipeng Wang, Liang Pang, Chenyu Liu, Qiankun Li, Hao Sun, Kun Wang, Yi Zeng, Jun Xu, Guoqi Li, Ji-Rong Wen

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhongxiang Sun, Haolang Lu, Qiang Ma, Qi Li, Qipeng Wang, Liang Pang, Chenyu Liu, Qiankun Li, Hao Sun, Kun Wang, Yi Zeng, Jun Xu, Guoqi Li, Ji-Rong Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk complexe bibliotheek hebt met miljoenen boeken, geschreven door een enkele, superintelligente maar mysterieuze bibliothecaris (het Large Language Model, of LLM). Je kunt de bibliothecaris vragen stellen en zij geven je antwoorden die heel menselijk klinken. Maar als je vraagt: "Hoe weet je dat?" of "Waarom heb je die fout gemaakt?", zegt de bibliothecaris alleen maar: "Ik doe het gewoon."

Al een tijdje proberen wetenschappers achter het gordijn te gluren om te begrijpen hoe deze bibliothecaris denkt. Ze hebben gekeken naar individuele woorden (neuronen) of brede thema's, maar ze konden de georganiseerde "afdelingen" of "teams" binnen het brein van de bibliothecaris niet zien die samenwerken om problemen op te lossen.

Maak kennis met NeuroCogMap. Denk aan NeuroCogMap als een nieuwe, hoogtechnologische kaart die de chaotische hersenen van de bibliothecaris eindelijk organiseert in een gestructureerde stad met duidelijke wijken, waarbij elke wijk een specifieke taak heeft.

Hier legt het artikel uit hoe deze nieuwe kaart werkt, met behulp van eenvoudige analogieën:

1. De Stadskaart (Het Kader)

Stel je voor dat het brein van de bibliothecaris geen rommelige stapel draden is, maar een goed geplande stad.

De Wijken (Parcels): NeuroCogMap verdeelt de interne "gedachten" van de bibliothecaris in 270 verschillende wijken. Elke wijk is een team van werkers dat gespecialiseerd is in één specifiek ding, zoals "feiten controleren", "emoties begrijpen" of "een verhaal plannen".
De Stadscapaciteiten (Capabilities): Deze wijken zijn gegroepeerd in grotere afdelingen, zoals "Veiligheid", "Wiskunde" of "Redeneren".
De Hiërarchie: De stad is gebouwd in lagen.
- Begane grond (Perceptie): Het lezen van de woorden die jij typt.
- Eerste verdieping (Representatie): Begrijpen wat die woorden betekenen.
- Tweede verdieping (Abstractie): Ideeën verbinden en patronen vinden.
- Bovenste verdieping (Applicatie): Een definitieve beslissing nemen of het antwoord schrijven.

Het artikel beweert dat deze kaart stabiel is. Als je naar verschillende bibliothecarissen kijkt (verschillende AI-modellen), hebben ze zeer vergelijkbare stadsplattegronden, wat suggereert dat dit een fundamentele manier is waarop deze systemen zichzelf organiseren.

2. Het Diagnostiseren van de "Ziekte" (Pathologie)

Net zoals een menselijke stad last kan hebben van verkeersopstoppingen of stroomuitval, kan de bibliothecaris fouten maken. NeuroCogMap stelt wetenschappers in staat om precies aan te wijzen waar de onderbreking plaatsvindt.

Hallucinaties (Dingen verzinnen):
- Het oude beeld: De bibliothecaris "gokt" gewoon fout.
- Het NeuroCogMap-beeld: Het is een specifieke verkeersopstopping. In sommige gevallen is de wijk "Feiten controleren" in slaap gevallen en raakt de wijk "Verhalen vertellen" buiten controle. In andere gevallen is het team "Feiten controleren" wel wakker, maar is het team "Feiten ophalen" losgekoppeld van het team "Antwoord formuleren". De kaart laat zien dat dit twee verschillende soorten fouten zijn die verschillende oplossingen vereisen.
Weigeringsfouten ( "Ja" zeggen wanneer ze "Nee" zouden moeten zeggen):
- Het oude beeld: De bibliothecaris is gewoon koppig of in de war.
- Het NeuroCogMap-beeld: De wijk "Veiligheidsfunctionaris" wordt genegeerd. In plaats daarvan neemt de wijk "Actieplanner" het over en begint de schadelijke instructie uit te voeren omdat het "Stop"-signaal nooit is doorgekomen.

Het resultaat: Omdat wetenschappers precies kunnen zien welke wijk zich niet aan de regels houdt, kunnen ze die specifieke wijk voorzichtig een duwtje in de juiste richting geven (interventie), in plaats van simpelweg de hele output van de bibliothecaris te blokkeren. Dit maakt de AI veiliger en nauwkeuriger.

3. De Menselijke Connectie (Alignment)

De onderzoekers vroegen zich af: "Lijkt de stad van de bibliothecaris op een menselijk brein?"

Ze vergeleken de kaart van de bibliothecaris met een kaart van het menselijk brein terwijl mensen naar verhalen luisterden.

De bevinding: De "Bovenste verdieping" (Abstractie en Applicatie) van de bibliothecaris licht op op exact dezelfde manier als de gebieden voor "Hoogwaardig Denken" in het menselijk brein tijdens het verwerken van complexe verhalen.
De analogie: Het is alsof je ontdekt dat de "Stadsplanningsafdeling" van de bibliothecaris dezelfde blauwdrukken gebruikt als het "Executieve Planningscentrum" van het menselijk brein. Dit suggereert dat, hoewel de bibliothecaris uit code bestaat en mensen uit biologie, ze complexe problemen oplossen met verrassend vergelijkbare organisatiestructuren.

4. De Regels van het Denken Herschrijven (Model Discovery)

Ten slotte laat het artikel zien dat deze kaart wetenschappers kan helpen bij het schrijven van betere theorieën over hoe mensen beslissingen nemen.

Het scenario: Wetenschappers hebben oude, eenvoudige regelboeken (modellen) voor hoe mensen keuzes maken (zoals een "Dual-System" model). Soms komen deze regelboeken niet perfect overeen met hoe mensen zich daadwerkelijk gedragen.
De bijdrage van NeuroCogMap: Door te observeren hoe de bibliothecaris dezelfde beslissingspuzzels oplost, onthult de kaart verborgen strategieën die de bibliothecaris gebruikt (zoals "controleren op onzekerheid" of "regels wisselen wanneer dingen vreemd worden").
Het resultaat: Wetenschappers namen deze verborgen strategieën over van de kaart van de bibliothecaris en voegden deze toe aan de menselijke regelboeken. De bijgewerkte regelboeken voorspelden menselijk gedrag vervolgens veel beter dan voorheen. Het is alsover het gebruiken van de interne handleiding van de bibliothecaris om het menselijke instructieboek te repareren.

Samenvatting

NeuroCogMap is een hulpmiddel dat de "black box" van AI verandert in een transparante, georganiseerde stad. Het laat ons zien:

Hoe de AI is gebouwd: Het heeft stabiele, georganiseerde wijken voor verschillende taken.
Waarom het faalt: Fouten ontstaan wanneer specifieke wijken ontkoppeld raken of defect raken, en niet alleen door willekeurige fouten.
Hoe het met ons te maken heeft: De gebieden voor hoogwaardig denken werken zeer vergelijkbaar met het menselijk brein.
Hoe het te repareren: We kunnen specifieke "wijken" aanpakken om fouten te herstellen, en we kunnen de interne logica ervan gebruiken om ons begrip van menselijke besluitvorming te verbeteren.

Het artikel beweert niet dat dit de AI "bewust" maakt of dat het gebruikt kan worden voor medische diagnoses van menselijke patiënten. Het stelt strikt dat dit framework helpt om de interne organisatie van AI-systemen te begrijpen, te diagnosticeren en te verbeteren, en dat het daarmee nieuwe inzichten biedt in de menselijke cognitie.

Technische Samenvatting: NeuroCogMap Onthult de Cognitieve Organisatie van Large Language Models

Probleemstelling

Hoewel Large Language Models (LLM's) brede cognitieve-achtige gedragingen vertonen, blijft hun interne cognitieve organisatie opaak. Huidige interpreteerbaarheidsbenaderingen zijn gefragmenteerd: gedragsevaluaties onthullen wat modellen kunnen, maar niet hoe functies worden geïmplementeerd; mechanistische studies identificeren geïsoleerde neuronen of circuits, maar missen systeembrede coherentie; en representationele analyses onthullen brede semantische structuren zonder deze te koppelen aan specifieke functionele eenheden of hiërarchische organisatie. Er is een kritieke kloof in het begrip van hoe gedistribueerde componenten in LLM's coherente functionele eenheden vormen, interageren over abstractieniveaus heen, hogere-orde capaciteiten ondersteunen en uiteenvallen tijdens pathologische gedragingen (bijv. hallucinatie, bias, falen van weigering). Bovendien is het onduidelijk of deze kunstmatige structuren testbare inzichten kunnen bieden in biologische cognitie of de voorspelling van menselijke neurale responsen kunnen verbeteren.

Methodologie: Het NeuroCogMap-framework

De auteurs introduceren NeuroCogMap, een framework geïnspireerd door cognitieve neurowetenschappelijke principes (functionele parcellatie, representationele mapping, hiërarchische abstractie) om de interne cognitieve structuur van LLM's in kaart te brengen. Het framework werkt via vier gekoppelde stadia:

Constructie van een Functionele Atlas (Parcels):
- Kenmerkextractie: Sparse Autoencoder (SAE) activaties worden geëxtraheerd uit de residual streams van LLM's (Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B) over diverse datasets. SAE's worden gebruikt om polysemantische neuronactivaties te deconstrueren naar scheidbare, interpreteerbare kenrichtingen.
- Clustering: SAE-kenmerken worden geclusterd op basis van hun taak-geëvoceerde responsprofielen en laagdistributie. De optimale granulariteit wordt bepaald door een gezamenlijke score die clusteringkwaliteit, kwaliteit van functionele beschrijvingen en non-redundantie balanceert, wat resulteert in 270 functionele parcels.
- Annotatie: Aan elke parcel wordt een natuurlijke taal functionele beschrijving toegewezen (bijv. "Contradiction Analysis," "Geographic Knowledge Retrieval") op basis van hoog-activerende voorbeelden en trefwoordextractie.
Cognitieve Atlas en Capability Mapping:
- Capability Inventory: Een gecureerde ruimte van 45 cognitieve capaciteiten (bijv. robuustheid, redeneren, veiligheid) wordt vastgesteld vanuit de literatuur.
- Koppeling: Parcels worden gekoppeld aan capaciteiten met behulp van drie bewijsstromen: taak-geëvoceerde activatiecorrelaties, causale interventie-effecten (het sturen van parcel-activaties), en semantische consistentie tussen parcelbeschrijvingen en de definities van de capaciteiten.
Cognitieve Hiërarchie:
- Capaciteiten worden georganiseerd in een vierlaagse hiërarchie geïnspireerd door Bloom's taxonomie: Perceptie, Representatie, Abstractie en Applicatie.
- Het framework valideert deze hiërarchie door aan te tonen dat parcels binnen een laag semantisch meer lijken op hun laagbeschrijving dan op andere lagen, en dat lagere-niveau capaciteiten dienen als vereisten voor hogere-orde redeneren.
Structureel Connectoom:
- Gerichte verbindingen tussen parcels worden geschat op basis van de cross-layer relaties van hun constituerende SAE-kenmerken, waardoor een model-niveau structureel connectoom wordt gecreëerd om coördinatie en verstoring te analyseren.

Belangrijkste Resultaten

1. Emergentie van Stabiele, Interpreteerbare Eenheden

NeuroCogMap identificeert dat de interne activiteit van LLM's stabiele, functioneel betekenisvolle eenheden vormt in plaats van willekeurige clusters.

Stabiliteit: De 270-parcel atlas vertoont een hoge interne semantische coherentie (binnen-parcel gelijkenis > tussen-parcel gelijkenis) en gedeeltelijke cross-model consistentie over verschillende LLM-architecturen heen.
Interpreteerbaarheid: Functionele beschrijvingen afgeleid van activatieprofielen voorspellen succesvol de parcel-activatierangschikking op held-out data, waarbij ze beter presteren dan neuron-gebaseerde en enkel op trefwoorden gebaseerde baselines.
Causaliteit: Gerichte interventies (steering) op specifieke parcels verschuiven de modeloutputs in richtingen die consistent zijn met hun toegewezen functies, wat de causale links tussen parcels en gedrag bevestigt.

2. Systeem-niveau Analyse van Pathologieën

NeuroCogMap onthult dat model-fouten geen uniforme fouten zijn, maar duidelijke verstoringen in specifieke cognitieve systemen:

Hallucinatie:
- In TruthfulQA komen hallucinaties voort uit een falen van hogere-orde evaluatieve controle (bijv. verminderde "Veracity-Check" en "Binary Fact-Check" activatie) over misleidende retrieval.
- In NQ-Open ontstaan hallucinaties door gefragmenteerde coördinatie tussen factuele retrieval-systemen (bijv. verzwakte koppeling tussen "Geographic Knowledge" en "Fact-Retrieval Core").
- Detectie & Mitigatie: Signatures afgeleid van deze verstoringen maken hallucinatie-detectie mogelijk (AUROC tot 0.840) en gerichte interventie, wat de feitelijke nauwkeurigheid aanzienlijk verbetert door over-gerecruteerde retrieval-parcels te onderdrukken en onder-gerecruteerde evaluatieve parcels te versterken.
Refusal Failure (Falen van Weigering):
- Refusal failures (naleving van schadelijke instructies) reflecteren een verschuiving van controle/monitoring systemen (bijv. "Legal-Moral Evaluation") naar procedurele executie-systemen (bijv. "Action-Planning").
- Door NeuroCogMap-gestuurde steering wordt de weigeringsnauwkeurigheid aanzienlijk verbeterd (bijv. van 38.3% naar 98.6% op AdvBench voor Gemma2-2B).

3. Overeenkomst met Menselijke Corticale Functie

Het framework vestigt een functionele correspondentie tussen de LLM-organisatie en menselijke hersenactiviteit:

Neurale Voorspelling: NeuroCogMap parcel-activaties voorspellen menselijke corticale BOLD-responsen tijdens natuurlijk verhaal luisteren (LeBel dataset) met een hogere nauwkeurigheid ( $r=0.407$ ) dan standaard embeddings (BERT, Word2Vec) of generieke LLM hidden states.
Lokalisatie: Het voordeel in voorspellende kracht is gelokaliseerd in hogere-orde associatiecortices (Default Mode, Frontoparietal Control, Salience netwerken), specifiek in regio's betrokken bij semantische retrieval en contextintegratie.
Functionele Correspondentie: De LLM-parcels die menselijke corticale parcels het best voorspellen, delen vergelijkbare functionele beschrijvingen (bijv. "Episodic Memory Retrieval" in LLM's komt overeen met menselijke default-mode geheugenregio's). Representational Similarity Analysis (RSA) bevestigt dat de interne geometrie van gealigneerde LLM-parcels de structuur van menselijke corticale netwerken behoudt.

4. Begeleiding van Cognitieve Modelontdekking

NeuroCogMap legt latente strategieën in LLM's bloot die klassieke cognitieve modellen kunnen verfijnen:

Gedragsmatige Fit: NeuroCogMap-signatures voorspellen hoe goed een LLM menselijk gedrag simuleert over diverse cognitieve taken (bijv. twee-staps besluitvorming, intertemporele keuzes).
Model Verfijning: Door de interne signatures te analyseren van LLM's die het beste bij menselijke data passen, identificeerden de auteurs latente mechanismen (bijv. dynamische arbitrage, historie-gevoelige perseveratie, regel-achtige policy switching). Het integreren van deze mechanismen in een klassiek Dual-systems Model verbeterde de fit met held-out menselijke gedragsdata aanzienlijk (lagere AIC) vergeleken met modellen die enkel met gedragssporen zijn verfijnd.

Betekenis en Claims

Het artikel claimt NeuroCogMap te hebben gevestigd als een systeem-niveau framework dat de kloof overbrugt tussen lokale mechanistische interpreteerbaarheid en hoog-niveau gedragsanalyse in LLM's. De primaire bijdragen zijn:

Een Nieuw Verklarend Niveau: Het definieert een "mesoscopisch" schaal van functionele organisatie (parcels en capaciteiten) die grof genoeg is om cross-model regelmatigheden te onthullen, maar specifiek genoeg om causale interventie en gedragsinterpretatie te ondersteunen.
Mechanisme-Gestuurde Interventie: Het demonstreert dat model-pathologieën (hallucinatie, refusal failure) gediagnosticeerd en gemitigeerd kunnen worden door specifieke verstoringen in de interne cognitieve architectuur aan te pakken, waarmee men verder gaat dan output-niveau filtering.
Biologische Relevantie zonder Equivalentie: Het biedt een gestructureerde basis om kunstmatige systemen te relateren aan menselijke cognitie. Het framework laat zien dat LLM's als experimentele systemen kunnen dienen voor het genereren van hypothesen over cognitieve organisatie, gevalideerd tegen menselijke neurale en gedragsdata, zonder te beweren dat LLM's mechanistische replica's van het brein zijn.
Vooruitgang in de Cognitieve Wetenschap: Het biedt een pad om klassieke cognitieve modellen (bijv. besluitvormingstheorieën) te verfijnen door de "black box" van LLM's te gebruiken om latente strategieën te ontdekken die menselijk gedrag nauwkeuriger verklaren.

De auteurs positioneren dit werk als een stap naar een "cognitieve neurowetenschap van kunstmatige intelligentie", waarbij cognitieve organisatie een experimenteel hanteerbaar object wordt binnen zowel kunstmatige als biologische systemen.