Résumé technique : NeuroCogMap révèle l'organisation cognitive des grands modèles de langage

Problématique

Bien que les grands modèles de langage (LLM) présentent des comportements de type cognitif étendus, leur organisation cognitive interne demeure opaque. Les approches actuelles d'interprétabilité sont fragmentées : les évaluations comportementales révèlent ce que les modèles peuvent faire mais pas comment les fonctions sont implémentées ; les études mécanistes identifient des neurones ou des circuits isolés mais manquent de cohérence systémique ; et les analyses représentationnelles révèlent des structures sémantiques larges sans les lier à des unités fonctionnelles spécifiques ou à une organisation hiérarchique. Il existe un fossé critique dans la compréhension de la manière dont les composants distribués dans les LLM forment des unités fonctionnelles cohérentes, interagissent à travers différents niveaux d'abstraction, soutiennent des capacités d'ordre supérieur et se dégradent lors de comportements pathologiques (ex. : hallucination, biais, échec de refus). De plus, il n'est pas clair si ces structures artificielles peuvent fournir des informations testables sur la cognition biologique ou améliorer la prédiction des réponses neurales humaines.

Méthodologie : Le cadre NeuroCogMap

Les auteurs introduisent NeuroCogMap, un cadre inspiré des principes des neurosciences cognitives (parcellisation fonctionnelle, cartographie représentationnelle, abstraction hiérarchique) pour cartographier la structure cognitive interne des LLM. Le cadre opère à travers quatre étapes liées :

1. Construction de l'atlas fonctionnel (Parcelles) :

   • Extraction de caractéristiques : Les activations des autoencodeurs creux (SAE - Sparse Autoencoders) sont extraites des flux résiduels des LLM (Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B) à travers divers jeux de données. Les SAE sont utilisés pour décomposer les activations de neurones polysémantiques en directions de caractéristiques séparables et interprétables.
   • Regroupement (Clustering) : Les caractéristiques des SAE sont regroupées en fonction de leurs profils de réponse induits par les tâches et de leur distribution par couche. La granularité optimale est déterminée par un score conjoint équilibrant la qualité du regroupement, la qualité de la description fonctionnelle et la non-redondance, aboutissant à 270 parcelles fonctionnelles.
   • Annotation : Chaque parcelle se voit assigner une description fonctionnelle en langage naturel (ex. : « Analyse de contradiction », « Récupération de connaissances géographiques ») basée sur des exemples de haute activation et l'extraction de mots-clés.

2. Atlas cognitif et cartographie des capacités :

   • Inventaire des capacités : Un espace organisé de 45 capacités cognitives (ex. : robustesse, raisonnement, sécurité) est établi à partir de la littérature.
   • Liaison : Les parcelles sont liées aux capacités via trois flux de preuves : corrélations d'activation induites par les tâches, effets d'interventions causales (pilotage des activations des parcelles) et cohérence sémantique entre les descriptions des parcelles et les définitions des capacités.

3. Hiérarchie cognitive :

   • Les capacités sont organisées en une hiérarchie à quatre couches inspirée de la taxonomie de Bloom : Perception, Représentation, Abstraction et Application.
   • Le cadre valide cette hiérarchie en démontorant que les parcelles au sein d'une couche sont sémantiquement plus similaires à la description de leur couche qu'aux autres, et que les capacités de niveau inférieur servent de prérequis aux raisonnements d'ordre supérieur.

4. Connectome structurel :

   • Des connexions dirigées entre les parcelles sont estimées sur la base des relations inter-couches de leurs caractéristiques SAE constituantes, créant un connectome structurel au niveau du modèle pour analyser la coordination et la disruption.

Résultats clés

1. Émergence d'unités cognitives stables et interprétables

NeuroCogMap identifie que l'activité interne des LLM forme des unités fonctionnellement significatives et stables plutôt que des clusters arbitraires.

• Stabilité : L'atlas de 270 parcelles montre une forte cohérence sémantique interne (similarité intra-parcelle > similarité inter-parcelle) et une consistance partielle entre les modèles à travers différentes architectures de LLM.
• Interprétabilité : Les descriptions fonctionnelles dérivées des profils d'activation prédisent avec succès le classement des activations des parcelles sur des données non vues, surpassant les bases de référence basées sur les neurones ou uniquement sur les mots-clés.
• Causalité : Les interventions ciblées (steering) sur des parcelles spécifiques modifient les sorties du modèle dans des directions cohérentes avec leurs fonctions assignées, confirmant les liens causaux entre les parcelles et le comportement.

2. Analyse systémique des pathologies

NeuroCogMap révèle que les défaillances des modèles ne sont pas des erreurs uniformes mais des disruptions distinctes dans des systèmes cognitifs spécifiques :

• Hallucination :
  • Dans TruthfulQA, les hallucinations découlent d'un échec du contrôle évaluatif d'ordre supérieur (ex. : réduction de l'activation de « Vérification de véracité » et de « Vérification de fait binaire ») sur la récupération trompeuse.
  • Dans NQ-Open, les hallucinations proviennent d'une coordination fragmentée entre les systèmes de récupération factuelle (ex. : affaiblissement du couplage entre « Connaissance géographique » et « Noyau de récupération de faits »).
  • Détection et atténuation : Les signatures dérivées de ces disruptions permettent la détection des hallucinations (AUROC jusqu'à 0,840) et une intervention ciblée, améliorant significativement la précision factuelle en supprimant les parcelles de récupération sur-recrutées et en renforçant les parcelles évaluatives sous-recrutées.
• Échec de refus :
  • Les échecs de refus (conformité à des instructions malveillantes) reflètent un passage des systèmes de contrôle/surveillance (ex. : « Évaluation légale-morale ») vers les systèmes d'exécution procédurale (ex. : « Planification d'action »).
  • Le pilotage guidé par NeuroCogMap améliore substantiellement la précision du refus (ex. : de 38,3 % à 98,6 % sur AdvBench pour Gemma2-2B).

3. Alignement avec la fonction corticale humaine

Le cadre établit une correspondance fonctionnelle entre l'organisation des LLM et l'activité cérébrale humaine :

• Prédiction neurale : Les activations des parcelles de NeuroCogMap prédisent les réponses BOLD du cortex humain lors de l'écoute de récits naturalistes (jeu de données LeBel) avec une précision supérieure ($r=0,407$) que les embeddings standards (BERT, Word2Vec) ou les états cachés génériques des LLM.
• Localisation : L'avantage de prédiction est localisé dans les cortex d'association de haut niveau (réseaux du mode par défaut, de contrôle frontopariétal et de saillance), spécifiquement dans les régions impliquées dans la récupération sémantique et l'intégration du contexte.
• Correspondance fonctionnelle : Les parcelles de LLM qui prédisent le mieux une parcelle corticale humaine partagent des descriptions fonctionnelles similaires (ex. : la « Récupération de mémoire épisodique » dans les LLM s'aligne sur les régions de la mémoire du mode par défaut humain). L'analyse de similarité représentationnelle (RSA) confirme que la géométrie interne des parcelles alignées des LLM préserve la structure des réseaux corticaux humains.

4. Guidage de la découverte de modèles cognitifs

NeuroCogMap expose des stratégies latentes dans les LLM qui peuvent affiner les modèles cognitifs classiques :

• Adéquation comportementale : Les signatures de NeuroCogMap prédisent la capacité d'un LLM à simuler le comportement humain à travers diverses tâches cognitives (ex. : prise de décision en deux étapes, choix intertemporel).
• Affinement de modèle : En analysant les signatures internes des LLM qui s'ajustent le mieux aux données humaines, les auteurs ont identifié des mécanismes latents (ex. : arbitrage dynamique, persévération sensible à l'historique, commutation de politique de type règle). L'incorporation de ces mécanismes dans un modèle classique à double système a considérablement amélioré son adéquation aux données comportementales humaines non vues (AIC plus faible) par rapport aux modèles affinés uniquement par des traces comportementales.

Signification et affirmations

L'article affirme établir NeuroCogMap comme un cadre de niveau système qui comble le fossé entre l'interprétabilité mécaniste locale et l'analyse comportementale de haut niveau dans les LLM. Ses principales contributions sont :

1. Un nouveau niveau explicatif : Il définit une échelle « mésoscopique » d'organisation fonctionnelle (parcelles et capacités) qui est assez grossière pour révéler des régularités entre modèles, tout en étant assez spécifique pour supporter l'intervention causale et l'interprétation comportementale.
2. Intervention guidée par les mécanismes : Il démontre que les pathologies des modèles (hallucination, échec de refus) peuvent être diagnostiquées et atténuées en ciblant des disruptions spécifiques dans l'architecture cognitive interne, allant au-delà du simple filtrage des sorties.
3. Pertinence biologique sans équivalence : Il fournit une base structurée pour relier les systèmes artificiels à la cognition humaine. Le cadre montre que les LLM peuvent servir de systèmes expérimentaux pour générer des hypothèses sur l'organisation cognitive, validées par des données neurales et comportementales humaines, sans prétendre que les LLM sont des répliques mécanistes du cerveau.
4. Avancement des sciences cognitives : Il offre une voie pour affiner les modèles cognitifs classiques (ex. : théories de la prise de décision) en exploitant la « boîte noire » des LLM pour découvrir des stratégies latentes qui expliquent plus précisément le comportement humain.

Les auteurs positionnent ce travail comme une étape vers une « neurosciences cognitives de l'intelligence artificielle », où l'organisation cognitive devient un objet expérimentalement traçable à travers les systèmes tant artificiels que biologiques.