Sparse Autoencoders Map Brain-LLM Alignment onto Cortical Semantic Topography

Résumé technique : Les autoencodeurs parcimonieux cartographient l'alignement Cerveau–LLM sur la topographie sémantique corticale

Énoncé du problème
Une découverte robuste en neurolinguistique computationnelle est que les couches intermédiaires des grands modèles de langage (LLM) prédisent le mieux les réponses cérébrales humaines au langage, formant une relation en « U inversé » à travers la profondeur du modèle. Cependant, la raison mécanistique de cet alignement reste inexpliquée. Les théories existantes proposent trois explications non mutuellement exclusives : (1) le traitement prédictif, où les couches intermédiaires génèrent des erreurs de prédiction semblables à celles du cerveau ; (2) la découverte de caractéristiques, où les couches intermédiaires contiennent les représentations sémantiques les plus riches avant la spécialisation des couches tardives ; et (3) les artefacts géométriques, où les couches intermédiaires possèdent des représentations de dimension supérieure et décodables linéairement. Des travaux antérieurs ont établi que le contenu sémantique domine l'alignement cérébral au niveau agrégé, mais ils manquent de granularité pour déterminer quelles caractéristiques sémantiques spécifiques entraînent l'alignement et où elles se cartographient dans le cortex.

Méthodologie
Les auteurs font le pont entre l'interprétabilité mécanistique et l'encodage neuronal en décomposant les représentations des LLM en caractéristiques interprétables à l'aide d'autoencodeurs parcimonieux (SAE).

1. Décomposition du modèle : Des SAE ont été entraînés sur chaque quatrième couche de GPT-2 XL (1,5 milliard de paramètres) et de Llama-3.1-8B (8 milliards de paramètres), extrayant 16 000 à 32 000 caractéristiques par couche. Les modèles ont été entraînés sur 500 millions de jetons avec une reconstruction $R^2 \geq 0,95$.
2. Catégorisation des caractéristiques : Un protocole en deux passes a classé les caractéristiques en cinq types : Sémantique, Syntaxique, Lexicale, Prédiction et Autre.
   • Passage 1 : Classification automatisée via GPT-4.
   • Passage 2 : Validation humaine par deux étudiants diplômés ($\kappa$ de Cohen = 0,81).
3. Données neuronales et encodage : L'étude a utilisé le jeu de données fMRI UTS (8 locuteurs natifs d'anglais, 27 histoires naturalistes). Des modèles de régression ridge au niveau des voxels ont été ajustés pour prédire les réponses fMRI à partir de sous-ensembles de caractéristiques. La partition de la variance a été utilisée pour isoler les contributions uniques par rapport à des bases aléatoires appariées en nombre et en variance.
4. Prédiction topographique a priori : Pour éviter l'appariement de motifs post-hoc, les auteurs ont dérivé cinq sous-catégories sémantiques (Concrétion/Animé, Structure événementielle, Affect/Émotion, Social/Mental, Spatial/Localisation) et leurs régions corticales prédites a priori en croisant les résultats de trois programmes de neuroscience indépendants : Binder et al. (2009), Huth et al. (2016) et Deniz et al. (2019).
5. Validation :
   • Test de convergence : La corrélation de rang de Spearman et les tests de chevauchement hypergéométrique ont comparé la cartographie observée des caractéristiques SAE vers les régions aux prédictions a priori.
   • Causalité/Comportement : Le patching d'activation (ablation) et les modèles linéaires mixtes généralisés (GLMM) sur des jeux de données de temps de lecture (Natural Stories, Provo Corpus) ont été utilisés pour valider le rôle causal et la pertinence comportementale des caractéristiques sémantiques.

Contributions clés

1. Décomposition au niveau des caractéristiques de l'avantage des couches intermédiaires : L'étude démontre que les caractéristiques sémantiques seules récupèrent 94 % de la performance d'encodage maximale ($r=0,285$) atteinte par les activations complètes reconstruites par SAE, surpassant considérablement les bases aléatoires appariées en variance ($p<0,001, d=1,31$). Cela confirme que le contenu sémantique, plutôt que la structure syntaxique ou la dimensionnalité géométrique, est le moteur principal de l'alignement Cerveau–LLM.
2. Validation formelle de la topographie sémantique corticale : L'article fournit la première preuve que les caractéristiques découvertes par les SAE récapitulent l'organisation sémantique corticale connue avec une granularité inaccessible aux méthodes précédentes. Un test formel de convergence a confirmé que la cartographie observée des cinq sous-catégories sémantiques vers cinq régions cérébrales correspond significativement aux prédictions a priori dérivées de la littérature en neuroscience indépendante (Spearman $\rho=0,72, p<0,001$ ; Hypergéométrique $p=0,007$).
3. Preuves comportementales et causales :
   • Temps de lecture : Les caractéristiques sémantiques SAE prédisent les temps de lecture humains au-delà des contrôles lexicaux et des normes sémantiques standard au niveau des mots ($\Delta \log Lik = 38,4, p<0,001$).
   • Patching d'activation : L'ablation des caractéristiques sémantiques à la couche pic (L24 pour GPT-2 XL) a provoqué une baisse significative de la performance d'encodage ($\Delta r^2 = -0,14$), fournissant des preuves cohérentes avec un rôle causal de ces caractéristiques.
4. Généralisation : Les résultats se généralisent à travers les langues (anglais, chinois, français) et les modèles (GPT-2 XL, Llama-3.1-8B).

Résultats

• Couches intermédiaires : Les deux modèles ont présenté un profil en U inversé, culminant aux couches L20–24 pour GPT-2 XL et L12–16 pour Llama-3.1-8B.
• Dominance sémantique : Les caractéristiques sémantiques ont expliqué 88 % de la variance neuronale capturée par le modèle. Les caractéristiques lexicales ont contribué à une variance unique négligeable ($\Delta R^2 \approx 0,000$), bien qu'elles constituent une part importante des caractéristiques des couches précoces.
• Alignement topographique : Des sous-catégories spécifiques se sont cartographiées sur des régions spécifiques comme prévu :
  • Concrétion/Animé $\rightarrow$ Cortex temporal postérieur et gyrus angulaire.
  • Affect/Émotion $\rightarrow$ Cortex temporal antérieur et dmPFC.
  • Social/Mental $\rightarrow$ Cortex frontal inférieur et cortex temporal antérieur.
  • Spatial $\rightarrow$ Gyrus angulaire.
• Erreur de prédiction : Une analyse exploratoire suggère que le cerveau encode également un contenu sémantique inattendu (erreurs de prédiction), car la combinaison de la sémantique brute avec les erreurs de prédiction a amélioré la performance d'encodage ($\Delta r = +0,018, p<0,01$).
• Comparaison avec les normes : Les caractéristiques SAE ont surpassé les normes sémantiques simples au niveau des mots (par exemple, concrétion, valence) tant en performance d'encodage ($r=0,285$ contre $0,194$) qu'en convergence topographique ($\rho=0,72$ contre $0,31$), soulignant l'importance des représentations contextuelles et de haute granularité.

Portée et affirmations
L'article prétend transformer la question de l'alignement Cerveau–LLM de « si » la sémantique entraîne la relation vers « quelles caractéristiques sémantiques spécifiques entraînent l'alignement et où dans le cerveau ».

• Insight mécanistique : Les auteurs soutiennent que l'avantage des couches intermédiaires reflète un pic de richesse sémantique avant que le modèle ne se spécialise pour l'objectif d'entraînement (prédiction du prochain jeton) dans les couches ultérieures.
• Convergence neuroscientifique : Les résultats soutiennent l'architecture hub-and-spoke de la mémoire sémantique, montrant que les LLM découvrent spontanément une topographie corticale qui converge avec la neuroanatomie humaine.
• Avance méthodologique : En appliquant les SAE aux données neuronales, l'étude dépasse les mesures agrégées pour fournir un compte rendu au niveau des caractéristiques qui relie les représentations computationnelles à des mécanismes neurobiologiques spécifiques. Les auteurs positionnent cela comme un seul compte rendu au niveau des caractéristiques couvrant deux régularités empiriques précédemment déconnectées : l'avantage des couches intermédiaires et l'organisation sémantique corticale.

Limitations reconnues par les auteurs
L'article note plusieurs limitations, notamment :

• L'utilisation de GPT-4 pour l'étiquetage des caractéristiques peut introduire des biais partagés (atténués par la validation humaine et les vérifications croisées entre LLM).
• L'ablation par moyenne est une intervention grossière pour les affirmations causales.
• La résolution fMRI ($\sim2$s) confond la sémantique au niveau des mots et la sémantique compositionnelle.
• L'étude est une vérification de généralisation à travers trois langues (toutes à tête initiale) plutôt qu'une preuve linguistique transversale complète.
• L'analyse des erreurs de prédiction est un proxy simplifié pour un codage prédictif hiérarchique complet.