Do Language Models Align with Brains? Prediction Scores Are Not Enough

Résumé technique : « Les modèles de langage sont-ils alignés avec le cerveau ? Les scores de prédiction ne suffisent pas »

Énoncé du problème
L'article aborde une ambiguïté critique en NeuroAI : la confusion entre l'utilité prédictive et l'alignement structurel ou mécanistique. Bien que les grands modèles de langage (LLM) soient couramment utilisés pour prédire les réponses neuronales à des stimuli linguistiques naturalistes, un score de prédiction élevé n'implique pas nécessairement que les représentations internes du modèle capturent des calculs pertinents pour le cerveau. Une caractéristique du modèle pourrait prédire des données neuronales simplement parce qu'elle partage des propriétés statistiques de bas niveau avec le stimulus (par exemple, l'autocorrélation temporelle, la fréquence lexicale ou le timing du stimulus) plutôt que de refléter l'organisation structurelle du cerveau. Les auteurs soutiennent que les pratiques d'évaluation actuelles interprètent souvent excessivement des scores d'encodage positifs comme des preuves d'alignement biologique, sans contrôles suffisants pour écarter ces explications non spécifiques.

Méthodologie : Le cadre L-PACT
Pour résoudre cette ambiguïté, les auteurs introduisent L-PACT (Test de Langage Prédictif, d'Alignement-pattern, Causal et Borné par Turing). L-PACT n'est pas un score de référence unique, mais une hiérarchie à quatre niveaux et à structure de porte, conçue pour séparer les faibles preuves prédictives des affirmations fortes d'alignement. Le cadre fonctionne sur un ensemble verrouillé d'artefacts dérivés de neurones et de modèles issus de jeux de données primaires (Brain Treebank, Podcast ECoG, MEG-MASC) et applique une règle de décision conjonctive : une ligne de modèle doit réussir les quatre niveaux simultanément pour être considérée comme un candidat à l'alignement.

Les quatre niveaux de preuve sont :

1. Adéquation prédictive (Niveau 1) : Détermine si les caractéristiques réelles du modèle améliorent la prédiction neuronale sur des données de test par rapport à la fois aux bases de nuisance et aux contrôles sévères. Les contrôles sévères incluent des caractéristiques aléatoires appariées en dimension, des caractéristiques aléatoires appariées en autocorrélation, des décalages circulaires, des caractéristiques de réinitialisation de phrase, des caractéristiques de contexte inversé, des permutations d'étiquettes de couches et des mélanges d'ordre des tokens.
2. Adéquation relationnelle (Niveau 2) : Teste si les profils d'alignement modèle-vers-cerveau reproduisent les modèles d'alignement cerveau-vers-cerveau. Au lieu de simplement correspondre à une cible unique, le modèle doit reproduire l'organisation relationnelle entre les unités neuronales (par exemple, la relation entre l'unité A et l'unité B) mieux que ne le font les profils de contrôle sévère.
3. Adéquation de dépouillement mécanistique contrefactuel (Niveau 3) : Évalue si le retrait d'un mécanisme candidat (par exemple, la surprise, la transition sémantique, la frontière syntaxique) de la représentation du modèle produit un déficit sélectif pour correspondre aux cibles neuronales. Cela teste la nécessité spécifique du mécanisme au sein du prédicteur, distinguant la dégradation spécifique de la perte de qualité générique des caractéristiques.
4. Adéquation bornée par la fiabilité (Niveau 4) : Normalise les preuves du modèle par rapport aux plafonds cerveau-vers-cerveau (par exemple, la fiabilité demi-échantillon, d'exécution à exécution ou de sujet à sujet). Les scores du modèle doivent s'approcher de la variabilité observée entre les mesures cérébrales elles-mêmes pour être considérés comme fiables.

Contributions clés

• Cadre L-PACT : Une architecture d'évaluation rigoureuse et auditable par source qui sépare les scores prédictifs des affirmations relationnelles, spécifiques au mécanisme et bornées par la fiabilité. Il définit explicitement l'« alignement » comme une affirmation qualifiée par une porte, nécessitant une robustesse aux contrôles, une organisation relationnelle et une spécificité mécanistique, distincte de la simple « correspondance ».
• Éligibilité des jeux de données audité par source : L'étude met en œuvre un audit strict de la chaîne d'artefacts, classant les jeux de données comme primaires, secondaires, diagnostiques ou uniquement de validation, en fonction de la disponibilité des séries temporelles cérébrales, des événements de mots, des caractéristiques du modèle, des contrôles sévères et des estimations de fiabilité. Notamment, le populaire jeu de données NaturalStories est exclu de l'inférence primaire en raison de chaînes d'artefacts incomplètes.
• Contrôles de sensibilité de l'essai : Pour garantir que les résultats négatifs ne sont pas dus à un échec de l'essai, les auteurs ont mis en œuvre des contrôles positifs qui n'altèrent pas les décisions réelles du modèle. Ceux-ci incluent :
  • Contrôles de fiabilité cerveau-vers-cerveau : Vérification d'une structure stable dans les données cérébrales demi-échantillon ou d'exécution à exécution.
  • Contrôles cerveau-comme-modèle : Test de la capacité d'un profil cérébral d'une exécution/d'un sujet à prédire une autre, en passant la porte relationnelle.
  • Portes neuronales et d'enveloppe acoustique de bas niveau : Vérification de la détection des signaux de début de mot, de taux de mot et d'enveloppe acoustique.
  • Simulation déterministe de signal implanté : Un contrôle synthétique où un signal connu est injecté, démontrant que les portes L-PACT peuvent passer lorsque la structure est présente.

Résultats
L'analyse a porté sur un ensemble verrouillé de 146 lignes de décision intégrées dérivées de 414 lignes de contrôle prédictif, 2 304 relationnelles, 4 320 de dépouillement mécanistique et 420 de plafond cerveau-vers-cerveau.

• Aucun passage intégré : Zéro ligne de modèle réel a passé la règle de décision intégrée L-PACT. Toutes les 146 lignes intégrées ont été classées comme expliquées par le contrôle.
• Rétrogradation des positifs apparents : Selon des règles moins strictes à critère unique, de nombreux positifs apparents sont apparus (par exemple, 35 lignes avec des scores bruts de Pearson positifs, 1 224 lignes avec une similarité de profil brute positive). Cependant, L-PACT a rétrogradé ces résultats car ils n'ont pas survécu aux contrôles sévères, n'ont pas reproduit la structure relationnelle, n'ont pas montré de nécessité spécifique au mécanisme, ou ne se sont pas approchés des plafonds de fiabilité cerveau-vers-cerveau.
• Sensibilité de l'essai confirmée : Les contrôles positifs ont réussi. Les contrôles de fiabilité cerveau-vers-cerveau ont montré une structure stable ; les contrôles cerveau-comme-modèle ont passé la porte relationnelle pour Brain Treebank (744/864 lignes) ; les portes neuronales et acoustiques de bas niveau ont détecté les signaux attendus ; et la simulation synthétique de signal implanté a passé les quatre portes. Cela confirme que l'essai est capable de détecter une structure lorsqu'elle est présente, validant ainsi le résultat négatif pour les modèles de langage réels.
• Échecs spécifiques :
  • Prédictif : Les scores des modèles réels ont souvent été égalés ou dépassés par des contrôles sévères (par exemple, des décalages circulaires ou des caractéristiques aléatoires appariées en autocorrélation).
  • Relationnel : Les profils modèle-vers-cerveau n'ont pas reproduit les modèles d'alignement cerveau-vers-cerveau mieux que les profils mélangés ou de contrôle.
  • Dépouillement mécanistique : Le retrait des mécanismes n'a pas produit de déficits sélectifs ; les baisses observées étaient non spécifiques ou non étayées par les portes amont.
  • Fiabilité : Les preuves du modèle ne se sont pas approchées du plafond de fiabilité cerveau-vers-cerveau.

Signification et affirmations
L'affirmation centrale de l'article est que les scores de prédiction seuls sont insuffisants comme preuve d'alignement structurel ou spécifique au mécanisme entre les modèles de langage et le cerveau. Les auteurs soulignent qu'il s'agit d'une contrainte sur la force probante, et non d'un verdict universel selon lequel les modèles ne pourront jamais s'aligner avec le cerveau.

• Distinction des affirmations : L'étude distingue la correspondance (association statistique reproductible utile pour la prédiction) de l'alignement (une affirmation plus forte nécessitant une robustesse aux contrôles, une organisation relationnelle et une spécificité mécanistique).
• Résultats négatifs actionnables : En convertissant les positifs apparents en une « taxonomie auditable expliquée par le contrôle », L-PACT fournit une norme claire pour les travaux futurs. Une future affirmation positive doit être localisée à la porte spécifique qu'elle satisfait nouvellement plutôt que d'être affirmée à partir d'un score agrégé.
• Posture conservatrice : Les auteurs déclarent explicitement ne pas affirmer que toutes les comparaisons possibles modèle-cerveau sont négatives, ni qu'ils affirment que les modèles actuels ne s'aligneront jamais. La conclusion est bornée à l'ensemble d'artefacts dérivés analysé, aux modèles spécifiques testés (incluant les variantes DistilGPT-2, GPT-2, Pythia et Qwen) et aux contrôles configurés. Le cadre est conçu pour trancher des affirmations fortes, ce qui signifie qu'il échange la sensibilité contre l'interprétabilité pour prévenir la surinterprétation de l'utilité prédictive.

En résumé, l'article soutient que sans contrôles sévères, tests de profil relationnel, dépouillement mécanistique et bornage de fiabilité, les scores de prédiction neuronale positifs risquent de faire apparaître les modèles computationnels plus informatifs biologiquement que ce que les preuves ne le soutiennent. L-PACT fournit l'infrastructure méthodologique pour séparer ces affirmations.