Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

En manipulant des caractéristiques linguistiques dans des phrases appariées selon leur prédictibilité, cette étude démontre que la composition linguistique hiérarchique, en particulier la structure syntaxique et la sémantique associative, pilote significativement l'alignement entre les représentations des LLM et l'activité cérébrale humaine, tandis que la sémantique compositionnelle semble être plus spécifiquement encodée dans le cerveau humain.

L'essentiel

Imaginez que votre cerveau et un ordinateur ultra-intelligent (un modèle de langage de grande taille, ou LLM) écoutent tous deux une histoire lue à haute voix. Les scientifiques ont remarqué que, lorsque les humains écoutent, leurs ondes cérébrales « dansent » selon un rythme similaire aux calculs internes effectués par l'ordinateur. Mais pourquoi ? Est-ce simplement parce que le cerveau et l'ordinateur sont tous deux habiles à deviner quel mot vient ensuite (comme pour compléter une phrase), ou y a-t-il quelque chose de plus profond dans la façon dont ils comprennent la structure du langage ?

Cette étude traite le cerveau et l'ordinateur comme deux chefs différents tentant de recréer le même plat. Les chercheurs voulaient savoir : suivent-ils la même recette simplement parce qu'ils connaissent bien les ingrédients (les modèles statistiques), ou comprennent-ils réellement le processus de cuisson (la composition hiérarchique) de la même manière ?

Pour le découvrir, l'équipe a présenté des phrases à des volontaires humains (tout en enregistrant leurs ondes cérébrales à l'aide d'un casque EEG) et à un modèle informatique appelé GPT-2. Ils ont soigneusement modifié les phrases de trois manières spécifiques, en veillant à ce que la « prévisibilité » des mots reste identique, de sorte que la seule différence réside dans le type de sens :

1. Le « Squelette grammatical » (Structure syntaxique) : Ils ont examiné des phrases possédant une grammaire claire et organisée.

   • Le Résultat : Lorsque les phrases présentaient une structure grammaticale forte, les « pensées » internes de l'ordinateur et les ondes cérébrales humaines correspondaient encore mieux. C'est comme découvrir que le chef et l'ordinateur utilisent tous deux les mêmes techniques de coupe spécifiques pour hacher les légumes.

2. Le « Sens des blocs de construction » (Sémantique compositionnelle) : Il s'agit du cas où le sens d'une phrase est construit strictement à partir des sens de ses parties (comme « voiture rouge » signifiant une voiture qui est rouge).

   • Le Résultat : De manière surprenante, lorsque les phrases reposaient fortement sur ce type de sens de blocs de construction, la correspondance entre l'ordinateur et le cerveau a diminué. C'est comme si le chef humain commençait à utiliser une technique secrète familiale que l'ordinateur ne possédait tout simplement pas. Le cerveau humain semble traiter ce type spécifique de sens d'une manière unique que l'ordinateur ne parvient pas tout à fait à reproduire.

3. L'« Association de mots » (Sémantique associative) : Il s'agit du cas où les mots sont liés par des connexions lâches ou des habitudes (comme penser à « beurre » quand on entend « pain »).

   • Le Résultat : Modifier ces associations n'a pas changé la correspondance du tout. L'ordinateur et le cerveau étaient déjà parfaitement d'accord concernant ces connexions lâches. C'est comme si les deux chefs savaient automatiquement que le « sel » va avec le « poivre » sans avoir besoin d'une instruction spéciale.

La Grande Conclusion
L'étude montre que le lien entre les cerveaux humains et l'IA ne se limite pas à la prédiction du mot suivant. L'ordinateur et le cerveau « parlent en fait la même langue » en ce qui concerne la grammaire et les associations de mots. Cependant, lorsqu'il s'agit de construire des sens complexes à partir de parties plus petites, le cerveau humain possède une manière spéciale et unique de le faire que l'ordinateur n'a pas encore tout à fait maîtrisée. L'ordinateur est un excellent imitateur de nos habitudes et de nos règles, mais nos cerveaux ont un flair unique pour construire du sens que la machine est encore en train d'apprendre à copier.

Résumé technique

Résumé technique : Au-delà de la prédiction du mot suivant

Énoncé du problème
Il a été observé que les représentations internes des grands modèles de langage (LLM) corrèlent avec l'activité neuronale humaine lors de la compréhension du langage. Cependant, le mécanisme sous-jacent qui sous-tend cet « alignement LLM-cerveau » fait toujours l'objet de débats. Une hypothèse prédominante suggère que cet alignement découle simplement d'une sensibilité partagée aux motifs statistiques (par exemple, la prévisibilité) inhérents aux deux systèmes. Une vision alternative postule que cet alignement reflète l'émergence de représentations linguistiques structurées et partagées. Cette étude examine si la composition linguistique hiérarchique — une propriété considérée comme fondamentale du langage humain — est le moteur spécifique de cet alignement, distincte de la simple prévisibilité statistique.

Méthodologie
Pour dissocier la structure linguistique des facteurs statistiques, les auteurs ont employé un design expérimental contrôlé impliquant à la fois un LLM (GPT2-XL) et des participants humains :

• Manipulation des stimuli : Des phrases en anglais ont été systématiquement manipulées selon trois dimensions linguistiques : la syntaxe, la sémantique compositionnelle et la sémantique associative.
• Appariement de la prévisibilité : De manière cruciale, les stimuli manipulés linguistiquement ont été appariés selon leur prévisibilité. Ce contrôle permet aux chercheurs d'isoler les effets de la structure linguistique des effets de la probabilité statistique.
• Collecte de données : Des participants humains ont subi une expérience d'électroencéphalographie (EEG) tout en traitant ces phrases. Simultanément, des embeddings contextuels ont été extraits mot par mot à partir des couches cachées de GPT2-XL.
• Analyse : L'étude a utilisé un modèle d'encodage linéaire pour calculer les scores d'alignement LLM-EEG. En comparant ces scores entre des conditions appariées par prévisibilité, les auteurs ont évalué comment des manipulations linguistiques spécifiques modulent l'alignement entre l'activité cérébrale humaine et les représentations du modèle.

Contributions et résultats clés
L'étude identifie trois motifs distincts concernant la manière dont les caractéristiques linguistiques modulent l'alignement LLM-cerveau, démontrant que ces effets se produisent au-delà de la prévisibilité :

1. Structure syntaxique : L'alignement augmente pour les séquences de mots possédant une structure syntaxique, suggérant que tant le LLM que le cerveau humain encodent la hiérarchie syntaxique d'une manière comparable.
2. Sémantique compositionnelle : L'alignement diminue pour les phrases impliquant une sémantique compositionnelle. Cela indique que l'encodage du sens compositionnel est plus spécifique au cerveau humain et moins partagé avec les représentations internes du LLM.
3. Sémantique associative : Cette dimension ne module pas significativement l'alignement, impliquant que l'information sémantique associative est encodée de manière similaire par le LLM et le cerveau humain.

Signification
L'article affirme que la composition linguistique hiérarchique est un facteur critique pilotant l'alignement LLM-cerveau, remettant en cause la vision selon laquelle l'alignement serait uniquement un sous-produit de la correspondance de motifs statistiques. Les résultats suggèrent une divergence nuancée dans la manière dont ces systèmes traitent le langage : tandis que les LLM et le cerveau humain partagent des représentations pour la sémantique associative et certains aspects de la structure syntaxique, le cerveau humain possède une capacité distincte pour l'encodage de la sémantique compositionnelle qui n'est pas entièrement reflétée dans le modèle GPT2-XL. Ce travail fournit des preuves empiriques que l'alignement LLM-cerveau est piloté par des propriétés linguistiques spécifiques plutôt que par une co-occurrence statistique générale.