When word order matters: human brains represent sentence meaning differently from large language models

En analysant des données d'IRMf, cette étude démontre que les modèles de langage transformer, bien que supérieurs aux modèles ignorant l'ordre des mots, représentent le sens des phrases de manière nettement moins fidèle au cerveau humain que les modèles explicitement conçus pour encoder les relations structurelles.

L'essentiel

🧠 Le Grand Duel : Le Cerveau Humain contre l'Intelligence Artificielle

Imaginez que vous êtes un juge dans un concours de cuisine. Votre tâche est de déterminer si deux plats sont vraiment différents ou s'ils sont presque identiques.

• Le Plat A est une salade composée de tomates, de concombres et de basilic.
• Le Plat B est une salade composée de tomates, de concombres et de basilic, mais cette fois, le basilic est mélangé avec les tomates, et les concombres sont à la place du basilic.

Pour un humain, même si les ingrédients sont les mêmes, l'ordre et la façon dont ils sont assemblés changent totalement le goût et le sens du plat. C'est ce qu'on appelle la "structure".

Cette étude cherche à répondre à une question cruciale : Les super-intelligences artificielles (comme GPT-4) comprennent-elles cette différence de "structure" aussi bien que notre cerveau ?

---

🔍 L'Expérience : Un Test de "Mémoire et de Structure"

Les chercheurs ont organisé un test très spécial avec 30 participants humains et plusieurs modèles d'IA.

1. Le Défi des Phrases : Ils ont créé 108 phrases très précises. Certaines phrases utilisaient exactement les mêmes mots, mais en les échangeant (comme changer le sujet et l'objet).

   • Exemple : "Le photographe a apporté l'équipement au réalisateur" vs "Le réalisateur a apporté l'équipement au photographe".
   • Pour un humain, ce sont deux histoires totalement différentes. Pour une machine qui ne regarde que les mots, ce sont presque la même chose.

2. Le Scanner Cérébral (IRMf) : Pendant que les participants lisaient ces phrases, ils étaient placés dans un scanner IRM très puissant (7 Tesla, c'est comme un microscope géant pour le cerveau). Les chercheurs ont observé quelles zones du cerveau s'activaient.

3. Les Concurrents de l'IA : Ils ont comparé les réactions du cerveau humain avec celles de quatre types de "cerveaux artificiels" :

   • Le "Compteur de Mots" (Mean) : Une machine qui additionne juste les mots sans se soucier de l'ordre. (Comme un dictionnaire qui ne lit que la liste des ingrédients).
   • Les "Transformers" (GPT, Llama, etc.) : Les IA modernes, très douées pour parler, mais qui lisent les phrases comme une longue liste de mots.
   • Les "Cartographes" (Graphes) : Des modèles qui dessinent une carte des relations entre les mots (qui fait quoi à qui).
   • L'Hybride (VerbNet-CN) : Un modèle qui combine la liste des mots avec une carte des rôles (qui est le sujet, qui est l'objet).

---

🏆 Les Résultats : Qui a gagné ?

1. Le Cerveau Humain est un Architecte

Quand les humains lisaient les phrases où les mots étaient échangés (comme le photographe et le réalisateur), leur cerveau réagissait fortement. Il disait : "Hé ! C'est une histoire différente !"
Cela prouve que notre cerveau ne se contente pas de compter les mots ; il comprend la structure et l'ordre des choses.

2. Les IA Modernes (Transformers) sont des "Lecteurs Superficiels"

C'est la grande surprise de l'étude. Les IA les plus avancées (comme GPT-4) ont fait beaucoup mieux que les simples compteurs de mots, mais elles ont échoué à imiter le cerveau humain sur ces phrases complexes.

• L'analogie : Imaginez que vous demandez à un robot de comparer deux maisons. Il regarde les briques (les mots) et dit : "Ah, il y a les mêmes briques, donc c'est la même maison !" Il ne voit pas que la porte est à l'arrière dans une maison et à l'avant dans l'autre.
• Pour les IA, les phrases échangées semblaient trop similaires, alors que pour le cerveau humain, elles étaient très différentes.

3. Les "Cartographes" et l'Hybride sont les plus proches de l'Humain

Les modèles qui utilisaient une carte des relations (qui fait quoi à qui) ont été les seuls à se rapprocher de la façon dont le cerveau humain fonctionne. Ils ont compris que changer le rôle d'un mot changeait tout le sens de la phrase.

---

💡 La Leçon à retenir

Cette étude nous apprend deux choses importantes :

1. Le mot "Intelligence" est trompeur : Même si les IA peuvent écrire des poèmes ou coder des logiciels, elles ne "comprennent" pas le sens des phrases de la même manière que nous. Elles sont excellentes pour prédire le mot suivant, mais elles peinent à saisir la logique profonde de la structure.
2. Le cerveau est un chef d'orchestre : Notre cerveau ne traite pas les mots comme une liste de courses. Il les organise en une symphonie où la place de chaque instrument (mot) est cruciale pour la mélodie (le sens).

En résumé : Les IA sont comme des bibliothécaires très rapides qui savent ranger des livres par ordre alphabétique, mais elles ne comprennent pas encore l'histoire que raconte le livre. Le cerveau humain, lui, lit l'histoire, comprend les personnages et sait exactement ce qui se passe quand on inverse les rôles.

Pour que les IA deviennent vraiment intelligentes comme nous, il faudra peut-être qu'elles apprennent à dessiner des cartes des relations, et pas seulement à compter des mots.

Résumé technique

1. Problématique et Contexte

Bien que les modèles de langage de grande taille (LLM) basés sur l'architecture Transformer (comme GPT-4, Llama, Gemini) soient capables de générer un langage humainement plausible, une question fondamentale demeure : représentent-ils le sens des phrases d'une manière similaire au cerveau humain ?

La littérature antérieure a souvent montré des corrélations significatives entre l'activité cérébrale et les modèles sémantiques vectoriels. Cependant, ces études utilisent généralement des stimuli naturels qui ne permettent pas de dissocier clairement l'information lexicale (le sens des mots individuels) de l'information structurelle (la syntaxe et l'ordre des mots). Il est donc difficile de déterminer si les LLM capturent la structure des phrases comme le fait le cerveau, ou s'ils se contentent d'exploiter des similarités lexicales superficielles.

L'objectif de cette étude est de tester spécifiquement la sensibilité des modèles computationnels à la structure de la phrase en contrôlant rigoureusement la similarité lexicale, et de comparer ces représentations aux données d'imagerie par résonance magnétique fonctionnelle (IRMf) et aux jugements comportementaux humains.

2. Méthodologie

L'étude combine une expérience d'IRMf, une expérience comportementale et une analyse comparative de modèles computationnels.

A. Stimuli (Données)

Les auteurs ont créé manuellement un ensemble de 108 phrases isolées, conçues pour dissocier la similarité lexicale de la similarité sémantique globale.

• Matrice de conception : Les phrases sont organisées en six sous-ensembles partageant un même vocabulaire de base.
• Manipulations : Au sein de chaque sous-ensemble, des variations systématiques ont été appliquées :
  • Ajout/Suppression : Ajout de modificateurs (ex: adjectifs, lieux).
  • Substitution : Changement de mots clés (ex: verbe, sujet).
  • Échange (Swapped) : C'est le point critique. Les rôles sémantiques (sujet, objet, destinataire) sont inversés entre deux phrases (ex: "Le caméraman a apporté l'équipement au réalisateur" vs "Le réalisateur a apporté le caméraman à l'équipement"). Ces paires ont une forte similarité lexicale mais une faible similarité sémantique due à la structure.
• Paires d'intérêt : 918 paires de phrases "diagonales" (au sein des mêmes sous-ensembles) ont été utilisées pour tester la sensibilité à la structure.

B. Données Neuroimagerie (IRMf)

• Participants : 30 participants (après exclusion) ayant lu les 108 phrases dans un scanner IRM 7 Tesla.
• Tâche : Lecture passive des phrases avec des questions de compréhension aléatoires pour maintenir l'attention.
• Analyse : Utilisation de GLMSingle pour estimer la réponse de chaque voxel. Une Analyse de Similarité Représentationnelle (RSA) a été effectuée en comparant les matrices de similarité neuronale (basées sur les activations des voxels) avec les matrices de similarité des modèles.
• Régions d'intérêt : Réseau du langage (temporal, frontal) et cortex entier (hors zones visuelles primaires V1-V4).

C. Données Comportementales

• Participants : 502 participants en ligne.
• Tâche : Évaluation de la similarité sémantique (échelle 1-7) pour des paires de phrases aléatoires.
• Objectif : Établir une "vérité terrain" humaine pour comparer les modèles.

D. Modèles Computationnels Comparés

Quatre approches de représentation sémantique ont été testées :

1. Mean-CN (Baseline) : Moyenne élément par élément des embeddings de mots statiques (ConceptNet). Ignore totalement l'ordre et la structure.
2. Transformers : Cinq modèles différents (ERNIE, AMRBart, SentBERT, DefSent, OpenAI) dont les embeddings de phrases sont moyennés.
3. Graphes (AMR) : Représentation basée sur la Abstract Meaning Representation (AMR), utilisant des métriques de similarité de graphes (Smatch et WWLK).
4. Modèles Hybrides (VerbNet-CN) : Combine des embeddings vectoriels avec une analyse des rôles sémantiques (Agent, Patient, Thème, etc.) extraits via un parseur (GPT-4). Chaque rôle a son propre vecteur.

3. Résultats Clés

A. Performance des Modèles sur les Paires "Échangées" (Swapped)

C'est le résultat le plus significatif. Pour les paires de phrases ayant les mêmes mots mais des rôles sémantiques inversés :

• Modèle Mean-CN : Corrélations négatives fortes avec le cerveau ($\rho \approx -0.20$). Le cerveau distingue fortement ces phrases, le modèle non.
• Modèles Transformers : Corrélations négatives mais moins fortes ($\rho \approx -0.045$). Bien que meilleurs que le modèle Mean, ils échouent à capturer la différence structurelle critique, classant ces paires comme trop similaires par rapport à la réalité cérébrale.
• Modèles Hybrides et Graphes (VerbNet-CN, AMR-Smatch) : Corrélations positives ($\rho \approx 0.07$ pour VerbNet-CN). Ces modèles réussissent à discriminer les paires échangées, reflétant mieux la sensibilité du cerveau à la structure.

B. Analyse par Région Cérébrale

• Le réseau du langage (notamment les lobes temporaux) montre une forte sensibilité à la structure.
• Un effet de "longueur de phrase" a été identifié : les phrases longues génèrent des activations cérébrales très similaires indépendamment du contenu, un biais que les modèles graphiques et hybrides gèrent mieux que les Transformers une fois contrôlé.
• L'analyse "searchlight" confirme que la représentation de la structure est distribuée dans le réseau du langage, sans spécialisation régionale exclusive.

C. Données Comportementales

Les résultats comportementaux confirment les tendances de l'IRMf mais avec des corrélations plus élevées (moins de bruit).

• Les humains jugent les paires échangées comme moins similaires que les Transformers ne le pensent.
• Le modèle VerbNet-CN est légèrement plus sensible à la structure que les humains (sur-ajustement), tandis que les Transformers sont sous-sensibles.

4. Contributions Principales

1. Dissociation Lexique/Structure : Première étude IRMf utilisant des stimuli spécifiquement conçus pour isoler l'effet de la structure syntaxique/sémantique de la similarité lexicale pure.
2. Limites des Transformers : Démonstration empirique que, malgré leurs capacités linguistiques, les représentations internes des Transformers (basées sur l'attention) ne miment pas la façon dont le cerveau humain encode la structure des phrases, en particulier lorsqu'il s'agit de rôles sémantiques.
3. Supériorité des Modèles Structurés : Preuve que les modèles intégrant explicitement la structure (graphes AMR) ou les rôles sémantiques (modèles hybrides) correspondent mieux aux données neurales que les modèles purement vectoriels.
4. Validation de l'approche Hybride : Le modèle VerbNet-CN, qui combine parsing sémantique et embeddings, s'avère être le meilleur prédicteur de l'activité cérébrale, suggérant que le cerveau utilise une représentation basée sur les rôles sémantiques.

5. Signification et Conclusion

Cette étude remet en question l'hypothèse selon laquelle les LLM modernes sont de bons modèles cognitifs de la compréhension du langage humain au niveau neuronal.

• Pour les Neurosciences : Elle confirme que le cerveau humain est extrêmement sensible à la compositionnalité et à la structure des phrases, au-delà de la simple présence de mots. La représentation sémantique dans le cerveau intègre activement les relations syntaxiques et les rôles thématiques.
• Pour l'IA : Elle indique que l'architecture Transformer, bien que performante pour les tâches de génération, ne construit pas une représentation de la "signification de la phrase" de la même manière que le cerveau. Les LLM semblent traiter la structure de manière plus superficielle ou différente, échouant à capturer les nuances lorsque l'ordre des mots change mais que le vocabulaire reste identique.

En conclusion, pour modéliser fidèlement le cerveau humain, il ne suffit pas d'avoir de grandes quantités de données textuelles ; il est crucial d'intégrer des mécanismes explicites de représentation des relations structurelles et des rôles sémantiques, comme le font les approches hybrides ou basées sur des graphes.