💬 NLP

Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

Cet article démontre que des modèles de langage open-source de taille modeste peuvent saisir efficacement la sémantique des constructions rares à focalisation appariée, cette compréhension émergeant plus tard dans l'entraînement que la connaissance syntaxique et corrélant avec des gains dans des domaines spécifiques de la connaissance du monde.

Auteurs originaux : Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le langage comme un livre de recettes géant et complexe. La plupart des recettes sont standards : « Mélanger la farine et l'eau ». Mais il y en a d'autres, plus rares, plus sophistiquées, avec des instructions spécifiques comme : « Laissez de côté la garniture fantaisie, vous ne pouvez même pas gérer la pâte de base. » En linguistique, on appelle cela des CONSTRUCTIONS À FOCUS PAIRÉ (des expressions comme « sans même parler de », « et encore moins », « sans compter que » ou « n'en parlons même pas »).

Cet article pose une question simple : les modèles de langage informatiques (IA) comprennent-ils réellement ces recettes sophistiquées, ou se contentent-ils de mémoriser les mots ?

Voici le détail de ce que les chercheurs ont découvert, en utilisant quelques analogies de la vie quotidienne.

1. Le test « Forme vs Sens »

Pensez à une construction comme à une poignée de main spécifique.

La Forme (Syntaxe) : Savoir comment faire la poignée de main (le mouvement spécifique de la main, l'ordre des doigts).
Le Sens (Sémantique) : Savoir ce que la poignée de main implique (par exemple : « Si je ne peux pas faire la chose facile, je ne peux certainement pas faire la chose difficile »).

Les chercheurs ont conçu un nouveau test pour voir si les modèles d'IA pouvaient faire les deux. Ils ne se sont pas contentés de demander : « Est-ce que cette phrase est grammaticalement correcte ? » Ils ont demandé : « L'IA comprend-elle la logique à l'intérieur de la phrase ? »

L'Analogie : Imaginez un robot qui sait exactement dire : « Je ne peux pas soulever un caillou, et encore moins un rocher. »

Le Test de Syntaxe : Le robot peut-il prononcer la phrase sans trébucher ?
Le Test de Sens : Si vous demandez au robot : « Alors, peux-tu soulever le rocher ? », répond-il correctement « Non » ? Ou est-il confus parce qu'il a seulement mémorisé les mots sans comprendre la logique ?

2. Les résultats : La taille compte (et pas qu'un peu)

Les chercheurs ont testé 36 modèles d'IA différents, allant de modèles minuscules (comme une calculatrice de poche) à des modèles massifs (comme un supercalculateur).

Les petits modèles (moins de 400 millions de paramètres) : Ce sont comme des tout-petits. Ils sont très bons pour la poignée de main. Ils savent que les mots « et encore moins » vont ensemble et peuvent prononcer la phrase parfaitement. Mais lorsqu'il s'agit du sens, ils échouent. Ils ne comprennent pas la logique ; ils ne font que deviner.
Les modèles moyens (autour de 400 millions à 1 milliard de paramètres) : Ce sont comme des adolescents intelligents. Ils commencent à comprendre. Ils savent faire la poignée de main et commencent à comprendre la logique sous-jacente.
Les gros modèles : Ce sont comme des adultes. Ils sont très bons tant pour la forme que pour le sens.

La découverte clé : On n'a pas besoin d'une IA de « niveau divin » pour comprendre ces expressions rares. Une IA « modeste » (qui n'est pas la plus grande ou la plus coûteuse) peut en réalité saisir le sens, à condition d'être assez grande.

3. La chronologie de l'apprentissage : Apprendre les pas de danse avant la musique

Les chercheurs ont observé comment ces modèles apprennent au fil du temps, comme on observe un étudiant s'entraîner pour un concours de danse.

Étape 1 : Les Pas (Syntaxe) arrivent en premier. Les modèles ont appris l'ordre des mots et les règles de grammaire très tôt dans leur entraînement. Ils savaient comment dire la phrase rapidement.
Étape 2 : La Musique (Sens) arrive plus tard. Il a fallu beaucoup plus de temps aux modèles pour comprendre pourquoi la phrase fonctionne. Ils ont dû en apprendre beaucoup plus sur le monde avant de pouvoir faire le lien.

L'Analogie : Imaginez que vous apprenez à conduire. D'abord, vous apprenez où se trouvent les pédales et comment tourner le volant (Syntaxe). Vous pouvez apprendre cela rapidement. Mais comprendre quand freiner, comment juger la vitesse du trafic arrivant et ressentir le « feeling » de la route (Sémantique) demande beaucoup plus d'expérience et de temps. L'IA a appris les « pédales » bien avant d'apprendre le « feeling ».

4. La connexion avec la « connaissance du monde »

L'étude a trouvé un lien étroit entre la compréhension de ces expressions et la connaissance du fonctionnement du monde réel.

Le Scénario : L'IA a été testée sur des phrases comme : « Je ne pourrais pas soulever un petit caillou, et encore moins un énorme rocher. »
Le Résultat : L'IA a compris cela parce qu'elle sait que les rochers ont un poids.
Le Revers de la médaille : Lorsque les chercheurs ont tenté de piéger l'IA avec des phrases qui transgressent les lois de la physique (ex : « Je ne pourrais pas soulever un énorme rocher, et encore moins un petit caillou »), les plus petites IA se sont confondues. Elles se sont trop appuyées sur leur « bon sens » concernant le monde plutôt que sur la logique stricte de la phrase. Les IA plus grosses et plus intelligentes, cependant, ont pu ignorer ces faits bizarres du monde pour s'en tenir à la logique de la phrase.

5. Le problème de « l'échelle humaine »

Les chercheurs ont également testé des modèles entraînés sur des données à « échelle humaine » (des quantités de texte qu'un humain pourrait lire en une vie entière).

Le Verdict : Ces modèles ont totalement échoué à comprendre le sens. Ils pouvaient prononcer les mots, mais ils ne saisissaient pas la logique.
La Conclusion : Pour vraiment comprendre la logique profonde de ces expressions linguistiques rares, une IA doit « lire » bien plus que ce qu'un humain pourrait jamais lire. Elle a besoin de cette exposition massive pour percevoir les schémas.

Résumé

Cet article est comme un bulletin de notes pour l'IA sur un sujet très spécifique et complexe.

Les petites IA peuvent-elles le faire ? Oui, mais seulement les modèles de « taille moyenne ». Les minuscules se contentent de mémoriser les mots.
Apprennent-elles tout en même temps ? Non. Elles apprennent la grammaire (la forme) d'abord, et le sens (la logique) bien plus tard.
Ont-elles besoin de connaître le monde ? Oui. Comprendre ces expressions est lié à la compréhension du fonctionnement du monde (comme savoir qu'un objet volumineux est plus lourd qu'un petit).

Les chercheurs concluent que bien que l'IA s'améliore sur ces expressions rares, elle apprend toujours la « forme » du langage avant d'en apprendre « l'âme ».

Titre : Les modèles de langue apprennent la sémantique constructionnelle, sans parler de la syntaxe : Étude de la compréhension par les LM des constructions de type PAIRED-FOCUS

Énoncé du problème
Bien que les grands modèles de langue (LLM) aient démontré un succès dans de nombreuses tâches linguistiques, leur capacité à saisir la sémantique de constructions linguistiques rares — spécifiquement les couplages forme-sens centraux pour la Grammaire des Constructions — demeure une question ouverte. Des recherches antérieures indiquent que si les modèles apprennent souvent les propriétés formelles (syntaxe) de constructions rares, ils échouent fréquemment à acquérir leurs nuances sémantiques, particulièrement lorsqu'ils sont entraînés sur des données à « échelle humaine » (ex. : BabyLMs). De plus, les ensembles de données d'évaluation existants pour la sémantique constructionnelle reposent souvent sur des contrastes arbitraires ou des items de test non naturels qui peuvent ne pas isoler efficacement la sémantique scalaire ou les interactions avec la connaissance du monde. Il n'est pas clair si des modèles open-source de taille modeste peuvent comprendre robustement ces constructions et, si tel est le cas, comment cet apprentissage se déploie par rapport à l'acquisition syntaxique et à d'autres domaines de connaissances.

Méthodologie
Les auteurs introduisent un nouvel ensemble de données et un cadre d'évaluation pour tester la compréhension de quatre constructions spécifiques de type PAIRED-FOCUS en anglais : let alone, much less, not to mention et never mind. Ces constructions conçoivent deux éléments focalisés, impliquant une relation scalaire où le second élément représente une valeur plus élevée sur une échelle que le premier.

Construction de l'ensemble de données : Contrairement aux travaux antérieurs utilisant des exemples arbitraires, les auteurs ont généré 3 500 paires de phrases par construction en utilisant des adjectifs scalaires et des noms communs dérivés de l'échelle établie (Wilkinson et Tim, 2016). Cela garantit une relation scalaire cohérente ancrée dans la connaissance générale du monde.
Évaluation sémantique : L'évaluation mesure la sensibilité d'un modèle au sens de la construction en comparant la probabilité d'une phrase de suivi qui est implicite (entailed) par la logique scalaire de la construction par rapport à une phrase qui la contredit. Crucialement, les auteurs contrôlent la plausibilité de la connaissance du monde en comparant ces résultats à une condition de contrôle utilisant la conjonction simple « or ». La métrique ( $\Delta P$ ) isole le changement de probabilité attribuable spécifiquement à la sémantique de la construction.
Évaluation syntaxique : Les auteurs ont adapté des tests syntaxiques existants (ex. : contraintes de mouvement, comportement des items de polarité négative) pour déterminer si les modèles reconnaissent l'ungrammaticalité de certaines manipulations spécifiques aux constructions PAIRED-FOCUS.
Portée des modèles : L'étude évalue 36 modèles variant en nombre de paramètres (de 68M à 13B), en architecture (autorégressif vs modèle de langage masqué) et en taille de données de pré-entraînement.
Dynamique d'apprentissage : En utilisant des points de contrôle intermédiaires de trois modèles performants (Pythia-12b, Ettin-encoder-400m, Ettin-decoder-1b), les auteurs suivent l'acquisition de la forme et du sens au fil des étapes d'entraînement, comparant ces trajectoires aux benchmarks pour la syntaxe (BLiMP), la connaissance conceptuelle (COMPS) et la connaissance du monde (EWoK).

Résultats clés

Taille du modèle et données : Les modèles ayant moins de ~400 millions de paramètres performent généralement au niveau ou en dessous du hasard lors des évaluations sémantiques, quel que soit le volume de données d'entraînement. En revanche, plusieurs modèles open-source de taille modeste (ex. : Ettin-400m, Pythia-12b) atteignent une précision élevée (>90 %) sur les tâches sémantiques. Cependant, les modèles entraînés sur des données à « échelle humaine » (BabyLMs) ne parviennent pas à démontrer une compréhension sémantique supérieure au hasard.
Dissociation Syntaxe vs Sémantique : Il existe une dissociation claire entre l'apprentissage syntaxique et sémantique. Même les plus petits modèles testés démontrent une connaissance robuste de la forme (syntaxe) des constructions PAIRED-FOCUS, atteignant souvent des scores quasi parfaits. La compréhension sémantique, cependant, émerge nettement plus tard dans l'entraînement.
Trajectoires d'apprentissage :
- La connaissance syntaxique plafonne tôt dans le pré-entraînement, reflétant la courbe d'apprentissage du benchmark BLiMP.
- La compréhension sémantique suit une trajectoire plus tardive et plus graduelle, reflétant étroitement la courbe d'apprentissage de l'EWoK (connaissance du monde).
- La performance sur la sémantique PAIRED-FOCUS est modérément corrélée à la performance du domaine des relations physiques d'EWoK, suggérant un lien entre le sens constructionnel et la connaissance générale du monde.
Sensibilité à la plausibilité : Les modèles plus grands (ex. : Pythia-12b) font preuve de robustesse face aux contextes implausibles, inférant correctement la relation scalaire même lorsqu'elle entre en conflit avec la connaissance du monde. Les modèles plus petits sont plus dépendants des indices de connaissance du monde et peinent lorsque l'implication scalaire de la construction contredit la plausibilité typique.
Corrélation des constructions : Les quatre constructions PAIRED-FOCUS testées présentent une corrélation élevée de performance, bien que let alone (la plus fréquente) soit apprise légèrement plus tôt que les autres.

Signification et revendications
L'article affirme que des modèles open-source relativement modestes (moins de 400 millions de paramètres) sont capables d'acquérir une connaissance sémantique non triviale de constructions rares, contestant l'idée que seuls les modèles de taille frontale possèdent de telles capacités. Cependant, l'étude souligne une limitation critique : les modèles entraînés sur des données à échelle humaine ne parviennent pas à acquérir cette connaissance sémantique, jetant le doute sur leur utilité en tant que « modèles systèmes » pour les théories constructionnistes qui postulent l'acquisition conjointe de la forme et du sens.

Les auteurs soutiennent que la dissociation observée — où la syntaxe est apprise tôt et de manière robuste, tandis que la sémantique émerge plus tard et est corrélée à la connaissance du monde — suggère que les modèles de langue basés uniquement sur le texte ne modélisent pas naturellement l'acquisition conjointe de la forme et du sens telle que postulée par la Grammaire des Constructions. Au lieu de cela, la compréhension sémantique semble être un effet secondaire de l'accumulation de la connaissance du monde et des capacités de raisonnement scalaire. L'article conclut que, bien que les LM puissent apprendre ces constructions, les dynamiques d'apprentissage diffèrent de l'acquisition humaine, et que les travaux futurs devraient explorer des environnements d'apprentissage multimodaux ou situés pour mieux modéliser l'intégration de la forme et du sens.