💬 NLP

Measuring Form and Function in Language Models

Cet article introduit la métrique Contextual Alternative Choice (CAC) pour évaluer quantitativement les modèles de langage sur les propriétés syntaxiques formelles et fonctionnelles du discours des déterminants anglais, révélant que, bien que certains très grands modèles puissent égaler la performance des enfants humains sur les deux référentiels, aucun modèle actuel entraîné sur des données comparables n'atteint cet objectif simultanément.

Auteurs originaux : Héctor Javier Vázquez Martínez, Charles Yang

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Héctor Javier Vázquez Martínez, Charles Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à parler comme un humain. Vous avez deux façons de vérifier si cela fonctionne :

Le test de grammaire : Dit-il « Le chat » au lieu de « Chat le » ? (Forme correcte)
Le test de conversation : Sait-il quand dire « Le chat » par rapport à « Un chat » en fonction de ce que l'autre personne vient de dire ? (Fonction correcte)

Ce document traite de la création d'un meilleur test pour les modèles de langage (LLM) en observant comment les vrais enfants apprennent à parler. Les auteurs, des chercheurs de l'Université de Pennsylvanie, soutiennent que nous testons l'IA trop comme un quiz de grammaire et pas assez comme une vraie conversation.

Voici la décomposition de leur travail à l'aide d'analogies simples :

1. Le problème : Le piège du « QCM »

La plupart des tests d'IA actuels ressemblent à des examens à choix multiples. Vous montrez à l'IA deux phrases :

« Le chien a aboyé. »
« Chien le a aboyé. »
Et vous demandez : « Laquelle est correcte ? »

L'IA obtient généralement raison. Mais les auteurs disent que c'est comme tester un enfant en lui demandant de pointer une image de chien plutôt qu'un chat. Cela ne prouve pas qu'il comprend comment utiliser le mot dans une vraie histoire. Les vrais enfants ne passent pas de QCM ; ils parlent simplement. Pour savoir vraiment si une IA « apprend » comme un humain, nous devons voir comment elle gère le flux désordonné et interactif d'une vraie conversation.

2. Le nouvel outil : « Choix alternatif contextuel » (CAC)

Les auteurs ont inventé une nouvelle façon de tester l'IA appelée CAC. Imaginez cela comme un jeu de « compléter les blancs », mais avec une touche particulière.

Le décor : Ils prennent un enregistrement réel d'une mère parlant à son enfant de 2 ans.
Le jeu : Ils cachent le mot que l'enfant a utilisé (généralement un petit mot comme « le » ou « un ») et demandent à l'IA : « Étant donné ce que la maman vient de dire, quel mot devrait aller ici ? »
L'objectif : Ils ne veulent pas seulement que l'IA choisisse le bon mot. Ils veulent voir si le modèle de choix de l'IA correspond au modèle de l'enfant.

3. Les deux référentiels (La fiche de notes)

Les auteurs ont créé deux fiches de notes spécifiques pour voir si l'IA se comporte comme un enfant humain.

Fiche de notes A : Le test « Mélanger et assortir » (Productivité formelle)

Le concept : Un enfant intelligent sait que « le » et « un » peuvent aller avec presque n'importe quel nom. Ils ne mémorisent pas seulement « le chien » et « un chat ». Ils connaissent la règle.
Le test : Les chercheurs examinent combien de noms différents l'IA utilise avec « le » et « un ». Si l'IA n'utilise « le » qu'avec des mots spécifiques qu'elle a mémorisés, elle échoue. Si elle les mélange librement avec de nombreux mots différents, elle réussit.
Le résultat : De nombreux modèles d'IA ont réussi ce test. Ils ont appris la règle de « mélanger et assortir ».

Fiche de notes B : Le test « Flux de conversation » (Fonction discursive)

Le concept : C'est la partie difficile. Dans une vraie conversation, si une maman dit « Regarde le chien », l'enfant répond généralement « Le chien est grand ». Mais si la maman dit « Je vois un chien », l'enfant peut dire « Un chien court ».
- Parfois, vous gardez le même mot (« le » → « le »).
- Parfois, vous changez (« un » → « le »).
- Le changement dépend entièrement du contexte de l'histoire.
Le test : Les chercheurs ont mesuré à quelle fréquence l'IA changeait de mots par rapport à la fréquence à laquelle les vrais humains changent de mots.
Le résultat : C'est là que la plupart des IA ont échoué. Même les grands modèles intelligents avaient tendance à changer de mots au hasard, comme un lancer de pièce. Ils ne semblaient pas comprendre l'histoire derrière les mots. Ils connaissaient la grammaire, mais ils ne connaissaient pas les règles sociales de la conversation.

4. La grande surprise

Les auteurs ont testé 45 modèles d'IA différents.

Les modèles « petits » : Les modèles entraînés sur à peu près la même quantité de données qu'un enfant de 2 ans (10 à 20 millions de mots) ont généralement échoué aux deux tests. Ils n'avaient pas assez appris.
Les modèles « grands » : Les modèles massifs entraînés sur des milliards de mots (de la taille de l'internet entier) ont beaucoup mieux réussi.
- Deux modèles ont réussi les deux tests. Ils sonnaient comme des humains tant dans la grammaire que dans le flux de conversation.
- Un modèle a réussi le test de conversation mais a échoué au test de grammaire.
- Beaucoup d'autres ont réussi le test de grammaire mais ont échoué au test de conversation.

5. La conclusion

Le document conclut que la taille compte, mais ce n'est pas tout.

Le fait qu'une IA puisse réussir un quiz de grammaire ne signifie pas qu'elle comprend le langage comme un humain. Elle pourrait simplement mémoriser des modèles. Pour être véritablement un « modèle cognitif » de l'apprentissage humain, une IA doit réussir le test de « Flux de conversation », montrant qu'elle comprend pourquoi nous choisissons certains mots en fonction de l'histoire que nous racontons.

Actuellement, seuls les tout plus grands modèles commencent à montrer cette compréhension à l'image de l'humain, mais même eux sont un mélange hétéroclite. Les auteurs suggèrent que si nous voulons construire une meilleure IA, nous devrions cesser de les traiter comme des élèves passant un examen et commencer à les traiter comme des tout-petits en conversation.

Résumé technique : Mesure de la forme et de la fonction dans les modèles de langage

Énoncé du problème
Les évaluations actuelles des grands modèles de langage (LLM) reposent principalement sur des tâches de classification (par exemple, des jugements de grammaticalité sur des paires minimales) qui échouent souvent à capturer les aspects fonctionnels et discursifs des connaissances linguistiques. De plus, ces benchmarks basés sur la classification manquent d'une vérité terrain rigoureuse lors de la comparaison des LLM avec l'acquisition du langage chez l'enfant, car les jeunes enfants ne peuvent pas fournir de jugés métalinguistiques fiables. Alors que l'initiative « BabyLM » vise à construire des modèles économes en données comparables aux enfants, il existe un vide méthodologique quant à la manière de comparer rigoureusement le comportement externe des LLM avec les données de production naturalistes des enfants. Plus précisément, il reste unclear de savoir si les LLM possèdent un système grammatical productif ou s'ils mémorisent simplement des fragments d'entrée, et s'ils utilisent le langage pour des fonctions communicatives appropriées au-delà de la bien-formulation des phrases.

Méthodologie
Les auteurs proposent un cadre qui adapte des métriques quantitatives issues de la recherche sur le langage de l'enfant pour évaluer les LLM, en se concentrant sur les déterminants anglais (the vs. a/an), un domaine acquis tôt et avec précision par les enfants. La méthodologie se compose de trois composantes principales :

Amorçage par choix d'alternative contextuelle (CAC) :
Au lieu de demander aux modèles de classifier des phrases, les auteurs utilisent un schéma d'amorçage dérivé de la tâche psycholinguistique de « cloze ». Pour chaque site déterminant-nom (D×N) dans l'énoncé d'un enfant au sein du Corpus de Manchester, le modèle reçoit le contexte discursif complet précédent et est invité à prédire le déterminant. Cela génère une distribution probabiliste sur les choix (the vs. a) plutôt qu'une étiquette binaire unique, permettant d'analyser les attentes internes du modèle dans des contextes identiques à ceux utilisés par les enfants.
Benchmark de productivité formelle (Test de chevauchement) :
Pour distinguer la productivité grammaticale authentique de la mémorisation par cœur, l'article emploie un test statistique basé sur Yang (2013). Ce test calcule le « chevauchement » attendu (la proportion de types de noms apparaissant à la fois avec the et a) pour un corpus de taille donnée ( $S$ ) et de vocabulaire ( $N$ ), en supposant une grammaire productive où les déterminants se combinent indépendamment avec les noms. Le test intègre la loi de Zipf pour les fréquences des noms et un « biais » agrégé ( $b$ ) reflétant la tendance de noms spécifiques à favoriser un déterminant. Si le chevauchement empirique d'un modèle ne diffère pas significativement du chevauchement attendu dérivé de ces propriétés statistiques, il est considéré comme présentant une productivité formelle.
Benchmark fonctionnel discursif (Probabilité de transition de la référence - TPR) :
Pour évaluer les connaissances fonctionnelles, les auteurs mesurent la TPR, définie comme la probabilité qu'un locuteur change de déterminant lorsque le nom du sujet reste constant à travers les tours de parole conversationnels. Cette métrique capture l'usage approprié de la définitude et de la spécificité dans le discours. La TPR du modèle est calculée en comparant ses choix probabilistes de déterminants à l'énoncé précédent du soignant dans le dialogue. Cela est comparé à une ligne de base établie à partir de conversations d'adulte à adulte et à la TPR empirique des enfants.

Contributions clés

Innovation méthodologique : L'introduction de l'amorçage CAC permet la comparaison directe des LLM et des enfants en utilisant des données de production naturalistes, contournant ainsi le besoin de jugements métalinguistiques peu fiables de la part des enfants.
Évaluation à double benchmark : L'article établit deux benchmarks indépendants — la productivité formelle (syntaxe) et l'adéquation fonctionnelle discursive (pragmatique) — qui ne nécessitent pas l'accès aux données d'entraînement du modèle, les rendant applicables à tout échantillon de langage.
Analyse empirique : L'étude évalue 45 modèles de langage (incluant les modèles de référence BabyLM, les gagnants et les modèles de référence) sur ces benchmarks, offrant une vue granulaire de la performance des modèles par rapport aux enfants de 2 à 3 ans.

Résultats
L'évaluation révèle une dissociation significative entre différentes facettes de la compétence linguistique dans les LLM :

Productivité formelle : De nombreux modèles, y compris ceux entraînés sur des quantités de données comparables à celles disponibles pour les enfants de 2 à 3 ans (environ 10 à 20 millions de mots), passent le test de chevauchement formel. Cela suggère qu'ils ont appris à combiner les déterminants et les noms de manière productive plutôt que de simplement mémoriser les collocations.
Fonction discursive : Aucun des modèles entraînés sur des données comparables à celles des jeunes enfants ne passe le test TPR. Leurs valeurs de TPR sont significativement plus élevées que les lignes de base humaines, indiquant qu'ils choisissent les déterminants de manière stochastique, sans égard aux restrictions référentielles ou au contexte discursif.
Grands modèles : Seuls deux modèles entraînés sur des ensembles de données significativement plus grands (100 M et 30 B de mots) ont réussi les deux benchmarks. Un modèle entraîné sur 156 B de mots a réussi le test TPR mais a échoué au test de chevauchement.
Précision vs Compétence : Plusieurs modèles ont atteint une haute précision dans les choix de déterminants de vraisemblance maximale (MLE) (correspondant aux enfants environ 89 % du temps) mais ont échoué aux tests TPR et de chevauchement. Cela confirme qu'une haute précision de classification n'équivaut pas à une compétence linguistique de type adulte ou à une grammaire productive.

Signification et affirmations
L'article soutient que les LLM actuels entraînés sur des données plausibles du développement n'exhibent pas encore le spectre complet des connaissances linguistiques démontré par les enfants humains à l'âge de 2-3 ans. Plus précisément, bien que les modèles puissent apprendre la productivité syntaxique formelle, ils peinent avec les contraintes fonctionnelles et discursives de l'usage du langage. Les auteurs affirment que l'optimisation d'un aspect de la compétence (par exemple, la précision de prédiction ou la syntaxe formelle) ne garantit pas l'acquisition d'autres aspects (par exemple, la fonction discursive).

L'œuvre sert de contribution méthodologique, démontrant que la recherche sur le langage de l'enfant fournit des cadres nécessaires pour évaluer les LLM en tant que modèles cognitifs. Les auteurs suggèrent que les jalons précoces de l'acquisition, tels que l'usage des déterminants, servent de points de contrôle critiques pour le domaine, soulignant que les LLM peuvent nécessiter des trajectoires d'apprentissage différentes ou des efficacités de données pour modéliser véritablement l'acquisition du langage humain. L'article conclut avec modestie, notant que si certains très grands modèles répondent aux benchmarks, les causes du succès ou de l'échec restent floues, et qu'une investigation plus approfondie est nécessaire sur la manière dont l'ajustement par instruction et l'apprentissage par renforcement à partir de retours humains (RLHF) pourraient interagir avec ces critères linguistiques spécifiques.

1. Le problème : Le piège du « QCM »

2. Le nouvel outil : « Choix alternatif contextuel » (CAC)

3. Les deux référentiels (La fiche de notes)

4. La grande surprise

5. La conclusion

Articles similaires