Language Models Generalize to Human-like Word Order Preferences

Imaginez que vous essayez d'apprendre à un robot comment parler une nouvelle langue, mais que vous décidez de lui jouer un tour. Vous lui donnez une bibliothèque massive de livres, mais vous déchirez soigneusement chaque page qui contient une phrase avec plus d'une description pour un nom. Ainsi, le robot apprend qu'il peut dire « la balle rouge » ou « la grosse balle », mais il ne voit jamais « la grosse balle rouge » ou « la rouge grosse balle ». Il n'a aucune preuve directe de la manière de superposer plusieurs descriptions ensemble. Si vous demandez alors au robot de deviner l'ordre pour une nouvelle phrase comme « la grosse balle rouge », devinera-t-il l'ordre au hasard ? Ou parviendra-t-il à comprendre la logique cachée du langage et choisira-t-il le bon ordre, tout comme un enfant humain le ferait ?

C'est ce genre de puzzle qui est au cœur de la linguistique et de l'intelligence artificielle. Les scientifiques se demandent depuis longtemps si les humains naissent avec une « puce linguistique » spéciale dans leur cerveau qui leur indique comment ordonner les mots, ou si nous apprenons tout simplement en remarquant des motifs dans ce que nous entendons. Pour tester cela, les chercheurs utilisent ce qu'on appelle l'« Apprentissage de Langage Artificiel ». C'est comme une expérience contrôlée où l'on enseigne à des humains ou à des machines un langage minuscule et inventé, avec des pièces manquantes, pour voir comment ils comblent les vides. Si un apprenant choisit un motif spécifique même s'il ne l'a jamais vu, cela suggère qu'il possède un biais inné ou une manière astucieuse de deviner basée sur la structure du monde, et non seulement sur la fréquence des mots. Ce document explore ce mystère en utilisant les modèles de langage d'IA modernes comme sujets de test.

---

Le Grand Mystère de l'Ordre des Mots

Dans cette étude, les chercheurs Amanda Popadich et Shane Steinert-Threlkeld ont décidé de voir si des programmes informatiques, connus sous le nom de modèles de langage, pouvaient réaliser le même tour de magie que les apprenants humains. Ils voulaient savoir : une machine peut-elle apprendre les « règles » de la superposition des adjectifs et des nombres sans jamais voir un seul exemple de phrase superposée ?

La règle spécifique qu'ils traquaient est appelée homomorphisme de portée (ou scope-homomorphism). C'est une façon sophistiquée de dire que l'ordre des mots dans une phrase doit correspondre à l'ordre de leur sens. Pensez-y comme à des poupées russes. Si vous avez une « grosse balle rouge », le mot « rouge » décrit la balle directement, et « grosse » décrit la « balle rouge ». En anglais, nous plaçons naturellement la description la plus large, la plus externe (« grosse »), en premier, et la description la plus spécifique, la plus interne (« rouge »), plus près du nom. Les chercheurs voulaient voir si leurs modèles d'IA préféreraient naturellement cet ordre de « poupée russe », même s'ils avaient été entraînés sur un régime de phrases à description unique.

L'Expérience : Un Régime Linguistique

Pour tester cela, l'équipe a créé un environnement d'entraînement très strict. Ils ont pris un énorme fragment d'Internet (spécifiquement l'extraction Wikipédia de 2023) et l'ont filtré. Ils ont utilisé un programme informatique pour trouver chaque phrase dont un nom avait deux modificateurs ou plus (comme « ces deux chiens affectueux ») et les ont décomposées. Ils ont remplacé « ces deux chiens affectueux » par des exemples séparés comme « ces chiens », « deux chiens » et « chiens affectueux ».

Le résultat était un régime de « pauvreté du stimulus ». Les modèles ont été nourris de 100 millions de mots, mais n'ont jamais vu un seul exemple de nom avec deux modificateurs. Ils ont appris les ingrédients individuels, mais n'ont jamais vu le gâteau final. Ensuite, les chercheurs ont testé les modèles en leur demandant de choisir entre deux versions d'une phrase : celle qui suivait la logique de la « poupée russe » (homomorphe à la portée) et celle qui ne la suivait pas.

Ils ont testé trois tailles différentes de modèles d'IA : un petit (52 millions de paramètres), un moyen (110 millions) et un grand (350 millions).

Les Résultats : L'IA Comprend

Les conclusions ont été étonnamment cohérentes. Même si les modèles n'avaient jamais vu de phrase avec plusieurs modificateurs pendant leur entraînement, tous les trois modèles préféraient systématiquement l'ordre de la « poupée russe ».

Lorsque les chercheurs ont demandé aux modèles de choisir entre « ces deux chiens » (l'ordre logique) et « deux ces chiens » (l'ordre mélangé), les modèles ont massivement choisi l'ordre logique.

• Le petit modèle a eu raison environ 76 % du temps.
• Le modèle moyen a eu raison environ 73 % du temps.
• Le grand modèle a eu raison environ 70 % du temps.

Cela suggère que les modèles n'ont pas seulement mémorisé les données d'entraînement ; ils ont généralisé une règle. Ils ont compris que lorsqu'on a plusieurs descriptions, il existe une manière spécifique et logique de les arranger, même sans qu'on leur donne la réponse. Il est intéressant de noter que la taille du modèle n'a pas beaucoup changé le résultat ; le petit, le moyen et le grand modèle ont tous montré ce biais, suggérant qu'il s'agit d'une caractéristique robuste de la manière dont ces systèmes apprennent le langage.

Le Rebondissement : Ce N'est Pas Juste une Question d'Associations de Mots

Les chercheurs ont ensuite posé une question de suivi : Comment les modèles ont-ils découvert cela ? Une théorie populaire est que les apprenants regardent simplement à quelle fréquence les mots « traînent ensemble ». Par exemple, peut-être que « rouge » est souvent trouvé juste à côté de « balle », donc il devrait toujours être plus proche du nom que « grosse ». Cela est mesuré par ce qu'on appelle l'Information Mutuelle Ponctuelle (PMI), qui est essentiellement un score de la force de l'association entre deux mots.

L'équipe a vérifié les calculs. Ils ont calculé les scores d'association pour les mots de leurs données d'entraînement. Ils ont trouvé que, oui, les adjectifs sont fortement associés aux noms, et que les nombres et les démonstratifs (comme « ces ») le sont moins. Si les modèles suivaient simplement ces scores d'association, ils auraient dû être capables de prédire l'ordre des mots parfaitement.

Mais voici le rebondissement : les scores d'association n'ont pas réussi à prédire les choix des modèles.

Lorsque les chercheurs ont comparé les choix réels des modèles aux prédictions de leurs calculs, la corrélation était presque nulle. Les modèles choisissaient le bon ordre, mais ils ne le faisaient pas parce qu'ils comptaient la fréquence d'apparition des mots ensemble. Cela suggère que les modèles saisissent quelque chose de plus profond — peut-être une compréhension structurelle du fonctionnement du langage — qui va au-delà de la simple statistique de paires de mots.

Ce que cela signifie

Cette étude montre que les modèles de langage peuvent récupérer des généralisations linguistiques de type humain à partir d'entrées « appauvries ». Tout comme un enfant humain qui pourrait deviner le bon ordre des mots dans une nouvelle langue sans voir toutes les combinaisons possibles, ces modèles d'IA ont trouvé un motif qui n'était pas explicitement présent dans leurs données d'entraînement.

Cependant, les auteurs précisent que cela ne prouve pas que l'IA apprend exactement comme les humains. Les modèles ne sont pas des enfants conscients ; ce sont des moteurs statistiques complexes. Mais le fait qu'ils aient développé ce biais sans qu'on leur dise suggère que vous n'avez pas nécessairement besoin d'une « puce linguistique » préprogrammée pour apprendre ces règles. Parfois, les règles du langage peuvent émerger naturellement de l'expérience de l'apprentissage, même lorsque les preuves sont incomplètes.

Les chercheurs ont également noté une petite différence entre l'IA et les humains : alors que les humains montrent généralement la préférence la plus forte pour l'ordre des démonstratifs et des adjectifs (comme « ce gros chien »), les modèles d'IA ont montré la préférence la plus forte pour les démonstratifs et les nombres (comme « ces deux chiens »). Cela laisse entendre que si la capacité générale de généralisation est présente, les saveurs spécifiques du biais peuvent dépendre des détails des données d'entraînement.

En fin de compte, ce document nous offre un nouvel outil fascinant pour comprendre le langage. En nourrissant les modèles d'IA avec des informations manquantes, nous pouvons voir ce qu'ils « devinent » par eux-mêmes, nous aidant ainsi à comprendre si les règles du langage sont câblées ou si elles sont apprises à partir des motifs du monde.