Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Cette étude démontre que l'altération des données d'entraînement des modèles de langage permet de confirmer que l'apprentissage des exceptions à la passivation en anglais repose sur deux sources d'induction indépendantes : la fréquence d'usage (enracinement) et la sémantique (notamment l'affectedness).

L'essentiel

Imaginez que vous apprenez une nouvelle langue. Vous entendez des milliers de phrases et vous commencez à comprendre les règles : « Je mange une pomme », « Il mange une pomme ». C'est facile. Mais la vraie difficulté, c'est de comprendre quand on ne peut pas utiliser ces règles.

Par exemple, en anglais, on peut dire « Le meeting a duré une heure » (The meeting lasted one hour). Mais si vous essayez de dire « Une heure a été duré par le meeting » (One hour was lasted by the meeting), cela sonne faux. Pourquoi ? Personne ne vous a jamais dit explicitement : « Attention, le verbe laster ne se met jamais au passif ! ». Vous devez le deviner en écoutant les autres.

C'est ce mystère que deux chercheurs, Cara et Tal, ont voulu résoudre en utilisant des Intelligences Artificielles (IA) comme des élèves de laboratoire.

Voici l'explication de leur étude, imagée pour mieux comprendre :

1. Le Problème : Le « Paradoxe du Livre de Cuisine »

Imaginez que vous apprenez à cuisiner. Vous voyez que pour presque tous les plats, vous pouvez les cuire au four ou les faire sauter à la poêle. Mais pour certains ingrédients (disons, une pierre), vous ne les cuisez jamais au four. Comment savez-vous que c'est interdit ?

• Hypothèse A (La Fréquence) : Vous n'avez jamais vu quelqu'un cuire une pierre au four. Donc, vous déduisez que c'est interdit. C'est ce qu'on appelle l'enracinement (ou entrenchment) : plus un mot est utilisé dans une forme active et jamais dans une forme passive, plus l'IA (ou l'enfant) pense qu'il est interdit au passif.
• Hypothèse B (Le Sens) : Vous savez intuitivement que le passif implique que l'objet subit une action (il est mangé, cassé, lavé). Une pierre ne subit rien quand on la « fait durer ». C'est l'hypothèse de l'affectation (affectedness). Si le sens du mot ne colle pas avec l'idée d'être « touché » par l'action, on ne l'utilise pas au passif.

Le problème, c'est que dans la vraie vie, ces deux indices sont souvent mélangés. On ne voit jamais les pierres au four, et en plus, ça n'a pas de sens. Comment savoir ce qui compte vraiment ?

2. L'Expérience : Le Laboratoire de Cuisine Contrôlé

C'est là que les chercheurs utilisent les IA. Contrairement aux humains, on peut contrôler exactement ce qu'une IA mange (ou lit). Ils ont créé des « livres de cuisine » (des bases de données de textes) modifiés pour tester les deux hypothèses.

Expérience 1 : L'IA imite-t-elle l'humain ?

Ils ont nourri une IA avec la même quantité de texte qu'un enfant humain lit avant l'adolescence (environ 100 millions de mots).

• Résultat : L'IA a appris comme un humain ! Elle a compris que certains verbes (comme laster) ne fonctionnent pas au passif, tandis que d'autres (comme manger) fonctionnent très bien. Elle a même capté les nuances : certains verbes sont « un peu » interdits, d'autres « totalement ».

Expérience 2A : Le test de la Fréquence (Enracinement)

Ils ont pris un verbe qui fonctionne bien au passif (comme drop, faire tomber) et ils ont effacé toutes les phrases où il était utilisé au passif dans le livre de l'IA, tout en gardant beaucoup de phrases au actif.

• L'analogie : Imaginez que vous n'entendez jamais personne dire « La pomme a été mangée », mais vous entendez « Il a mangé la pomme » des milliers de fois.
• Résultat : L'IA a commencé à penser que ce verbe ne pouvait pas être utilisé au passif ! La fréquence compte.

Expérience 2B : Le test du Sens (Affectation)

Ils ont pris un verbe qui ne devrait pas fonctionner au passif (comme laster, durer) et ils l'ont forcé à apparaître dans des phrases où il agissait sur un objet (comme si on disait « Il a fait durer le temps »).

• L'analogie : On force l'IA à voir le verbe « durer » comme s'il pouvait « toucher » quelque chose.
• Résultat : L'IA a commencé à accepter un peu plus ce verbe au passif. Le sens compte aussi !

Expérience 3 : Le Nouveau Mot (Le Test Ultime)

Pour être sûrs, ils ont inventé un mot qui n'existe pas (disons « glorp ») et l'ont introduit dans le livre de l'IA.

• Ils l'ont mis 1000 fois dans des phrases actives (jamais au passif).
• Ils l'ont mis dans des contextes où il « touchait » les objets (sens fort) ou non (sens faible).
• Résultat : Plus ils répétaient le mot « glorp » à l'actif sans le voir au passif, plus l'IA le trouvait interdit au passif. Et si le mot avait un sens fort (qui touche), l'IA l'acceptait un peu mieux, même s'il était très fréquent à l'actif.

3. La Conclusion : Un Duo de Détectives

Les chercheurs ont découvert que les deux indices fonctionnent ensemble, comme deux détectives qui travaillent sur le même cas :

1. Le compteur de fréquence (Enracinement) : « Je n'ai jamais vu ce mot au passif, donc c'est probablement interdit. »
2. Le détective du sens (Affectation) : « Ce mot ne semble pas pouvoir subir d'action, donc c'est probablement interdit. »

Ils ne s'annulent pas l'un l'autre, ils s'ajoutent. Si un mot est très fréquent à l'actif ET qu'il n'a pas de sens au passif, l'IA (et probablement l'humain) le rejettera fermement.

Pourquoi est-ce important ?

Cette étude montre que nous n'avons pas besoin de règles magiques innées pour apprendre la grammaire. Nos cerveaux (et ceux des IA) sont très intelligents : ils observent simplement ce qui se passe souvent et ce qui a du sens, et ils déduisent les exceptions.

C'est comme apprendre à conduire : vous ne lisez pas un manuel qui dit « Ne faites jamais de demi-tour ici ». Vous voyez que personne ne le fait (fréquence) et vous comprenez que la route est trop étroite (sens/logique), alors vous ne le faites pas.

En résumé, cette étude utilise des robots pour comprendre comment les humains apprennent les règles invisibles de la langue, en prouvant que la statistique (ce qu'on entend souvent) et la sémantique (ce que ça veut dire) sont les deux clés de l'apprentissage.

Résumé technique

1. Problématique et Contexte

Les règles grammaticales des langues naturelles comportent souvent des exceptions systématiques. Le défi de l'apprenabilité (souvent appelé « paradoxe de Baker ») réside dans la manière dont les apprenants acquièrent ces exceptions sans recevoir de preuve directe (c'est-à-dire sans qu'on leur dise explicitement ce qui est interdit).
L'article se concentre sur la passivation en anglais. Bien que la transformation active-passive soit généralement productive, certains verbes (comme last, cost, resemble) ne peuvent pas être passivés (One hour was lasted by the meeting est agrammatical), tandis que d'autres verbes rares (comme defenestrate) le peuvent.
Les auteurs s'interrogent sur les sources de preuves indirectes disponibles dans l'input linguistique qui permettent d'apprendre ces restrictions. Deux hypothèses principales sont examinées :

1. L'hypothèse de l'enracinement (Entrenchment) : Les apprenants infèrent l'interdiction d'une construction si le verbe y apparaît très rarement (ou jamais) par rapport à d'autres constructions (asymétrie de fréquence).
2. L'hypothèse de l'affectation (Affectedness) : La passivation est liée à la sémantique lexicale du verbe. Un verbe est passivable si son argument-thème subit une modification d'état, de lieu ou d'existence causée par l'agent.

2. Méthodologie

Les auteurs utilisent des modèles de langage neuronaux (LLM) basés sur l'architecture Transformer (GPT-2 small) comme modèles théoriques de l'acquisition du langage. L'approche innovante consiste à manipuler de manière contrôlée les données d'entraînement pour isoler les causes des jugements du modèle.

• Données d'entraînement : Les modèles sont entraînés sur un corpus de 100 millions de mots (sous-ensemble d'OpenWebText), une taille comparable à l'exposition linguistique d'un enfant humain à l'adolescence, contrairement aux modèles standards entraînés sur des milliards de mots.
• Expérience 1 (Validation) :
  • 1A : Collecte de jugements d'acceptabilité auprès de locuteurs natifs anglais sur 140 paires de phrases (actives/passives) impliquant 28 verbes (18 verbes « critiques » réputés non passivables, 10 verbes contrôles).
  • 1B : Comparaison des jugements humains avec ceux dérivés du modèle (calcul du « passivization drop », c'est-à-dire la différence de probabilité entre la forme active et passive).
• Expérience 2 (Interventions causales) :
  • 2A (Enracinement) : Modification du corpus pour égaliser le ratio Actif/Passif (A/P) de verbes hautement passivables (ex: drop) à celui de verbes non passivables (ex: last). Cela réduit la fréquence des formes passives des verbes cibles.
  • 2B (Affectation) : Remplacement de verbes non passivables par des verbes passivables dans des contextes syntaxiques actifs spécifiques, afin de modifier la distribution sémantique des arguments (les rendre plus « affectés ») sans changer la fréquence globale.
• Expérience 3 (Verbe novel) : Introduction d'un verbe fictif dans le corpus, uniquement en voix active, avec des variations de fréquence d'apparition et de contexte sémantique (hautement affectant vs faiblement affectant) pour tester l'interaction entre les deux hypothèses.

3. Résultats Clés

• Corrélation Humain-Modèle : Les modèles neuronaux reproduisent avec une forte précision (r = 0,91) les jugements humains concernant la passivabilité des verbes. Ils capturent non seulement les exceptions catégorielles, mais aussi les nuances graduelles entre les verbes. Les modèles basés sur la simple fréquence (trigrammes) montrent une corrélation beaucoup plus faible, suggérant que les Transformers utilisent des informations au-delà de la fréquence locale.
• Preuve de l'Enracinement (Exp 2A & 3) : La manipulation de la fréquence relative (ratio A/P) a un effet causal significatif. Lorsqu'un verbe passivable est entraîné avec un ratio A/P élevé (peu de passives), son taux de rejet en forme passive augmente. Dans l'expérience avec le verbe novel, l'augmentation de la fréquence en voix active (sans aucune occurrence passive) rend le verbe progressivement moins passivable.
• Preuve de l'Affectation (Exp 2B & 3) : La modification de la distribution sémantique (placer un verbe dans des contextes où l'argument-thème est fortement affecté) améliore sa passivabilité. Inversement, les verbes entraînés dans des contextes à faible affectation sont jugés moins passivables.
• Indépendance des facteurs : L'Expérience 3 révèle que l'enracinement (fréquence) et l'affectation (sémantique) contribuent de manière additive et indépendante à la passivabilité. Il n'y a pas d'interaction significative entre les deux : la fréquence influence la passivabilité indépendamment du contexte sémantique, et vice-versa.
• Limites des interventions : Aucune des interventions seule n'a permis de transformer un verbe hautement passivable en un verbe aussi « non passivable » que les verbes critiques naturels (comme last), suggérant que d'autres sources de preuves indirectes existent dans l'input.

4. Contributions Principales

1. Validation des LLM comme modèles d'acquisition : L'étude démontre que des modèles entraînés sur des quantités de données réalistes (100M de mots) peuvent apprendre des exceptions syntaxiques complexes à partir de preuves indirectes, validant leur utilité pour la modélisation cognitive.
2. Méthodologie d'intervention contrôlée : L'article propose une méthode rigoureuse pour manipuler les données d'entraînement (filtrage, remplacement, génération de verbes novices) afin d'établir des liens de causalité entre l'input et le comportement du modèle, comblant un vide méthodologique présent dans les études sur l'acquisition humaine (où le contrôle total de l'input est impossible).
3. Résolution du débat sur les mécanismes d'apprentissage : Les résultats soutiennent que l'apprentissage des exceptions syntaxiques repose sur une combinaison de statistiques distributionnelles (fréquence) et de contraintes sémantiques (affectation), toutes deux accessibles via l'input textuel brut.

5. Signification et Implications

• Pour la linguistique cognitive : L'étude fournit une « preuve d'existence » computationnelle montrant qu'un apprenant peut acquérir des restrictions grammaticales complexes sans règles innées spécifiques, simplement en exploitant les corrélations statistiques et sémantiques de l'input.
• Pour le NLP : Elle met en lumière la capacité des modèles Transformer à capturer des nuances sémantiques subtiles (affectation) au-delà de la simple mémorisation de séquences fréquentes.
• Limites et Perspectives : Les auteurs soulignent que les modèles actuels ne sont pas des répliques parfaites de l'esprit humain (manque d'expérience sensorimotrice, biais d'architecture). Cependant, cette approche ouvre la voie à de nouvelles expériences pour tester quelles capacités sont nécessaires à l'apprentissage du langage, en comparant différents types de modèles (avec ou sans interaction sociale, par exemple).

En résumé, cet article utilise la manipulation des données d'entraînement des modèles de langage pour démontrer que la fréquence relative des constructions et la sémantique des arguments sont des facteurs causaux suffisants, bien que non exclusifs, pour expliquer l'apprentissage des exceptions à la passivation en anglais.