💬 NLP

Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?

Cette étude démontre que, bien que les modèles de langage entraînés sur des quantités de données limitées puissent développer des mécanismes partagés mais sensibles aux items pour les dépendances complétives, ils nécessitent encore beaucoup plus de données que les humains pour acquérir des généralisations comparables, soulignant ainsi la nécessité d'intégrer des biais spécifiques au langage dans les modèles d'acquisition.

Auteurs originaux : Atrey Desai, Sathvik Nair

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atrey Desai, Sathvik Nair

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Débat : Comment les cerveaux (humains et artificiels) apprennent-ils ?

Imaginez que vous apprenez une nouvelle langue. Vous entendez des phrases comme :

« Qui a mangé le gâteau ? » (Une question avec un mot manquant à la fin).
« Le gâteau, qui l'a mangé ? » (On met le gâteau au début, et il manque toujours quelque chose à la fin).

Pour un humain, ces deux phrases semblent très différentes, mais notre cerveau comprend instinctivement qu'elles partagent la même logique cachée : il y a un "trou" (un vide) quelque part qui doit être rempli par le mot du début. C'est ce qu'on appelle une dépendance "remplisseur-trou".

Les chercheurs se demandent : Est-ce que les intelligences artificielles (les IA) apprennent cette logique de la même façon que nous ? Ou est-ce qu'elles apprennent juste par cœur, phrase par phrase, sans vraiment comprendre la règle ?

🧪 L'Expérience : Un bébé robot vs un enfant humain

Pour répondre à cette question, les auteurs (Atrey Desai et Sathvik Nair) ont créé une expérience un peu spéciale :

Le Robot (Le Modèle de Langage) : Ils ont pris une IA (un modèle de langage) et l'ont entraînée avec la quantité de données qu'un enfant humain reçoit jusqu'à l'âge de 12 ans (environ 100 millions de mots). C'est le défi "BabyLM".
L'Outillage (DAS) : Au lieu de simplement regarder si le robot répond bien, ils ont utilisé un outil appelé DAS (Recherche d'Alignement Distribué).
- L'analogie : Imaginez que le cerveau du robot est une boîte noire remplie de fils électriques. L'outil DAS est comme un électricien très précis qui peut toucher un fil spécifique, le modifier, et voir si cela change la réponse du robot. S'ils touchent un fil et que le robot change soudainement sa façon de comprendre une phrase, c'est qu'ils ont trouvé le "circuit" qui gère cette règle.

🔍 Ce qu'ils ont découvert (Les Résultats)

Voici les trois grandes leçons de leur expérience, expliquées simplement :

1. Le robot a besoin de beaucoup plus de "nourriture" que nous 🍽️

La réalité humaine : Un enfant humain commence à comprendre ces structures complexes vers 18 mois.
La réalité du robot : Même avec les données d'un enfant de 12 ans, le robot ne comprenait pas vraiment la règle. Il fallait l'entraîner avec beaucoup plus de données (bien plus qu'un humain n'en recevrait jamais) pour qu'il commence à "comprendre" la logique.
L'analogie : C'est comme si un enfant devait lire 100 bibliothèques entières pour comprendre une règle que son petit frère de 2 ans a comprise en écoutant sa mère lui raconter une histoire.

2. Le robot apprend par "morceaux" et non par "règles universelles" 🧩

L'hypothèse : Les chercheurs pensaient que le robot avait appris une règle générale : "Si je vois un mot au début, je cherche un trou à la fin, peu importe la phrase."
La réalité : Le robot a appris des règles séparées. Il a un "circuit" spécial pour les questions ("Qui... ?") et un autre circuit spécial pour les phrases inversées ("Le gâteau...").
L'analogie : Imaginez un enfant qui apprend à faire du vélo. Il apprend d'abord à faire du vélo avec des stabilisateurs. Ensuite, il apprend à faire du vélo de course. Il ne réalise pas tout de suite que c'est la même chose : il faut juste garder l'équilibre. Le robot, lui, semble avoir deux livres de recettes différents : un pour les questions, un pour les autres phrases. Il ne les relie pas facilement.

3. La surprise : Le transfert fonctionne à l'envers ! 🔄

L'hypothèse : Comme les questions ("Qui... ?") sont très fréquentes dans la vie, les chercheurs pensaient que le robot utiliserait cette connaissance pour comprendre les phrases rares ("Le gâteau...").
La réalité : C'est l'inverse ! Le robot transférait mieux sa compréhension des phrases rares vers les questions fréquentes.
L'analogie : C'est comme si un expert en escalade (la phrase rare) pouvait apprendre à faire du vélo (la phrase fréquente) plus facilement qu'un cycliste expert pouvait apprendre à escalader. Pourquoi ? Parce que les phrases rares sont si complexes que le robot est obligé de créer une règle très générale pour les résoudre, et cette règle générale finit par l'aider sur les phrases simples.

💡 La Conclusion : Pourquoi c'est important ?

Cette étude nous dit quelque chose de crucial sur l'intelligence artificielle et l'apprentissage humain :

Les humains ne sont pas de simples statistiques : Nous apprenons le langage avec des "boussoles internes" (des biais innés) qui nous guident. Nous ne devons pas lire des millions de livres pour comprendre une règle de grammaire.
Les IA actuelles sont des "super-lecteurs" mais pas des "compréhendeurs" : Elles peuvent mémoriser des milliards de phrases, mais sans les bons "outils" (des biais spécifiques au langage), elles ne peuvent pas généraliser comme le font les enfants.

En résumé : Pour qu'une IA apprenne le langage comme un humain, il ne suffit pas de lui donner plus de données. Il faut lui donner les bons "outils de pensée" dès le départ, sinon elle devra travailler des milliers de fois plus dur pour arriver au même résultat.

1. Problématique et Contexte

La question centrale de la linguistique de l'acquisition est de savoir comment les apprenants humains généralisent à partir d'un nombre fini d'entrées pour comprendre un nombre infini d'énoncés. Les modèles cognitifs humains postulent souvent l'existence de règles abstraites et spécifiques au langage. En revanche, les modèles de langage (LM) sont des apprenants "généralistes" et faiblement biaisés qui réussissent néanmoins à capturer certaines généralisations syntaxiques.

Le cas d'étude spécifique est la dépendance remplisseur-lacune (filler-gap dependency), une relation syntaxique où un constituant (le remplisseur) est déplacé de sa position canonique (le lacune) vers une autre position (ex: questions wh, topicalisation).

Le paradoxe : Des études récentes (Boguraev et al., 2025) suggèrent que les grands modèles de langage (LLM) possèdent une représentation partagée de ces dépendances via des interventions causales. Cependant, ces modèles sont entraînés sur des corpus web massifs (milliards de tokens), ce qui ne reflète pas la quantité de données disponibles pour un enfant humain.
L'objectif : Déterminer si un LM entraîné sur des quantités de données développementalement plausibles (similaires à l'input d'un enfant de 12 ans, soit ~100 millions de tokens) peut acquérir une représentation causale partagée des dépendances remplisseur-lacune, et si cette acquisition suit la chronologie de l'acquisition humaine.

2. Méthodologie

Les auteurs utilisent une approche d'interprétabilité mécaniste basée sur des interventions causales.

Modèle et Données :
- Modèle : BabyLM-100M (architecture GPT-2-small).
- Corpus : BabyLM Strict-100M (~100M de tokens), conçu pour imiter l'input linguistique d'un enfant anglophone jusqu'à l'adolescence précoce.
- Checkpoints : Évaluation à 19 étapes d'entraînement (de 1M à 100M de tokens) pour tracer la trajectoire développementale.
Constructions Syntaxiques :
Deux types de dépendances avec des fréquences d'entrée très différentes sont comparés :
1. Questions wh (Haute fréquence) : Ex: "Who did the teacher like _ ?"
2. Topicalisation (Basse fréquence) : Ex: "The author, the teacher liked _ ." (Quasiment absente du discours dirigé vers l'enfant).
Technique d'Intervention : Distributed Alignment Search (DAS)
- Méthode proposée par Geiger et al. (2024) pour identifier des directions vectorielles dans l'espace de représentation du modèle qui codent un concept spécifique.
- Variable binaire : FILLER_PRESENT (0 ou 1).
- Procédure :
  1. Entraîner un vecteur de direction $a$ pour aligner les représentations internes d'une phrase "source" (avec remplisseur) et d'une phrase "base" (sans remplisseur).
  2. Intervention : Projeter la différence entre les représentations source et base sur le vecteur $a$ et injecter ce vecteur dans la phrase de base.
  3. Mesure : Si l'intervention modifie la prédiction du modèle de la phrase de base vers celle de la phrase source, cela prouve que la dépendance est encodée causalement à cet endroit.
Expériences :
- Localisation (Intra-construction) : Entraîner sur wh -> Tester sur wh (et idem pour la topicalisation).
- Transfert (Inter-construction) : Entraîner sur wh -> Tester sur topicalisation (et vice-versa).
- Variables : Animé vs Inanimé (pour tester l'effet de "boost lexical").
Métrique d'évaluation :
- ODDS : Mesure le décalage des probabilités log après intervention. Un ODDS élevé indique un effet causal fort.
- MAX ODDS : La valeur maximale observée sur toutes les couches et positions de tokens.

3. Résultats Clés

Trajectoire Développementale (RQ1) :
- La capacité à localiser et transférer les représentations augmente de manière monotone avec le nombre de tokens.
- Décalage temporel : Les effets causaux forts (ODDS > 8) n'émergent qu'après ~50M de tokens. À 10M de tokens (équivalent à l'input d'un enfant de 2-5 ans), les effets sont faibles (ODDS ~3).
- Conclusion : Contrairement aux enfants qui montrent une sensibilité à ces structures dès 18 mois, le modèle nécessite beaucoup plus de données pour développer une représentation robuste.
Spécificité de la Construction (RQ2) :
- La localisation intra-construction (ex: wh vers wh) est significativement meilleure que le transfert inter-construction.
- Cela suggère que le modèle apprend des mécanismes spécifiques à chaque type de construction plutôt qu'une règle abstraite unique et généralisable.
Transfert Asymétrique (RQ3) :
- Contre l'hypothèse de modulation par la fréquence (qui prévoyait un transfert de la haute fréquence vers la basse), les résultats montrent un transfert plus fort de la topicalisation (basse fréquence) vers les questions wh (haute fréquence).
- Note : Cette asymétrie s'atténue sur des modèles entraînés sur encore plus de données, suggérant une complexité dynamique dans l'apprentissage.
Effet de Boost Lexical :
- Le transfert est significativement plus fort lorsque l'animéité du remplisseur correspond entre la phrase source et la phrase cible (réplication des résultats de Boguraev et al., 2025).

4. Contributions Principales

Évaluation Développementale : Première application de l'interprétabilité mécaniste (DAS) sur des modèles entraînés sur des données de taille "BabyLM", comblant le fossé entre les études sur les LLM massifs et l'acquisition du langage humain.
Preuve de Spécificité : Démonstration que, sous contraintes de données limitées, les LM ne développent pas une représentation abstraite et partagée des dépendances remplisseur-lacune, mais plutôt des mécanismes sensibles aux items et aux constructions spécifiques.
Décalage d'Émergence : Mise en évidence que les généralisations syntaxiques complexes émergent chez les LM bien plus tardivement (en termes de quantité de données) que chez les enfants humains.
Validation de l'Approche Causale : Confirmation que les méthodes d'intervention causale peuvent révéler des structures internes que les mesures de probabilité (surprisal) ne capturent pas toujours clairement.

5. Signification et Implications

Pour l'acquisition du langage : Les résultats soutiennent l'idée que l'apprentissage humain ne repose pas uniquement sur l'apprentissage statistique généraliste (domain-general). Les enfants semblent bénéficier de biais inductifs spécifiques au langage (ou d'une architecture cognitive différente) pour acquérir rapidement des généralisations syntaxiques abstraites avec peu de données.
Pour les Modèles de Langage : Les LM actuels, même avec des architectures modernes, ne sont pas des modèles plausibles de l'acquisition humaine s'ils sont entraînés uniquement par prédiction de mot suivant sur des données textuelles brutes. Ils nécessitent des quantités de données "superhumaines" pour atteindre des niveaux de généralisation comparables.
Futur de la modélisation : Pour créer des modèles d'acquisition plausibles, il faudra intégrer des biais inductifs explicites ou restreindre les espaces d'hypothèses, plutôt que de simplement augmenter la taille des données d'entraînement.

En résumé, l'article conclut que si les LM peuvent apprendre des mécanismes de dépendance remplisseur-lacune, ils le font de manière spécifique aux constructions et aux items, et nécessitent un input massif qui dépasse largement l'expérience humaine, soulignant ainsi la nécessité de biais linguistiques spécifiques dans les modèles d'acquisition.