Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

Titre

Répétition sans exclusivité : Sensibilité à l'échelle des mécanismes référentiels dans les modèles de langage à échelle enfantine

1. Problématique

L'étude aborde une lacune majeure dans l'évaluation des modèles de langage (LLM) entraînés sur des données à échelle enfantine (BabyLM) : l'absence de tests sur la pragmatique référentielle. Plus précisément, les auteurs investiguent si les modèles de langage purement textuels, entraînés uniquement sur la parole dirigée vers les enfants (Child-Directed Speech - CDS), peuvent acquérir le biais de mutual exclusivity (ME) ou exclusivité mutuelle.

Le ME est un biais cognitif observé chez les enfants (vers 17 mois) qui les amène à mapper un mot nouveau sur un objet inconnu plutôt que sur un objet déjà nommé. La question centrale est de savoir si ce mécanisme peut émerger uniquement par l'apprentissage distributionnel sur du texte, sans ancrage visuel ou référentiel (c'est-à-dire sans représentation d'objets physiques), ou si la présence de référents est une condition nécessaire.

2. Méthodologie

Conception Expérimentale :
Les auteurs ont mené une expérience pré-enregistrée (sur l'OSF) impliquant un réseau de modèles de 45 modèles de type GPT-2, entraînés de zéro sur le corpus AO-CHILDES (environ 4 millions de tokens de parole dirigée vers les enfants).

• Grille d'entraînement :
  • Tailles de modèles : 3 architectures (Petit : ~2,9M paramètres, Moyen : ~8,9M, Grand : ~33,5M).
  • Durées d'entraînement : 5, 10 et 20 époques.
  • Graines aléatoires : 5 par cellule (totalisant 45 modèles).
  • Vocabulaire : 8 020 tokens (incluant des tokens "nonce" ou non-sens pour les tests).
• Modèle de contrôle (Pilot) : BabyBERTa (modèle masqué) a été testé pour évaluer la sensibilité au contexte discursif.

Tâches d'Évaluation (Battery) :
Trois pistes principales ont été évaluées :

1. Suppression Familiar-Familiar (H1) : Teste si l'étiquetage d'un objet familier (FAM1) dans un contexte à deux référents diminue la probabilité de prédire ce même mot plus tard (effet d'inhibition attendu par le ME) ou l'augmente (effet de priming par répétition).
2. Diagnostic de Dépendance au Contexte (H2) : Une méthode novatrice pour distinguer le ME réel des artefacts de similarité d'embeddings. Elle compare la prédiction de tokens "nonce" dans un contexte complet (avec un objet familier) vs un contexte sans objet familier. Si le "ME" est dû à la disambiguisation, le contexte complet devrait aider ; si c'est dû à la similarité d'embedding, l'absence de contexte familier (qui supprime la compétition fréquentielle) devrait augmenter la prédiction du nonce.
3. Réponse Dose-Réponse (H3) : Analyse de l'effet d'accumulation des répétitions (0, 1, 2, 3 étiquetages) sur la probabilité de prédiction.

3. Contributions Clés

1. Première évaluation systématique du ME dans les modèles textuels : L'article établit que les modèles BabyLM textuels ne développent pas de ME, contrairement aux modèles ancrés visuellement (grounded models).
2. Diagnostic de Dépendance au Contexte : Introduction d'une méthode méthodologique réutilisable pour détecter les artefacts d'embeddings dans les évaluations pragmatiques. Les auteurs montrent que les apparences de ME dans les tests de tokens non-sens sont souvent dues à la similarité vectorielle et non à une véritable disambiguisation référentielle.
3. Preuve de la priming par répétition (Anti-ME) : Démonstration que les statistiques distributionnelles du CDS favorisent une trajectoire de "suivi par répétition" plutôt que d'exclusivité lexicale.

4. Résultats

• Absence de ME (H1 Confirmée) : Tous les 9 modèles (toutes tailles et durées confondues) montrent un priming par répétition significatif (effet Anti-ME). L'étiquetage d'un objet familier augmente la probabilité de le prédire à nouveau, au lieu de la diminuer.
  • Taux d'Anti-ME : 85% à 100% des items.
  • L'effet ne s'inverse jamais, même avec l'amélioration de la qualité du modèle (perplexité).
• Diagnostic de Contexte (H2 Confirmée) : Le diagnostic révèle que la prédiction des tokens "nonce" est plus forte dans le contexte sans objet familier (nonce_only) que dans le contexte complet (full_context). Cela prouve que l'effet observé est dû à la suppression de la compétition fréquentielle par les mots familiers, et non à une logique de disambiguisation ME.
• Réponse Dose-Réponse (H3 Partiellement Confirmée) : La probabilité de prédiction augmente avec le nombre de répétitions (tendance positive significative). Cependant, la stricte monotonie s'affaiblit dans les meilleurs modèles (20 époques), suggérant une modélisation plus fine des changements de sujet dans le discours, mais sans jamais atteindre la suppression (ME).
• Relation Perplexité-Priming : Une corrélation négative existe entre la qualité du modèle (perplexité plus basse) et la force du priming (ρ = -0,533). Les modèles meilleurs atténuent le biais de répétition, mais la courbe converge vers une asymptote non nulle (environ -0,5 nats), indiquant que le ME n'émerge pas même avec une meilleure modélisation du langage.
• Échec de BabyBERTa : Le modèle masqué (BabyBERTa) s'est révélé totalement insensible au contexte discursif multi-sentences, rendant l'évaluation du ME impossible avec cette architecture spécifique.

5. Signification et Discussion

• L'ancrage (Grounding) est nécessaire : Les résultats soutiennent l'hypothèse que le ME nécessite un ensemble de référents (objets visuels ou symboliques distincts) pour être appris. Les statistiques textuelles du CDS, qui sont riches en répétitions de noms pour l'apprentissage ("vois le ballon, prends le ballon"), favorisent le suivi par répétition plutôt que l'exclusion mutuelle.
• Limites de l'apprentissage distributionnel pur : L'étude suggère que l'apprentissage distributionnel sur du texte seul, même à échelle enfantine, est insuffisant pour induire des mécanismes pragmatiques complexes comme le ME. Ce n'est pas une question de capacité du modèle, mais de la structure des données d'entrée.
• Implications pour les BabyLM : Cela met en lumière une limite structurelle des évaluations actuelles des BabyLM qui se concentrent sur la syntaxe et la compréhension du langage naturel (NLU) textuel, négligeant la pragmatique référentielle.
• Conclusion : Pour que les modèles de langage acquièrent des compétences référentielles comme le ME, il est probable qu'une approche multimodale (texte + images/référents) soit indispensable, conformément aux cadres de la cognition ancrée (grounded cognition).

En résumé, l'article démontre que sans ancrage visuel, les modèles de langage apprennent à répéter ce qu'ils entendent, mais ne développent pas l'intuition que "chaque objet n'a qu'un seul nom".