Large Language Models as Proxies for Theories of Human Linguistic Cognition

Résumé technique : Les grands modèles de langage comme proxys pour les théories de la cognition linguistique humaine

Énoncé du problème
L'article traite du rôle des grands modèles de langage (LLM) dans l'étude de la cognition linguistique humaine (CLH). Il critique la « Théorie des LLM » (ex. Piantadosi 2023), qui postule que les LLM actuels sont eux-mêmes les meilleures théories de la CLH, arguant que cette vision ne parvient pas à rendre compte des distinctions fondamentales de la cognition humaine, telles que compétence vs performance, grammaticalité vs probabilité, et les sauts inductifs spécifiques concernant la structure hiérarchique.

Au lieu de cela, l'article étudie la « Vue du Proxy ». Cette hypothèse suggère que, bien que les LLM actuels ne soient pas de bonnes théories de la CLH en soi, ils pourraient servir de proxys pour une troisième théorie, encore non divulguée ($H_3$). $H_3$ est envisagée comme une théorie relativement neutre sur le plan linguistique (dépourvue des biais innés forts de la linguistique générative, $H_1$) mais capable d'expliquer l'acquisition linguistique humaine et les modèles typologiques. Le problème central est que $H_3$ n'est pas encore spécifiée, ce qui rend son évaluation empirique difficile. Les auteurs se demandent si les LLM actuels peuvent fonctionner comme des outils méthodologiques pour tester si une $H_3$ linguistiquement neutre pourrait acquérir avec succès les connaissances linguistiques à partir de corpus réalistes ou expliquer les asymétries typologiques translinguistiques.

Méthodologie
Les auteurs évaluent la Vue du Proxy à travers deux cadres expérimentaux principaux, utilisant une suite de huit LLM allant de petits modèles entraînés sur le langage enfantin (CHILDES, BabyLM) à des modèles massifs entraînés sur des milliards de jetons (BERT, GPT-2, LLaMA-3.2).

1. Alignement avec le stimulus (Acquisition de sauts inductifs) :

   • Tâche : Les auteurs testent si les LLM peuvent acquérir des généralisations linguistiques spécifiques qui sont considérées comme difficiles à dériver pour des apprenants linguistiquement neutres à partir de la « pauvreté du stimulus » (APS).
   • Phénomènes : Trois phénomènes syntaxiques spécifiques ont été testés :
     • Le mouvement Across-the-Board (ATB).
     • Les lacunes parasitaires (PG - Parasitic Gaps).
     • Les effets de trace de « that » (TTE - That-trace effects).
   • Métrique : En utilisant une méthodologie de « paires minimales », les modèles ont été présentés à des paires de phrases grammaticales et agrammaticales. Le succès a été défini de manière indulgente : le modèle assigne une probabilité plus élevée à la continuation grammaticale qu'à la version agrammaticale au niveau d'une région de jeton critique.
   • Logique : Si les LLM (en tant que proxys pour $H_3$) échouent à préférer l'option grammaticale même après un entraînement sur des corpus développementalement réalistes ou massifs, cela suggère que $H_3$ échouerait également à acquérir ces schémas, renforçant ainsi l'argument de l'APS pour les biais innés ($H_1$).

2. Preuves translinguistiques (Asymétries typologiques) :

   • Tâche : Les auteurs examinent si les LLM apprennent plus facilement les langues « attestées » que les langues « non attestées » (perturbées). Si une $H_3$ linguistiquement neutre peut expliquer pourquoi certains types de langues sont non attestés, il devrait être plus difficile pour le proxy LLM d'apprendre les variantes non attestées.
   • Configuration : S'appuyant sur Kallini et al. (2024), les auteurs ont entraîné un Transformer sur des corpus d'anglais, d'italien, de russe et d'hébreu, ainsi que sur des versions perturbées de ces corpus.
   • Perturbations :
     • Inversion partielle (Partial-reverse) : Inversion de segments de phrases à partir d'un indice aléatoire.
     • Inversion totale (Full-reverse) : Inversion de phrases entières.
     • Échange d'indices (Switch-indices) : Échange de jetons à des indices spécifiques (0 et 2).
     • Saut de jeton (Token-hop) : Insertion de marqueurs à des distances linéaires fixes des verbes (nécessitant un comptage linéaire).
   • Métrique : Perplexité de validation pendant l'entraînement. Une perplexité plus faible indique un apprentissage plus facile.

Résultats clés

• Acquisition de généralisations syntaxiques :

  • Les LLM ont généralement échoué à montrer une préférence pour les phrases grammaticales par rapport aux phrases agrammaticales dans les paires minimales pour ATB, PG et TTE.
  • À l'exception du modèle massif LLaMA (entraîné sur des données équivalentes à des centaines de milliers d'années d'exposition humaine), tous les modèles préféraient massivement les options agrammaticales.
  • Cet échec suggère que si les LLM sont des proxys pour $H_3$, alors $H_3$ échouerait probablement à acquérir ces dépendances hiérarchiques complexes à partir d'un apport réaliste, échouant ainsi à infirmer les arguments de l'APS pour les biais linguistiques innés.

• Asymétries typologiques :

  • Les résultats n'ont pas soutenu de manière cohérente l'idée que les langues attestées sont plus faciles à apprendre que les perturbations non attestées.
  • Bien que les perturbations d'inversion partielle aient été plus difficiles à apprendre que les bases (soutenant la Vue du Proxy pour ce cas spécifique), d'autres perturbations ont produit des résultats contradictoires.
  • Pour l'inversion totale, l'échange d'indices et le saut de jeton, les modèles ont souvent trouvé les versions non attestées (perturbées) plus faciles à apprendre que les bases attestées, ou n'ont trouvé aucune différence significative.
  • Plus précisément, la perturbation de « saut de jeton » (qui viole les généralisations hiérarchiques au profit du comptage linéaire) a parfois été apprise plus facilement que la base attestée.

Contributions clés

• Clarification méthodologique : L'article articule la « Vue du Proxy » comme une position distincte de la « Théorie des LLM », précifiant que les LLM pourraient théoriquement servir d'outils pour évaluer des théories neutres sans être ces théories elles-mêmes.
• Évaluation empirique : Il fournit un test empirique préliminaire de la Vue du Proxy, allant au-delà de la spéculation théorique pour proposer des expériences concrètes sur l'acquisition et la typologie.
• Preuve négative : L'étude démontre qu'avec les conditions et les modèles actuels, les LLM ne fournissent pas de preuves qu'une théorie linguistiquement neutre puisse rendre compte de phénomènes linguistiques clés ou de modèles typologiques.

Signification et affirmations
L'article conclut qu'à l'heure actuelle, les LLM ne soutiennent pas la Vue du Proxy. L'incapacité des modèles à approximer des sauts inductifs de type humain (même avec des données massives) et leur apprentissage incohérent des modèles typologiques suggèrent qu'ils sont de mauvais proxys pour une théorie réussie de la CLH neutre.

Les auteurs soulignent que la Vue du Proxy reste « trop vague » pour être directement utile en science empirique car la théorie cible ($H_3$) n'est pas explicitement définie. L'article sert de « plaidoyer » pour que les partisans de la Vue du Proxy fournissent des détails explicites de la théorie cible et démontrent comment la performance des LLM soutient spécifiquement cette théorie par rapport aux alternatives génératives. Les auteurs maintiennent une position modeste, notant que leurs résultats négatifs sont spécifiques aux modèles et phénomènes testés, et que des travaux futurs avec des modèles différents ou des théories plus explicites pourraient mener à des conclusions différentes. Cependant, sur la base des preuves actuelles, les LLM ne suggèrent pas la nécessité de modifier la théorie linguistique existante.