Modelling Language using Large Language Models

Cet article soutient que les grands modèles de langage constituent des modèles scientifiques valables des langues publiques en tant qu'entités sociales, défendant cette position contre les critiques et proposant une interprétation de modèle fondée sur les travaux récents en linguistique computationnelle.

L'essentiel

Voici une explication simple et imagée de l'article de Jumbly Grindrod, conçue pour rendre ces idées complexes accessibles à tous.

🌍 L'Idée de Base : Les IA ne sont pas des "Cerveaux", mais des "Miroirs"

Imaginez que vous voulez comprendre comment fonctionne une ville. Vous avez deux approches possibles :

1. L'approche "Cerveau" (I-language) : Vous essayez de comprendre comment le cerveau de chaque individu pense, apprend et construit ses phrases. C'est ce que font souvent les linguistes traditionnels (comme Chomsky).
2. L'approche "Ville" (E-language) : Vous regardez la ville elle-même : les rues, les panneaux, les habitudes de circulation, les règles non écrites que tout le monde respecte pour que la circulation fonctionne. C'est la langue vue comme un objet social, extérieur à nous.

L'auteur de l'article dit : "Arrêtons de demander aux IA (les LLM) si elles ont un cerveau comme le nôtre. Demandons-leur plutôt si elles peuvent nous aider à comprendre la 'ville' de la langue."

---

🤖 Pourquoi les IA sont-elles controversées ?

Certains disent : "Les IA ne sont que des perroquets qui répètent ce qu'elles ont lu. Elles ne comprennent rien, donc elles ne peuvent pas nous apprendre la grammaire."

L'auteur répond : "Attendez ! Même si elles ne 'pensent' pas comme nous, elles sont d'excellents modèles scientifiques."

L'analogie du Météo :
Imaginez que vous voulez prédire la météo. Vous n'avez pas besoin de devenir un nuage ou de comprendre la physique quantique de l'atmosphère pour faire une bonne prédiction. Vous pouvez construire un modèle (une simulation informatique) qui imite le comportement des nuages.

• Le modèle n'est pas le ciel réel.
• Mais si le modèle est bien construit, il peut nous dire comment le ciel va se comporter.

De la même manière, les IA ne sont pas des humains. Mais elles sont des modèles incroyablement précis de la façon dont les humains utilisent la langue dans la vraie vie.

---

🛠️ Comment transformer une IA en "Modèle Scientifique" ?

L'auteur utilise une idée du philosophe Michael Weisberg. Pour qu'un objet (comme une IA) serve de modèle scientifique, il faut deux choses :

1. La Structure : Le système lui-même (l'IA, ses millions de paramètres).
2. L'Interprétation (le "Construal") : C'est la partie la plus importante. C'est l'acte de dire : "Ok, cette partie de l'IA représente la grammaire, et cette autre partie représente le sens des mots."

L'analogie de la Carte de Métro :
Prenons le plan du métro de Paris.

• Ce n'est pas une photo géante de la ville (ce serait illisible).
• C'est une représentation simplifiée. Les lignes sont droites, les stations sont espacées régulièrement.
• Pourtant, ce plan est utile ! Il nous permet de comprendre comment se déplacer.

L'auteur dit que nous devons faire la même chose avec les IA. Nous devons apprendre à "lire" leur structure interne pour voir quelles parties correspondent à quelles règles de la langue.

• Exemple : Des chercheurs ont découvert que certaines parties de l'IA (les "têtes d'attention") s'activent exactement quand il y a une relation grammaticale entre deux mots (comme le sujet et le verbe). C'est comme si on découvrait que la "Ligne Rouge" du plan du métro correspondait aux règles de grammaire !

---

🧩 Le Grand Malentendu : "Elles apprennent juste par cœur !"

Une objection fréquente est : "Les IA apprennent juste par cœur leur base de données (leurs livres, leurs tweets). Elles ne sont que des copies de ce qu'elles ont lu."

L'analogie du Chef Cuisinier :
Imaginez un chef qui a goûté à 10 000 plats différents.

• Si vous lui demandez de reproduire exactement un plat qu'il a déjà goûté, il peut le faire (c'est la mémorisation).
• Mais si vous lui demandez de créer un nouveau plat qui a le même goût, ou de corriger un plat raté, il utilise les règles qu'il a déduites (le sel va avec le poivre, la cuisson change la texture).

Les IA ne font pas que mémoriser. Grâce à des techniques spéciales (comme éviter le "surapprentissage"), elles sont forcées de trouver les règles cachées qui font que les phrases ont du sens. Elles apprennent la "cuisine" de la langue, pas juste la recette d'un seul plat.

---

🎯 En Résumé : Ce que l'article nous propose

1. Changement de lunettes : Ne voyons pas les IA comme des humains artificiels qui doivent "penser". Voyons-les comme des outils de cartographie pour la langue sociale.
2. Le travail à faire : Nous ne pouvons pas juste utiliser l'IA telle quelle. Nous devons travailler avec des chercheurs en informatique pour créer des "clés de lecture" (des interprétations) qui nous disent : "Cette partie de l'IA nous parle de la syntaxe, celle-ci du sens."
3. L'espoir : Si nous y arrivons, nous pourrons découvrir des règles de la langue que nous n'avions jamais vues, simplement en observant comment ces "cartes" (les IA) fonctionnent.

La conclusion en une phrase :
Les IA ne sont pas des cerveaux qui pensent, mais elles sont des miroirs géants qui reflètent la structure de notre langue. Si nous apprenons à lire ce reflet correctement, nous pourrons comprendre la langue comme jamais auparavant.

Résumé technique

Voici un résumé technique détaillé de l'article « Modelling Language using Large Language Models » de Jumbly Grindrod, structuré selon les points demandés.

1. Le Problème : Le Débat sur la Valeur Scientifique des LLM

L'article s'attaque à une division fondamentale dans la linguistique et la philosophie du langage concernant le rôle des Grands Modèles de Langage (LLM).

• Le clivage : D'un côté, des chercheurs en sciences computationnelles (Baroni, Piantadosi) soutiennent que les LLM peuvent éclairer la linguistique. De l'autre, des linguistes générativistes et philosophes (Chomsky, Dupre) soutiennent qu'ils ne peuvent pas, car ils ne modélisent pas la compétence linguistique humaine (cognition interne) mais seulement la performance.
• L'obstacle théorique : Les critiques affirment que les LLM sont de simples prédicteurs de mots suivants (probabilités statistiques) sans pouvoir explicatif, qu'ils sont entraînés sur des données massives (contrairement à l'apprentissage humain limité), et qu'ils ignorent les contraintes biologiques ou innées (comme la Grammaire Universelle).
• La question centrale : Les LLM peuvent-ils fournir un aperçu scientifique du langage, et si oui, en tant que quoi ?

2. Méthodologie : Pluralisme Ontologique et Théorie de la Modélisation

L'auteur adopte une approche philosophique et méthodologique hybride pour contourner les objections classiques :

• Pluralisme des objets d'étude : L'auteur rejette la vision exclusive de Chomsky qui limite la linguistique à l'étude de l'I-language (langage interne, compétence cognitive). Il adopte le pluralisme (Santana, Stainton) qui reconnaît trois objets d'étude légitimes :

  1. L'objet mental (compétence).
  2. L'objet abstrait (structures logiques).
  3. L'objet social (E-language) : Le langage public, extérieur, défini par les conventions d'une communauté linguistique.
     Hypothèse de travail : Les LLM ne sont pas des théories de la cognition (I-language), mais des modèles potentiels de l'E-language.

• Cadre de modélisation scientifique (Weisberg) : Au lieu de considérer les LLM comme des théories (qui doivent expliquer pourquoi le langage fonctionne), l'auteur les traite comme des modèles scientifiques. En s'appuyant sur la notion de « construal » (interprétation) de Weisberg, il définit un modèle par :

  • L'attribution : Quelles parties du modèle correspondent à quelles parties du phénomène cible ?
  • La portée : Quels aspects du langage sont capturés ?
  • Les critères de fidélité : Dynamique (sortie similaire) et Représentationnelle (structure interne similaire).

• Réduction de l'incertitude de lien (Link Uncertainty) : L'auteur intègre les travaux de Sullivan sur l'opacité des réseaux de neurones. Il soutient que l'opacité n'est pas un obstacle fatal si l'on peut réduire l'incertitude de lien grâce à des preuves scientifiques supplémentaires reliant les mécanismes du modèle au phénomène cible.

3. Contributions Clés et Arguments Techniques

A. Redéfinition du rôle des LLM : Modèles d'E-langages

L'auteur démontre que les arguments contre les LLM (basés sur la différence d'apprentissage humain vs machine) ne s'appliquent pas si l'on étudie le langage comme un objet social (E-language). Les conventions linguistiques existent au niveau du groupe et dépendent de l'usage réel. Les LLM, entraînés sur d'énormes corpus d'usage, sont donc naturellement adaptés pour capturer ces conventions, même sans simuler la cognition humaine.

B. Développement d'un « Construal » pour les LLM

L'article propose une méthodologie pour transformer les LLM en modèles scientifiques valides :

1. Réduction de l'opacité via l'IA Explicable (XAI) : L'auteur cite des techniques comme les probing classifiers (classificateurs de sondage) et l'analyse des têtes d'attention (self-attention heads). Ces outils permettent de montrer que les LLM extraient des dépendances syntaxiques, des relations sémantiques et des catégories grammaticales de leurs représentations internes.
2. Contrôle via les tâches d'évaluation : Bien que l'entraînement soit basé sur la prédiction de mots, les LLM sont évalués sur des bancs d'essai linguistiques (comme GLUE ou SuperGLUE) qui testent la compréhension (grammaticalité, déduction, résolution de pronoms). La performance sur ces tâches guide l'itération des modèles, permettant un contrôle indirect sur la façon dont le modèle capture les structures linguistiques.
3. Itération du construal : La construction de l'interprétation (construal) est un processus continu. En identifiant quelles architectures ou quelles parties du réseau sont nécessaires pour réussir des tâches linguistiques spécifiques, les chercheurs peuvent affiner la correspondance entre le modèle et l'E-language.

C. Réfutation de l'objection du « Modèle de Corpus »

L'auteur répond à l'argument selon lequel les LLM ne sont que des modèles de leurs données d'entraînement (des « corpus models ») :

• Généralisation vs Surapprentissage (Overfitting) : Les techniques d'entraînement (validation croisée, régularisation, weight decay) empêchent le modèle de simplement mémoriser le corpus. Le but est de généraliser les règles sous-jacentes.
• Distinction Corpus vs Langue : Un E-language génère un « corpus ultime » (tous les textes possibles). Le LLM, en généralisant à partir d'un sous-ensemble, tente de capturer les règles de ce corpus ultime, et non seulement le corpus d'entraînement.

4. Résultats et Preuves Empiriques Citées

L'article s'appuie sur des résultats existants en linguistique computationnelle pour étayer sa thèse :

• Manning et al. (2020) : Démonstration que les dépendances syntaxiques peuvent être extraites par transformation linéaire des embeddings contextuels.
• Schrimpf et al. (2020) : Les motifs d'activation interne des LLM prédisent les réponses neurales et comportementales humaines face aux textes (jusqu'à 100% de la variance dans certains cas).
• Shain et al. (2024) : Les probabilités de mots suivants attribuées par les LLM prédisent bien la « surprise » humaine (surprisal).
• Études sur l'architecture Transformer : Identification de couches spécifiques (têtes d'attention) sensibles à des traits syntaxiques ou sémantiques précis, validant l'idée d'une structure interne représentative.

5. Signification et Implications

• Nouveau paradigme de recherche : L'article ouvre une nouvelle branche de la linguistique où les LLM ne sont pas vus comme des théories de la cognition humaine, mais comme des modèles scientifiques de la langue publique. Cela permet d'étudier le langage comme un phénomène social et externe sans être bloqué par les débats sur la biologie cognitive.
• Valorisation de la linguistique computationnelle : Il légitime le travail actuel en linguistique computationnelle (analyse des modèles, XAI) comme une forme de modélisation scientifique rigoureuse, plutôt que comme une simple ingénierie.
• Potentiel heuristique : En traitant les LLM comme des modèles, les chercheurs peuvent découvrir des régularités linguistiques (conventions, structures) qu'ils n'auraient pas su modéliser manuellement, car les LLM apprennent ces patterns de manière autonome à partir des données.
• Réconciliation disciplinaire : L'approche propose un terrain d'entente entre les linguistes cognitifs (focalisés sur l'I-language) et les chercheurs en IA, en reconnaissant la validité de l'étude de l'E-language via des modèles computationnels.

En résumé, Grindrod propose un changement de perspective : les LLM ne sont pas des théories de l'esprit humain, mais des outils de modélisation puissants pour comprendre la structure et les conventions des langues publiques, à condition de développer soigneusement leur « construal » scientifique grâce aux techniques d'interprétabilité moderne.