Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

1. Problématique et Contexte

L'article s'inscrit dans le débat linguistique et cognitif concernant la nature des biais d'apprentissage humains par rapport à ceux des modèles de langage (LLM).

• Hypothèse Générative : Selon cette hypothèse (Chomsky et al.), l'ensemble des langues humaines attestées n'est qu'un sous-ensemble restreint de toutes les langues potentiellement observables. Cette restriction est due à des biais d'apprentissage innés spécifiques à la cognition humaine, qui rendent certaines structures linguistiques « impossibles » à acquérir (langues impossibles).
• Question de recherche : Les LLMs, en particulier les modèles de type Transformer comme GPT-2, sont-ils sensibles à la distinction entre les langues « possibles » (naturelles) et les langues « impossibles » (perturbées artificiellement) ?
• Travaux antérieurs : Une étude récente de Kallini et al. (2024) a affirmé que les LLMs montraient une sensibilité à l'impossibilité, apprenant plus facilement les langues naturelles que leurs versions perturbées, suggérant ainsi que les biais linguistiques ne seraient pas nécessaires pour expliquer la typologie.
• Objectif de l'article : Les auteurs contestent ces résultats en élargissant la méthodologie à un plus grand nombre de langues et de perturbations, afin de vérifier la robustesse de la conclusion selon laquelle les LLMs partagent les biais humains.

2. Méthodologie

Les auteurs reprennent la méthodologie de Kallini et al. (2024) mais l'étendent significativement pour tester deux perspectives : intralinguistique (une langue vs sa version perturbée) et interlinguistique (l'ensemble des langues attestées vs l'ensemble des versions perturbées).

A. Données et Perturbations

• Langues : Au lieu de se limiter à l'anglais, l'étude inclut 8 langues supplémentaires : Danois, Finnois, Français, Allemand, Grec, Hébreu, Italien et Russe. Cela couvre 7 branches linguistiques distinctes.
• Prétraitement : Création d'un jeu de données uniforme (90M de tokens par langue) à partir de Wikipédia, utilisant un tokeniseur par espaces blancs (whitespace tokenizer) uniforme pour toutes les langues (vocabulaire de 50 257 tokens) afin d'éliminer les biais liés à la tokenisation.
• Perturbations « Impossibles » : Six types de perturbations sont appliqués pour briser les structures hiérarchiques ou les dépendances universelles :
  • SHUFFLE global : Mélange déterministe des mots par longueur de phrase.
  • SHUFFLE local : Échange de tokens pairs et impairs.
  • REVERSE full : Inversion complète de la phrase.
  • REVERSE partial : Inversion à partir d'un marqueur <rev>.
  • SWITCH : Échange des tokens aux indices 0 et 2.
  • HOP : Insertion d'un marqueur spécial 3 tokens après chaque verbe (nécessite une généralisation linéaire).

B. Entraînement du Modèle

• Modèle : GPT-2 (12 couches, 12 têtes d'attention, embeddings 768d) entraîné de zéro (from scratch) sur chaque corpus.
• Configuration : Batch size 512, taux d'apprentissage $5 \times 10^{-4}$, arrêt après 3 000 batches.
• Mesure : La perplexité sur l'ensemble de validation est enregistrée toutes les 100 batches pour tracer les courbes d'apprentissage.

C. Métriques d'Analyse

1. Perspective Intralinguistique : Comparaison directe des courbes d'apprentissage d'une langue naturelle ($B$) et de sa version perturbée ($M$).
   • Calcul de l'Erreur Moyenne (ME) : $\frac{1}{N} \sum (B_i - M_i)$.
   • Un ME positif indique que la langue naturelle est plus difficile à apprendre (perplexité plus élevée) que la version impossible, ce qui contredit l'hypothèse de sensibilité.
2. Perspective Interlinguistique : Analyse de la variance des métriques (perplexité minimale et aire sous la courbe - AUC).
   • On compare la variance inter-langues (différences entre langues naturelles différentes) à la variance intra-langue (différences entre une langue naturelle et ses versions perturbées).
   • Si les LLMs étaient sensibles, la variance intra-langue devrait être élevée (les versions impossibles seraient nettement plus difficiles que la version naturelle).

3. Résultats Clés

Les résultats contredisent directement les conclusions de Kallini et al. (2024) :

A. Échec de la distinction Intralinguistique

• Dans la grande majorité des cas (sur 54 tests), les courbes d'apprentissage des langues naturelles et de leurs versions impossibles coïncident presque parfaitement.
• Le modèle ne montre aucune préférence systématique pour les langues naturelles. Dans de nombreux cas (ex: REVERSE full, SWITCH), le modèle apprend même les versions impossibles plus facilement que les versions naturelles (ME positif).
• Un test binomial bilatéral donne une valeur p de 0,892, indiquant qu'il n'y a aucune déviation statistiquement significative par rapport au hasard. Le modèle ne distingue pas le possible de l'impossible.

B. Échec de la séparation Interlinguistique

• L'analyse de la variance montre que les langues naturelles et leurs perturbations se regroupent par langue d'origine plutôt que par type de validité (possible vs impossible).
• Par exemple, le Russe et toutes ses perturbations forment un cluster distinct du Français et de ses perturbations, indépendamment du fait que les perturbations soient « impossibles ».
• La variance intra-langue (entre une langue et ses perturbations) est significativement plus faible que la variance inter-langue. Cela signifie que le modèle traite les versions perturbées comme des variantes de la même langue, et non comme des entités fondamentalement différentes ou plus difficiles.

4. Contributions et Signification

• Réfutation de la robustesse de la méthode de Kallini et al. : L'article démontre que la sensibilité à l'impossibilité observée précédemment n'est pas généralisable. Elle dépendait probablement de facteurs spécifiques à l'anglais ou à la configuration expérimentale originale.
• Absence de biais d'apprentissage linguistique : Les résultats suggèrent que GPT-2, en l'absence de biais linguistiques innés, ne parvient pas à discriminer les structures linguistiques valides des structures « impossibles » définies par la linguistique générative.
• Implications pour la modélisation cognitive : Si les LLMs ne possèdent pas ces biais, leur utilisation comme modèles de la cognition humaine est remise en question pour ce type de phénomènes. Les résultats soutiennent l'hypothèse générative : les humains possèdent des biais innés spécifiques que les LLMs actuels ne possèdent pas.
• Limites des métriques de perplexité : L'étude conclut que la « facilité d'apprentissage » mesurée par la perplexité sur des courbes d'apprentissage n'est pas une métrique fiable pour dériver la typologie linguistique ou prouver l'absence de biais innés chez les humains.

Conclusion

En somme, cette étude fournit des preuves empiriques solides que les modèles de langage actuels (GPT-2) échouent à distinguer systématiquement les langues possibles des langues impossibles, tant au niveau intralinguistique qu'interlinguistique. Cela renforce l'idée que les biais d'apprentissage qui façonnent la typologie humaine sont biologiquement ancrés et non simplement une propriété émergente de l'apprentissage statistique sur de grands corpus.