💬 NLP

Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Cet article fournit la première preuve causale que les modèles de langage acquièrent une connaissance de l'inacceptabilité linguistique par le biais de la préemption statistique, démontrant que l'exposition aux formes conventionnelles supprime les alternatives structurellement possibles mais non attestées par une compétition distributionnelle plutôt que par de simples effets d'ancrage des verbes.

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Comment Apprenons-Nous Ce Qu'il Ne Faut Pas Dire ?

Imaginez un enfant qui apprend à parler. Il entend ses parents dire : « J'ai donné les livres à la bibliothèque. » Finalement, l'enfant comprend que dire : « J'ai donné la bibliothèque les livres », cela sonne faux.

Voici l'énigme : l'enfant n'a jamais reçu l'ordre : « Ne le dis pas comme ça. » Il n'a jamais entendu de correction. En fait, la structure de phrase qu'il évite (la version à « double objet ») fonctionne parfaitement bien pour d'autres mots, comme « donner » (« J'ai donné la bibliothèque les livres »).

Alors, comment le cerveau sait-il qu'il doit arrêter d'utiliser un motif qui pourrait fonctionner, simplement parce qu'il ne l'a pas entendu utilisé pour ce mot spécifique ? C'est ce qu'on appelle le Paradoxe de Baker.

La Théorie : L'Analogie de la « Salle Bondée »

L'article teste une théorie appelée Préemption Statistique.

Imaginez une salle bondée où tout le monde essaie de faire passer un message.

La Théorie : Si vous voulez dire à quelqu'un que vous lui donnez quelque chose, et que vous voyez que 99 % des personnes dans la salle disent : « J'ai donné le livre à la personne », votre cerveau apprend que c'est la façon « standard ». Même si vous pourriez physiquement dire : « J'ai donné la personne le livre », votre cerveau réalise : « Oh, tout le monde utilise la version avec 'à' pour cette action spécifique. Si j'utilise l'autre version, les gens pourraient penser que je suis bizarre ou dans l'erreur. »
L'Idée Concurrente (L'Enracinement) : Une théorie rivale suggère que vous arrêtez simplement d'utiliser de nouveaux motifs parce que vous avez entendu le mot « donner » tellement de fois dans n'importe quel contexte. C'est comme dire : « J'ai entendu 'donner' tellement de fois que je suis trop ancré dans mes habitudes pour essayer quoi que ce soit de nouveau. »

Les auteurs voulaient savoir : Les Modèles de Langage IA (LLM) apprennent-ils comme les humains ? Comprennent-ils ce qu'il ne faut pas dire simplement en remarquant quelle version est la préférée de la « salle bondée » ?

L'Expérience : L'IA en tant que Super-Apprenant

Les chercheurs ont traité les Grands Modèles de Langage (comme GPT-2, LLaMA et Pythia) comme des « super-apprenants ». Ces modèles ont lu des milliards de phrases mais n'ont jamais appris de règles grammaticales. Ils ont simplement absorbé des statistiques.

Ils ont testé les modèles sur 120 verbes différents (comme donner, offrir, expliquer, verser) à travers trois types de structures de phrases.

1. Le Test de la « Surprise » (Corrélation)

Les chercheurs ont mesuré à quel point l'IA était « surprise » par différentes structures de phrases.

La Métaphore : Imaginez que l'IA est un DJ qui joue de la musique. Si une chanson correspond parfaitement à l'ambiance, la foule (l'IA) est calme. Si une chanson est bizarre et déplacée, la foule devient « surprise » (l'alarme interne de l'IA se déclenche).
Le Résultat : L'IA était très « surprise » par les phrases non naturelles (comme « donné la bibliothèque les livres ») et calme face aux phrases naturelles. Ce motif correspondait presque parfaitement aux jugements humains. Lorsque les humains trouvaient une phrase bizarre, l'IA était également « surprise » par elle.

2. Le Test de la « Salle Bondée » vs du « Nom Célèbre » (Dissociation)

C'était la partie la plus critique. Ils devaient prouver que l'IA n'évitait pas la phrase simplement parce que le mot était célèbre (Enracinement), mais parce qu'un compétiteur spécifique gagnait (Préemption).

Le Dispositif : Ils ont choisi deux groupes de verbes.
- Groupe A (La « Salle Bondée ») : Des verbes où une structure de phrase spécifique domine (par exemple, donner est presque toujours utilisé avec « à »).
- Groupe B (Le « Nom Célèbre ») : Des verbes qui sont utilisés très souvent, mais de nombreuses façons différentes, sans aucun « gagnant » unique.
Le Résultat : L'IA n'a évité la structure de phrase bizarre que pour le Groupe A. Pour le Groupe B, même si les mots étaient célèbres, l'IA ne voyait pas d'inconvénient à essayer la structure bizarre.
La Conclusion : L'IA n'évite pas les choses simplement parce qu'un mot est courant. Elle les évite parce qu'elle a appris qu'une autre façon spécifique de le dire est la norme. Cela prouve que la théorie de la « Préemption Statistique » est correcte.

3. Le Test de la « Taille Compte » (Mise à l'Échelle)

Ils ont testé des modèles de différentes tailles, du petit (comme une calculatrice de poche) au gigantesque (comme un supercalculateur).

La Métaphore : C'est comme dresser un chien. Un chiot peut faire des erreurs, mais un chien bien dressé connaît les règles.
Le Résultat : À mesure que les modèles d'IA grossissaient, leur capacité à repérer les phrases « fausses » s'améliorait. Cependant, ce n'était pas un interrupteur magique qui s'allumait soudainement ; c'était une amélioration régulière et continue, comme un élève qui obtient de meilleures notes au fil du temps.

4. Le Test de « Recâblage » (Preuve Causale)

Pour prouver que ce n'était pas juste une coïncidence, ils ont pratiqué une « chirurgie » sur un petit modèle d'IA.

L'Action : Ils ont pris un modèle et lui ont fourni des données d'entraînement supplémentaires.
- Scénario 1 : Ils ont fait en sorte que la version « correcte » de la phrase apparaisse 3 fois plus souvent.
- Scénario 2 : Ils ont fait en sorte que la version « fausse » apparaisse 3 fois plus souvent.
Le Résultat :
- Dans le Scénario 1, l'IA est devenue plus stricte sur l'évitement de la mauvaise phrase.
- Dans le Scénario 2, l'IA est devenue moins stricte, mais pas autant que le Scénario 1 ne l'avait modifiée.
La Conclusion : Cela a prouvé que le comportement de l'IA est directement causé par la fréquence des phrases concurrentes. Si vous modifiez les statistiques d'entrée, vous modifiez la « grammaire » de l'IA de manière prévisible.

La Conclusion

L'article conclut que les modèles de langage neuronaux apprennent « ce qu'il ne faut pas dire » exactement de la même manière que les humains : par la compétition statistique.

Ils n'ont pas besoin d'un enseignant pour dire : « C'est faux. » Ils ont juste besoin d'entendre la « bonne » façon de dire les choses suffisamment de fois pour que leur cerveau (ou leur code) réalise : « Oh, c'est la façon standard. L'autre façon est bloquée. »

Cela résout une énigme vieille de plusieurs décennies sur la façon dont les humains apprennent le langage sans rétroaction négative, montrant que les statistiques distributionnelles (compter la fréquence des événements) sont suffisamment puissantes pour nous enseigner les règles de la grammaire.

Résumé technique : Preuves causales de la préemption statistique dans les modèles de langage

Énoncé du problème
L'article aborde le « paradoxe de Baker », une énigme fondamentale de l'acquisition du langage : comment les apprenants acquièrent-ils la connaissance de ce qui est inacceptable (preuves négatives) sans jamais se voir indiquer explicitement que certaines phrases sont incorrectes ? Dans le contexte de la grammaire de construction, deux hypothèses concurrentes tentent d'expliquer ce « recul face à la généralisation excessive » :

Préemption statistique : Les apprenants acquièrent une connaissance négative en suivant la fréquence de formes concurrentes spécifiques et conventionnelles (par exemple, entendre fréquemment « donated the books to the library » [a donné les livres à la bibliothèque] prévient l'usage non attesté de « *donated the library the books » [a donné la bibliothèque les livres]).
Enracinement : Les apprenants résistent aux constructions nouvelles simplement parce que le verbe est fréquemment rencontré dans n'importe quelle construction, réduisant ainsi la volonté de l'utiliser dans de nouveaux cadres.

Alors que des études comportementales ont débattu de ces mécanismes, l'article postule que les modèles de langage (LLM), entraînés uniquement sur des statistiques distributionnelles sans instruction grammaticale explicite, offrent un environnement contrôlé pour tester si l'apprentissage distributionnel seul suffit à acquérir cette connaissance négative.

Méthodologie
Les auteurs ont mené quatre expériences couvrant 120 paires verbe–construction en anglais, réparties sur trois types d'alternances : datif, causatif et locatif. Ils ont évalué 14 modèles issus de quatre familles (GPT-2, Pythia, LLaMA-2, OLMo) allant de 124 millions à 70 milliards de paramètres.

Hypothèse de liaison : L'étude utilise le surprisal au niveau des mots ( $S(w_t) = -\log_2 P(w_t | w_{<t})$ ) comme proxy de l'acceptabilité humaine. La métrique clé est le différentiel de surprisal ( $\Delta S$ ) entre une forme « non conventionnelle » (préemptée) et une forme « conventionnelle ».
Expérience 1 (Corrélationnelle) : Teste si les motifs de $\Delta S$ des LLM corrélatent avec les jugements d'acceptabilité humaine issus de trois ensembles de données indépendants (DAIS, Robenalt & Goldberg, Tachihara & Goldberg).
Expérience 2 (Dissociation) : Utilise une conception +Concurrent/−Concurrent (adaptée de Winkler et al., 2015) pour dissocier la préemption de l'enracinement. Les verbes ont été appariés sur la fréquence globale mais différaient par l'existence ou non d'une forme concurrente conventionnelle spécifique. L'étude a employé des corrélations partielles non circulaires par rapport aux données humaines pour s'assurer que les résultats n'étaient pas des artefacts de statistiques de corpus partagées.
Expérience 3 (Mise à l'échelle) : Analyse la sensibilité à la préemption à travers différentes tailles de modèles (de 160 millions à 12 milliards de paramètres dans Pythia) pour déterminer si l'effet évolue selon une loi de puissance.
Expérience 4 (Intervention causale) : A réalisé un fine-tuning contrôlé sur GPT-2 124M avec des fréquences manipulées. Trois conditions ont été testées :
- Amplifiée : Augmentation de la fréquence de la forme conventionnelle.
- Atténuée : Égalisation des fréquences des deux formes.
- Inversée : Augmentation de la fréquence de la forme non conventionnelle (un contrôle pour écarter une simple sensibilité à la fréquence).
- L'expérience a été répliquée sur cinq graines aléatoires.

Résultats clés

Alignement Humain-LLM : Les motifs de surprisal des LLM corrélatent fortement avec les jugements d'acceptabilité humaine ( $r = 0,79$ pour LLaMA-2 7B contre le référentiel DAIS), validés sur trois ensembles de données comportementaux indépendants.
Préemption vs Enracinement : Les effets observés sont pilotés par la fréquence de la forme concurrente, et non par la fréquence globale du verbe. Dans la conception +Concurrent/−Concurrent, les verbes possédant une forme concurrente conventionnelle ont montré un $\Delta S$ significativement plus élevé que les verbes appariés en fréquence sans tel concurrent. Les corrélations partielles ont confirmé que la préemption explique la variance dans les données humaines ( $r_{partielle} = 0,58$ ) tandis que l'enracinement ne le fait pas.
Mise à l'échelle : La sensibilité à la préemption évolue selon une loi de puissance avec la taille du modèle ( $r(N) = a \cdot N^b + c$ ), avec un exposant $b \approx 0,092$ , indiquant des rendements décroissants mais aucune transition de phase soudaine.
Preuve causale : Les interventions de fine-tuning ont déplacé causalement le comportement de préemption. L'augmentation de la fréquence de la forme conventionnelle a renforcé la préemption ( $\Delta \Delta S = +0,73$ ), tandis que l'augmentation de la fréquence de la forme non conventionnelle a eu un effet significativement plus faible ( $\Delta \Delta S = -0,29$ ). Cette asymétrie soutient la théorie selon laquelle la préemption opère par la force inhibitrice des alternatives établies, plutôt que par une simple sensibilité à la fréquence.

Signification et revendications
L'article revendique de fournir la première étude computationnelle à dissocier directement la préemption statistique de l'enracinement au sein d'un seul design convergent utilisant des LLM. Ses contributions principales sont :

Validation mécanistique : Il démontre que les modèles de langage neuronaux acquièrent une connaissance linguistique négative par la compétition distributionnelle, soutenant le mécanisme central de la grammaire de construction.
Preuve causale : Grâce au fine-tuning contrôlé et aux contrôles de direction inverse, il offre une preuve causale que la manipulation des fréquences des formes concurrentes déplace le comportement du modèle dans la direction prédite par la théorie de la préemption.
Rigueur méthodologique : Il répond aux préoccupations de circularité dans les travaux antérieurs en utilisant des corrélations partielles non circulaires par rapport aux données humaines et en employant un contrôle de direction inverse pour écarter les explications tautologiques de sensibilité à la fréquence.
Généralisabilité : Les résultats tiennent sur plusieurs types de constructions (datif, causatif, locatif) et architectures de modèles.

Les auteurs positionnent leur travail comme un complément aux études causales existantes (par exemple, Yao et al., 2025 ; Misra et Mahowald, 2024), notant que s'ils ne revendiquent pas une priorité unique pour la preuve « causale », leur combinaison spécifique de dissociation préemption-enracinement, de validation non circulaire et de contrôles d'asymétrie de direction inverse fournit une ligne de preuves robuste et convergente. L'étude conclut que pour l'anglais, le paradoxe de Baker a une réponse dans l'apprentissage distributionnel : les modèles développent une sensibilité à la préemption façonnée par la fréquence des concurrents conventionnels, reflétant l'acquisition humaine.