💬 NLP

Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

Cet article teste l'hypothèse selon laquelle la sous-estimation par les modèles de langage de la difficulté de traitement humaine dans l'ambiguïté syntaxique découle de leur capacité à maintenir simultanément plus d'analyses de phrases que les humains, mais constate que, bien que la réduction de la multiplicité des analyses augmente les effets de chemin de jardin prédits, elle ne parvient pas à rendre compte entièrement de l'ampleur des différences de temps de lecture humaines.

Auteurs originaux : William Timkey, Brian Dillon, Tal Linzen

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William Timkey, Brian Dillon, Tal Linzen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous lisiez une histoire et que, soudainement, vous tombiez sur une phrase qui trompe votre cerveau. C'est ce qu'on appelle une phrase « sentier de jardin ».

Voici un exemple : « La fille nourrie par l'agneau était contrariée parce qu'elle avait demandé du bœuf. »

Lorsque vous lisez d'abord « La fille nourrit l'agneau », votre cerveau suppose naturellement que la fille est celle qui nourrit. C'est la façon la plus courante de le comprendre. Mais ensuite, vous tombez sur le mot « était ». Soudain, votre cerveau réalise qu'il s'est trompé ! La phrase signifie en réalité que la fille a été nourrie (quelqu'un l'a nourrie), et qu'elle était contrariée à propos du bœuf. Ce moment de confusion et de relecture prend du temps. Les psychologues appellent cela un « effet sentier de jardin ».

La Grande Question
Les scientifiques ont créé de puissants programmes informatiques appelés « modèles de langage » (comme celui qui rédige ce texte) qui sont très bons pour deviner le mot suivant dans une phrase. Une théorie appelée « théorie de la surprise » suggère que plus un mot est difficile à prédire, plus il faut de temps aux humains pour le lire.

Le problème ? Lorsque les scientifiques ont testé ces ordinateurs sur des phrases sentier de jardin, les ordinateurs étaient trop calmes. Ils ne semblaient pas assez surpris par la tromperie. Ils prévoyaient que la confusion serait minime, mais les humains éprouvent en réalité un énorme « trébuchement » mental.

L'Hypothèse : La Théorie de la « Lampe Torche »
Les auteurs de cet article se sont demandé : Pourquoi les ordinateurs sont-ils si calmes ?

Ils ont émis l'hypothèse que cela pourrait être dû au fait que les ordinateurs sont trop intelligents. Lorsqu'un ordinateur lit « La fille nourrit l'agneau », il pourrait retenir des dizaines d'interprétations différentes dans sa tête en même temps. Il pense : « Peut-être qu'elle nourrit l'agneau. Peut-être que l'agneau la nourrit. Peut-être qu'il s'agit d'un autre type d'agneau. » Parce qu'il examine toutes ces possibilités à la fois, le mot « était » ne semble pas être un choc ; il ne fait que l'une des nombreuses options qu'il envisageait déjà.

Les humains, en revanche, pourraient être comme une lampe torche dans une pièce sombre. Nous ne pouvons éclairer un ou deux chemins à la fois. Nous nous engageons dans l'idée que « la fille nourrit ». Lorsque nous tombons sur « était », notre lampe torche pointe dans la mauvaise direction, et nous devons nous retourner pour trouver le nouveau chemin. Ce retournement prend du temps et de l'effort.

Les auteurs ont appelé cela l'« hypothèse de la discordance de la multiplicité d'analyse ». En termes simples : Les ordinateurs sont moins surpris parce qu'ils examinent trop de possibilités à la fois, tandis que les humains sont contraints d'en choisir une seule.

L'Expérience : Éteindre la Lampe Torche
Pour tester cela, les chercheurs ont utilisé un type spécial de modèle informatique auquel on peut indiquer exactement combien de « chemins » examiner. Ils ont fait parcourir aux modèles les phrases sentier de jardin avec différents paramètres :

Multiplicité élevée : L'ordinateur examine 1 000 interprétations différentes à la fois (comme une lampe torche super brillante et large).
Multiplicité faible : L'ordinateur est contraint d'examiner seulement 1 ou 2 interprétations (comme une lampe torche faible et étroite).

Les Résultats

Ils avaient partiellement raison : Lorsqu'ils ont forcé l'ordinateur à examiner moins de chemins (lampe torche plus étroite), il s'est effectivement montré plus surpris. Le « trébuchement » dans la prédiction de l'ordinateur est devenu plus important.
Mais ils avaient surtout tort : Même lorsqu'ils ont forcé l'ordinateur à examiner une seule voie (la mauvaise, tout comme un humain), la surprise de l'ordinateur restait minime par rapport à la réaction humaine.

Le « trébuchement » de l'ordinateur était toujours environ 40 fois plus faible que celui des humains.

La Conclusion
L'article conclut que rendre simplement les ordinateurs « plus bêtes » ou les forcer à examiner moins d'options ne résout pas le problème. L'écart entre la façon dont les ordinateurs et les humains traitent le langage est trop grand pour être expliqué uniquement par le nombre d'idées qu'ils peuvent retenir dans leur tête à la fois.

Les auteurs suggèrent que les cerveaux humains pourraient posséder une étape supplémentaire que les ordinateurs n'ont pas : un mécanisme spécifique de « réanalyse ». Lorsque les humains sont bloqués, nous ne nous contentons pas de ressentir une légère surprise ; nous démantelons activement notre ancienne compréhension pour en reconstruire une nouvelle. Les modèles informatiques actuels, même lorsqu'ils sont limités, ne semblent tout simplement pas avoir ce bouton « démanteler et reconstruire ». Ils continuent simplement de deviner, et ils devinent trop facilement.

En Bref
Les chercheurs ont tenté de voir si les ordinateurs étaient moins surpris par des phrases piégées parce qu'ils « pensaient trop » (en retenant trop d'idées). Ils ont découvert que même lorsqu'ils forçaient les ordinateurs à « penser moins », ceux-ci restaient bien trop calmes par rapport aux humains. Cela signifie que la différence entre la lecture humaine et celle des ordinateurs ne tient pas seulement au nombre d'idées que nous pouvons jongler ; elle réside dans quelque chose de plus profond concernant la façon dont nous gérons nos erreurs.

Résumé technique : Test de l'hypothèse du désaccord de multiplicité d'analyse

Énoncé du problème
La théorie de la surprisale postule que la difficulté de traitement d'un mot est déterminée par sa prévisibilité dans le contexte (sa probabilité négative logarithmique), offrant un lien potentiel entre le traitement des phrases par les humains et les prédictions du mot suivant issues des modèles de langage (ML). Bien que les surprisales des ML prédisent avec succès les temps de lecture dans des textes naturalistes, elles sous-estiment systématiquement l'ampleur de la difficulté observée dans les études contrôlées sur l'ambiguïté syntaxique, en particulier dans les phrases « sentiers de jardin ». Dans ces phrases, une ambiguïté temporaire favorise initialement une interprétation, qui est ensuite désambiguïsée en faveur d'une interprétation non préférée, entraînant des coûts de traitement significatifs (par exemple, des augmentations de temps de lecture supérieures à 300 ms).

Des recherches antérieures indiquent que, si les ML prédisent la direction des effets de sentier de jardin, l'ampleur est plusieurs ordres de grandeur inférieure aux données humaines. Par exemple, GPT-2 prédit un effet de sentier de jardin d'environ 8 ms, alors que les données humaines montrent des effets dépassant 300 ms. Cet article examine si ce désalignement provient de différences dans les contraintes computationnelles entre les humains et les ML. Plus précisément, il teste l'hypothèse du désaccord de multiplicité d'analyse : la proposition selon laquelle les ML peuvent maintenir simultanément un plus grand nombre d'interprétations syntaxiques distinctes (analyses) en mémoire que les humains. Si les humains sont plus contraints dans leur parallélisme, ils pourraient s'engager plus tôt dans une seule interprétation incorrecte, conduisant à une surprisale plus élevée lors de la désambiguïsation par rapport aux ML qui marginalisent sur de nombreuses analyses concurrentes.

Méthodologie
Pour tester cette hypothèse, les auteurs ont utilisé des Grammaires de Réseaux de Neurones Récurrents (RNNG) (Dyer et al., 2016). Contrairement aux ML autorégressifs standards (par exemple, GPT-2) qui apprennent implicitement la syntaxe, les RNNG conditionnent les prédictions du mot suivant sur une analyse syntaxique explicite du contexte. Cette architecture permet la manipulation directe de la multiplicité d'analyse via une recherche en faisceau synchrone aux mots.

Configuration du modèle : Les auteurs ont entraîné des RNNG sur les corpus BabyLM et BLLIP en utilisant deux stratégies d'analyse : top-down (descendante) et left-corner (coin gauche).
Manipulation de la multiplicité : Le paramètre clé varié était la largeur de faisceau par mot ( $k_w$ ), qui détermine le nombre d'analyses distinctes conservées à chaque étape de mot.
- $k_w = 1$ : Représente un analyseur entièrement sériel (ne conservant qu'une seule analyse).
- $k_w \to \infty$ : Représente un analyseur entièrement parallèle (approchant la marginalisation complète sur toutes les analyses).
- L'étude a testé des valeurs de $k_w$ allant de 1 à 1000.
Calcul de la surprisale : La surprisale du mot suivant a été calculée en marginalisant la distribution de probabilité du mot suivant sur les $k_w$ meilleures analyses.
Conditions contrefactuelles : Pour établir des bornes, les auteurs ont introduit deux conditions spécifiques :
- SENTIER DE JARDIN FORCÉ : Élagage manuel du faisceau pour n'inclure que les analyses cohérentes avec l'interprétation initialement préférée (incorrecte), créant une borne supérieure de la surprisale prédite.
- PARALLÉLISME COMPLET : Garantie manuelle que le faisceau contient toujours au moins une analyse cohérente avec l'interprétation globalement correcte, créant une borne inférieure.
Données et évaluation : Les modèles ont été évalués sur le Benchmark SAP (Huang et al., 2024), spécifiquement sur trois constructions de sentier de jardin (MV/RR, NP/S, NP/Z). L'étude a comparé les temps de lecture prédits (dérivés de la surprisale via une régression à effets mixtes linéaires sur des phrases de remplissage) aux temps de lecture humains empiriques.

Résultats clés

Texte naturaliste : Conformément aux travaux antérieurs, les estimations de surprisale dérivées de largeurs de faisceau plus importantes ( $k_w$ ) ont fourni un meilleur ajustement aux temps de lecture dans les phrases de remplissage naturalistes. Cela suggère que, pour un texte général, un parallélisme plus élevé (plus d'analyses) produit des prédictions plus précises et plus proches de l'humain.
Effets de sentier de jardin : La réduction de la multiplicité d'analyse (diminution de $k_w$ ) a effectivement augmenté l'ampleur des effets de sentier de jardin prédits, soutenant l'intuition selon laquelle limiter le parallélisme accroît les coûts de désambiguïsation. Les effets les plus importants ont été observés à des largeurs de faisceau intermédiaires ( $2 \le k_w \le 10$ ), où le faisceau était suffisamment petit pour élaguer l'analyse correcte mais suffisamment grand pour maintenir des analyses de haute qualité.
L'écart persiste : Malgré l'augmentation de la taille de l'effet prédite en restreignant le parallélisme, les résultats n'ont pas réussi à combler l'écart avec les données humaines.
- Même dans les conditions les plus restrictives (par exemple, $k_w=1$ ou la condition SENTIER DE JARDIN FORCÉ où seule l'analyse incorrecte était considérée), les augmentations de temps de lecture prédites étaient plusieurs ordres de grandeur inférieures aux effets humains empiriques.
- La condition PARALLÉLISME COMPLET (garantissant la présence de l'analyse correcte) n'a pas significativement réduit la sous-prédiction par rapport au faisceau non modifié, indiquant que le problème ne réside pas simplement dans la présence de l'analyse correcte dans le faisceau.

Signification et affirmations
L'article conclut que l'hypothèse du désaccord de multiplicité d'analyse ne peut pas entièrement réconcilier la surprisale basée sur les ML avec le traitement des phrases par les humains. Bien que limiter le nombre d'analyses simultanées dans les ML augmente la difficulté prédite des phrases de sentier de jardin, cela est insuffisant pour rendre compte de l'ampleur totale des coûts de traitement humains.

Les auteurs soutiennent que cette découverte suggère :

Le désalignement n'est pas piloté uniquement par le nombre d'interprétations considérées (multiplicité d'analyse).
Même lorsqu'un ML est forcé de ne considérer que l'interprétation initialement préférée (incorrecte), la surprisale résultante pour le mot désambiguïsant reste trop faible pour expliquer les temps de lecture humains.
Par conséquent, expliquer l'ampleur totale des effets de sentier de jardin nécessite probablement des mécanismes au-delà de la prévisibilité d'un seul mot. Les auteurs suggèrent que la réanalyse syntaxique (un processus de réparation de deuxième étape) ou d'autres mécanismes non capturés par la théorie standard de la surprisale sont nécessaires pour modéliser la difficulté de désambiguïsation humaine.

Ce travail implique que, si les ML peuvent paralléliser les mécanismes de prédiction humains, les contraintes computationnelles spécifiques de la mémoire humaine (en termes de parallélisme) ne sont pas le facteur principal à l'origine du désaccord dans les effets de sentier de jardin. Au lieu de cela, la nature du coût de traitement lui-même peut impliquer des processus (comme la réanalyse) qui ne sont pas réductibles à la surprisale au niveau du mot.

Articles similaires