Revisiting Real-Time Digging-In Effects: No Evidence from NP/Z Garden-Paths

1. Problématique et Contexte Théorique

L'article s'attaque à un débat central en psycholinguistique concernant le traitement des phrases ambiguës, spécifiquement les effets d'« enlisement » (digging-in effects) dans les phrases « garden-path » (chemin de traverse).

• Le phénomène : Dans une phrase comme « Before the recruiters could adapt the policy changed », le lecteur interprète initialement « the policy » comme l'objet du verbe « adapt ». Lorsque le verbe « changed » apparaît, une réanalyse est nécessaire. L'effet « garden-path » se manifeste par un ralentissement de la lecture au mot désambiguïsant.
• L'hypothèse de l'enlisement : Des modèles dynamiques et auto-organisés (Tabor & Hutchins, 2004) prédisent que si la région ambiguë est allongée (ex: ajout d'un modificateur « for hiring »), l'engagement structurel du lecteur se renforce avec le temps. Cela devrait rendre la réanalyse plus difficile, augmentant ainsi le temps de lecture au mot critique. C'est l'effet d'enlisement.
• L'hypothèse alternative (Surprisal) : La théorie du surprisal (Levy, 2008) lie la difficulté de traitement à l'information apportée par le mot entrant. Selon cette théorie, allonger la région ambiguë ne devrait pas augmenter la difficulté, sauf si cela modifie réellement les probabilités statistiques des continuations.
• Le paradoxe : Les modèles de langage neuronaux (LLM), qui implémentent une forme de théorie du surprisal, prédisent souvent l'effet inverse (un léger allègement de la difficulté avec l'allongement), contrairement aux modèles dynamiques. La question est de savoir si l'effet d'enlisement est un phénomène robuste du traitement en temps réel ou un artefact méthodologique.

2. Méthodologie

Les auteurs ont mené deux expériences comparant le comportement humain aux prédictions d'un ensemble de grands modèles de langage (LLM).

Conception des Stimuli

Les stimuli sont des phrases « NP/Z » en anglais. Les facteurs manipulés sont :

1. Ambiguïté : Phrase ambiguë (garden-path) vs. désambiguïsée (par une virgule ou un objet différent).
2. Longueur : Version courte vs. version longue (avec un modificateur post-nominal dans la région ambiguë).
3. Finalité : Le mot de désambiguïsation est-il en position finale de la phrase ou non-finale (au milieu).
4. Résolution : Type de désambiguïsation (virgule ou changement d'objet).

Expérience 1 : Tâche de Labyrinthe (Maze Task)

• Objectif : Mesurer la difficulté de traitement mot par mot avec une localisation très précise et réduire les effets de débordement (spillover).
• Procédure : Les participants choisissent entre deux mots pour continuer la phrase.
• Participants : 167 sujets retenus (sur 191 recrutés).
• Modèles : Un ensemble de 16 LLM (GPT-2, Pythia, Gemma, Qwen, Mistral) utilisés pour générer des prédictions de temps de réaction basées sur le surprisal.

Expérience 2 : Lecture à rythme auto-contrôlé (Self-Paced Reading - SPR)

• Objectif : Replicuer la méthodologie de l'étude originale (Tabor & Hutchins, 2004) tout en contrôlant systématiquement la finalité et le type de résolution.
• Procédure : Les participants révèlent les mots un par un. Des questions de compréhension sont ajoutées pour assurer l'attention.
• Participants : 225 sujets retenus (sur 233 recrutés).

Analyse Statistique

• Utilisation de modèles mixtes bayésiens (brms) avec des structures d'effets aléatoires maximales.
• Comparaison des temps de réaction humains et des temps prédits par les LLM.
• Focus sur l'interaction entre l'ambiguïté et la longueur au mot critique.

3. Résultats Clés

Absence d'Effet d'Enlisement en Temps Réel

• Données Humaines : Aucune preuve statistique significative d'un effet d'enlisement (interaction ambiguïté × longueur positive) n'a été trouvée dans les conditions non-finales (milieu de phrase), qui constituent le test le plus propre du traitement en temps réel.
• Données des LLM : Les modèles prédisent systématiquement une tendance inverse (un léger effet d'enlisement négatif), cohérente avec la théorie du surprisal et les réseaux de neurones récurrents.

L'Importance Critique de la Finalité (Sentence-Finality)

C'est la découverte majeure de l'article :

• Conditions Non-Finales (Milieu de phrase) : Les humains montrent une tendance à l'effet inverse (l'allongement facilite légèrement la réanalyse), alignée avec les prédictions des LLM.
• Conditions Finales (Fin de phrase) : Les humains montrent une tendance positive à l'enlisement (l'allongement augmente la difficulté).
• Interprétation : Les effets observés en fin de phrase sont probablement confondus avec des processus de « wrap-up » (récapitulation de la phrase) et non avec un renforcement de l'engagement structurel pendant le parsing.

Comparaison Humains vs LLM

• Les LLM sous-estiment systématiquement la difficulté des mots critiques dans les conditions ambiguës (confirmant des travaux récents comme Huang et al., 2024).
• Cependant, cette sous-estimation est égale pour les versions courtes et longues. Les LLM ne montrent pas d'augmentation de la difficulté avec la longueur, ce qui contredit l'hypothèse de l'enlisement.
• La tâche Maze a permis une meilleure corrélation entre les prédictions des LLM et les données humaines que la lecture SPR, en raison de la réduction des effets de débordement.

4. Contributions et Signification

1. Réfutation de l'effet d'enlisement robuste : L'étude ne trouve aucune preuve que l'effet d'enlisement est un phénomène robuste du traitement en temps réel dans les phrases NP/Z. Les résultats suggèrent que les études précédentes (comme Tabor & Hutchins, 2004) ont pu être biaisées par l'utilisation exclusive de mots critiques en fin de phrase.
2. Distinction Temps Réel vs Post-Sentence : L'article souligne l'importance cruciale de distinguer les mesures de traitement en temps réel (milieu de phrase) des mesures de fin de phrase (wrap-up). Les effets de fin de phrase ne doivent pas être utilisés pour inférer des mécanismes d'engagement structurel progressif.
3. Validation partielle de la théorie du Surprisal : Les données comportementales en position non-finale s'alignent qualitativement avec les prédictions des modèles statistiques (LLM), suggérant que le traitement du langage humain suit les statistiques linguistiques plutôt qu'un renforcement dynamique auto-organisé dépendant du temps.
4. Limites des modèles actuels : Bien que les LLM prédisent bien les tendances générales, ils sous-estiment encore la magnitude des effets garden-path, indiquant qu'ils ne capturent pas entièrement la complexité de la réanalyse syntaxique humaine.

Conclusion

En résumé, cet article démontre que l'effet d'enlisement, souvent cité comme preuve de modèles dynamiques de parsing, n'est pas un phénomène de traitement en temps réel fiable. Il apparaît principalement comme un artefact lié aux processus de clôture de phrase (wrap-up). Les résultats soutiennent une vision du traitement du langage où la difficulté est principalement dictée par les attentes statistiques (surprisal) plutôt que par un renforcement temporel des hypothèses syntaxiques.