Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

1. Problématique et Contexte

Les modèles de langage basés sur l'architecture Transformer dominent actuellement le paysage de la linguistique computationnelle. Cependant, leur validité cognitive en tant que modèles du traitement humain des phrases reste débattue. Bien que des études antérieures aient suggéré que les Transformers pouvaient reproduire certains effets psycholinguistiques, comme l'attraction d'accord (un phénomène où la présence d'un nom distracteur interfère avec l'accord sujet-verbe), ces travaux présentaient des limites méthodologiques majeures :

• Ils se concentraient uniquement sur des constructions à modificateurs prépositionnels.
• Ils ne testaient que des configurations où l'effet d'attraction est attendu, ignorant les cas où il ne devrait pas apparaître (asymétries).
• Ils se basaient souvent sur un seul modèle (ex: GPT-2), limitant la généralisation des résultats.
• Certains travaux utilisaient des modèles bidirectionnels (comme BERT), ce qui est cognitivement peu plausible pour le traitement en ligne (lecture séquentielle).

L'objectif de cette étude est d'évaluer systématiquement la capacité des Transformers auto-régressifs à modéliser le traitement humain de l'attraction d'accord en anglais, en couvrant une gamme plus large de configurations syntaxiques et de modèles.

2. Méthodologie

Design Expérimental :
Les auteurs ont mené deux expériences comparant les temps de lecture humains (données de référence de Wagers et al., 2009) aux prédictions des modèles de langage.

• Expérience 1 : Constructions à modificateurs prépositionnels (ex: The key to the cabinets were...).
• Expérience 2 : Clauses relatives extraites de l'objet (Object-Extracted Relative Clauses - OERC) (ex: The marine(s) who the officer want(s)...).

Chaque expérience testait 8 configurations (design 2x2x2) manipulant :

1. Le nombre du sujet (singulier/pluriel).
2. La grammaticalité de la phrase (grammaticale/ungrammaticale).
3. La présence d'un nom distracteur (attraction ou non).

Modèles Évalués :
L'étude a analysé 11 modèles Transformers auto-régressifs pré-entraînés (sans instruction tuning) provenant de 5 familles différentes (GPT, GPT-2, Bloom, XGLM, Gemma-3), avec des tailles variant de 124M à 4B de paramètres.

Mesure et Analyse :

• Indépendance : Le temps de lecture est modélisé par le surprisal (surprise) du verbe cible, calculé comme le logarithme négatif de la probabilité conditionnelle donnée le contexte précédent : $-\log_2 P(w_i | w_{0...i-1})$.
• Analyse Statistique :
  • Tests t appariés pour vérifier la présence d'effets d'attraction dans chaque modèle.
  • Régressions linéaires pour tester les asymétries critiques observées chez l'humain :
    • Asymétrie Singulier/Pluriel : L'attraction ne se produit que si le sujet est singulier.
    • Asymétrie Grammatical/Non-grammatical : L'attraction ne se produit que dans les phrases non grammaticales.
  • Modèles à effets mixtes incluant le nombre de paramètres comme variable fixe.

3. Résultats Clés

Expérience 1 : Modificateurs Prépositionnels

• Alignement avec l'humain : Les prédictions des Transformers correspondent globalement bien aux données humaines.
• Asymétries respectées : Les modèles reproduisent correctement l'effet d'attraction facilitateur (réduction du surprisal) uniquement dans la configuration non grammaticale avec un sujet singulier.
• Exceptions mineures : Certains modèles prédisent un effet de facilitation dans des configurations non observées chez l'humain (sujet pluriel non grammatical), mais la tendance générale est robuste et cohérente entre les modèles.

Expérience 2 : Clauses Relatives Extraites de l'Objet (OERC)

• Divergence majeure : Les résultats sont chaotiques et divergent fortement des données humaines et de la théorie.
• Absence de cohérence : Contrairement à l'Expérience 1, les modèles ne reproduisent pas l'asymétrie singulier/pluriel ni l'asymétrie grammaticale.
• Effets spurious : De nombreux modèles prédisent des effets d'attraction là où ils ne devraient pas exister (ex: facilitation dans des phrases grammaticales à sujet pluriel) ou dans la direction opposée à ce qui est théoriquement attendu.
• Hétérogénéité : Il n'y a pas de tendance unifiée au sein de la classe des Transformers ; les performances varient considérablement d'un modèle à l'autre, et aucun modèle ne parvient à reproduire fidèlement le schéma asymétrique observé chez l'humain.

4. Contributions Principales

1. Évaluation Comparative Large : Première étude à tester systématiquement une gamme diversifiée de modèles (tailles et familles) sur deux types de constructions syntaxiques distinctes.
2. Identification d'une Limitation Structurelle : Mise en évidence que la capacité des Transformers à modéliser le traitement humain dépend fortement de la complexité syntaxique. Ils réussissent sur des structures simples (modificateurs prépositionnels) mais échouent sur des structures plus complexes (clauses relatives).
3. Critique Méthodologique : Démonstration que les généralisations basées sur des configurations isolées ou des modèles individuels sont dangereuses. Une évaluation cognitive rigoureuse nécessite un design expérimental complet couvrant les cas où l'effet ne devrait pas apparaître.
4. Hypothèses Explicatives : Discussion sur les causes potentielles (difficulté de prédiction des verbes de contenu vs auxiliaires, différences entre modèles monolingues et multilingues, ou simple mimétisme des erreurs de surface présentes dans les corpus d'entraînement).

5. Signification et Conclusion

L'article conclut que les modèles Transformers actuels ne peuvent pas expliquer le traitement morphosyntaxique humain de manière complète. Bien qu'ils puissent imiter certains comportements humains sur des tâches simples, leur échec à reproduire les schémas d'interférence asymétriques dans les clauses relatives suggère qu'ils ne possèdent pas les biais inductifs cognitifs nécessaires pour modéliser la mémoire de travail humaine lors du traitement du langage.

Implications :

• Les évaluations des modèles de langage en tant que modèles cognitifs doivent adopter des designs expérimentaux rigoureux et complets.
• Il ne faut pas considérer les Transformers comme une classe homogène capable de modéliser le langage humain ; leurs échecs sur des constructions spécifiques révèlent des limites fondamentales de l'objectif de prédiction du mot suivant (next-word prediction) pour capturer la cognition linguistique profonde.
• Des recherches futures doivent explorer des architectures alternatives et tester sur des langues typologiquement diverses pour valider ces résultats.