To model human linguistic prediction, make LLMs less superhuman

Résumé technique : « Pour modéliser la prédiction linguistique humaine, rendons les LLM moins surhumains »

Énoncé du problème
Les grands modèles de langage (LLM) ont historiquement été utilisés comme modèles computationnels de la prédiction linguistique humaine, opérant sur le postulat que leur capacité à prédire les mots suivants reflète les processus cognitifs humains. Cependant, un paradoxe est apparu : à mesure que la précision de la prédiction du mot suivant des LLM dominants s'est améliorée, leur capacité à expliquer les comportements de lecture humaine (spécifiquement les temps de lecture et les données de suivi oculaire) a diminué. L'article soutient que cette divergence survient parce que les LLM actuels possèdent des capacités prédictives « surhumaines » alimentées par des capacités de mémoire qui dépassent largement celles des lecteurs humains. Plus précisément, les LLM affichent une mémoire à long terme supérieure (conservant d'immenses connaissances factuelles et des exemples d'entraînement) et une mémoire à court terme quasi parfaite (rappelant fidèlement les mots de contextes distants sans décalage temporel), conduisant à des prédictions que la moyenne des humains ne peut pas faire.

Méthodologie et analyse
L'article synthétise la littérature empirique existante et réexamine la relation entre la performance du modèle et l'alignement sur les données humaines.

• Synthèse de la littérature : Les auteurs passent en revue la trajectoire des études utilisant les LLM pour estimer la prévisibilité des mots. Ils contrastent les premières constatations (où une meilleure précision de prédiction corrélait avec un meilleur alignement sur les temps de lecture humains) avec les constatations récentes (post-2022) utilisant des modèles puissants basés sur les Transformers entraînés sur des ensembles de données massifs.
• Réévaluation des données : Les auteurs examinent les résultats de corpus standards, notamment le Natural Stories Corpus (lecture à rythme libre) et le Dundee Corpus (suivi oculaire). Ils observent que si les améliorations initiales de la précision du modèle ont renforcé l'alignement, les gains supplémentaires de précision de prédiction — pilotés par l'augmentation de l'échelle du modèle et des données d'entraînement — ont entraîné un désalignement croissant avec les temps de lecture humains.
• Analyse mécaniste : L'article dissèque les différences architecturales et d'entraînement entre les humains et les LLM :
  • Mémoire à long terme : Les LLM sont entraînés sur des ordres de grandeur de données plus importants (par exemple, 15 billions de mots pour Llama 3 contre environ 100 millions pour un enfant à l'âge de 12 ans) et conservent des connaissances factuelles (par exemple, les lieux de naissance de célébrités) et des expressions multi-mots que les humains ne possèdent pas ou ont oubliées.
  • Mémoire à court terme : Contrairement à la mémoire de travail humaine, qui se dégrade avec le temps et est sujette à l'interférence, les architectures Transformer maintiennent un stockage « sans dégradation » des mots précédents via des mécanismes d'attention. Cela permet aux LLM de rappeler parfaitement des entités mentionnées des milliers de mots plus tôt, une capacité qui conduit à une prédiction quasi parfaite de textes répétés là où les humains montrent des difficultés de traitement.

Contributions clés

1. Identification de la « surhumanité » comme obstacle : L'article postule que le principal obstacle à l'utilisation des LLM comme modèles cognitifs n'est pas leur manque de capacité, mais leur excès de capacité. Leur mémoire « surhumaine » leur permet de résoudre des tâches de prédiction qui sont intrinsèquement difficiles pour les humains en raison de lacunes de connaissances ou de dégradation de la mémoire.
2. Diagnostic des écarts de mémoire : Les auteurs attribuent explicitement le désalignement à deux défaillances spécifiques de la mémoire :
   • Inadéquation de la familiarité : Les LLM possèdent des connaissances factuelles et une exposition à des textes spécifiques (par exemple, la Déclaration d'indépendance) que le lecteur humain moyen ne possède pas.
   • Inadéquation du rappel : Les LLM ne souffrent pas de la dégradation temporelle ni des effets d'interférence inhérents à la mémoire à court terme humaine, leur permettant de résoudre des ambiguïtés syntaxiques et de rappeler des entités répétées avec une précision parfaite, alors que les humains peinent.
3. Proposition pour une modélisation à l'image de l'humain : L'article préconise un changement des objectifs de modélisation, passant de la maximisation de la précision de prédiction à la maximisation de la ressemblance humaine. Cela implique de développer des LLM avec des contraintes de mémoire à l'échelle humaine.

Résultats et preuves

• Tendances de divergence : L'analyse des modèles de régression ajustant les probabilités des LLM aux temps de lecture humains montre une relation non monotone. Les augmentations initiales de la précision du modèle améliorent l'ajustement, mais au-delà d'un certain seuil, les gains de précision supplémentaires dégradent l'ajustement.
• Études de manipulation de la mémoire : L'article cite des preuves indiquant que limiter l'accès des LLM au contexte améliore l'alignement. Par exemple, la réduction du poids des mots à haute fréquence dans des phrases profondément imbriquées ou la restriction de la fenêtre d'attention aux mots récents réduit l'écart entre les probabilités du modèle et les temps de lecture humains.
• Effets des données d'entraînement : Les modèles entraînés sur des ensembles de données plus petits et sélectionnés (par exemple, le défi BabyLM) ou des domaines spécialisés montrent un meilleur alignement avec le comportement de lecture humain que ceux entraînés sur des corpus massifs et généraux, suggérant que limiter l'exposition aux données empêche l'acquisition d'une expertise « surhumaine ».

Signification et orientations futures
L'article conclut que pour que les LLM servent de modèles valides de la compréhension du langage humain, ils doivent être « rendus moins surhumains ». Les auteurs décrivent plusieurs orientations pour y parvenir :

• Curration des données d'entraînement : Limiter les données d'entraînement à des quantités à l'échelle humaine (par exemple, environ 100 millions de mots) pour empêcher la mémorisation de faits obscurs et réduire le développement de mécanismes de mémoire à court terme parfaits.
• Changements architecturaux : Explorer des architectures de réseaux de neurones récurrents qui forcent la compression des entrées et mettent en œuvre une dégradation à l'image de l'humain, ou modifier les mécanismes d'attention des Transformers pour introduire des goulots d'étranglement et des fonctions de dégradation.
• Objectifs d'entraînement : Passer d'objectifs qui récompensent des prédictions « lexicalement précises » (attribuant une probabilité élevée au seul mot correct) à des objectifs qui encouragent des prédictions « diffuses » (attribuant une masse de probabilité à des mots sémantiquement similaires), reflétant mieux l'incertitude humaine.
• Interventions post-hoc : Utiliser des techniques d'édition de modèles pour « désapprendre » des connaissances factuelles spécifiques que les humains manquent généralement.
• Nouveaux paradigmes expérimentaux : Les auteurs appellent à des expériences humaines ciblées pour évaluer les progrès. Ces expériences devraient manipuler systématiquement les connaissances à long terme (via des questionnaires) et les charges de mémoire à court terme (via le rappel de listes et des textes intercalaires) pour établir un lien causal entre les contraintes de mémoire et le comportement de lecture.

L'article souligne que combler le fossé entre les LLM et les humains ne nécessite pas seulement de meilleurs modèles, mais des modèles contraints par les limites humaines en matière de mémoire et de connaissances.