Résumé technique : Simuler la mémoire humaine avec des modèles de langage

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient atteint des performances humaines ou supérieures sur de nombreux benchmarks, leurs capacités mémorielles divergent considérablement de la cognition humaine. Les modèles de pointe actuels possèdent un rappel quasi parfait et littéral de longs contextes, tandis que la mémoire humaine se caractérise par des limitations systématiques, l'oubli et des erreurs de reconstruction. Cette divergence rend les LLM standards de mauvais « simulateurs d'utilisateurs » pour des applications nécessitant un comportement humain réaliste, telles que la formation d'assistants IA pour collaborer avec des humains, la simulation d'élèves pour des outils éducatifs, ou la modélisation de la dynamique des populations. Le problème central abordé est de savoir comment contraindre les LLM à présenter des limitations mémorielles humaines, spécifiquement en matière de capacité de mémoire de travail et de schémas d'oubli, afin d'améliorer leur utilité en tant que simulateurs.

Méthodologie

Le benchmark de simulation de la mémoire humaine

Les auteurs ont construit un benchmark comprenant dix tâches mémorielles ancrées dans la littérature des sciences cognitives et de la psychologie. Ces tâches évaluent différentes dimensions de la mémoire :

• Mémoire de travail : Empan numérique, empan numérique inversé, N-back, reconnaissance de mots et mappage de variables.
• Mémoire épisodique/long terme : Questions-réponses factuelles, questions-réponses narratives et rappel libre narratif.
• Mémoire relationnelle/spatiale : Tâche de carte et tâche d'artisanat.

Des données humaines ont été collectées auprès de $N=50$ participants via Prolific, qui ont accompli ces tâches sous des contraintes de temps similaires aux expériences psychologiques standard.

Métriques d'évaluation

Pour quantifier à quel point un LLM simule la mémoire humaine, les auteurs utilisent la distance de Wasserstein (distance du transporteur de terre) entre la distribution des scores humains et les scores du modèle pour chaque tâche. Cette métrique est normalisée et convertie en un score de « ressemblance humaine » ($1 - W_1$), où des valeurs plus élevées indiquent une meilleure alignement avec les distributions de performances humaines.

Conditions expérimentales

L'étude a évalué neuf LLM (incluant GPT-5.4, Claude Opus 4.6, des variantes de Llama 3 et des variantes de Qwen3) dans quatre conditions distinctes :

1. TASKPR (Prompt de tâche) : Le prompt de base décrivant la tâche sans référence à la simulation humaine.
2. HUMPR (Prompt humain) : Instruit explicitement le modèle à simuler un participant humain, y compris des contraintes de temps spécifiques.
3. MEMPR (Prompt mémoire) : Similaire à HUMPR mais rappelle explicitement au modèle que les humains ont une mémoire limitée et commettent des erreurs.
4. COMPACTOR : Une approche basée sur un agent qui implémente un goulot d'étranglement de mémoire de travail humain. Cet agent utilise un stockage de mémoire clé-valeur avec une capacité stricte de $K=4$ entrées (reflétant le « nombre magique 4 » de la mémoire à court terme humaine). Le modèle doit résumer le contexte en ces quatre blocs lors d'une phase d'« encodage » et répondre aux requêtes en utilisant uniquement ces blocs stockés lors d'une phase de « rappel ».

Ablation et analyse

Les auteurs ont également investigué :

• Apprentissage en contexte (ICL) : Fournir quelques exemples de performances humaines (dans le domaine vs hors domaine).
• Schémas d'erreurs : Analyser si les erreurs du modèle (par exemple, troncation vs substitution) correspondent aux schémas d'erreurs humains.
• Application en aval : Une expérience de preuve de concept dans un cadre éducatif où les simulateurs doivent classer des variantes de documents (variant en niveau de lecture, redondance et distracteurs) en fonction de celles qui seraient les plus mémorables pour un apprenant humain.

Résultats clés

1. Les modèles par défaut divergent des humains

Dans la condition TASKPR, tous les modèles évalués ont présenté des performances proches du plafond sur les dix tâches, dépassant largement les moyennes humaines (par exemple, rappel d'empans numériques de 20+ contre une moyenne humaine d'environ 7). Cela confirme que les LLM hors boîte ne sont pas des simulateurs humains adaptés en raison de leur mémoire supérieure.

2. Le prompting seul est insuffisant

Le fait de demander explicitement aux modèles de simuler des humains (HUMPR) ou de leur rappeler les limites de la mémoire (MEMPR) a produit des améliorations limitées et incohérentes.

• Pour la plupart des tâches, le changement de ressemblance humaine ($\Delta$) était proche de zéro ou négatif.
• MEMPR a montré une certaine amélioration dans des tâches spécifiques comme le rappel libre narratif, mais n'a pas réussi à induire de manière cohérente un oubli humain dans l'ensemble.
• Cela suggère qu'une simple instruction est insuffisante pour surmonter la capacité inhérente du modèle à un rappel parfait.

3. Les contraintes explicites de mémoire (COMPACTOR) améliorent l'alignement

L'agent COMPACTOR, qui impose un goulot d'étranglement structurel de 4 blocs de mémoire, a produit des distributions de scores beaucoup plus humaines que le prompting seul.

• Tâches de mémoire de travail : COMPACTOR a généré les gains les plus importants dans des tâches comme l'empan numérique, l'empan numérique inversé et le N-back. Par exemple, dans la tâche d'empan numérique, COMPACTOR a amélioré la ressemblance humaine de jusqu'à +0,61 pour certains modèles.
• Mémoire à long terme : Les améliorations étaient plus variables pour des tâches comme les questions-réponses factuelles, mais restaient généralement positives par rapport aux références.
• Ablation : COMPACTOR a surpassé un agent « résumeur » plus simple qui produisait un seul résumé en prose libre, indiquant que la nature structurée et à capacité limitée du module de mémoire est cruciale, et non pas simplement l'acte de résumé.

4. Les schémas d'erreurs restent divergents

Malgré des distributions de scores améliorées, la nature des erreurs différait entre les humains et les modèles.

• Les humains tendent à commettre des erreurs aléatoires ou à oublier des éléments spécifiques.
• Les modèles MEMPR reproduisaient souvent des séquences avec un ou deux chiffres incorrects au milieu.
• Les modèles COMPACTOR prédisaient fréquemment des versions tronquées des séquences.
• Les taux d'erreur conditionnels ($p(\text{err} | \text{précédent faux})$) étaient significativement différents, suggérant que si COMPACTOR imite la limite de capacité, il ne reproduit pas encore pleinement le mécanisme de l'oubli humain.

5. Application en aval : Reclassement éducatif

Dans la tâche éducative de preuve de concept, les modèles avec COMPACTOR étaient meilleurs pour prédire quelles variantes de documents les humains retiendraient le mieux, par rapport aux modèles de référence.

• Les modèles de référence prédisaient que les élèves répondraient correctement à toutes les questions, indépendamment de la difficulté du document.
• Les modèles COMPACTOR ont identifié plus efficacement que les documents à forte redondance étaient plus faciles à retenir et que ceux avec des distracteurs étaient plus difficiles.
• Cependant, même les modèles les plus performants ont atteint moins de 70 % de précision dans le reclassement par paires, indiquant une marge de progression substantielle.

Signification et affirmations

L'article affirme que :

1. Les LLM actuels sont « sur-humains » en mémoire : Ils échouent à simuler efficacement les utilisateurs humains car ils n'oublient pas.
2. Le prompting est insuffisant : Demander simplement à un modèle de « être humain » n'induit pas de contraintes cognitives humaines.
3. Des contraintes architecturales sont nécessaires : Implémenter des modules de mémoire explicites et à capacité limitée (comme le COMPACTOR à 4 blocs) est une stratégie plus efficace pour aligner le comportement du modèle avec les distributions de mémoire humaine.
4. Utilité pratique : Les simulateurs avec des contraintes de mémoire humaines sont plus utiles pour des tâches en aval, telles que l'optimisation de matériel éducatif, car ils peuvent modéliser de manière réaliste la charge cognitive et les limites de rétention des apprenants humains.

Les auteurs concluent que si leurs méthodes (COMPACTOR) représentent une avancée significative, elles ne sont qu'un « premier pas ». Les schémas d'erreurs détaillés des modèles diffèrent encore de ceux des humains, et des travaux futurs sont nécessaires pour affiner le mécanisme de compaction et explorer d'autres domaines cognitifs (par exemple, le raisonnement) afin de construire de véritables simulateurs d'utilisateurs réalistes. L'article publie les données du benchmark et le code pour faciliter la recherche future dans ce domaine.