Human-Like Anaphor Resolution in Large Language Models

Imaginez que vous lisez un roman policier. L'auteur présente un personnage nommé « Le Boulanger » dans le premier chapitre. Dix pages plus tard, l'histoire mentionne « il » à nouveau. Votre cerveau ne se contente pas de deviner qui est ce « il » ; il remonte instantanément dans votre mémoire, saisit l'image du Boulanger et fait le lien. Ce tour de magie mentale s'appelle la résolution d'anaphore. C'est ainsi que nous gardons une trace de qui ou de quoi on parle au fil de l'évolution d'une histoire.

Les scientifiques étudient depuis longtemps comment nous faisons cela. Ils savent que si le Boulanger était le sujet principal de l'histoire (topique), vous le trouvez plus rapidement. Si « il » apparaît juste après le Boulanger, c'est facile. Mais si « il » apparaît après un intervalle long et déroutant, ou s'il y a un autre boulanger à proximité pour vous embrouiller, votre cerveau trébuche. Maintenant, entrez en scène les Grands Modèles de Langage (LLM). Ce sont des programmes informatiques super intelligents entraînés sur des montagnes de textes qui peuvent écrire des histoires, répondre à des questions et discuter comme des humains. Mais voici la grande question : ces cerveaux d'IA pensent-ils réellement comme les cerveaux humains lorsqu'ils résolvent ces énigmes, ou ne font-ils que deviner très bien en se basant sur des modèles ? Ce document plonge dans ce mystère pour voir si l'IA et les humains sont sur la même longueur d'onde mentale.

---

Le Grand Test de Mémoire de l'IA

Les chercheurs ont décidé de soumettre cinq modèles d'IA différents — GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B et Mistral-24B — à une série de jeux de mémoire conçus spécifiquement pour les humains. Ils voulaient voir si l'IA se fatiguerait, se confondrait ou ralentirait exactement de la même manière qu'un lecteur humain.

Pour mesurer cela, ils ont utilisé deux astuces ingénieuses. Premièrement, ils ont observé la surprisal (la surprise). Voyez cela comme la « sueur cérébrale » de l'IA. Lorsqu'un ordinateur lit un mot qu'il n'attendait pas, sa « surprisal » augmente. Chez les humains, une surprisal élevée signifie généralement que nous marquons une pause pour réfléchir. Ainsi, si l'IA devient « transpirante » (haute surprisal) aux mêmes moments que les humains bloquent, c'est un bon signe qu'elle traite l'histoire de manière similaire. Deuxièmement, ils ont posé des questions de compréhension à l'IA, comme « Qui a renversé la chaise ? », pour voir si elle se souvenait réellement de la bonne personne.

Les Jeux de Mémoire

L'équipe a mené trois expériences différentes, chacune testant une règle spécifique de la mémoire humaine :

1. Le test du « Focus » et de la « Distance »
Imaginez un projecteur. Si un personnage est sous le projecteur (le titre de l'histoire le mentionne), les humains le trouvent facilement. S'il est dans l'obscurité, c'est plus difficile. De plus, si le personnage est à une phrase de distance, c'est facile. S'il est à dix phrases de distance, c'est plus difficile.

• Le Résultat : La plupart des modèles d'IA ont agi comme des humains ici ! Lorsque le personnage était mis en lumière par le titre et proche, la « sueur cérébrale » de l'IA était faible et ils répondaient correctement. Lorsque le personnage était caché et éloigné, l'IA était confuse. C'est comme si la capacité d'attention de l'IA s'étirait et se contractait tout comme la nôtre.

2. Le test de « l'Espace et du Temps »
C'était plus délicat. Imaginez que l'histoire se déroule dans un immense château. Si le personnage passe de la cuisine à la pièce suivante (courte distance) ou de la cuisine à la tour (longue distance), cela importe-t-il ? Et s'il attend 10 minutes ou 2 heures ? Les humains deviennent plus lents et font plus d'erreurs lorsque l'écart d'espace ou de temps est énorme.

• Le Résultat : Les résultats étaient mitigés. Certains modèles, comme Llama-3.1-8B et Mistral-7B, semblaient ressentir le poids de la distance et du temps, devenant « transpirants » lorsque l'écart était long. D'autres ne semblaient pas vraiment se soucier des écarts de temps ou d'espace. Cela suggère que, si certains IA commencent à comprendre le « ressenti » de la chronologie d'une histoire, d'autres font simplement l'impasse dessus.

3. Le test du « Clou Confus »
C'est la partie la plus difficile. Imaginez que l'histoire mentionne une « chaise en métal ». Plus tard, elle dit « le meuble en métal ». C'est facile. Mais que se passe-t-il si l'histoire mentionne aussi un « bureau en bois » (un autre type de meuble) juste avant ? Les humains sont confus car « meuble » pourrait désigner la chaise ou le bureau. Si l'objet erroné est un exemple très typique de la catégorie (comme un bureau pour le mobilier), cela nous ralentit.

• Le Résultat : C'est là que l'IA a principalement échoué à agir comme un humain. Lorsque les chercheurs ont ajouté un élément « distracteur » déroutant, les modèles d'IA n'ont pas ralenti ou été confus de la même manière que les humains. Ils ont semblé passer outre la confusion sans effort. Cela suggère que, bien que l'IA puisse suivre où se trouvent les choses dans une histoire, elle ne saisit pas tout à fait la compétition désordonnée et chevauchante qui se joue dans notre cerveau lorsque nous essayons de choisir le bon souvenir.

Le Verdict : Une Correspondance Partielle

Alors, quel est le score final ? Le papier suggère que ces modèles d'IA sont sélectivement semblables à l'humain. Ils sont excellents pour comprendre comment la structure d'une histoire (comme la distance d'un mot ou ce que dit le titre) affecte la mémoire. Si vous rendez l'histoire plus longue ou cachez le personnage, l'IA devient un peu plus « transpirante », tout comme un lecteur fatigué.

Cependant, ils ne sont pas des clones parfaits de l'esprit humain. Lorsqu'il s'agit du jonglage sémantique désordonné — où des mots similaires se disputent l'attention dans notre mémoire — l'IA ne trébuche pas comme nous le faisons. Elle semble manquer de ce type spécifique de « friction mentale » qui survient lorsque nos cerveaux doivent choisir entre deux souvenirs très similaires.

Les auteurs précisent avec prudence que ce n'est pas un problème « résolu ». L'étude a utilisé un nombre relativement restreint d'histoires (16 à 19), donc les résultats sont davantage des indices forts que des preuves absolues. De plus, la précision globale de l'IA sur les questions était parfois assez faible, ce qui signifie qu'elle pourrait répondre correctement pour de mauvaises raisons. Mais la conclusion est passionnante : ces cerveaux numériques commencent à montrer les mêmes schémas de difficulté que les cerveaux humains, du moins en ce qui concerne la distance et le focus d'une histoire. Ils ne sont pas seulement des machines d'appariement de mots ; ils commencent à montrer les premiers signes d'un « modèle de situation » — une carte mentale du monde de l'histoire, tout comme nous en avons une.