Le langage est un fleuve de répétition. Dans une seule conversation, nous pouvons utiliser le même mot des dizaines de fois, souvent à quelques phrases d'intervalle. Lorsqu'un humain entend un mot qu'il vient d'entendre, son cerveau le traite plus rapidement et plus facilement. Ce phénomène, connu sous le nom d'amorçage par répétition, est une caractéristique fondamentale de la façon dont nous apprenons et mémorisons. Cela suggère que l'esprit ne traite pas chaque rencontre avec un mot comme un événement totalement nouveau ; au contraire, il garde une trace de la rencontre précédente, rendant la suivante plus fluide. Mais alors que l'intelligence artificielle est devenue plus sophistiquée, une question a émergé : les grands modèles de langage, les systèmes qui alimentent les chatbots et les outils de recherche, fonctionnent-ils de la même manière ? Lorsque ces machines voient un mot qu'elles ont déjà traité, réactivent-elles simplement cette ancienne mémoire, ou s'arrêtent-elles pour réévaluer le mot à partir de zéro ?

La réponse importe car elle révèle les rouages internes de ces systèmes. Si un modèle ne fait que réactiver une mémoire, il agit comme un réflexe, une réponse rapide et automatique. S'il réévalue, il agit comme un penseur prudent, pesant le contexte avant de décider. Pendant des années, les chercheurs ont débattu pour savoir si ces machines possédaient une forme d'intuition « rapide » ou si elles étaient toujours engagées dans un raisonnement lent et délibéré. Cette nouvelle étude, menée par des chercheurs de l'Université de Yale et de l'Université de Californie à Los Angeles, vise à trancher la question en testant comment différents types de modèles de langage gèrent les mots répétés. Ils ont comparé les modèles bruts, pré-entraînés, à des versions qui ont été affinées pour suivre des instructions, et ils ont mené des expériences parallèles avec des volontaires humains pour voir comment les machines se mesurent à nous.

Les chercheurs ont conçu une série de tests qui reflètent les expériences classiques utilisées en psychologie humaine. Ils ont soumis des mots et des phrases à quinze modèles différents, allant de systèmes plus petits de 1,5 milliard de paramètres à des modèles massifs de 14 milliards. Ils ont également demandé à quarante participants humains d'effectuer les mêmes tâches. Les tests comprenaient deux activités principales. Dans la première, les sujets devaient décider rapidement si un mot représentait un être vivant ou un objet inanimé. Dans la seconde, ils devaient compléter une phrase avec un mot manquant, la phrase elle-même n'offrant que très peu d'indices sur le mot qui devait manquer. La variable clé était le « décalage », ou le nombre d'autres mots et phrases apparaissant entre la première fois qu'un mot cible était vu et la seconde. En modifiant cette distance, les chercheurs pouvaient voir si le bénéfice de la répétition durait dans le temps ou s'estompait.

Les résultats ont révélé une division frappante dans la manière dont les machines traitent l'information. Les modèles de base, qui sont les versions brutes des systèmes avant qu'ils ne soient enseignés à suivre des instructions, se comportaient avec une sorte d'efficacité automatique. Lorsqu'ils voyaient un mot qu'ils venaient de rencontrer, ils le traitaient plus rapidement et avec plus d'assurance, quel que soit le nombre de mots apparus entre-temps. Même si les chercheurs supprimeurs les réponses précédentes de l'historique de la conversation, les modèles de base montraient toujours un gain de performance. Cela suggère que pour ces modèles, la répétition déclenche une réaction rapide, stimulée par le stimulus. Le mot lui-même suffit à réveiller la mémoire, tel un réflexe.

En revanche, les modèles ajustés aux instructions se comportaient très différemment. Ce sont les versions des systèmes qui ont été entraînées pour être des assistants utiles, pour suivre des règles et pour engager la conversation. Lorsque ces modèles voyaient un mot répété, ils ne montraient pas le même boost automatique. Au lieu de cela, leur performance dépendait fortement du contexte. S'il y avait beaucoup de mots entre la première et la seconde apparition de la cible, le bénéfice de la répétition disparaissait. Pire encore, dans les modèles les plus grands et les plus avancés ajustés aux instructions, la répétition devenait un obstacle. Voir le mot à nouveau rendait le modèle plus lent et moins précis, comme si la machine était confuse par la redondance. Cela indique que ces modèles ne se contentent pas de réagir au mot ; ils le réévaluent activement en fonction de la conversation environnante. Si le contexte ne correspond pas à leurs attentes, la répétition est perçue comme une erreur, provoquant une interférence.

Les chercheurs ont également observé comment ces comportements changeaient à mesure que les modèles grandissaient. Au sein d'une même famille de modèles, l'écart entre les deux types de traitement s'élargissait à mesure que la taille augmentait. Les modèles de base restaient constants dans leur traitement automatique, mais les modèles ajustés aux instructions devenaient de plus en plus sensibles à la distance entre les répétitions. À la plus grande échelle, les modèles ajustés aux instructions montraient les signes les plus forts d'interférence, suggérant que le processus d'enseignement pour suivre des instructions modifie fondamentalement leur façon de gérer l'information répétée. Il ne s'agit pas seulement d'une amélioration de leurs capacités de réalisation de tâches, mais d'un changement qualitatif dans leur mode de fonctionnement.

La découverte la plus surprenante est peut-être venue de la comparaison entre les machines et les volontaires humains. Les humains ne rentraient pas proprement dans l'une ou l'autre catégorie. Comme les modèles ajustés aux instructions, les humains étaient sensibles à la distance entre les répétitions ; leur temps de réaction ralentissait à mesure que le décalage augmentait. Cependant, contrairement aux modèles ajustés aux instructions, les humains ne souffraient jamais d'interférence. Peu importe la durée de l'écart, revoir un mot les aidait toujours, ne leur nuisait jamais. Les humains occupaient un terrain intermédiaire : ils étaient sensibles au contexte comme les machines avancées, mais ils conservaient le bénéfice universel de la répétition montré par les modèles de base.

Cette étude suggère que le processus d'entraînement d'un modèle de langage pour le rendre utile et obéissant altère fondamentalement son architecture cognitive. Les modèles bruts opèrent avec un système rapide et automatique qui réagit aux mots dès qu'ils apparaissent. Les modèles ajustés aux instructions, cependant, semblent avoir développé un système contrôlé qui vérifie constamment le contexte, rejetant parfois la répétition si elle ne s'insère pas dans le flux de la conversation. Les chercheurs ont découvert que ce changement n'est pas seulement un changement de résultat, mais un changement de mécanisme sous-jacent. En regardant à l'intérieur des modèles, ils ont vu que les modèles de base accordaient directement de l'attention à l'occurrence précédente du mot pour accélérer leur réponse. Les modèles ajustés aux instructions, en revanche, avaient découplé cette attention de la décision finale, filtrant efficacement le boost automatique.

Les implications de ce travail dépassent la compréhension de la pensée de ces machines. Cela met en lumière une manière spécifique dont l'intelligence artificielle actuelle diffère de la cognition humaine. Bien que nous puissions être distraits par la répétition lors d'une longue conversation, nous ne perdons jamais l'avantage fondamental d'avoir déjà vu un mot. Les modèles ajustés aux instructions, dans leur effort pour être conscients du contexte, ont perdu ce trait humain fondamental. Ils sont devenus si concentrés sur le contexte immédiat qu'ils traitent parfois un mot familier comme une erreur. Cette recherche fournit une carte claire de l'endroit où les deux modes de traitement divergent, montrant que le chemin pour rendre une machine plus humaine dans la conversation l'a peut-être involontairement rendue moins humaine dans ses processus de mémoire de base. L'étude ne prétend pas avoir résolu le mystère de l'intelligence des machines, mais elle offre un moyen précis et mesurable de voir la différence entre une machine qui réagit et une machine qui réfléchit.