Le piège de la mémoire : Quand l'IA devient trop créative

Imaginez que vous parliez à un assistant numérique super intelligent qui se souvient de tout ce que vous lui avez déjà dit. Ce n'est pas un simple bloc-notes ; c'est une IA « personnalisée » conçue pour vous connaître. Dans le monde de l'informatique, on appelle cela la personnalisation des grands modèles de langage (LLM). Considérez ces modèles comme des lecteurs incroyablement rapides capables de discuter avec vous, mais ils ont une habitude délicate : ils remplissent parfois les blancs de votre histoire de vie avec des suppositions qui semblent très convaincantes, mais qui sont en réalité inventées.

Pour comprendre le problème, nous devons connaître deux choses. Premièrement, la mémoire persistante est la capacité d'une IA à se souvenir de faits vous concernant à travers différentes conversations, comme se souvenir de votre garniture de pizza préférée de la semaine dernière. Deuxièmement, l'hallucination est lorsqu'une IA invente des faits sur le monde (comme dire que la lune est faite de fromage). Mais il existe un troisième problème, plus sournois : l'over-inference (sur-inférence). C'est lorsqu'une IA prend un minuscule fait vrai que vous lui avez donné et l'étire pour en faire un tout nouveau trait de personnalité que vous n'avez jamais mentionné. C'est comme dire à un ami que vous aimez le café, et qu'il raconte immédiatement à tout le monde que vous êtes un barista qui vit dans un loft parfumé au café et qui rêve d'ouvrir un café. L'ami ne ment pas sur le café, mais il a inventé toute une vie autour de cela. Nous nous en soucions parce que si nos assistants numériques commencent à inventer nos vies, ils pourraient commencer à nous donner des conseils basés sur une personne qui n'existe pas.

Le Mirage : Quand l'IA rêve votre vie

Une équipe de chercheurs a décidé de mettre ces assistants IA « personnalisés » à l'épreuve. Ils ont créé un terrain de jeu appelé MirageBench (un « mirage » est une oasis factice dans le désert, ce qui est un nom parfait pour cela). Ils ont soumis 12 modèles d'IA différents à un défi simple : prétendre que vous connaissez une personne en se basant uniquement sur trois faits à son sujet. Ensuite, ils ont demandé à l'IA de réaliser des tâches comme rédiger un profil de rencontre, suggérer un voyage de week-end ou décrire l'appartement de la personne.

Les résultats étaient un peu comme regarder un magicien qui devient trop confiant dans ses propres tours. Les chercheurs ont découvert que chaque modèle testé était coupable de « sur-inférence ». En moyenne, environ 41,6 % des choses que ces IA prétendaient savoir sur l'utilisateur étaient complètement inventées. Cela signifie que si une IA vous dit qu'elle connaît 10 choses sur vous, environ 4 d'entre elles sont de la pure fiction, même si l'IA les énonce avec une totale assurance.

L'étude a divisé ces affirmations inventées en deux catégories : les Stéréotypes (deviner que vous aimez le yoga parce que vous êtes infirmier) et les Fabrications (inventer que vous avez un iguane de compagnie alors que vous n'en avez jamais parlé). Les IA étaient bien plus douées pour inventer des histoires sauvages (fabrications) que pour s'appuyer sur des stéréotypes. En fait, pour les tâches nécessitant de l'imagination, comme décrire l'appartement de quelqu'un, le taux de « faux » grimpait à près de 59 %. Il semble que moins l'IA dispose de preuves, plus elle commence librement à rêver de détails.

Le tour de passe-passe de la confiance

Voici la partie la plus surprenante de l'histoire, que les chercheurs appellent l'« inversion de l'auto-surveillance » (Self-Monitoring Inversion).

D'habitude, nous pensons que si une IA dit « Je ne suis pas sûre de cela », elle est honnête, et si elle dit « Je suis sûre à 100 % », elle est confiante. Mais les chercheurs ont découvert un schéma complexe en comparant différents modèles d'IA : les modèles qui prétendaient être les moins susceptibles de fabriquer des informations étaient en réalité ceux qui en fabriquaient le plus. Inversement, les modèles qui admettaient : « Hé, je suis peut-être en train de deviner ici », étaient souvent ceux qui restaient les plus proches de la vérité.

C'est comme une salle de classe où les élèves qui lèvent la main et disent : « Je pense que je pourrais me tromper », sont en réalité ceux qui ont le plus étudié, tandis que les élèves qui crient : « Je connais la réponse ! » sont ceux qui devinent de manière sauvage. Les chercheurs ont trouvé un lien négatif entre la confiance auto-déclarée d'un modèle et sa précision réelle, bien qu'ils notent qu'il s'agit d'une découverte exploratoire avec un intervalle de confiance large incluant la possibilité qu'il n'y ait aucun effet. Cela signifie que vous ne pouvez pas simplement demander à une IA : « Est-ce que tu inventes des choses ? » et faire confiance à la réponse lors de la comparaison de différentes IA. Celles qui semblent les plus honnêtes pourraient être les plus grandes menteuses, mais les données suggèrent que cette relation est encore en cours de compréhension complète.

La pollution silencieuse

Les chercheurs ont également mené une simulation où l'IA a eu une conversation avec un utilisateur sur 8 tours. Ils ont observé si l'IA « nettoyait » ses erreurs si l'utilisateur les corrigeait. Le résultat était inquiétant, mais avec une nuance : tous les modèles ne se comportaient pas de la même manière.

Pour les modèles les plus intelligents et les plus capables, l'IA ne se contentait pas de faire des erreurs ; elle les accumulait. Imaginez un tableau blanc où l'IA écrit une supposition. Si l'utilisateur dit : « En fait, je n'aime pas ça », un bon système effacerait la supposition. Mais ces modèles de pointe ? Ils gardaient la supposition sur le tableau et ajoutaient d'autres suppositions par-dessus. Ils ajoutaient environ 5 à 15 nouveaux faits inventés à chaque tour, et ils n'effaçaient presque jamais les anciens (avec des taux de suppression aussi bas que 0,4 % à 5 %).

Cependant, ce n'était pas le cas de tous les modèles. Certains modèles se comportaient davantage comme un système de « remplacement et mise à jour », où ils supposaient activement les anciennes suppositions lorsque de nouvelles informations arrivaient, avec des taux de suppression atteignant 70 % à 82 %. Le danger réside spécifiquement dans les accumulateurs les plus performants, dont la mémoire devenait un désordre encombré de plus de 120 faits inventés, dont la plupart n'ont jamais été corrigés. C'est comme une rumeur qui devient de plus en plus détaillée et de plus en plus fausse à mesure qu'elle passe de personne en personne, sans que personne ne s'arrête pour dire : « Attendez, ce n'est pas vrai ».

À retenir

La grande leçon de ce papier est que nous ne pouvons pas faire confiance à l'IA pour surveiller sa propre imagination. L'idée qu'une IA puisse regarder ses propres pensées et dire « Ceci est un fait » ou « Ceci est une supposition » est un mirage. Les modèles qui semblent les plus prudents sont souvent les plus trompeurs, et ceux qui admettent l'incertitude sont souvent les plus fiables, bien que la force exacte de cette relation entre les différents modèles soit encore explorée.

Les chercheurs suggèrent qu'au lieu de faire confiance à l'auto-rapport de l'IA, nous avons besoin d'une vérification externe — un moyen pour les humains ou d'autres systèmes de vérifier le travail de l'IA. Nous devons également traiter tout ce qu'une IA « devine » comme une hypothèse, et non comme un fait. Jusqu'à ce que nous construisions des systèmes capables de séparer clairement ce qu'ils savent de ce qu'ils imaginent, nos assistants numériques personnalisés pourraient bien construire une version fictive de nous, un mensonge assuré à la fois.