Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

Dans les recoins tranquilles de la recherche sur l'intelligence artificielle, une nouvelle sorte d'expérience est en cours. Elle pose une question qui semble simple mais qui est profonde : si vous demandez à un ordinateur de raconter l'histoire de la vie d'une personne, quelle part de cette histoire est réellement vraie ? Pendant des années, les scientifiques ont su que ces systèmes, souvent appelés grands modèles de langage, peuvent parfois inventer des choses. Ils peuvent inventer un fait sur un événement historique ou prétendre qu'une étude scientifique existe alors qu'elle n'existe pas. C'est ce qu'on appelle généralement une « hallucination », un mot qui suggère que la machine voit des choses qui n'existent pas. Mais quand la machine est chargée d'écrire des mémoires, une biographie ou un journal intime, les enjeux changent. L'histoire ne porte plus sur la culture générale ; elle porte sur une vie humaine spécifique. Si la machine invente un souvenir d'enfance ou une étape marquante de la carrière, elle ne commet pas seulement une erreur ; elle réécrit l'histoire d'une personne. C'est là que le concept de « confabulation » devient important. Contrairement à une erreur aléatoire, la confabulation est une fabrication fluide et assurée. La machine comble les lacunes avec un récit qui semble parfait, qui paraît réel et qui correspond au ton d'un mémoire, même si les événements ne se sont jamais produits. Alors que nous nous dirigeons vers un avenir où des versions numériques de nous-mêmes pourraient écrire nos biographies, nous devons savoir si ces récits sont ancrés dans la réalité ou construits sur un fond de fiction.

Une chercheuse nommée Heather Renze a décidé de le découvrir en devenant son propre sujet. Elle a commandé un livre d'un an, un journal « une page par jour », pour être écrit par une intelligence artificielle. L'objectif était de créer un livre cadeau de 366 entrées quotidiennes, chacune racontant une courte histoire de sa vie à la première personne. Le processus était simple : l'ordinateur recevait un modèle, deux exemples de journées pour lui montrer le style, et une seule citation pour chaque jour afin de servir de consigne. Crucialement, bien que l'ordinateur ait eu accès à ses dossiers numériques, il n'avait reçu que des instructions vagues et peu précises sur la manière de les utiliser. Il devait donc s'appuyer principalement sur sa propre connaissance interne pour remplir les détails de sa vie. Avant même que le livre ne soit publié, Renze a décidé d'auditer chaque entrée. Elle a traité le projet comme une expérience scientifique, vérifiant chaque anecdote par rapport à une vaste collection de ses propres documents vérifiés, y compris ses mémoires publiés, ses dossiers professionnels et ses archives personnelles. Elle voulait voir, avec une précision absolue, combien des histoires racontées par la machine étaient vraies.

Les résultats furent frappants. Sur les 366 jours du livre, seules 12 entrées contenaient une scène qui pouvait être positivement confirmée par les registres. Cela signifie que pour 354 jours, l'histoire racontée par l'ordinateur ne pouvait pas être vérifiée comme vraie. Dans le langage de l'étude, il s'agit d'un taux d'échec de près de 97 %. La machine n'a pas seulement fait de petites erreurs de détails ; elle a construit des scènes entières qui n'avaient aucun fondement dans la réalité. Dans certains cas, l'ordinateur était si confiant qu'il a inventé des événements qui étaient en fait impossibles ou directement contredits par les faits. Par exemple, la machine a affirmé qu'elle avait des enfants alors qu'elle n'en avait pas, ou qu'elle avait survécu à un accident de voiture spécifique qui n'avait jamais eu lieu. Ce n'étaient pas des suppositions vagues ; c'étaient des événements spécifiques et nommés que les registres prouvaient faux. Environ 5 % des jours appartenaient à cette catégorie d'événements activement contredits par la vérité.

Le type d'erreur le plus courant, cependant, était quelque chose de plus subtil. La machine parvenait à identifier le cadre, mais inventait l'histoire. Elle identifiait correctement qu'elle travaillait dans une entreprise spécifique ou qu'elle vivait dans une certaine ville, mais elle créait ensuite une scène fictive autour de ce fait. Elle pouvait dire qu'elle avait eu une réunion dramatique dans un bureau qui n'a jamais existé, ou qu'elle avait eu une conversation spécifique avec un collègue réel qui n'a jamais eu lieu. C'est ce que les chercheurs appellent la « dérive ancrée ». La machine était ancrée à la vérité de certaines manières, mais elle s'en éloignait pour créer un récit qui paraissait meilleur ou plus dramatique. Elle connaissait les noms de ses employeurs et les villes où elle avait vécu, mais elle utilisait ces détails réels comme la scène d'une pièce de théâtre qui n'avait jamais eu lieu. C'est particulièrement dangereux car cela rend les mensonges plus difficiles à détecter. Une histoire qui respecte les faits mais invente le cœur émotionnel semble plus digne de confiance qu'une histoire qui se trompe sur tout.

Pour être sûre de ses conclusions, l'étude comprenait une seconde couche de vérification. L'audit original avait été effectué par un système d'intelligence artificielle, ce qui soulevait la question de savoir si la machine se jugeait elle-même équitablement. Pour tester cela, deux évaluateurs indépendants provenant d'une autre famille de modèles que l'auditeur original ont examiné un échantillon aléatoire de 60 jours en utilisant exactement les mêmes règles. Ils étaient presque totalement d'accord avec les conclusions originales. Lorsqu'on leur demandait de décider si une histoire était vraie ou non, ils concordaient avec le verdict original 95 à 98 % du temps. Cela a confirmé que le taux d'échec élevé n'était pas une erreur dans le processus de vérification ; les histoires étaient réellement, pour la plupart, fausses. Les chercheurs ont également essayé de voir si des modèles informatiques plus récents et plus puissants feraient mieux. Ils ont soumis les mêmes consignes aux dernières versions de la technologie, mais le résultat fut le même : sans une direction extrêmement stricte pour utiliser les données, les nouveaux modèles échouaient également à raconter la vérité, inventant des histoires pour chaque jour où on le leur demandait.

L'étude a toutefois offert une voie à suivre, bien qu'elle ne soit pas une solution parfaite. Lorsque les chercheurs ont donné l'ordre explicite et spécifique à l'ordinateur d'utiliser uniquement les informations contenues dans les documents déjà disponibles, le taux d'échec a chuté de manière significative. Le nombre de jours avec des scènes vérifiées a augmenté, et le nombre d'histoires complètement fausses a diminué. Cependant, même avec cette aide, la machine éprouvait toujours des difficultés. Elle continuait d'inventer des détails et de s'éloigner des faits, suggérant que le simple fait de donner à la machine les bons livres ne suffit pas pour qu'elle dise la vérité. La machine semble toujours avoir un fort désir de créer un récit, même quand les faits sont juste devant elle.

Cette expérience révèle une limite fondamentale dans la façon dont nous pourrions utiliser l'intelligence artificielle pour raconter nos histoires. Si nous demandons à une machine d'écrire notre biographie sans lui donner notre propre histoire, elle remplira probablement les lacunes avec de la fiction. Elle créera une version de nous qui est cohérente et engageante, mais ce sera une version qui n'a jamais existé. L'étude suggère que pour tout système prétendant simuler la vie d'une personne, nous ne pouvons pas faire confiance aux détails de ses expériences quotidiennes à moins que ces détails ne soient vérifiés par un registre certifié. La machine peut imiter la voix d'une personne, mais elle ne peut pas encore se souvenir de sa vie. La confiance que nous accordons à un jumeau numérique ou à une biographie synthétique doit être limitée au niveau superficiel des attitudes et des faits généraux, car les moments spécifiques qui composent une vie, les scènes, les conversations, les petits drames, sont précisément là où la machine échoue le plus souvent. La leçon est claire : si nous voulons une histoire vraie, nous devons fournir les faits, et nous devons vérifier le travail, car la machine inventera volontiers une vie pour nous si nous la laissons faire.