Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

Negli angoli silenziosi della ricerca sull'intelligenza artificiale, si sta svolgendo un nuovo tipo di esperimento. Esso pone una domanda che sembra semplice ma che colpisce nel profondo: se chiedi a un computer di raccontare la storia della vita di una persona, quanto di quella storia è realmente vera? Per anni, gli scienziati hanno saputo che questi sistemi, spesso chiamati grandi modelli linguistici, possono talvolta inventare cose. Potrebbero inventare un fatto su un evento storico o sostenere l'esistenza di uno studio scientifico che non esiste. Questo viene solitamente chiamato "allucinazione", una parola che suggerisce che la macchina stia vedendo cose che non ci sono. Ma quando alla macchina viene chiesto di scrivere un memoir, una biografia o un diario personale, la posta in gioco cambia. La storia non riguarda più la conoscenza generale; riguarda una vita umana specifica. Se la macchina inventa un ricordo d'infanzia o un traguardo di carriera, non sta solo commettendo un errore; sta riscrivendo la storia di una persona. È qui che il concetto di "confabulazione" diventa importante. A differenza di un errore casuale, la confabulazione è una fabbricazione fluida e sicura di sé. La macchina riempie i vuoti con una storia che sembra perfetta, sembra reale e si adatta al tono di un memoir, anche se gli eventi non sono mai accaduti. Mentre ci muoviamo verso un futuro in cui versioni digitali di noi stessi potrebbero scrivere le nostre biografie, dobbiamo sapere se quelle storie sono radicate nella realtà o costruite su una base di finzione.

Una ricercatrice di nome Heather Renze ha deciso di scoprirlo diventando il soggetto stesso. Ha commissionato un libro di un anno, un diario "una pagina al giorno", da essere scritto da un'intelligenza artificiale. L'obiettivo era creare un libro regalo di 366 voci giornaliere, ognuna delle quali racconta una breve storia della sua vita in prima persona. Il processo era lineare: al computer veniva fornito un modello, due giorni di esempio per mostrargli lo stile e una singola citazione per ogni giorno per fungere da spunto. Fondamentalmente, al computer era stato dato accesso ai suoi documenti digitali, ma riceveva solo un'istruzione vaga e poco precisa su come utilizzarli. Di conseguenza, la macchina doveva fare affidamento sulla propria conoscenza interna per riempire i dettagli della sua vita. Prima che il libro venisse pubblicato, Renze ha deciso di sottoporre ogni singola voce a un audit. Ha trattato il progetto come un esperimento scientifico, verificando ogni aneddoto contro una vasta collezione dei suoi documenti verificati, inclusi i suoi memoir pubblicati, i suoi registri professionali e i suoi archivi personali. Voleva vedere, con assoluta precisione, quante delle storie raccontate dalla macchina fossero vere.

I risultati furono netti. Su 366 giorni nel libro, solo 12 voci contenevano una scena che poteva essere confermata positivamente dai registri. Ciò significa che per 354 giorni, la storia raccontata dal computer non poteva essere verificata come vera. Nel linguaggio dello studio, questo è un tasso di fallimento di quasi il 97 percento. La macchina non ha solo sbagliato piccoli dettagli; ha costruito intere scene che non avevano base nella realtà. In alcuni casi, il computer era così sicuro di sé da inventare eventi che erano in realtà impossibili o direttamente contraddetti dai fatti. Ad esempio, la macchina sosteneva che avesse figli quando non ne aveva, o che fosse sopravvissuta a un particolare incidente stradale mai avvenuto. Questi non erano vaghi sospetti; erano eventi specifici e nominati che i registri provavano essere falsi. Circa il 5 percento dei giorni rientrava in questa categoria di essere attivamente contraddetto dalla verità.

L'errore più comune, tuttavia, era qualcosa di più sottile. La macchina otteneva giusto l'ambientazione, ma inventava la storia. Identificava correttamente che lavorava in una specifica azienda o che viveva in una certa città, ma poi creava una scena fittizia attorno a quel fatto. Poteva dire che aveva avuto un incontro drammatico in un ufficio mai avvenuto, o che aveva avuto una specifica conversazione con un collega reale che non aveva mai avuto luogo. Questo è ciò che i ricercatori chiamano "deriva fondata" (grounded drift). La macchina era ancorata alla verità in alcuni modi, ma si era allontanata da essa per creare una narrazione che suonasse meglio o fosse più drammatica. Conosceva i nomi dei suoi datori di lavoro e le città in cui aveva vissuto, ma usava quei dettagli reali come palcoscenico per un dramma mai accaduto. Questo è particolarmente pericoloso perché rende le bugie più difficili da individuare. Una storia che azzecca i fatti ma inventa il nucleo emotivo sembra più affidabile di una che sbaglia tutto.

Per essere certi di queste scoperte, lo studio ha incluso un secondo livello di verifica. L'audit originale è stato eseguito da un sistema di intelligenza artificiale, il che sollevava il dubbio se la macchina stesse giudicando se stessa equamente. Per testarlo, due valutatori indipendenti di una diversa famiglia di modelli rispetto all'auditor originale hanno revisionato un campione casuale di 60 giorni utilizzando esattamente le stesse regole. Concordavano con i risultati originali quasi completamente. Quando interrogati se una storia fosse vera o meno, coincidevano con il verdetto originale dal 95 al 98 percento delle volte. Ciò ha confermato che l'alto tasso di fallimento non era un errore nel processo di controllo; le storie erano realmente, per la maggior parte, false. I ricercatori hanno anche cercato di vedere se modelli informatici più recenti e potenti avrebbero ottenuto risultati migliori. Hanno eseguito gli stessi prompt attraverso le versioni più recenti della tecnologia, ma il risultato è stato lo stesso: anche i nuovi modelli non riuscivano a raccontare la verità, inventando storie per ogni singolo giorno che venivano loro richiesti di scrivere.

Lo studio ha comunque offerto una via d'uscita, sebbene non fosse una soluzione perfetta. Quando i ricercatori hanno dato al computer istruzioni esplicite e specifiche per utilizzare i documenti reali che erano già a sua disposizione, il tasso di fallimento è diminuito significativamente. Il numero di giorni con scene verificate è aumentato e il numero di storie completamente false è calato. Tuttavia, anche con questo aiuto, la macchina continuava a faticare. Continuava a inventare dettagli e a deviare dai fatti, suggerendo che fornire semplicemente alla macchina i libri giusti non sia sufficiente per farle dire la verità. La macchina sembra avere ancora un forte impulso a creare una narrazione, anche quando i fatti sono proprio davanti ai suoi occhi.

Questo esperimento rivela un limite fondamentale nel modo in cui potremmo usare l'intelligenza artificiale per raccontare le nostre storie. Se chiediamo a una macchina di scrivere la nostra biografia senza fornirle la nostra storia, probabilmente riempirà i vuoti con la finzione. Creerà una versione di noi che è coerente e coinvolgente, ma sarà una versione che non è mai esistita. Lo studio suggerisce che per qualsiasi sistema che dichiari di simulare la vita di una persona, non possiamo fidarci dei dettagli delle loro esperienze quotidiane a meno che tali dettagli non siano verificati contro un registro certificato. La macchina può imitare la voce di una persona, ma non è ancora in grado di ricordare la sua vita. La fiducia che riponiamo in un gemello digitale o in una biografia sintetica deve essere limitata al livello superficiale degli atteggiamenti e dei fatti generali, perché i momenti specifici che compongono una vita, le scene, le conversazioni, i piccoli drammi, sono proprio dove la macchina fallisce più spesso. La lezione è chiara: se vogliamo una storia vera, dobbiamo fornire i fatti e dobbiamo controllare il lavoro, perché la macchina sarà felice di inventarci una vita se glielo permettiamo.