Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

In de stille hoekjes van het onderzoek naar kunstmatige intelligentie vindt een nieuw soort experiment plaats. Het stelt een vraag die eenvoudig aanvoelt, maar diep snijdt: als je een computer vraagt om het levensverhaal van een persoon te vertellen, hoeveel van dat verhaal is dan werkelijk waar? Jarenlang wisten wetenschappers al dat deze systemen, vaak grote taalmodellen genoemd, soms dingen verzinnen. Ze kunnen een feit over een historische gebeurtenis uitvinden of beweren dat er een wetenschappelijke studie bestaat terwijl die niet bestaat. Dit wordt meestal een "hallucinatie" genoemd, een woord dat suggereert dat de machine dingen ziet die er niet zijn. Maar wanneer de machine wordt gevraagd een memoires, een biografie of een persoonlijk dagboek te schrijven, veranderen de belangen. Het verhaal gaat niet langer over algemene kennis; het gaat over een specifiek menselijk leven. Als de machine een jeugdherinnering of een mijlpaal in een carrière verzint, maakt het niet alleen een fout; het herschrijft de geschiedenis van een persoon. Hier wordt het concept van "confabulatie" belangrijk. In tegenstelling tot een willekeurige fout, is confabulatie een vloeiende, zelfverzekerde fabricage. De machine vult de gaten op met een verhaal dat perfect klinkt, echt aanvoelt en past bij de toon van een memoires, ook al zijn de gebeurtenissen nooit hebben plaatsgevonden. Terwijl we bewegen naar een toekomst waarin digitale versies van onszelf onze biografieën kunnen schrijven, moeten we weten of die verhalen geworteld zijn in de realiteit of gebouwd zijn op een fundament van fictie.

Een onderzoeker genaamd Heather Renze besloot dit uit te zoeken door haar eigen onderwerp te worden. Ze gaf de opdracht voor een jaarlijks boek, een "pagina-per-dag" dagboek, te worden geschreven door een kunstmatige intelligentie. Het doel was om een geschenkboek te maken van 366 dagelijkse inzendingen, waarbij elke dag een kort verhaal uit haar leven in de eerste persoon vertelt. Het proces was recht door zee: de computer kreeg een sjabloon, twee voorbeeldagen om de stijl te tonen, en een enkele quote voor elke dag om als prompt te dienen. Cruciaal was dat de computer toegang had tot haar digitale dossier, maar alleen een zeer vage instructie kreeg om die informatie te gebruiken. Het moest dus grotendeels vertrouwen op zijn eigen interne kennis om de details van haar leven in te vullen. Voordat het boek werd gepubliceerd, besloot Renze elke inzending te auditeren. Ze behandelde het project als een wetenschappelijk experiment, waarbij ze elke anekdote controleerde aan de hand van een enorme collectie van haar eigen geverifieerde documenten, inclusief haar gepubliceerde memoires, haar professionele dossiers en haar persoonlijke archieven. Ze wilde met absolute precisie zien hoeveel van de verhalen die de machine vertelde, waar waren.

De resultaten waren schrijnend. Van de 366 dagen in het boek bevatten slechts 12 inzendingen een scène die positief bevestigd kon worden door de dossiers. Dat betekent dat voor 354 dagen het verhaal dat de computer vertelde, niet als waarheid geverifieerd kon worden. In de taal van de studie is dit een foutpercentage van bijna 97 procent. De machine maakte niet alleen kleine foutjes; het construeerde hele scènes die geen enkele basis in de werkelijkheid hadden. In sommige gevallen was de computer zo zelfverzekerd dat het gebeurtenissen verzon die feitelijk onmogelijk waren of direct in strijd waren met de feiten. Bijvoorbeeld, de machine beweerde dat zij kinderen had terwijl dat niet zo was, of dat zij een specifiek auto-ongeluk had overleefd dat nooit had plaatsgevonden. Dit waren geen vage gissingen; het waren specifieke, benoemde gebeurtenissen die de dossiers als onwaar bewezen. Ongeveer 5 procent van de dagen viel in deze categorie van het actief tegenspreken van de waarheid.

Het meest voorkomende type fout was echter iets subtielers. De machine zou de setting goed krijgen, maar de scène verzinnen. Het zou correct identificeren dat zij bij een specifiek bedrijf werkte of in een bepaalde stad woonde, maar vervolgens een fictieve scène rond dat feit creëren. Het zou kunnen zeggen dat zij een dramatische vergadering had in een kantoor die nooit heeft plaatsgevonden, of dat zij een specifiek gesprek had met een echte collega dat nooit heeft plaatsgevonden. Dit is wat de onderzoekers "grounded drift" noemen. De machine was op sommige manieren verankerd aan de waarheid, maar dreef ervan af om een verhaal te creëren dat beter klonk of dramatischer was. Het kende de namen van haar werkgevers en de steden waar zij woonde, maar gebruikte die echte details als een podium voor een toneelstuk dat nooit heeft plaatsgevonden. Dit is bijzonder gevaarlijk omdat het de leugens moeilijker te ontdekken maakt. Een verhaal dat de feiten goed krijgt maar de emotionele kern verzint, voelt betrouwbaarder aan dan een verhaal dat alles fout krijgt.

Om zeker te zijn van deze bevindingen, bevatte de studie een tweede laag van controle. De oorspronkelijke audit werd uitgevoerd door een kunstmatig intelligentiesysteem, wat de vraag opriep of de machine zichzelf wel eerlijk beoordeelde. Om dit te testen, beoordeelden twee onafhankelijke beoordelaars van een ander model-familie dan de oorspronkelijke auditor een willekeurige steekproef van 60 dagen met exact dezelfde regels. Zij stemden bijna volledig overeen met de oorspronkelijke bevindingen. Wanneer hen werd gevraagd te beslissen of een verhaal waar of niet was, kwamen zij in 95 tot 98 procent van de gevallen overeen met het oorspronkelijke oordeel. Dit bevestigde dat het hoge foutpercentage geen fout was in het controleproces; de verhalen waren echt grotendeels onwaar. De onderzoekers probeerden ook te zien of nieuwere, krachtigere computermodellen het beter zouden doen. Ze draaiden dezelfde prompts door de nieuwste versies van de technologie, maar het resultaat was hetzelfde: zelfs met toegang tot de gegevens faalden de nieuwe modellen in het vertellen van de waarheid en verzonnen zij verhalen voor elke dag die hen werd gevraagd te schrijven.

De studie bood wel een weg vooruit, hoewel het geen perfecte oplossing was. Wanneer de onderzoekers de computer expliciet en specifiek de instructie gaven om de output strikt te baseren op de reeds beschikbare documenten, daalde het foutpercentage aanzienlijk. Het aantal dagen met geverifieerde scènes steeg, en het aantal volledig valse verhalen daalde. Echter, zelfs met deze hulp bleef de machine worstelen. Het bleef details verzinnen en afdrijven van de feiten, wat suggereerde dat het simpelweg de juiste boeken aan de machine geven niet genoeg is om het de waarheid te laten vertellen. De machine lijkt nog steeds een sterke drang te hebben om een narratief te creëren, zelfs wanneer de feiten recht voor de neus liggen.

Dit experiment onthult een fundamentele beperking in hoe we kunstmatige intelligentie kunnen gebruiken om ons verhaal te vertellen. Als we een machine vragen om onze biografie te schrijven zonder haar onze eigen geschiedenis te geven, zal zij de gaten waarschijnlijk opvullen met fictie. Het zal een versie van ons creëren die coherent en boeiend is, maar het zal een versie zijn die nooit heeft bestaan. De studie suggereert dat voor elk systeem dat beweert het leven van een persoon te simuleren, we de details van hun dagelijkse ervaringen niet kunnen vertrouwen, tenzij die details gecontroleerd worden tegen een geverifieerd dossier. De machine kan de stem van een persoon imiteren, maar zij kan zich hun leven nog niet herinneren. Het vertrouwen dat we stellen in een digitale tweeling of een synthetische biografie moet beperkt blijven tot het oppervlakkige niveau van houdingen en algemene feiten, want de specifieke momenten die een leven vormen, de scènes, de gesprekken, de kleine drama's, zijn waar de machine het vaakst faalt. De les is duidelijk: als we een waar verhaal willen, moeten we de feiten aanleveren en moeten we het werk controleren, want de machine zal met plezier een leven voor ons verzinnen als we dat toelaten.