Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

In den stillen Ecken der Forschung zur künstlichen Intelligenz findet ein neuartiges Experiment statt. Es stellt eine Frage, die sich einfach anfühlt, aber tief geht: Wenn man einen Computer bittet, die Lebensgeschichte eines Menschen zu erzählen, wie viel dieser Geschichte ist tatsächlich wahr? Seit Jahren wissen Wissenschaftler, dass diese Systeme, die oft als Large Language Models bezeichnet werden, manchmal Dinge erfinden können. Sie könnten ein Faktum über ein historisches Ereignis erfinden oder behaupten, dass eine wissenschaftliche Studie existiert, obwohl dies nicht der Fall ist. Dies wird meist als „Halluzination“ bezeichnet, ein Wort, das suggeriert, die Maschine sähe Dinge, die nicht da sind. Aber wenn die Maschine gebeten wird, eine Memoiren, eine Biografie oder ein persönliches Tagebuch zu schreiben, ändern sich die Einsätze. Die Geschichte handelt nicht mehr von allgemeinem Wissen; sie handelt von einem spezifischen menschlichen Leben. Wenn die Maschine eine Kindheitserinnerung oder einen beruflichen Meilenstein erfindet, begeht sie nicht nur einen Fehler; sie schreibt die Geschichte eines Menschen um. Hier wird das Konzept der „Konfabulation“ wichtig. Im Gegensatz zu einem zufälligen Fehler ist eine Konfabulation eine flüssige, selbstbewusste Fabrikation. Die Maschine füllt die Lücken mit einer Geschichte, die perfekt klingt, sich echt anfühlt und zum Tonfall einer Memoiren passt, obwohl die Ereignisse nie stattgefunden haben. Während wir uns auf eine Zukunft zubewegen, in der digitale Versionen unserer selbst unsere Biografien schreiben könnten, müssen wir wissen, ob diese Geschichten in der Realität verwurzelt oder auf einem Fundament der Fiktion aufgebaut sind.

Eine Forscherin namens Heather Renze beschloss, dies herauszufinden, indem sie selbst zum Subjekt wurde. Sie beauftragte eine einjährige Buchreihe, ein „Page-a-Day“-Tagebuch, das von einer künstlichen Intelligenz geschrieben werden sollte. Das Ziel war die Erstellung eines Geschenkbuches mit 366 täglichen Einträgen, von denen jeder eine kurze Geschichte aus ihrem Leben in der Ich-Perspektive erzählt. Der Prozess war geradlinig: Der Computer erhielt eine Vorlage, zwei Beispieltage, um ihm den Stil zu zeigen, und jeweils ein Zitat für jeden Tag, das als Prompt dienen sollte. Entscheidend war, dass der Computer ihr nicht ihre tatsächlichen Tagebücher, ihre Memoiren oder ihre persönlichen Unterlagen gegeben wurde. Er musste sich auf sein eigenes internes Wissen verlassen, um die Details ihres Lebens auszufüllen. Bevor das Buch jemals veröffentlicht wurde, entschied sich Renze dazu, jeden einzelnen Eintrag zu prüfen. Sie behandelte das Projekt wie ein wissenschaftliches Experiment und glich jede Anekdote mit einer massiven Sammlung ihrer eigenen verifizierten Dokumente ab, einschließlich ihrer veröffentlichten Memoiren, ihrer beruflichen Unterlagen und ihrer persönlichen Archive. Sie wollte mit absoluter Präzision sehen, wie viele der Geschichten, die die Maschine erzählte, wahr waren.

Die Ergebnisse waren erschütternd. Von den 366 Tagen im Buch enthielten nur 12 Einträge eine Szene, die durch die Aufzeichnungen positiv bestätigt werden konnte. Das bedeutet, dass für 354 Tage die Geschichte, die der Computer erzählte, nicht als wahr verifiziert werden konnte. In der Sprache der Studie ist dies eine Fehlerrate von fast 97 Prozent. Die Maschine machte nicht nur kleine Fehler; sie konstruierte ganze Szenen, die keinerlei Grundlage in der Realität hatten. In einigen Fällen war der Computer so selbstbewusst, dass er Ereignisse erfand, die eigentlich unmöglich waren oder den Fakten direkt widersprachen. Zum Beispiel behauptete die Maschine, sie hätte Kinder gehabt, obwohl sie dies nicht hatte, oder dass sie einen spezifischen Autounfall überlebt hätte, der nie stattgefunden hatte. Dies waren keine vagen Vermutungen; es waren spezifische, benannte Ereignisse, die die Aufzeichnungen als falsch bewiesen. Etwa 5 Prozent der Tage fielen in diese Kategorie, in der sie aktiv durch die Wahrheit widerlegt wurden.

Die häufigste Art des Fehlers war jedoch etwas Subtileres. Die Maschine würde den Schauplatz richtig identifizieren, aber die Geschichte erfinden. Sie würde korrekt feststellen, dass sie in einer bestimmten Firma arbeitete oder in einer bestimmten Stadt lebte, aber dann eine fiktive Szene um diesen Fakt herum konstruieren. Sie könnte sagen, sie habe ein dramatisches Treffen in einem Büro gehabt, das nie stattfand, oder sie habe ein spezifisches Gespräch mit einem echten Kollegen geführt, das niemals stattgefunden hat. Dies ist das, was die Forscher „Grounded Drift“ (geerdetes Abdriften) nennen. Die Maschine war in gewisser Weise an die Wahrheit verankert, aber sie driftete von ihr ab, um eine Geschichte zu kreieren, die besser klang oder dramatischer war. Sie kannte die Namen ihrer Arbeitgeber und die Städte, in denen sie lebte, aber sie nutzte diese realen Details als Bühne für ein Theaterstück, das nie stattfand. Dies ist besonders gefährlich, weil es die Lügen schwerer erkennbar macht. Eine Geschichte, die die Fakten richtig wiedergibt, aber den emotionalen Kern erfindet, wirkt vertrauenswürdiger als eine, die alles falsch macht.

Um sich der Ergebnisse sicher zu sein, beinhaltete die Studie eine zweite Ebene der Überprüfung. Das ursprüngliche Audit wurde von einem System der künstlichen Intelligenz durchgeführt, was die Frage aufwarf, ob die Maschine sich selbst fair beurteilte. Um dies zu testen, überprüften zwei unabhängige Bewerter aus einer anderen Modellfamilie als das ursprüngliche Prüfmodell eine Zufallsstichprobe von 60 Tagen unter Anwendung derselben Regeln. Sie stimmten den ursprünglichen Ergebnissen fast vollständig zu. Wenn sie gefragt wurden, ob eine Geschichte wahr oder nicht wahr sei, stimmten sie in 95 bis 98 Prozent der Fälle mit dem ursprünglichen Urteil überein. Dies bestätigte, dass die hohe Fehlerrate kein Fehler im Prüfungsprozess war; die Geschichten waren tatsächlich größtenteils falsch. Die Forscher versuchten auch zu sehen, ob neuere, leistungsfähigere Computermodelle besser abschneiden würden. Sie spielten dieselben Prompts durch die neuesten Versionen der Technologie, aber das Ergebnis war dasselbe: Ohne eine präzise Anweisung, die vorhandenen Daten zu nutzen, versagten auch die neuen Modelle darin, die Wahrheit zu sagen, und erfanden Geschichten für jeden einzelnen Tag, zu dem sie aufgefordert wurden, zu schreiben.

Die Studie bot jedoch einen Weg nach vorne, auch wenn es keine perfekte Lösung war. Als die Forscher dem Computer explizite Anweisungen gaben, die bereits verfügbaren Dokumente der Testperson als einzige Quelle zu nutzen und sich strikt an diese Daten zu halten, sank die Fehlerrate signifikant. Die Anzahl der Tage mit verifizierten Szenen stieg, und die Anzahl der völlig falschen Geschichten sank. Doch selbst mit dieser Hilfe hatte die Maschine weiterhin Schwierigkeiten. Sie erfand weiterhin Details und driftete von den Fakten ab, was darauf hindeutet, dass es nicht ausreicht, der Maschine einfach nur die richtigen Bücher zu geben, um sie die Wahrheit sagen zu lassen. Die Maschine scheint immer noch einen starken Drang zu haben, eine Erzählung zu kreieren, selbst wenn die Fakten direkt vor ihr liegen.

Dieses Experiment offenbart eine fundamentale Grenze in der Art und Weise, wie wir künstliche Intelligenz nutzen können, um unsere Geschichten zu erzählen. Wenn wir eine Maschine bitten, unsere Biografie zu schreiben, ohne sie präzise auf unsere eigene Geschichte zu verweisen, wird sie die Lücken höchstwahrscheinlich mit Fiktion füllen. Sie wird eine Version von uns erschaffen, die kohärent und fesselnd ist, aber es wird eine Version sein, die nie existiert hat. Die Studie legt nahe, dass wir für jedes System, das behauptet, ein Menschenleben zu simulieren, den Details ihrer täglichen Erfahrungen nicht vertrauen können, sofern diese Details nicht gegen ein verifiziertes Protokoll geprüft werden. Die Maschine kann die Stimme eines Menschen imitieren, aber sie kann sich noch nicht an sein Leben erinnern. Das Vertrauen, das wir in einen digitalen Zwilling oder eine synthetische Biografie setzen, muss auf der oberflächlichen Ebene von Einstellungen und allgemeinen Fakten beschränkt sein, denn die spezifischen Momente, die ein Leben ausmachen – die Szenen, die Gespräche, die kleinen Dramen – sind genau dort, wo die Maschine am häufigsten versagt. Die Lehre ist klar: Wenn wir eine wahre Geschichte wollen, müssen wir die Fakten liefern und wir müssen die Arbeit prüfen, denn die Maschine wird uns bereitwillig ein Leben für uns erfinden, wenn wir es zulassen.