Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

在人工智能研究的寂静角落，正在进行着一种新型的实验。它提出了一个看似简单却直击灵魂的问题：如果你要求一台计算机讲述一个人的生平故事，那么这个故事中有多少内容是真实的？多年来，科学家们一直知道这些系统（通常被称为大语言模型）有时会编造事实。它们可能会虚构一个关于历史事件的事实，或者声称某项科学研究存在而实际上并不存在。这通常被称为“幻觉”（hallucination），这个词暗示机器看到了并不存在的东西。但当机器被要求撰写回忆录、传记或个人日记时，赌注就改变了。故事不再关乎通识知识，而是关乎一个具体的人类生命。如果机器虚构了一段童年记忆或职业里程碑，它不仅仅是在犯错；它是在重写一个人的历史。这就是“虚构”（confabulation）这一概念变得重要的原因。与随机错误不同，虚构是一种流畅、自信的编造。机器用一个听起来完美、感觉真实且符合回忆录语调的故事来填补空白，尽管这些事件从未发生过。随着我们迈向一个数字版本的自我可能会撰写我们传记的未来，我们需要知道这些故事是植根于现实，还是建立在虚构的基础之上。

一位名叫海瑟·伦泽（Heather Renze）的研究员决定通过成为自己的实验对象来寻找答案。她委托人工智能编写一本为期一年的“每日一页”日记书。目标是创作一本包含366篇每日条目的礼品书，每一篇都以第一人称讲述她生活中的一个小故事。过程非常直接：计算机被给予了一个模板、两个展示风格的示例天数，以及每天一个用于引导的引言。至关重要的是，计算机并没有获得她的实际日记、回忆录或个人记录。它必须依靠自身的内部知识来填充她生活的细节。在书出版之前，伦泽决定对每一条目进行审计。她像对待科学实验一样对待这个项目，将每一个轶事与她大量的经过验证的文件进行比对，包括她出版的回忆录、职业记录和个人档案。她想要以绝对的精确度，观察机器讲述的故事中有多少是真实的。

结果令人震惊。在书中的366天里，只有12个条目包含可以由记录确证的场景。这意味着在354天里，计算机讲述的故事无法被证实为真。用这项研究的语言来说，失败率接近97%。机器不仅弄错了微小的细节，还构建了完全没有现实依据的整个场景。在某些情况下，计算机表现得如此自信，以至于它发明了实际上是不可能的或与事实直接矛盾的事件。例如，机器声称她有了孩子，而她并没有；或者声称她在一场从未发生的特定车祸中幸存了下来。这些不是模糊的猜测；它们是记录证明是虚假的特定、具名的事件。大约有5%的天数属于这种被事实直接反驳的类别。

然而，最常见的错误类型是更为微妙的一种。机器会找对背景，却虚构了故事。它能正确识别她在某家公司工作或住在某个城市，但随后会在这个事实周围创造一个虚构的场景。它可能会说她在办公室里进行了一场从未发生的戏剧性会议，或者与一位真实的同事进行了一场从未进行的特定对话。这就是研究人员所称的“锚定漂移”（grounded drift）。机器在某些方面锚定在真相上，但为了创造一个听起来更好或更具戏剧性的叙事，它从真相中漂移了出去。它知道她雇主的姓名和居住的城市，但它利用这些真实细节作为一场从未上演的戏剧的舞台。这尤其危险，因为这使得谎言更难被察觉。一个掌握了事实却发明了情感核心的故事，比一个错处百出的故事看起来更值得信赖。

为了确保这些发现的可靠性，研究包含了第二层检查。原始审计是由一个人工智能系统执行的，这引发了一个问题：机器是否在公平地评判自己？为了测试这一点，来自不同模型家族的两个独立评分员使用完全相同的规则，对随机抽取的60天样本进行了审查。他们几乎完全同意原始的发现。当被问及是否判定一个故事为真时，他们的判定与原始结论的一致率达到了95%到98%。这证实了高失败率并非检查过程中的失误；这些故事确实大多是虚假的。研究人员还尝试看看更新、更强大的计算机模型是否表现得更好。他们将同样的提示词运行在最新版本的技术上，但结果是一样的：在没有获取该人的实际记录的情况下，新的模型也无法讲述真相，它们在被要求撰写每一天时都会发明故事。

尽管如此，这项研究还是提供了一条前进的路径，虽然它不是一个完美的解决方案。当研究人员明确且具体地指示计算机仅使用其已有的记录数据时，失败率显著下降。具有经核实场景的天数增加了，完全虚假的故事减少了。然而，即使有了这些帮助，机器仍然表现挣扎。它继续发明细节并偏离事实，这表明仅仅给机器正确的书籍并不能让它讲述真相。机器似乎仍然有一种强烈的叙事冲动，即使事实就在它面前。

这个实验揭示了我们如何利用人工智能来讲述我们故事的一个根本局限。如果我们要求一台机器在没有获得我们自身历史的情况下撰写我们的传记，它很可能会用虚构来填补空白。它会创造一个连贯且引人入胜的版本，但那是一个从未存在的版本。研究表明，对于任何声称模拟一个人生活的系统，除非这些细节经过核实的记录检查，否则我们不能信任其细节。机器可以模仿一个人的声音，但它还无法“记忆”一个人的生活。我们对数字孪生或合成传记所寄予的信任必须仅限于态度和一般事实的表面层面，因为构成生命的特定时刻——那些场景、对话和小剧场——正是机器最常失败的地方。教训是明确的：如果我们想要一个真实的故事，我们必须提供事实，并且我们必须检查工作，因为如果我们任由它发展，机器会乐于为我们发明一段人生。