Collapse or creativity - Hallucinations in recursive synthetic data generation
本研究表明，在合成临床数据上对生成式人工智能进行递归训练，会导致在五代之内迅速出现预测性崩溃，其原因在于多样性和交织忠实度的丧失而非记录层面的不合理性，同时强调了现有的幻觉指标往往具有误导性，并主张通过改进溯源和质量评估来保留现实世界的数据多样性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界里，机器正越来越多地从它们自身创造的内容中学习。这种被称为“递归训练”的循环，是指一个模型生成新数据，而这些新数据随后又被反馈到系统中，用于训练下一个版本的模型。虽然这看起来像是无限扩展知识的一种方式，但科学家们长期以来一直担心一种被称为“模型崩溃”（model collapse）的现象。在这种情景下，机器开始脱离现实，逐渐遗忘它本应理解的世界的真实多样性，转而收敛于一个狭隘、扭曲的平均值。这在医学领域尤其危险，因为人工智能系统正被用于生成合成患者记录，以辅助罕见病研究或保护隐私。如果这些合成记录存在缺陷，基于其训练的模型可能会做出危险的错误判断，然而，用于识别这些缺陷的工具往往并不明确。
来自挪威的一个研究小组着手调查，当机器反复生成医疗数据时，这种退化究竟是如何发生的。他们关注的是一种通常被称为“幻觉”（hallucination）的特定类型错误，在医疗记录的语境下，这意味着描述了不可能的情况，例如一个人在已经死亡后仍发生心脏病发作。研究人员想知道，这些明显的、记录层面的错误是否是主要问题，还是有更微妙的东西导致了数据的失效。为了查明真相，他们利用来自大型重症监护室数据库的真实数据构建了一个严谨的实验。他们利用这些真实数据，使用四种不同类型的 AI 生成器来创建新的合成患者记录。然后，他们利用这些合成记录来训练新的模型，并重复这一过程二十次，创造了一个每一阶段都完全依赖前一步输出的生成链。
结果揭示了一个令人震惊的事实：数据的失败并非因为机器开始编写关于不可能患者的荒诞故事。相反，数据的失败是因为它失去了多样性。随着生成的进行，合成记录变得越来越趋同，抹去了现实生活中存在的症状与疾病的独特组合。研究人员发现，在仅仅经过五代生成后，数据就变得如此单一，以至于无法再教导计算机如何预测患者预后，实际上已无法实现其预期用途。机器并没有发明新的、离奇的错误；它们只是停止了发明任何新东西。它们坍缩成了一种狭隘、重复的模式，这种模式在统计学上看起来是安全的，但在临床上却是“死亡”的。
这一发现挑战了科学家和监管机构目前寻找错误的方式。研究表明，用于统计“幻觉”的标准工具（即检查特定记录是否存在于真实人群数据库中）具有误导性。这些工具经常将一些记录标记为错误，仅仅因为它们罕见或未被观察到，尽管这些记录在医学上是合理的。事实上，研究人员发现，被这些标准工具标记为“幻觉”的记录，往往是维持数据生命力的唯一来源。真正的失败对于这些工具来说是不可见的：即失去了使医疗数据发挥作用的复杂且交织的模式。机器并没有撒谎；它们只是变得枯燥乏味，并在此过程中破坏了数据的预测能力。
研究人员测试了四种不同类型的 AI 生成器，以观察它们的表现是否有所不同。其中一类鲁棒的变分自编码器（variational autoencoder）失败得最快，完全失去了区分患者是否会再次入院的能力，它通过将所有数据坍缩为一个单一的、看似平均的剖面来实现这一点。其他生成器，如基于对抗随机森林（adversarial random forests）和条件生成对抗网络（conditional generative adversarial networks）的生成器，失败速度较慢，但仍然失去了预测结果的能力。它们通过向极端值偏移或发明新的、不切实际的症状模式来实现失败。扩散模型（diffusion model）是一种较新的生成器类型，其表现有所不同；它向数据分布的极端偏移，创造出在技术上可能但统计上罕见的极高或极低数值记录。尽管这些失败路径各异，但最终结果是一致的：数据失去了代表现实世界的能力。
至关重要的是，研究发现令监管机构和公众担忧的“幻想法”——即那些明显不可能或荒谬的记录——其实非常罕见。在许多情况下，不到 1% 的合成记录包含医学上不可能的数值。真正的危险不在于存在这些不可能的记录，而在于缺乏多样化且真实的记录。机器生成的不是假故事；它们生成的是一个过于完美、过于平均且过于统一的世界。这表明，目前关注捕捉合成数据中单个错误的焦点忽略了大局。这些系统的安全性不仅取决于检查单行数据在事实层面是否正确，更取决于确保整个数据集保留了人类经验中丰富且混乱的多样性。
这项工作的意义不仅限于医学研究。研究人员认为，“幻觉”这个词在处理结构化数据时往往是不准确的。在文本领域，幻觉是一个编造的事实。而在医疗数据领域，失败通常是“保真度”（fidelity）的丧失，即数据不再反映人口的真实分布。研究表明，我们需要将重点从统计不可能的记录转向衡量数据的多样性和结构。如果我们只寻找明显的错误，我们可能会错过那场让数据变得毫无用处的、无声的质量侵蚀。研究人员强调，清晰的标签和溯源至关重要。我们必须知道数据何时是合成的，并在其整个生命周期内监控其质量，以防止其在无形中退化未来系统的知识库。
最后，这项研究是对“数据越多越好”这一假设的警示。当人工智能系统在没有保障措施的情况下被允许摄取自身输出的数据时，它们并不一定会变得更有创意或更准确。相反，它们面临着陷入自身制造的循环陷阱的风险，产生看似真实但已失去现实本质的数据。研究人员总结道，保持数据的多样性不仅是一项技术要求，更是确保人工智能可靠性的根本必要条件。如果没有多样性，合成数据变革医学等领域的承诺可能会被设计用来创造这些数据的系统本身所破坏。未来的道路需要一套新的词汇和新的指标，以便在数据发生坍缩之前检测到多样性的丧失，从而确保我们构建的机器能够持续反映它们所服务的那个复杂且多样的世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。