📄 health informatics

AI-generated data contamination erodes pathological variability and diagnostic reliability

本研究表明，医疗记录中未经人工审核的 AI 生成数据会产生一种自我指涉循环，从而迅速侵蚀病理变异性和诊断可靠性，导致关键发现消失且误导性乐观率增加至三倍，进而使得若无强制性人工监督，AI 生成的文档在临床上将毫无价值。

原作者： He, H., Xiang, S., Zhang, Y., Zhu, Y., Zhang, J., Deng, H., Alsentzer, E., Liu, Y., Chen, Q., Yu, K.-H., Marshall, A., Chen, T., Anumasa, S., Ebner, D., Ho, D., Ngiam, K. Y., Cheng, C.-Y., Liu, D.

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： He, H., Xiang, S., Zhang, Y., Zhu, Y., Zhang, J., Deng, H., Alsentzer, E., Liu, Y., Chen, Q., Yu, K.-H., Marshall, A., Chen, T., Anumasa, S., Ebner, D., Ho, D., Ngiam, K. Y., Cheng, C.-Y., Liu, D.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一个图书馆，其中的书籍都是由机器人编写的，而这个机器人的训练过程是阅读其他机器人写的书。这篇论文探讨了当我们让这个机器人不断进行自我教学，一代又一代地循环，却从未检查过原始的人类编写书籍时，会发生什么。

作者称之为**“AI 生成数据污染”，他们发现这导致了一个被称为“模型崩溃”（model collapse）**的危险问题。以下是利用简单的类比对他们研究结果的拆解：

1. “复印件的复印件”效应

把人类医生撰写医疗报告的过程想象成一张高质量的原始照片。

第一代： AI 阅读原始照片并制作了一份副本。它还不错，但可能有一点模糊。
第二代： AI 阅读了第一份副本并制作了新的副本。它变得更模糊了。
第四代： AI 阅读第三份副本并制作了第四份。到这一步时，图像已经严重失真，几乎无法辨认。

论文显示，当 AI 模型仅在自己之前的输出（没有人类数据）上进行训练时，它们会丢失现实医学中的“高清晰度”细节。它们开始听起来像是说着一种破碎、重复的英语版本。

2. “消失的罕见病”

真实的医疗记录就像一个拥有成千上万种不同花朵的花园，其中包含稀有、奇特且危险的植物（比如某种特定的肺炎或罕见的肿瘤）。

问题所在： 当 AI 不断复制自己时，它开始忘记那些稀有的花朵。它只记得最常见、最平庸的那些（比如“肺炎”或“心脏肥大”）。
结果： 到第四代时，AI 的“花园”里已经没有了稀有植物。如果一名患者患有罕见疾病，AI 将无法识别，因为它在训练数据中从未见过它。它实际上在那些经常导致死亡的疾病面前变得**“诊断盲目”**。

3. “自信的骗子”

这是最危险的部分。通常情况下，当计算机犯错时，它可能会表现得不确定。

类比： 想象一个学生，他仅仅通过一本被多次复印到页面几乎空白的教科书进行学习。当你问他问题时，他会以100% 的信心回答，尽管他的答案完全错误。
研究发现： 论文发现，随着 AI 对现实医学理解能力的下降，它对自己虚假答案的信心反而越来越强。它会看着一张显示肺塌陷的胸部 X 光片，然后自信地表示：“一切看起来都很正常。”这被称为**“虚假安慰”（false reassurance）**，在研究中这种现象增加了三倍。这是危险的，因为医生可能会信任 AI 并忽略真正的病症。

4. “人口统计学过滤器”

AI 还开始忘记真实的患者长什么样。

类比： 想象一个相机，在拍摄了太多自己的照片后，开始认为世界上所有人看起来都和拿着相机的人一模一样。
研究发现： AI 开始生成的医疗记录几乎完全是针对中年男性的。它有效地将女性、年轻人和老年人从其对世界的理解中抹去了。这意味着如果你是一名女性或儿童，AI 可能无法理解你的特定健康问题。

5. “破碎的翻译”

研究人员要求真正的医生来检查 AI 的工作。

结果： 在第一轮中，医生必须修正大约一半的 AI 文本。到了第四轮，医生必须重写 87% 的文本。AI 的输出是如此之烂，以至于让人类从头开始写一遍，竟然比去修改 AI 的错误还要快。

6. 什么行不通（以及什么行得通）

团队尝试修复这个问题：

制作更多副本： 他们尝试给 AI 更多的虚假数据来阅读。这没有奏效。 这只会让问题发生得更快。
混合真实数据： 他们尝试将虚假的 AI 数据与真实的人类数据混合。这奏效了。
- 如果他们使用 75% 的真实人类数据，AI 就能保持健康且不会崩溃。
- 如果使用质量过滤器（只挑选最好的虚假数据），会有一些帮助，但它无法取代对真实人类数据的需求。

核心结论

论文得出结论：你不能让医疗 AI 永远只在自己的输出上进行训练。 这就像试图通过只吃自己烹饪的剩菜来做出一顿完美的晚餐；最终，食物会变得无法食用。

为了保持医疗 AI 的安全和实用，我们必须：

标记 AI 数据，以便我们知道什么是真实的，什么是合成的。
在训练组合中保留真实的人类数据（至少占 50-75% 的比例）。
在交给患者之前由人类检查工作，因为 AI 可能会表现出“自信的错误”。

论文警告说，如果没有这些规则，AI 可能会在无意中摧毁它赖以学习的医疗记录，将一个多样化、救命的系统变成一个破碎、重复且会漏诊关键疾病的死循环。