Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
本研究系统地调查了医疗领域大语言模型中记忆现象的普遍性、特征及其影响，揭示了该现象在医疗领域比在通用领域更为显著，且在持续预训练和基于真实临床数据的微调等不同适配场景中依然存在，并对隐私保护和泛化能力构成了关键风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人成为一名医生。你不仅仅是给它一本教科书；你向它喂食了数百万页的医学期刊、患者笔记和考试题目。这就是“大语言模型”（LLMs）学习医学的方式。把大语言模型想象成一个饥渴的学习者，它读遍了图书馆里的所有书籍。通常，我们希望这个学生能理解“概念”——比如理解发烧意味着感染，或者某种特定的药物可以治疗特定的疾病。但这些机器人学习的过程有一个棘手的一面：有时，它们并没有真正理解课程，而只是死记硬背了书页上的确切词句，就像鹦鹉学舌一样，只会重复句子却不知道其含义。这被称为“记忆化”（memorization）。在人工智能领域，这是一把双刃剑。一方面，记住事实是好事；另一方面，如果机器人记住了某个患者的私人日记条目或某个特定考试题目的答案，它可能会意外泄露秘密，或者在面对新情况时无法独立思考。科学家们一直对此感到担忧，但直到现在，他们才清楚这种现象对于医疗机器人的影响究竟有多严重。
来自耶鲁大学及其他机构的一个研究小组决定调查医疗人工智能中的这种“鹦鹉问题”。他们想看看这些模型只是在“复制粘贴”它们之前见过的内容，以及它们会复制什么样的内容，并且这种复制是有益的还是有害的。他们测试了训练这些模型的三种不同方式：阅读大量的医学书籍（持续预训练）、针对特定考试进行学习（在基准测试上进行微调），以及从真实的、杂乱的医院记录中学习（在临床数据上进行微调）。
结果令人惊讶且有些令人担忧。研究人员发现，医疗人工智能模型的记忆化程度远高于普通的人工智能模型。事实上，当这些模型接受医学数据训练时，它们会以 10% 到 20% 甚至更高的比例，原封不动地吐出它们曾经见过的文本块。为了让你有个直观的概念，如果你要求一个普通的 AI 完成一个句子，它可能只有 1% 的概率会无意中重复训练中的短语；而医疗模型重复的频率是普通 AI 的 10 到 20 倍。
研究将这种记忆化细分为三种不同的“口味”，就像午餐盒里的不同零食一样：
- 有益的内容（Beneficial）： 有时，模型能完美记住临床指南或药物相互作用。这是有帮助的，因为它能让 AI 提供准确的建议。
- 乏味的内容（Uninformative）： 通常，模型只是重复同样的乏味免责声明或模板化短语，比如“这是一个教育工具，而非医疗设备”。这并不能帮助它思考，只是看起来像是在说话。
- 危险的内容（Harmful）： 这是可怕的部分。研究发现这些模型正在记忆并吐出敏感的患者信息。在一次使用某医院系统内 13,000 多份真实患者记录的测试中，AI 重现了 3,192 例个人健康信息（PHI）。其中包括姓名、日期、具体诊断结果，甚至包括家庭关系。更糟糕的是，研究人员发现，用于清除记录中隐私数据的标准工具经常会漏掉这些秘密，这意味着 AI 记住了一些人类认为已经隐藏起来的信息。
其中一个最有趣的发现是这种记忆是多么的“粘性”。研究人员发现，一旦模型在初始的“阅读”阶段记住了某些内容，即使后来教它新的任务，它也不会忘记。在初始训练期间记忆的内容中，高达 87% 在模型经过微调以执行新任务后仍然存在。这就像是一个学生背诵了一个章节，即使在学习完一门全新的学科后，他仍然无法停止背诵第一个章节。
团队还注意到，记忆化并不只是因为模型训练时间过长（过拟合）的结果。他们观察了模型的学习过程，发现这种“复制”行为在训练过程的非常早期阶段就开始发生了，甚至在模型还在提升其实际工作能力的同时也在发生。这表明，目前构建这些模型的方式——即仅仅通过喂入越来越多的医学文本而不采取特殊的防护措施——自然会导致如此高水平的记忆化。
论文总结道，虽然这些医疗人工智能模型在诊断疾病方面变得越来越好（它们的准确率在训练后显著提高），但我们不能忽视隐私风险。研究人员建议，我们需要改变构建和测试这些模型的方式。我们不应该只问：“诊断是否正确？”我们也需要问：“它是不是刚刚复制了一个患者的秘密？”他们建议使用新的技术来阻止模型记忆敏感数据，并鼓励它们通过“推理”来解决问题，而不是仅仅重复它们读过的内容。这项研究并不是说医疗人工智能已经失效了，但它确实为我们需要更加谨慎地对待这些“数字医生”敲响了响亮的警钟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。