← 最新论文
🤖 人工智能

A System 1 Decision Model for Medical Multiple-Choice Questions Built on Frozen Language Models

本文提出了一种用于医学多选题的快速且具成本效益的系统 1 决策模型,该模型通过仅在冻结的语言模型之上训练轻量级投影头,在 MedMCQA 上实现了高达 46% 的准确率,在建立了一个强基准的同时,也承认其性能仍低于 Med-PaLM 2 等更复杂的系统。

原作者: Pavan Kumar Mantha

发布于 2026-11-19
📖 1 分钟阅读☕ 轻松阅读

原作者: Pavan Kumar Mantha

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

在人工智能的广阔版图中,研究人员经常区分机器思考的两种方式。一种是缓慢、深思熟虑的过程,系统会逐步进行推理,权衡证据并在开口说话前构建论点。另一种是快速、自动的反应,系统基于直觉或快速的模式匹配做出即时判断。这种第二种类型的思维通常被称为“系统1”,它让人们能够识别人群中的面孔或在无需意识计算的情况下接住掉落的水杯。对于计算机而言,实现这种速度通常意味着简化任务:系统不再生成长篇解释,而是简单地观察一个问题和一份可能的答案列表,然后挑选出那个感觉与问题最相似的选项。科学家面临的挑战在于,观察这种快速、直觉的方法是否能够处理复杂的、高风险的知识,例如医学这一庞大且错综复杂的领域,在其中一次错误的猜测都可能导致严重的后果。

一位研究人员试图测试这种快速思维方法在医学多项选择题上的极限。他们构建了一个旨在通过单次处理(single pass)回答考试问题的系统,该系统不生成任何文本或推理步骤。他们实验的核心是一个巧妙的分工。他们采用了强大的、现有的语言模型——这些是在海量文本上训练的大型计算机程序——并将其“冻结”,这意味着他们完全没有改变这些模型的内部知识。相反,他们将这些冻结的模型视为静态的知识库,仅利用它们将词汇转化为空间中的数学点。在这一冻结的基础之上,他们训练了两个微小的专门组件。一个组件学习将医学问题转化为一个点,另一个组件学习将每个可能的答案选项转化为一个点。系统的任务变得非常简单:寻找在数学空间中距离问题点最近的答案点。如果答案足够接近,系统就选中它;如果不是,则继续寻找。

他们在包含超过19万道题目、涵盖21个不同医学学科的印度医学入学考试数据集中测试了这种方法。他们从一个基础设置开始,即系统仅通过观察问题的最后一个词和答案来进行决策。在初始状态下,系统的表现仅略好于随机猜测,大约每三个问题中只能答对一个。这是预料之中的结果,因为语言模型的原始输出并非天生设计用于将整个句子压缩为一个点。然而,他们发现,他们要求模型处理文本的方式产生了巨大的差异。通过将问题和答案包裹在一个简单的提示词中,要求模型仅用一个词来总结其含义,他们迫使模型更有效地压缩信息。这种微小的改变,结合对这两个微小组件训练方式的轻微调整,使得系统的性能大幅跃升。

通过这些改进,系统开始更好地理解问题。在针对近4,000道从未见过的题目进行测试时,使用较大语言模型构建的最佳版本系统,正确回答了46.0%的问题。这相比于最初的33%有了显著提升,也远高于纯粹随机猜测所预期的25%准确率。他们证实了该系统确实是在阅读问题,而不仅仅是在记忆训练数据中出现频率最高的答案。当他们打乱问题,使答案与原本的问题不匹配时,系统的表现回落到了随机猜测的水平,这证明了它确实是将特定的问题与特定的答案联系起来的。

尽管取得了这些进展,研究也强调了这种快速思维方法的局限性。该系统在处理询问“并非”真实的题目,或者包含“除了”、“最不……”等词汇的题目时,表现得非常吃力。在这些情况下,系统的准确率大幅下降,表明其衡量相似性的方法在处理肯定陈述时效果最好,但在需要逻辑否定的情况下则会失效。此外,虽然该系统快速且高效,训练仅需几分钟,运行仅需数秒,但它仍远不及当今最先进的医学人工智能系统。那些顶尖系统使用缓慢、深思熟虑的推理并生成完整的解释,其准确率超过70%。他们得出结论,这种快速、单次处理的模型可以作为一个有价值的、低成本的基准,用于理解机器如何做出快速决策,但它目前还算不上是复杂医学诊断工具的竞争对手。

这项工作还揭示了底层语言模型的规模的重要性,但前提是系统必须先学会如何处理文本。在采用基础方法时,较小模型和中等规模模型的表现几乎相同,但一旦应用了“单词总结”技术,最大的模型便脱颖而出。这表明,只要能引导模型提取正确的信息,较大的模型在处理此类任务时具有更大的潜力。他们指出,该方法运行成本极低,所需的计算能力仅为最大的生成式模型的一小部分。他们认为自己的工作并非最终解决方案,而是一个清晰的演示,展示了一个冻结的、快速思维的系统在自身能力范围内能达到何种程度,以及下一步(例如允许主模型进行轻微学习或增加处理否定问题的步骤)可能走向何方。该研究是对医学人工智能中速度与深度之间权衡关系的具体度量。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →