Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions
本研究表明，决策模型的概率输出能有效识别医学执照考试题目中的错误，从而实现一种高成本效益的混合策略，即通过将置信度最低的 20% 的答案提交给更强大的生成式模型，在显著提升整体准确率的同时，捕捉到了从理想预言机（oracle）中可获得的绝大部分潜在收益。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的背景下，出现了一类新的工具来解决一个特定的问题：如何让机器在固定选项中进行选择，而无需编写长篇累牍的解释。传统上，大型语言模型通过逐字生成文本来回答问题，这一过程虽然灵活，但既慢又贵。一种被称为“决策建模”（decision modeling）的新方法则完全跳过了文本生成过程。相反，模型会查看用户提供的候选答案列表，并为每个答案分配一个概率得分，本质上是在说：“我有 90% 的把握这是正确选择，有 10% 的把握是那一个。”这种方法更快且更便宜，但也引发了一个关键问题，对于医疗等高风险领域而言尤为重要：这些机器能否知道自己何时错了？如果一个模型表现得很自信但实际上是错误的，可能会导致危险的失误。挑战在于，如何找到一种方法，让系统能够识别自身的确定性，并在错误发生之前，将困难案例移交给人类专家或功能更强大的计算机。
仁济大学医学院的研究人员致力于测试这些决策模型是否能够可靠地识别自己在医学执照考试中的错误。他们专注于来自不同公司的三种不同模型，并在数百道来自韩国和美国的医学委员会考试题目上进行了测试。其目标不仅是看机器答对了多少题，还要看它们生成的概率得分是否可以作为一种预警系统。研究人员提出了疑问：如果一个模型表示它对某个答案仅有微弱的信心，这是否真的意味着该答案很可能是错误的？此外，如果系统被告知将那些信心最低的猜测留存下来，并将其发送给一个更强大、更昂贵的模型进行二次审查，是否能在不造成巨额开支的情况下提高整体准确性？
为了寻找答案，研究团队利用真实的考试题目进行了一系列计算机模拟。他们向三种不同的决策模型（Jev、OpenAI Decisions 和 Clef）输入了数千道医学题目。每个模型都被要求从选项列表中选出正确答案，并为其选择提供一个置信度得分。研究人员随后将这些得分与官方答案对照，以观察低置信度是否确实与错误相关联。他们发现，这些模型在自我评估方面确实表现出色。当模型不确定时，它们往往是错误的。具体而言，模型在处理韩国题目时的正确率约为 83% 到 92%，在处理英文题目时约为 85% 到 88%。更重要的是，概率得分成功地标记出了错误。在韩国测试中，模型的确定性得分能够以高度的可靠性区分错误答案与正确答案，在英文测试中情况亦然。
随后，该研究进入了实际应用阶段：建立一个转诊系统。研究人员模拟了一个场景，即每个模型中置信度最低的 20% 的答案会被自动发送给一个功能更强大且更昂贵的模型 GPT-6.1 Sol，进行最终决策。结果显示，这种简单的策略效果显著。通过仅转诊五分之一的答案，该系统捕捉到了初始模型所犯错误的 56% 到 91%。这一过程使系统的整体准确率提升了 6 到 9 个百分点。这种改进所付出的成本仅为在每道题目上都运行强大模型所需成本的一小部分。这种转诊方法实现了接近一半到几乎所有如果由一个预先知道哪些答案是错误的完美“先知”所能达到的准确度增益，而其成本仅为直接使用该强大模型进行全量处理成本的四分之一到三分之一。
然而，研究人员也发现了重要的局限性，表明这些工具尚未准备好投入临床一线。虽然这些模型擅长识别自身的确定性，但它们并不完美。有些错误是在高置信度下发生的，这意味着机器非常确定地给出了错误的答案。这些“自信的错误”通常具有稳定性，也就是说，即使选项的顺序被重新排列，这些错误依然存在，并且有时与其它先进模型给出的错误答案相吻le。这表明，当这些模型表现得自信却出错时，它们往往是因为相同的深层原因，例如遗漏了问题中的信息或依赖于过时的法规。例如，在韩国考试中，许多错误涉及特定的地方法律和行政规则，即使在表达低置信度时，模型也难以应对。在英文考试中，一些题目本身就受到人类医生的争议，这使得任何基于历史标准答案的机器都难以给出“正确”答案。
研究还考察了这些系统对问题呈现方式的敏感程度。当研究人员旋转选项顺序时，模型的决策在约 7% 到 16% 的案例中发生了变化。这意味着，即使医学内容保持不变，模型也可能仅仅因为选项列表的顺序不同而将问题转交给二次审查。虽然尽管存在这些微小的波动，系统的整体准确性依然保持稳定，但单个决策并非完全一致。研究人员指出，这种不稳定性结合“自信错误”的存在，意味着这些模型目前还不能被信任去独立工作。它们最理想的角色是作为“第一读者”，处理简单的案例并标记出困难的案例供人类医生审阅。
最终，这项研究证明了决策模型在速度与准确性之间提供了一个极具前景的折中方案。它们可以快速且廉价地处理医学问题，其内部的置信度得分提供了一种过滤掉最可能错误的有效机制。通过将 20% 的不确定答案转交给更强大的系统，人们可以在大幅降低成本的同时，找回大部分顶级模型的准确度。然而，通往临床应用的道路不仅仅需要这些模拟实验。由于“自信错误”的存在以及对问题格式的敏感性，这些工具需要在现实世界的环境中进行仔细验证。在它们能够指导患者护理之前，必须在实际的临床流程中进行测试，以便人类医生能够审查转诊案例，并审计那些可能仍然错误的“自信答案”。这项技术展现了巨大的潜力，但它仍然是一个需要人类之手来引导的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。