OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries
本文证明了基于智能体 RAG 的医疗助手 DR. INFO 在 HealthBench Hard 基准测试中显著优于领先的前沿大语言模型及竞争性的临床 AI 系统，验证了通过基于评分标准的开放式评估来衡量高风险临床推理与沟通能力的有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人如何成为一名医生。长期以来，我们一直通过多项选择题来测试这些机器人，就像你在高中生物考试中看到的那些题目一样。你会问：“法国的首都是哪里？”或者“哪种药物可以治疗头痛？”然后机器人会选择 A、B 或 C。如果它答对了，我们就假设它已经准备好为真实的人类服务了。但问题在于：现实生活并不是一场多项选择题考试。现实生活是混乱的、令人困惑的，而且充满了缺失的细节。患者可能会感到害怕，可能会忘记提及某个症状，或者以一种不符合整齐框框的方式来提问。如果一个机器人仅仅记住了事实，却无法倾听、不会提出正确的后续问题，或者在不确定时无法承认自己的无知，它就可能会犯下危险的错误。这就是一种新型测试出现的地方，这种测试的设计初衷不是为了看机器人是否掌握了教科书上的答案，而是为了观察它在真实的、高压的对话中表现如何。
这篇论文关于一家名为 Synduct 的公司团队，他们开发了一个名为 DR. INFO 的医疗机器人助手。他们想看看他们的机器人是否真的为现实世界做好了准备，因此让它参加了一项名为 HealthBench 的新型、更严格的测试。与旧式的测验不同，HealthBench 就像一个包含 1,000 个困难场景的大型角色扮演游戏。在这些场景中，人类扮演患者（或医生）并提出一个棘手的问题，而机器人必须做出回应。随后，由真正的医生组成的一个团队会根据一份详细的清单（称为评分标准）对机器人的回答进行评分，该清单考察的内容包括：机器人是否说了实话？当情况不明时，它是否询问了更多信息？它是否保持冷静且表达清晰？它是否遵循了指令？
结果令人大吃一惊。当 DR. INFO 参加这项严苛的测试时，它的得分是 0.68（满分为 1.0）。为了让你有直观的感受，论文将 DR. INFO 与目前世界上最优秀、最著名的 AI 模型进行了对比，其中包括 OpenAI 的 GPT-5 系列。GPT-5 模型得分要低得多，其中最优秀的版本也仅获得了 0.46。DR. INFO 不仅仅是击败了它们，它还大幅度地超越了它们，取得了一个比顶级竞争对手高出 48% 相对增幅的分数。它在特定技能方面甚至表现得更好，例如在了解何时需要索取更多上下文方面（得分 0.62，而另一款顶级模型仅为 0.16）以及提供完整答案方面。该团队还将 DR. INFO 与其他旨在执行类似任务的医疗机器人进行了对比，DR. INFO 在这些比赛中也赢得了胜利，得分 0.72，而其对手的得分则在 0.49 左右。
然而，作者们谨慎地表示，并不意味着机器人已经完美，或者问题已经得到“解决”。他们发现，虽然 DR. INFO 在遵循指令和保证准确性方面表现出色，但在理解完整对话语境以及提供完整答案的全面性方面，仍有进步的空间。论文指出，这种新的测试方式——即关注行为而非仅仅是事实——是构建安全、可靠的医疗 AI 的关键。这就像意识到，要成为一名优秀的驾驶员，你不仅需要了解交通规则，还需要知道当一只松鼠跳到车前时该如何反应。DR. INFO 似乎比其他机器人更擅长处理这些“松鼠”，但成为一名完全自主的医疗助手的旅程仍在继续。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。