Assistance curve analysis: evaluating the clinical value of AI-assisted decision making
本文引入了一种新的指标——辅助净收益（ΔNB），通过量化人工智能如何改变临床医生的决策而非仅仅是模型的准确率，来评估人工智能的临床价值，并通过一项胸部 X 线研究证明，即使在降低原始准确率的情况下，人工智能仍能改善决策。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医院中，医生很少在真空中做出关键决策。当放射科医生观察胸部 X 光片时，他们通常会得到人工智能系统的辅助，该系统会标出潜在的问题。医生看到机器的建议，结合自身的经验进行权衡，然后做出最终决定：是为患者治疗还是让他们回家。多年来，科学家们一直试图衡量这些 AI 助手是否真的有所帮助。衡量的标准一直是检查机器的准确性：AI 在独立运行时识别疾病的正确率有多高？如果 AI 正确的次数多于错误，它就被认为是优秀的。但这种方法忽略了故事中最核心的部分。AI 不负责接诊病人，接诊的是医生。真正的问题不在于机器是否聪明，而在于当机器在医生耳边低语时，医生是否能做出更好的决策。
这就是来自萨那大学（Sana'a University）的 Marwan Alqumbaey 和 Yousef M. Nasher 的新研究切入的地方。他们认为，用旧的方法来衡量 AI，就像是通过观察教练跑圈的速度来评判教练，却忽略了教练是否真的帮助团队赢得了比赛。作者开发了一种观察数据的新方法，完全聚焦于 AI 改变医生想法的时刻。他们提出了一个简单直接的问题：当医生看到 AI 的建议并决定做出与此前不同于原先判断的行为时，这种改变是对患者有益还是有害？为了找出答案，他们将这种新方法应用于一项涉及 227 名放射科医生、阅读数百张胸部 X 光片的庞大公开研究，其中一部分是在有 AI 辅助下进行的，另一部分则是在没有 AI 辅助的情况下进行的。
结果令人惊讶且反直觉。当研究人员查看原始准确率数据时，AI 看起来是个失败者。在数千次决策中，使用 AI 的放射科医生的准确率反而略有下降。他们的整体成功率下降了近一个百分点。按照医学领域的传统标准，这种工具会立即被拒绝。它看起来似乎让医生变得更差了。然而，当研究人员转向他们衡量临床价值的新方法时，故事发生了彻底的反转。正是这个让准确率降低的工具，实际上改善了医生的决策。在医生常用的特定风险阈值下，AI 帮助放射科医生更频繁地做出了正确的判断，为患者护理增加了可衡测的收益。
一个工具如何能让医生变得不那么“准确”，却变得更有“帮助”呢？答案在于医疗错误的本质。在医学领域，并非所有的错误都是等同的。漏诊像肺塌陷这样严重的疾病，比要求进行一次不必要的随访检查要危险得多。旧的准确率评分将这两种错误视为同一种东西：一个简单的误差。而这种新方法——作者称之为“辅助曲线”（assistance curve）——理解了漏诊疾病的代价远高于误报一次警报的代价。在这项研究中，AI 说服医生采取行动的次数更多了。虽然这导致了更多的假阳性（从而降低了准确率得分），但也捕捉到了更多原本会被医生漏掉的真实疾病。因为捕捉到真实疾病的价值远高于避免一次假报警，所以最终的结果是双赢。AI 实际上是在说：“注意这里，”而医生听从了，即便他们的评分表看起来变差了，但也挽救了生命。
研究人员进行了更深入的研究，以了解这种价值究竟来自何处。他们发现，AI 的贡献并不是均匀分布在所有病例中的。事实上，AI 并没有在绝大多数情况下改变医生的想法：在近 90% 的 X 光片案例中，无论是否有机器辅助，医生的决定都是一致的。AI 的全部临床价值都产生于那极少数医生改变主意的时刻。当 AI 促使医生采取行动时，其判断的正确率达到了 11.9%，这比基准水平有了显著提升。当 AI 促使医生放弃行动时，在这些案例中发现问题的比例为 9.4%。该工具之所以奏效，是因为它在那些至关重要的时刻，成功地引导了医生走向正确的方向，即便它偶尔也会把医生引向错误的方向。
这一发现挑战了目前医学界评估人工智能的方式。作者表明，一个工具可能会被标准指标判定为失败，但同时却在帮助患者。如果这项研究中的放射科医生仅凭准确率得分来评判，那么 AI 就会被弃用，而患者也将失去一个有益的助手。这项研究表明，该领域需要停止追问“AI 是否准确？”，而应开始追问“AI 是否能帮助医生做出正确的选择？”这种新方法不需要收集新数据；它只需重新审视医生在配对研究中已经做出的决策，寻找那些特定的改变时刻。它揭示了 AI 的价值不在于其整体智能，而在于它在关键时刻引导人类判断的能力。
研究还观察了这一结果在不同医生群体和不同类型肺部疾病之间是否依然成立。这一积极效应在涉及近 200 名额外放射科医生的三种不同研究设计中均保持了一致性。然而，这种益处在不同病症下的表现并不相同。对于某些特定的发现，例如某种类型的肺塌陷，AI 提供了明确且显著的益处。而对于其他情况，其效果则是中性的或略微负面的。这种差异性至关重要。这意味着，针对整个 AI 系统给出一个单一的“准确率得分”是具有误导性的，因为它将有益的效果和无益的效果平均化了。一个工具可能在某种疾病面前是救命稻草，而在另一种疾病面前则是干扰，只有通过观察具体决策的方法才能揭示这种细微差别。
最终，这项研究为看待人类与机器在医疗保健领域的伙伴关系提供了一个全新的视角。它证实了 AI 的目标不是取代医生，也不是要在自身层面达到完美，而是为了改善最终的决策。研究证明，当我们衡量正确的事物时——即对患者护理的实际影响时——我们可以在旧数字所看到的失败中发现价值。作者提供了免费软件供其他研究人员使用这种方法，希望将对话的主题从简单的准确性转向真正的临床实用性。在一个医疗决策日益依赖算法的世界里，了解如何衡量它们的真实价值不仅是一个技术细节，更是确保我们所构建的工具能够真正帮助到那些最需要它们的人的关键所在。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。