The Clinician's Veto: Navigating Trust, Liability, and Uncertainty in Autonomous AI Prescribing
基于对136名美国临床医生的调查，本文认为，安全的自主AI处方需要特定的架构特征——例如校准后的置信度阈值、差异化的不确定性传达以及推理透明度——以确保临床医生的采用，使责任归属与系统设计者相一致，并将“自主”AI有效地重新定义为一种高度受监督的决策支持工具。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象这样一个世界：一个计算机程序可以在医生从未查看患者病历的情况下，直接开具处方药。这正是某些新法律（如美国的 H.R. 238）以及犹他州等地的试点项目试图构建的未来。他们希望 AI 能扮演一种“自主智能体”（autonomous agent）的角色——一个能够独立做出决策的数字医生。
然而，来自弗吉尼亚大学和康奈尔大学等机构的研究团队提出了一个关键问题：“真正的医生会信任这套系统吗？它安全吗？”
他们对 136 名执业临床医生（包括医生、执业护士等）进行了调查，发现虽然医生对 AI 提供辅助持开放态度，但他们并不准备让 AI “独自驾驶汽车”。事实上，研究人员认为，为了确保安全，必须剥离 AI 的大部分“自主性”，将其转变为一个受到严格监督的工具。
以下是他们研究结果的拆解，使用了简单的类比：
1. “速度计”问题（校准置信度）
问题所在： 想象一辆自动驾驶汽车认为自己正在完美行驶，但实际上即将撞上一堵墙。如果汽车内部的“置信度仪表”失灵了（未经过校准），它就不知道该停下来。
研究发现： 医生表示，除非 AI 拥有可靠的“速度计”（校准后的置信度评分），否则他们不会允许 AI 开具处方。
- 运作方式： 如果 AI 有 99% 的把握，它可以行动。但如果它的把握只有 60%，它必须踩下刹车并说：“我不确定，需要人类来检查这个。”
- 结果： 医生认为带有这种“刹车系统”的 AI 要安全得多。如果没有这个系统，他们觉得太危险了。他们也基本一致认为，应该由监管机构或医生委员会来设定何时触发“刹车”的规则，而不是由 AI 公司本身来定。
2. “两种类型的困惑”（区分不确定性）
问题所在： 有时 AI 的困惑是因为情况确实很棘手（例如患者患有一种罕见的、复杂的混合症状）。另一些时候，AI 的困惑是因为它从未见过此类案例（它只是缺乏相关知识）。
研究发现： 医生希望 AI 解释它为什么感到困惑，因为针对不同类型的困惑，解决方案是不同的。
- 类型 A（棘手的案例 / 偶然不确定性 Aleatoric）： AI 了解数据，但答案并不明确。
- 类比： 就像气象预报员说：“可能会下雨，也可能不会；这是两种最好的预测方案。”
- 医生的偏好： 向医生展示竞争性的选项，以便医生做出最终决定。
- 类型 B（无知的案例 / 认知不确定性 Epistemic）： AI 完全不知道发生了什么，因为它还没有学习过这种模式。
- 类比： 就像 GPS 试图带你穿过一片它完全没有地图的森林。
- 医生的偏好： AI 应该闭嘴。它不应该进行猜测或提供所谓的“最佳选项”，因为这可能会误导医生去遵循一个错误的念头（这被称为“自动化偏差”）。AI 应该直接说：“我不知道，这里是原始数据，请您自行判断。”
3. “谁来承担责任？”的问题（责任归属与透明度）
问题所在： 如果 AI 给出了错误的处方导致患者生病，谁该负责？是签字的医生？开发 AI 的公司？还是医院？
研究发现：
- 当 AI 独立行动时（无需人工审核）： 如果 AI 在没有询问人类的情况下犯错，医生认为组织机构（AI 公司、医院、监管机构）应该承担责任，而不是个人医生。
- 当 AI 请求帮助时（人工审核）： 如果 AI 说“我不确定”，随后一名人类医生进行了审核并同意了 AI 的意见，那么医生愿意承担更多的责任。
- 核心点： 只有当 AI 对其思考过程保持透明，并承认自己在不确定时，医生才愿意承担责任。如果 AI 隐藏了自己的不确定性，医生觉得让医生为 AI 隐藏的错误承担责任是不公平的。
核心结论：“自主性”是一个伪命题
研究人员认为，要实现安全，我们必须改变对“自主 AI”的定义。
- 目前的愿景： 一个独自工作的机器人医生。
- 安全的愿景： 一个时刻受到监控、知道何时停止并寻求帮助、能清晰解释其困惑、并承认自己不知道某些事情的机器人。
论文总结道，如果我们按照这种方式构建 AI，它就不再是一个“自主智能体”，而更像是一个非常聪明、非常谨慎的助手。
医生的裁决：
大多数医生在调查中表示，目前反对让 AI 独立开具处方。他们只会在 AI 被强制要求做到以下几点时，才会考虑接受它：
- 当信心不足 100% 时，停止并请求帮助。
- 能够区分“这是一个棘手的案例”和“我对这个案例一无所知”。
- 对其推理过程保持透明，以便如果出现问题，由开发 AI 的公司承担责任，而非医生。
如果没有这些规则，医生认为该系统风险过高，无法使用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。