Algorithmic Authority and the Clinical Standard of Care

大局观：诊疗室里的拔河比赛

想象一个医生诊室，两位截然不同的专家正在试图诊断一名患者。

1. 人类医生： 他们依赖“直觉”、多年的经验以及解读患者叙述中弦外之音的能力。这就是论文中所称的隐性直觉（tacit intuition）。
2. 人工智能计算机： 它依赖数学、统计学，并扫描数百万个数据点（如 X 光片、基因代码和医疗记录）来计算最可能的答案。这就是概率推理（probabilistic reasoning）。

论文认为，当我们把这两者结合在一起时，会产生一种张力。计算机快速且精准，但可能自信地犯错；人类睿智且具备情境感，但可能存在偏见或疲劳。作者 Aizierjiang Aiersilan 建议，我们不应该试图让计算机取代人类，或者让人类取代计算机。相反，我们需要一个新的系统，让它们作为一个整体团队共同工作。

1. “代码即法律”的思想

论文引用了法学学者劳伦斯·莱斯格（Lawrence Lessig）的一个著名观点：“代码即法律”（Code is Law）。

• 类比： 想象一款视频游戏。游戏的程序代码（由开发者编写的规则）决定了你能够做什么和不能做什么。如果代码规定你不能跳过一堵墙，那么无论你多么努力，你都跳不过去。代码就是那个世界的“法律”。
• 在医学领域： 作者认为，医疗 AI 的软件代码也在做同样的事情。通过决定 AI 如何呈现信息、强调哪些数据以及如何措辞其建议，软件正在秘密地重写医生思考和执业的“规则”。它扮演着一个隐形的监管者角色，在任何实际法律颁布之前，就已经塑造了医疗护理的标准。

2. “幻觉”与“偏见”的联系

关于 AI 的一个主要担忧是它会产生“幻觉”——即自信地编造不存在的事实。论文在这里提出了一个令人惊讶的联系。

• 类比： 想象一位侦探（医生）和一位超高速图书管理员（AI）。
  • 图书管理员可能会根据它在百万本书籍中看到的模式，自信地告诉侦探：“罪犯肯定是管家。”即便管家是清白的。这就是 AI 幻觉。
  • 侦探也可能说：“罪犯肯定是管家，”因为他们之前见过管家，现在正忽略所有其他线索。这就是人类确认偏误（human confirmation bias）。
• 核心观点： 论文声称这两种失败在结构上是相同的。AI 和人类都可以表现得百分之百自信，同时又百分之百错误。因为它们是类似的问题，所以我们需要类似的解决方案。我们不能只修复 AI，我们必须修复人类与 AI 如何进行交互。

3. 提议的解决方案：“辩证式”团队

作者提出了一种新的工作方式，称为辩证式医疗标准（Dialectical Standard of Care）。

• 类比： 想象一个辩论俱乐部。
  • 目前，医生可能会直接听从 AI 并点头表示同意（被动接受）。
  • 新规则要求进行一场辩论。AI 提出它的论据（数据）。医生必须积极地进行反驳，核实事实，并决定是同意还是反对。
  • 结果： 最终的决定不是由 AI 做出的，也不是由医生单独做出的。它是由 AI-医生二元体（AI-Doctor Dyad） 做出的。他们被视为一个负责诊断的单一整体。

论文包含了一个强制执行这种辩论的工作流（图 1）。数据流向 AI，AI 给出答案，但在医生对该答案进行批判性审查、质疑或确认之前，该答案不能传递给患者。这种“摩擦力”阻止了医生盲目信任机器。

4. 关于隐私与数据的问题

论文警告说，这一系统的基础是不稳固的。

• 类比： 想象试图在一片沼泽（旧的隐私法）之上建造一座摩天大楼（AI 系统）。
• 现实情况： 旧的法律（如美国的 HIPAA）是为锁在柜子里的纸质文件编写的。它们无法很好地处理 AI 学习所需的庞大、复杂的数字数据。论文认为，当 AI 不断分析患者数据时，现有的隐私规则过于薄弱，无法保护患者，从而造成了“信任赤字”。

5. 需要做出哪些改变？

为了让这个“辩论俱乐部”模型发挥作用，论文提出了三个主要的转变：

1. 新的责任认定规则： 如果 AI 和医生共同犯错，法律需要承认他们是一个团队。我们不能仅仅因为医生信任机器而责备医生，也不能仅仅因为机器出错而责备机器。
2. 医生的新型培训： 医学院需要教导未来的医生如何“审问”AI。质疑计算机不应被视为能力的弱点，而应成为一项核心技能。
3. 更好的市场规则： 保险公司需要为医生进行辩论和审查 AI 工作所花费的时间付费。如果医生时间紧迫，他们就会跳过辩论并直接信任机器，从而导致错误。

总结

论文得出结论：在 AI 时代，无论是“硅基”（计算机）还是“突触”（人类大脑），都无法单独处理医疗诊断。唯一的安全路径是建立一个让计算机和医生被迫相互辩论的系统，从而创造出一个比他们各自单独工作时都更聪明的、负责任的单一团队。