🤖 machine learning

Learning from Disagreement: Clinician Overrides as Implicit Preference Signals for Clinical AI in Value-Based Care

本文提出了一种形式化框架，将临床医生对人工智能建议的覆写重构为隐式偏好信号，引入双学习架构与覆写分类法，以训练与基于价值的医疗中的患者预后相一致的奖励模型，同时缓解由临床医生能力差异引起的抑制偏差。

原作者： Prabhjot Singh, Abhishek Gupta, Chris Betz, Abe Flansburg, Brett Ives, Sudeep Lama, Jung Hoon Son

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Prabhjot Singh, Abhishek Gupta, Chris Betz, Abe Flansburg, Brett Ives, Sudeep Lama, Jung Hoon Son

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人厨师如何烹饪完美的菜肴。过去，如果机器人建议加盐，而厨师说：“不，太多了”，机器人会想：“哦，我肯定错了。我不再建议加盐了。”

本文认为，这是一种错误的学习方式。我们不应将厨师的“不”视为错误，而应将其视为关于他们为何说“不”的秘密信息。

以下是本文观点的简明解析：

1. “不”实际上是一张藏宝图

在医院里，医生经常忽略或更改计算机系统的建议。通常，科技公司认为这是一种失败——表明计算机令人厌烦或出错。

本文指出：停止将其视为失败。 应将其视为丰富的数据信号。

旧方式： “医生拒绝了 AI 的建议。AI 很糟糕。”
新方式： “医生拒绝了建议。为什么？建议本身真的错了吗？还是医生只是缺乏执行的信心？亦或是医院的规定不同？”

每当医生更改一项建议时，他们都在给 AI 提供一次带标签的课程：“在这个特定情境下，面对这位特定医生，我偏好这个行动而非那个行动。”

2. 三种类型的厨师（“能力”问题）

本文通过三个不同医生（或厨师）的故事来解释为何我们不能简单地同等计算“是”和“否”的票数。想象一下关于开始使用一种新心脏药物的建议：

厨师 A（大师）： 完美掌握食谱。检查了食材，确认安全，然后说：“是的，让我们开始吧。”这是一个可靠的“是”。
厨师 B（学徒）： 知道食谱很好，但从未独自做过。他们害怕搞砸，所以说：“不，我们叫主厨（专家）来吧。”这是一个拒绝，但这并非因为食谱不好，而是因为厨师缺乏执行它的技能。
厨师 C（机器人）： 不加思考地对一切都说“是”。这看似同意，但实际上是空洞的数据。

陷阱： 如果你只是统计票数，你会看到 2 个“是”和 1 个“否”。你可能会认为食谱很棒。但如果你仔细观察，那个“否”来自一位感到害怕的厨师，而那个“是”来自一个毫无意义的机器人。如果你不区分这些，AI 可能会学会完全停止建议该食谱，因为“太多人说‘不’"，尽管该食谱实际上完美无缺。

本文将此称为**“抑制偏差”**。即当 AI 停止建议那些良好但困难的事情时，因为那些没有足够技能去做这些事的人一直在说“不”。

3. 双脑解决方案

为了解决这个问题，本文建议 AI 需要同时用两个大脑来学习，而不仅仅是一个：

大脑 1（奖励模型）： 学习什么是最佳医疗行动。
大脑 2（能力模型）： 学习每位特定医生执行该行动的熟练程度。

AI 运行一个循环：

“史密斯医生说了‘不’吗？是因为这个想法不好（大脑 1），还是因为史密斯医生尚未准备好执行它（大脑 2）？”
如果是技能问题，AI 不会改变对食谱的看法；相反，它会为史密斯医生提供一份作弊清单（检查表或分步指南），帮助他们建立信心。
随着史密斯医生变得熟练，AI 将停止提供作弊清单，并将其视为大师级厨师对待。

4. 为何这仅在“基于价值”的医疗中有效

本文认为，该系统在一种特定的医院支付模式——基于价值的医疗中效果最佳。

旧方式（按服务收费）： 医生每次就诊都能获得报酬。如果他们转诊患者给专家，他们会获得更多报酬。因此，即使他们可以自己治疗，也可能转诊患者。AI 在这里会学到错误的教训。
新方式（基于价值）： 医生根据结果获得报酬（例如，“患者在 3 个月内好转了吗？”）。
- 在这种模式下，如果医生不必要地转诊患者，患者可能会病情恶化或等待过久，医院则会亏损。
- 这创造了一个清晰的“记分牌”。AI 可以在 30 或 90 天后回顾并看到：“那位说‘不’并转诊患者的医生结果不佳。那位说‘是’并治疗患者的医生结果出色。”

因为结果是可见的且与资金挂钩，AI 最终可以学到真相：“好吧，那位害怕的医生说的‘不’是个错误。那个‘是’才是正确的做法。”

5. “飞轮”效应

本文描述了一个当你正确执行时会发生的奇妙循环：

AI 建议一种治疗方案。
医生提供反馈（覆盖）。
AI 学习谁具备技能、谁需要帮助，并调整其建议。
因为 AI 的帮助，医生在治疗方面变得更擅长。
因为医生更擅长，他们更频繁地说“是”，AI 学习得更快。

这就像雪球滚下山坡：你使用该系统越多，它就越聪明，医生也变得越好。

总结

本文指出：不要忽视“不”。
当医生改变 AI 的想法时，这不是系统故障。这是 AI、医生的技能水平以及医院规则之间的一场复杂对话。如果我们构建能够理解医生为何说“不”（是技能差距？规则变更？还是真正的医疗分歧？）的 AI，我们就能创造出不仅提供建议，而且真正帮助医生提升工作能力的系统。

以下是论文《从分歧中学习：临床医生覆写作为基于价值的医疗中临床人工智能的隐式偏好信号》的详细技术总结。

1. 问题陈述

当前的临床决策支持（CDS）系统面临高覆写率（通常>96%）的问题，这些覆写传统上被解读为系统故障（如警报疲劳、特异性差）并需加以最小化。本文认为这种解读从根本上是错误的。

核心误区： 将覆写视为噪声，丢弃了临床人工智能中可用的最丰富的偏好数据来源。
具体挑战： 在标准的人类反馈强化学习（RLHF）中，标注者通常是同质的或被赋予同等权重。而在临床环境中，临床医生的异质性至关重要。对人工智能建议的“拒绝”可能源于：
1. 真实的临床判断： 人工智能是错误的（有效的偏好信号）。
2. 能力差距： 人工智能是正确的，但临床医生缺乏执行该行动的技能或信心（对奖励模型而言是无效的偏好信号，但对能力模型而言是有效信号）。
3. 工作流程/协议限制： 与临床质量无关的外部因素。
失效模式： 天真的偏好学习系统混淆了这些信号。如果一群低能力的临床医生覆写了一个正确但困难的建议（例如，为心力衰竭患者启动 SGLT2 抑制剂），系统会认为该建议“糟糕”并将其抑制。作者将这种现象称为抑制偏差（Suppression Bias）。

2. 方法论与形式化框架

本文提出了一个形式化框架，将覆写重新定义为基于三个变量的隐式偏好信号：患者状态（ $s$ ）、组织背景/合同（ $c$ ）和临床医生能力（ $\kappa$ ）。

A. 覆写分类法

作者将覆写分为五种截然不同的类型，每种类型对应特定的模型更新目标：

背景（Context）： 临床医生拥有人工智能状态中未包含的私有信息（更新：扩展状态表示）。
判断（Judgment）： 对证据的真实异议（更新：奖励模型）。
工作流程（Workflow）： 时间/人员配置等限制（更新：从训练数据中过滤）。
协议（Protocol）： 机构规则凌驾于人工智能之上（更新：扩展合同背景）。
能力（Capability）： 临床医生缺乏执行技能（更新：能力模型）。

B. 双重学习架构

该框架引入了一个双重学习问题，通过交替优化来解决，以区分“什么是对的”与“谁能做到”。

奖励模型（ $R_\theta$ ）： 学习行动的潜在临床经济价值。它基于按临床医生能力加权的偏好对进行训练。
- 公式： $P(a' \succ r | s, c, \kappa) = \sigma(\beta(\kappa) \cdot [R^*(s, a', c) - R^*(s, r, c)])$
- 加权函数 $\beta(\kappa)$ 确保高能力临床医生驱动奖励更新，而低能力覆写则被降低权重。
能力模型（ $\kappa_\phi$ ）： 学习每位临床医生的领域特定能力。
- 它评估临床医生的行为与当前最佳奖励模型估计值的一致性程度。
- 分解： $\kappa$ 被拆分为执行能力（他们能做到吗？）和对齐能力（他们的实践方式是否与基于价值的结果保持一致？）。

C. 交替优化循环

为防止循环推理和抑制偏差，系统迭代执行以下步骤：

E-Step（期望步）： 固定奖励模型（ $R_\theta$ ），基于 $R_\theta$ 预测临床医生覆写的程度来估计临床医生能力（ $\kappa$ ）。
M-Step（最大化步）： 固定能力模型（ $\kappa$ ），使用能力加权的偏好似然性更新奖励模型（ $R_\theta$ ）。
结果锚定： 为避免系统收敛于集体临床医生偏差，收敛后的模型需针对回顾性观察到的纵向患者结果（如住院率、HbA1c 控制）进行验证。

D. “修改”行动的优势

与使用二元成对比较的标准 RLHF 不同，临床覆写提供了三值响应：

接受： 认可。
拒绝： 偏好替代方案（二元）。
修改： 最丰富的信号。它提供了一个偏好对，加上一个邻近性信号（替代方案与建议接近）和一个梯度方向（如何改进建议）。

3. 主要贡献

重构覆写： 将范式从“覆写即噪声/故障”转变为“覆写即结构化偏好数据”。
基于能力的偏好学习： 一种新颖的表述，其中偏好信号的权重是标注者能力（ $\kappa$ ）的函数，防止正确但困难的建议被抑制。
双重学习架构： 同时学习奖励模型和能力模型的耦合问题的形式化解决方案，明确解决抑制偏差。
基于背景的奖励： 将偏好学习扩展到包含组织合同结构（ $c$ ），承认在基于价值的医疗（VBC）中“正确”的行动不同于按服务收费（FFS）。
系统蓝图： 一个完整的架构，用于捕获、分类并从覆写中学习，包括基于模型见解改善临床医生能力的支撑机制。

4. 结果与验证（理论与实证背景）

抑制偏差演示： 本文从理论上证明，在一个 70% 的临床医生缺乏执行指南推荐疗法能力的群体中，天真的模型会认为该疗法次优。而提出的 $\kappa$ 修正模型通过降低低能力覆写的权重，正确识别该疗法为最优。
数据飞轮： 在基于价值的慢性病护理中，该系统创造了复合学习优势：
- 纵向密度： 每位临床医生每季度有数千次交互。
- 结果可观测性： 与标准 RLHF 不同，临床结果（如住院）提供了验证偏好的真实基础。
- 集中化： 随着模型改进，覆写集中在“盲点”（高价值学习信号）而非常规决策上。
操作溯源： 该框架源于基于价值的医疗（VBC）实际部署中的操作工作，解决了现实世界中的病理问题，即因人群无法执行而导致建议消失的情况。

5. 意义与影响

对临床人工智能：
- 仪器化至关重要： 系统必须从第一天起就设计为捕获结构化覆写数据（包括选择的具体替代方案），而不仅仅是二元接受/拒绝。
- 支撑机制： 系统可以通过识别能力差距并为低 $\kappa$ 临床医生提供针对性支持（如检查表、协议），主动改善劳动力，从而提高未来偏好信号的质量。
对 RLHF 研究：
- 标注者异质性： 按标注者能力（ $\kappa$ ）加权偏好的概念可推广到代码生成、法律审查和内容审核。
- 背景很重要： 奖励函数必须基于操作背景（如合同类型、平台政策）进行条件设定，而不仅仅是内在质量。
政策与经济：
- 本文认为，具有结果激励的基于价值的医疗（VBC）是学习对齐奖励模型的必要条件。按服务收费（FFS）结构创造了扭曲的激励，无论人工智能多么先进，都会破坏偏好信号。
- 人工智能开发者和政策制定者必须协同创造激励几何结构（如 CMS ACCESS 模型），奖励明确、早期的干预措施，使人工智能能够从高质量、经结果验证的数据中学习。

结论

本文确立了临床医生覆写并非故障，而是临床人工智能中最有价值的训练信号，前提是它们通过双重学习框架进行处理，该框架将临床真相（奖励）与人类局限（能力）解耦。通过利用纵向结果数据和基于能力的加权，临床人工智能可以同时改进其建议并提高临床劳动力执行这些建议的能力，从而形成改善患者结果的复合飞轮。