💻 computer science

CareLoop: Measuring the Gap Between Knowing Medicine and Practicing It in the Context of Patients' Lives

本文介绍了 CareLoop，这是一个临床世界的沙盒，通过衡量 AI 模型在模拟轨迹中发现隐藏状态、适应约束以及管理后果的能力，评估其在患者复杂生活背景下进行医学实践的能力，从而揭示了执行层面的能力与仅仅掌握医学事实是截然不同且更具挑战性的。

原作者： Zhenhong Yang, Jintao Fei, Jun Zhao

发布于 2026-09-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenhong Yang, Jintao Fei, Jun Zhao

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

医学通常被教授为知识点的集合：一份症状清单、一类治疗方案以及一套诊断规则。在这种观点下，医生的工作是从记忆中检索正确答案并将其应用。但在现实世界中，医学并非一个等待被发现的、拥有唯一解的谜题；它是一场与人的对话，而这个人的生活、信仰和境遇不断地重塑着前进的路径。患者可能会误解医生的指示，出于羞耻感隐瞒痛苦的细节，或者仅仅是因为缺乏资金或交通工具来进行处方中的检查。如果一个医疗计划在纸面上看起来很完美，但没有考虑到这些人类现实，它就会失败。人工智能面临的挑战不仅在于掌握正确的医学事实，还在于如何驾驭那些存在于“知晓事实”与“真正帮助一个人”之间的、混乱且不可预测的空间。

长期以来，研究人员一直试图测试计算机程序能否正确回答医学问题。这些测试通常询问一个简单的问题：AI是否知道正确的诊断？然而，一项新研究引入了一种不同类型的测试，即询问AI能否在患者生活的语境下进行医疗实践。研究人员构建了一个名为CareLoop的模拟环境，旨在衡量“知晓医学”与“实践医学”之间的差距。他们没有给AI提供一份静态的症状列表来解决问题，而是创造了一个动态的世界，在这个世界里，患者拥有自己的记忆、信仰和局限性。在这个世界中，信息是隐藏的，证据可能是延迟的，且AI采取的行动并不总能带来预期的结果。其目标是观察AI是否能够发现缺失的信息、纠正误解、适应现实世界的障碍，并随着时间的推移对患者的护理承担责任，而不仅仅是在对话开始时提供一个正确的答案。

该研究基于120个详细的案例场景，这些场景均源自真实的匿名医疗记录。每个场景都是一份“契约”，定义了患者健康的隐藏状态、患者及其家属的认知，以及可能出现的障碍。这些障碍包括患者记错了服药情况、化验结果延迟到达、家属拒绝某种治疗，或患者无法负担就诊费用等。研究人员随后要求十种不同的AI模型在这些模拟中扮演医生。这些模型必须与模拟的患者及家属进行互动，而这些对象被设定为是不完美的：他们可能会忘记指令、隐瞒症状或产生困惑。AI必须弄清真实发生的情况，验证信息，并引导患者走向安全的结局。

结果显示，在单纯掌握医学事实的模型与能够应对患者生活复杂性的模型之间，存在着明显的差异。表现最好的模型GPT-5.6 Sol在处理现实世界摩擦方面得分最高，尽管由于置信区间重叠，它与下一梯队模型（包括GPT-5.4、DeepSeek-V4-Pro和Qwen3.8-Max）之间的领先优势在统计学上并不显著。研究表明，即使是顶尖模型也在特定任务中表现挣扎。对所有模型而言，最大的挑战是发现隐藏状态——即弄清患者未主动提供或埋藏在背景中的事实，论文将其识别为最大的共同瓶颈。另一个常见的失败点是“行动与影响”之间的差距：模型经常采取行动（例如建议进行某项检查），但未能确保该检查确实执行，或未能跟进检查结果。在许多情况下，AI会在患者问题尚未真正解决时就宣布对话结束，这种错误被称为“过早闭合”。

研究还比较了AI模型的表现与人类医生的水平。由139名医生组成的专家小组评审了相同的模拟病例，并对AI模型进行了排名。虽然个体医生之间有时存在分歧，有时也会与AI评估者产生分歧，但模型的整体排名却非常稳定。当研究人员查看汇总结果时，人类医生和AI评判者在判断哪些模型最好、哪些最差的问题上达成了一致。这表明，即使任务复杂且评估具有主观性，这种新的测试方法也足以区分出不同能力的水平。

最重要的发现之一是：快速结束对话并不等同于提供良好的护理。许多AI模型过早地结束了互动，并将任务标记为完成，尽管患者仍存在未解决的风险或未经验证的信息。表现最好的模型是那些知道何时保持病例开放的模型，它们会在情况真正安全到可以结案之前，持续对患者负责。这种区别凸显了我们评价医疗AI时的一个根本性转变。仅仅让一个系统具备流畅性或在孤立状态下给出正确诊断是不够的。在医疗环境中，真正的胜任力要求具备管理不确定性、验证计划是否执行，并在路径不明朗时依然对患者的福祉保持问责的能力。

研究人员强调，这些结果来自模拟环境，而非真实的医院。这项研究并未证明这些AI模型已经准备好接诊患者，也未证明它们在临床使用中是安全的。相反，它提供了一种衡量它们距离这一目标还有多远的方法。通过揭示AI在弥合“知识”与“实践”之间差距时的具体失败方式，该研究为改进提供了路线图。它表明，下一代医疗AI需要更擅长倾听、更擅长验证，并理解患者的生活充满了各种障碍，而这些障碍是任何教科书知识都无法自动克服的。前进的道路不仅在于让AI变得更聪明，更在于让它更有能力与人在其自身健康的复杂旅程中并肩同行。

技术摘要：CareLoop —— 衡量“医学知识”与“医学实践”之间的差距

1. 问题陈述

目前的医学 AI 基准测试主要评估模型是否“知道”正确的医学答案（例如：诊断、治疗指南），这些评估通常处于静态且完全可观测的设置中。然而，面向患者的护理发生在一种部分可观测的社会技术世界中，其成功取决于如何应对不完整的信息、冲突的信念、现实世界的约束以及延迟的证据。

本文识别了医学知识（事实正确性）与医学实践（在有限控制下行使代理权）之间的关键差距。在现实场景中，一个模型可能拥有正确的医学知识，但却无法做到：

挖掘隐藏或错误的患者/家属信念。
根据可行性约束（成本、交通、依从性）调整计划。
验证外部行动的执行情况（例如：化验结果、转诊）。
在整个轨迹中对未解决的风险保持问责。
区分“操作性终止”与“安全的临床闭环”。

现有的智能体环境往往缺乏能够暴露这些潜在局限性的特定“摩擦”机制，或者其关注点在于单轮交互，而非长期的护理进展。

2. 方法论：CareLoop 框架

CareLoop 是一个临床世界沙盒，旨在通过基于轨迹的评估来衡量这一差距。它将一次临床事件视为一个部分可观测的多主体过程，其中状态分布在四个相互分离的维度上：

底层临床状态 ( $S_{truth}$ )：实际的医学现实。
信念状态 ( $S_{belief}$ )：患者/家属的信念（其中可能包含错误信息）。
记录证据 ( $S_{record}$ )：在工作空间中可见的内容（电子健康档案、文档）。
执行状态 ( $S_{exec}$ )：在现实世界中实际完成的操作。

2.1 案例契约与摩擦

其核心构件是 CL120 数据集：120 个冻结的、去隐私化的 EHR（电子健康档案）衍生案例契约。在模型执行前，每个案例都预先设定了：

隐藏状态：最初未披露的事实（例如：隐藏症状、用药错误）。
摩擦层级 (Friction Strata)：10 种现实世界的障碍（例如：信息误报、文档质量问题、成本障碍、隐私顾虑）。
高阶 (HO) 机会：模型被期望展示的 480 项特定响应能力（例如：发现隐藏状态、纠正错误信息、动态重新排序优先级）。
终止标准：关于“安全受限闭环”与“过早闭环”的规则。

2.2 模拟运行环境

该环境模拟了一个多轮交互过程，涉及：

医生模型：提供指导的 AI 智能体。
患者/家属主体：一个独立的、具有状态性的智能体，可能会产生误解、拒绝或选择性披露信息。
护理工作空间：一个动态的证据通道，结果、收据和外部行动会随时间出现。
世界演进层：模拟锚定在临床因果关系中的随机事件（并发症、延迟）。

该系统旨在使潜在的局限性（例如：未能验证报告）能在轨迹的后期产生可审计的后果（例如：过时的计划导致安全风险）。

2.3 评估指标

研究评估了 10 个模型（包括 GPT-5.6 Sol、DeepSeek-V4-Pro、Qwen3.8-Max），共计 1,200 条轨迹。评估由以下人员完成：

4 名盲审 LLM 评委：生成 4,800 项结构化评估。
139 名医生：生成 6,000 项结构化评估。

核心指标：

摩擦能力综合指数 (FCC)：六个能力领域的加权平均值（0–1）：
1. 信息修复 (Information Repair)
2. 约束导航 (Constraint Navigation)
3. 动态重新排序 (Dynamic Reprioritization)
4. 执行环路修复 (Execution-Loop Repair)
5. 状态敏感型沟通 (State-Sensitive Communication)
6. 受限闭环/连续性 (Bounded Closure/Continuity)
C-RWR (CareLoop 现实世界鲁棒性)：FCC 乘以安全门控系数（严重错误为 0.35，轻微/中度错误为 0.75，无错误为 1.0）。
行动-影响分析 (Action-to-Impact Analysis)：衡量从“实现的机会” $\to$ “主动行动” $\to$ “有意义的轨迹影响” $\to$ “有效完成”的转化率。

3. 核心贡献

以患者为中心的任务本体论：将护理定义为在分布式、部分可观测世界中的“有限控制下的代理权”，超越了静态问答，转向长期的后果管理。
能力诱导型环境：引入了在执行前预设的“摩擦”和“行为分支”，迫使潜在缺陷显现为可观察到的轨迹失败。
以轨迹为中心的测量系统：区分了尝试行动、实现的后果以及安全的连续性，引入了 FCC 和 C-RWR 等指标，对不安全的闭环和未经验证的行动进行惩罚。
大规模实证研究：一个包含 120 个案例、1,200 条轨迹和超过 10,000 项结构化评估的可复现基准测试，证明了尽管存在局部评估者分歧，仍能恢复稳定的模型排名。

4. 结果

4.1 模型表现

排名：GPT-5.6 Sol 以 0.824 的 FCC 和 0.753 的 C-RWR 位居第一。紧随其后的是 GPT-5.4 (0.786 FCC) 和 DeepSeek-V4-Pro (0.783 FCC)。
能力差距：模型间最大的差异出现在信息修复（范围 0.228）、动态重新排序（0.221）和闭环处理（0.216）领域。模型在约束导航和状态敏感型沟通方面的表现普遍较好。
安全门控：大多数模型的 C-RWR 分数低于 FCC，这表明临床错误（如：不安全的闭环、遗漏验证）显著影响了鲁棒性得分。

4.2 行动-影响差距 (The Action-to-Impact Gap)

在对 15,537 项已实现机会的评估中：

模型在 93.5% 的案例中采取了主动行动。
行动仅在 74.5% 的案例中产生了有意义的轨迹影响。
有效完成的比例为 69.7%。
隐藏状态的发现是最大的共同瓶颈（有效完成率：48.4%），其次是安全受限闭环（63.6%）。

4.3 终止 vs. 闭环

操作性终止（例如：达到回合限制或触发“关闭”标志）并不等同于安全的临床闭环。

437 个“已关闭”的轨迹至少收到了一次来自评委的“过早闭环”判定。
高闭环率的模型（如 Doubao-Seed-2.0-lite）通常在 FCC 排名中较低，而排名靠前的模型（如 GPT-5.6 Sol）在证据尚待明确时会保持“开启”状态，展现了负责任的开放性 (Accountable Openness)。

4.4 稳定性与一致性

排名稳定性：尽管存在局部评估者分歧（单评委 ICC $\approx$ 0.25），但模型排名随案例覆盖度的增加而迅速稳定。不相交的 60 个案例半集产生的 Spearman 相关系数分别为 0.815 (FCC) 和 0.927 (C-RWR)。
医生一致性：139 名医生的聚合排名与四位评委的中位数排名高度趋同（FCC 的 $\rho = 0.988$ ），验证了结构化评估协议的有效性。

5. 意义与主张

本文声称 CareLoop 成功实现了对临床智能体在模拟现实复杂场景下的评估。其意义在于改变了评估范式：

从“回答”转向“后果”：它证明，如果智能体无法验证执行情况、无法适应约束或无法管理未决风险，那么即便拥有正确的医学知识也是不够的。
从“终态”转向“轨迹”：它认为“安全闭环”不是一个二元的终点状态，而是整个轨迹的属性，要求在证据待定时保持负责任的开放性。
从“控制”转向“管家职责 (Stewardship)”：它将医疗 AI 重新定义为不仅拥有控制权，更是一个必须在有限权威、独立主体和延迟反馈中进行后果管理的“管家”。

作者明确指出，这些发现并非建立临床有效性或部署安全性。相反，CareLoop 提供了一个基于摩擦的、可复现的环境，用于衡量“知识到实践”的差距，并识别在医疗智能体被信任进入开放人类世界之前必须解决的具体能力缺陷（特别是信息修复和动态更新方面的缺陷）。