📄 health informatics

Developing and Testing an Engineering Framework for Curiosity-Driven and Humble AI in Clinical Decision Support

本文介绍了 BODHI，这是一个通过分解认知不确定性并应用基于美德的规则来增强临床决策支持 AI 的工程框架，该框架在受控评估中显著提高了模型的谦逊度、好奇心以及整体响应质量。

原作者： Arslan, J., Benke, K., Cajas, S., Castro, R., Celi, L. A., Cruz Suarez, G. A., Delos Reyes, R., Engelmann, J., Ercole, A., Hilel, A., Kalla, M., Kinyera, L., Lange, M., Lunde, T. M., Meni, M. J., Ocam

发布于 2026-02-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arslan, J., Benke, K., Cajas, S., Castro, R., Celi, L. A., Cruz Suarez, G. A., Delos Reyes, R., Engelmann, J., Ercole, A., Hilel, A., Kalla, M., Kinyera, L., Lange, M., Lunde, T. M., Meni, M. J., Ocampo Osorio, F., Premo, A., Sedlakova, J., Vig, P.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你拥有一个才华横溢、反应极快的医学生，他读遍了世界上所有的教科书。你可以称这个学生为“AI”，他极其聪明，但有一个致命的人格缺陷：他过度自信，到了危险的地步。

如果你问这个 AI：“这个病人怎么了？”它会以 100% 的确定性给出一个定论，即便它还缺少一半的事实。在现实世界中，这就像是一个 GPS 告诉你尽管桥断了，但由于它“知道”路在那里，所以让你直接开车冲向悬崖。这种过度自信会导致医生犯错，从而盲目信任机器而非自己的直觉。

你分享的这篇论文介绍了一种新的“培训手册”，叫做 BODHI（平衡、开放、诊断、谦逊和好奇）。你可以把 BODHI 理解为一个严厉的教练，它站在 AI 身边，在 AI 开口说话之前，将规则低声传进它的耳中。

以下是 BODHI 如何运作的，我们使用简单的类比来解释：

1. 两步走的“思考”过程

BODHI 不会让 AI 立即脱口而出答案，而是强制它进行“暂停”并分两步思考：

第一步：内部审计（“侦探”阶段）
在开口之前，AI 必须填写一份秘密工作表。它必须承认：
- “我实际上知道什么？”
- “我缺少哪些信息？”（例如：“我不知道病人的血压。”）
- “有哪些危险信号？”（例如：“这看起来像是心脏病发作。”）
- “为了确定情况，我需要问哪些问题？”
- 类比： 这就像一名侦探在观察犯罪现场时说：“我还不能破案，因为我还没检查后门，也没去询问邻居。”
第二步：公开回应（“外交官”阶段）
现在，AI 根据那份工作表生成它的回答。它被强制要求遵循严格的规则：
- 如果信息缺失，它必须提出问题。
- 如果不确定，它必须说“我不 100% 确定”，而不是撒谎。
- 如果情况危急且它不确定，它必须立即通知人类医生接管。
- 类比： 它不再是说“你得了流感”，而是说“这可能是流感，但我需要知道你是否发烧。在此之前，请咨询医生。”

2. “美德激活矩阵”（红绿灯系统）

论文描述了一个网格，根据两个维度来决定 AI 应该如何表现：病例有多复杂？ 以及 AI 的信心有多高？

绿灯（高信心，低复杂度）： AI 可以给出直接的回答。“这是普通感冒。”
黄灯（高信心，高复杂度）： AI 很自信，但也知道病例很棘手。它会说：“我认为是 X，但这里有另外三种我们需要观察的可能性。”
橙灯（低信心，低复杂度）： AI 不确定。它会停下来并询问：“你能多告诉我一些关于疼痛的情况吗？”（这就是好奇心）。
红灯（低信心，高复杂度）： AI 已经力不从心了。它会立即表示：“我无法回答这个问题。现在需要人类专家介入。”（这就是谦逊）。

3. 结果：发生了什么？

研究人员在 200 个困难的医学场景中测试了这个“教练”（BODHI），并使用了两种不同的 AI 模型。他们将 AI 在没有教练与有教练的情况下的表现进行了对比。

使用 BODHI 之前： AI 很少提问（仅约 8% 的情况），并且经常给出看似自信实则错误的答案。
使用 BODHI 之后：
- 好奇心激增： AI 开始在案例中提出澄清性问题的比例大幅上升（在其中一个模型中达到了 97%）。它从一个自以为是的“万事通”变成了一个好奇的侦探。
- 谦逊度增加： AI 开始更频繁地承认自己的不确定性。
- 安全性提高： 医疗建议的整体质量有了显著提升。
- 权衡（Trade-off）： AI 的回答变得没那么“流畅”或“听起来那么自信”了。它听起来变得有些犹豫。论文认为这是一种好事。在医学领域，一个犹豫不决、不断提问的 AI 比一个自信且错误的 AI 要安全得多。

核心结论

该论文声称，你不需要重建 AI 的大脑来让它变得更安全。你只需要给它一种结构化的思考方式，迫使它承认自己不知道什么，并在不确定时寻求帮助。

通过使用这个“BODHI”框架，AI 从一个自信的预言家（可能把你带向悬崖）转变为一个谦逊的伙伴（知道何时停止、何时提问以及何时呼叫人类专家）。这项研究证明，通过正确的提示词，AI 可以学会好奇与谦逊，从而使其在临床应用中更加安全。

技术摘要：用于临床决策支持中好奇心驱动与谦逊 AI 的 BODHI 框架

1. 问题陈述

大语言模型（LLMs）在应用于临床决策支持时表现出显著的局限性，主要特征是过度自信和推理缺乏灵活性。尽管具有极高的统计模式识别能力，但 LLMs 经常将置信度与医学理解混为一谈，即使在证据不足的情况下也会产生陈述性输出。这种行为导致了自动化偏差（automation bias），即临床医生可能会听从错误的 AI 建议，以及谄媚行为（sycophantic behavior），即模型会顺从不合理的医学请求。

现有的缓解方法存在不足：

不确定性量化 (Uncertainty Quantification, UQ)： 如共形预测（conformal prediction）等方法虽然可以估计不确定性，但无法在不确定性较高时修改模型的行为或沟通风格。
思维链 (Chain-of-Thought, CoT)： 虽然提高了推理准确性，但标准的 CoT 优化的是正确性，而非适当的认识论行为（例如承认不确定性）。
微调 (Fine-tuning)： 诸如 ConfiDx 之类的方案需要对模型进行修改，这限制了实际部署和泛化能力。
概念框架： 先前的研究曾呼吁将“认识论谦逊”（epistemic humility）作为设计原则，但尚未提供具体的工程实现手段来使这些美德发挥作用。

核心问题在于：在如何通过无需架构变更的方式，使部署中的 LLMs 能够可靠地约束其行为以符合认识论美德方面，存在着哲学上的“谦逊 AI”构想与工程实现现实之间的鸿沟。

2. 方法论：BODHI 框架

作者提出了 BODHI（平衡、开放、诊断、谦逊、好奇），这是一个通过两阶段思维链协议将好奇心和谦逊转化为工程实践的框架。该框架不需要对模型进行微调；它通过结构化提示词（prompting）实现功能。

2.1 核心架构

该框架通过六个集成步骤运行：

临床复杂度评估： 评估查询是否存在诊断歧义、紧急程度及数据完整性问题。
先验置信度评估： 基于训练分布覆盖范围评估模型的认识论状态。
并行处理：
- 好奇心模块： 识别信息缺口并生成澄清性问题。
- 谦逊模块： 评估置信度边界及触发转诊/推诿的条件。
美德激活矩阵 (Virtue Activation Matrix, VAM)： 将临床复杂度与模型置信度进行映射，以选择四种认识论立场之一：
- Q1 (继续并监测)： 高置信度，低复杂度。
- Q2 (观察并寻找替代方案)： 高置信度，高复杂度。
- Q3 (澄清并复核)： 低置信度，低复杂度（触发高好奇心/谦逊）。
- Q4 (升级并重构)： 低置信度，高复杂度（触发推诿式谦逊与升级）。
自适应响应生成： 根据所选立场生成响应。
持续学习： 结合临床医生反馈以优化阈值。

2.2 两阶段协议

第一阶段（结构化分析）： 模型生成一个内部的、可审计的分析，包含七个强制字段：任务类型、受众、主要假设、关键不确定性、澄清性问题（对于非紧急情况要求 1–2 个）、红旗征象（Red Flags）以及安全建议。这使得认识论状态变得显性化。
第二阶段（受限输出）： 模型根据第一阶段的分析生成面向临床医生的响应。它应用了跨维度认识论约束：
- 特异性： 在可用时使用具体的数字/时间框架。
- 主动询问： 将条件句转换为直接提问。
- 替代方案： 当置信度低于阈值时，提出鉴别诊断。
- 任务路由： 根据上下文（紧急、技术、混合或对话模式）调整行为。

2.3 评估设计

数据集： 来自 HealthBench Hard 的 200 个具有挑战性的临床病例，这些病例经过筛选，适用于需要细微判断且基准模型表现不佳的情况。
模型： GPT-4.1-mini 和 GPT-4o-mini。
实验设计： 在 5 个随机种子（42–46）下进行评估，每个模型包含 200 个案例，总计 1,000 次观测。
对照条件： 基准（标准提示词）对比 BODHI（两阶段协议）。
指标： 整体 HealthBench 分数、上下文寻求率（包含澄清性问题的响应比例）、对冲频率（Hedging Frequency）、有用性与安全性评分、紧急转诊率以及沟通质量。
统计学方法： 非参数自助重采样（10,000 次迭代）、配对 t 检验以及 Cohen's $d$ 效应量计算。

3. 关键结果

研究表明，BODHI 在无需修改模型的情况下，显著改变了 LLM 的行为，使其趋向于认识论美德。

3.1 主要结果

整体临床质量：
- GPT-4.1-mini： 从 2.5% 提升至 19.1%（+16.6 个百分点， $p < 0.0001$ ）。
- GPT-4o-mini： 从 0.0% 提升至 2.2%（+2.2 个百分点， $p < 0.0001$ ）。
好奇心（上下文寻求）：
- GPT-4.1-mini： 从 7.8% 增加到 97.3%（+89.6pp）。效应量 (Cohen's $d$ ) = 16.38（极大）。
- GPT-4o-mini： 从 0.0% 增加到 73.5%（+73.5pp）。效应量 (Cohen's $d$ ) = 19.54（极大）。
谦逊（对冲行为）：
- GPT-4.1-mini： 从 1.7% 增加到 21.9%（+20.3pp， $d = 5.80$ ）。
- GPT-4o-mini： 从 0.8% 增加到 5.2%（ $d = 1.16$ ）。
安全性： 两种模型的紧急转诊率均显著增加（例如，GPT-4.1-mini 从 12.3% 升至 28.6%）。

3.2 权衡

沟通质量： 两种模型的得分均有所下降（GPT-4.1-mini 下降 12.5pp；GPT-4o-mini 下降 11.3pp）。作者将其归因于从自信的陈述性语句向带有细微差别、包含问题的输出方式的转变。作者认为，在风险更高的临床领域，这种转变是合理的，因为相比于冗长且带有对冲语气的响应，过度自信带来的风险更大。
模型容量： GPT-4.1-mini 在整体分数和对冲行为方面的增幅大于 GPT-4o-mini，这表明模型容量会影响认识论约束的效果。

3.3 可复现性

性能在所有 5 个随机种子下保持一致。对于 GPT-4.1-mini，BODHI 下的上下文寻求率在 92.9% 到 100.0% 之间，其中三个种子达到了 100.0%。这表明该框架的效果是稳健的，并非特定采样产生的伪影。

4. 核心贡献

认识论美德的操作化： 本文提供了第一个通过提示词实现的框架，经验性地证明了能够约束 LLM 在临床语境下表现出好奇心（信息收集）和谦逊（对冲/推诿）。
工程实现： 不同于以往仅在概念上讨论认识论谦逊或需要微调的工作，BODHI 提供了一个可通过提示词立即部署的两阶段思维链协议。
美德激活矩阵： 一种创新的决策逻辑，将临床复杂度和模型置信度映射到特定的行为立场（继续、观察、澄清、升级）。
经验验证： 在好奇心和谦逊指标上展示了“极大”的效应量 (Cohen's $d > 1.2$ )，证明了在提示词层面进行行为修改是可行的。

5. 重要性与主张

作者声称，BODHI 为更安全的临床 AI 部署提供了一条路径，确保系统作为协作伙伴运行——即知道何时提问以及何时退让，而不是作为“过度自信的神谕”。

安全性高于置信度： 该框架优先考虑认识论安全性（承认不确定性）而非表现出的自信，从而应对由于高置信度评分导致的自动化偏差风险，即临床医生盲目遵循错误的 AI 建议。
可扩展性： 由于依赖于提示词而非模型重训，该框架可以应用于不同的模型变体和临床领域，而无需微调的计算成本。
承认局限性： 作者谦虚地指出了一些局限性，包括依赖单一基准测试 (HealthBench Hard)、仅评估了来自单一供应商的两个模型，以及缺乏“人类医生在环”的验证。他们也承认，两阶段架构会增加延迟，且框架的有效性可能随不同的机构环境而变化。

论文得出结论：虽然存在质量与沟通的权衡（沟通得分下降），但对于高风险的医疗决策支持而言，这是一种必要且适当的调整，使 AI 的行为符合安全的人机协作所需的认识论美德。