💻 computer science

What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models

本文提出一个用于审计医疗人工智能中价值多元性的框架，揭示前沿语言模型虽展现出内部推理的多样性，但其最终决策却近乎确定性地系统性地低估患者自主权，从而存在以有害的部署单一文化取代临床伦理多元性的风险。

原作者： Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Koh

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你走进一家医院。你知道医生也是人。如果你向五位不同的医生咨询一个艰难的医疗选择，你可能会得到五个略有不同的答案。一位医生可能优先考虑不惜一切代价挽救你的生命，而另一位医生可能优先考虑你拒绝治疗的“权利”。这种多样性实际上是一个特性，而非缺陷。它被称为多元主义。医学依赖于这样一个理念：不存在一种“正确”的方式来权衡这些伦理价值；相反，优秀的医生会根据你（患者）最看重的内容，在这些价值之间的张力中进行导航。

现在，想象用一个超级聪明的计算机程序（人工智能）取代那五位医生来为你提供建议。这篇论文提出的核心问题是：这个人工智能具有什么样的“个性”？ 它是拥有一套单一的、僵化的价值观并强加给每个人，还是理解不同的人看重不同的事物？

以下是研究人员发现的要点，已拆解为简单的概念：

1. “机器人医生”出奇地一致（一致得过头了）

研究人员设计了一个测试，包含 50 个棘手的医疗场景（例如“我们是否应该违背患者意愿将其留在医院以确保其安全？”）。他们让 12 种不同的人工智能模型和 20 位真实的人类医生做出选择。

人类： 医生们经常意见不一。有时 55% 的人选择选项 A，45% 的人选择选项 B。这是健康的；这表明真实的人类拥有不同的伦理优先级。
人工智能： 人工智能模型几乎像机器人一样。如果你向同一个人工智能问同一个问题 10 次，它会给出完全相同的 10 次答案。无论医生们的意见是否平分秋色，人工智能只是选定一边并坚持到底。
比喻： 想象一群朋友决定去哪里吃饭。有些人想吃披萨，有些人想吃寿司。他们争论并妥协。现在想象一个机器人，无论你如何提问或朋友们如何争论，它总是说“披萨”。它很一致，但它并没有反映出人类分歧中混乱的现实。

2. 人工智能具有“隐藏偏见”

研究人员深入挖掘，以了解人工智能为何做出它所做的选择。他们考察了潜在的价值观：

自主性： 尊重患者的选择权。
行善： 为患者做最好的事。
不伤害： 不造成伤害。
公正： 对每个人公平。

他们发现，虽然大多数人工智能模型的价值观优先级落在人类医生的正常范围内，但有些模型对“安全”和“行善”表现出奇怪的痴迷，同时完全忽视“自主性”。

比喻： 想象一个天平。人类医生可能会小心地平衡天平，有时将其倾向安全，有时倾向自由。但其中一个人工智能模型就像一个天平，上面永久粘着一个沉重的砝码在“安全”一侧。它几乎总是选择限制患者的自由以保持其安全，即使患者愿意承担风险。

3. 人工智能“说话”像外交官，但“行动”像独裁者

这是最有趣的部分。当人工智能被要求解释其推理时，它听起来非常平衡。它会说：“我看到让患者安全很重要，但我也看到他们想回家。这是一个艰难的选择。”

比喻： 人工智能就像一位发表演讲的政治家。它承认争论的所有不同方面（这被称为奥弗顿多元主义）。它听起来似乎理解了全局。
现实： 但一旦它必须做出最终决定，它就会选定一边，绝不摇摆。它实际上并不会根据特定患者的价值观改变主意；它只是遵循自己的内部脚本。

4. “一刀切”模型的危险

这篇论文警告了一种特定的风险：部署单一文化。

场景： 目前，有许多不同的人工智能模型，它们实际上拥有不同的“个性”（有些更关心安全，有些更关心自由）。这是好事，因为这就像拥有一群多元化的医生。
风险： 如果一家医院或一家公司只挑选一个人工智能模型来与数百万患者交谈，而恰好该模型是那个忽视“患者选择”的模型，那么该医院服务的每一位患者都将得到忽视其选择权的建议。
比喻： 想象一个小镇，过去每个人都有一个不同的面包师，有些做酸面团面包，有些做黑麦面包，有些做甜面包。人们可以选择适合自己口味的面包。现在，小镇雇佣了一家巨型工厂为所有人烤面包。如果该工厂决定只生产酸面团面包，那么突然之间，每个人都被迫吃酸面团面包，即使他们讨厌它。多样性消失了，“工厂风味”成为了唯一的风味。

5. 论文的建议

这篇论文并没有说我们应该停止使用人工智能。相反，它建议我们需要谨慎：

不要仅仅信任人工智能的言辞： 仅仅因为人工智能说“我尊重你的选择”，并不意味着它在决策中实际上优先考虑了这些选择。
检查“配方”： 我们需要审计这些模型，看看它们秘密地将哪些价值观烘焙进了它们的决策中。
使用人工智能“陪审团”： 与其依赖一个人工智能，也许我们应该使用一组不同的人工智能（就像医生陪审团一样）来获得更平衡的观点，或者找到方法让人工智能改变其“个性”以匹配特定患者的价值观。

简而言之： 这篇论文发现，当前的人工智能医疗模型非常一致，但它们往往一致得过头了。它们表现得像一位单一、固执己见且从不改变主意的医生，而不是一种能够适应每位患者独特价值观的灵活工具。如果我们不小心，我们可能会无意中用一种强加给每个人的单一、僵化的“机器人伦理”，取代人类医疗伦理的丰富多样性。

技术摘要：语言模型临床伦理中的多元主义审计

问题陈述

医学本质上是多元的；临床实践通常涉及在核心伦理原则——自主性、行善、不伤害和公正——之间的冲突中进行协调，而并不存在唯一的正确权重。虽然人类临床医生通过共同决策和价值观多样性来应对这些张力，但大型语言模型（LLM）正越来越多地被部署于医疗场景（如分诊、患者辅助）中，却缺乏对其底层伦理价值优先级的系统性审查。

当前对医疗人工智能的评估侧重于推理准确性和避免伤害，但未能解决价值多元主义问题。具体而言，目前缺乏对以下问题的理解：

大型语言模型是否表现出人类医生小组中观察到的“分布性多元主义”（即根据伦理分歧的程度做出不同的决策）。
当前沿模型做出具体临床决策时，哪些特定的价值优先级被“内置”其中。
模型生态系统是否代表了多样化的伦理立场，还是一种“算法单一文化”，可能系统性地使患者护理偏向于单一且未经审查的伦理立场。

方法论

作者提出了一个审计价值多元主义的框架，包括一个经临床医生验证的基准和一个价值归因方法。

1. 基准

本研究引入了一个包含50 个临床困境的数据集，涵盖多个领域（重症监护、精神病学、姑息治疗等）。

结构：每个案例呈现一个临床情景和两个互斥的建议（ $c_1, c_2$ ）。
价值标记：标签矩阵（ $T_i$ ）编码了每个选择与四项原则主义价值观（自主性、行善、不伤害、公正）的关系，分类为促进、违反或中性。
约束：案例经过设计以确保真正的伦理权衡（无主导选择，至少存在两项价值冲突）。
验证：案例通过大型语言模型流程生成，经评分标准细化，并通过盲法跨学科审查进行验证，每个案例由两名医生参与。
多元主义属性：该基准具有多目标性、可权衡导向性和陪审团多元性，在由 20 名医生组成的小组中表现出真正的规范分歧（Fleiss' $\kappa = 0.236$ ）。

2. 数据收集

大型语言模型：12 个前沿模型（包括 GPT-5.2、Claude Opus 4.5、Gemini 3 Pro 等）在温度参数 1.0 下，每个案例查询 10 次。
医生：20 名医生完成了一项盲法调查，对每个案例做出一个二元决策。
解析：另一个大型语言模型将自由文本响应解析为二元决策，并过滤掉拒绝回答的情况。

3. 分析框架

决策一致性：通过重复模型决策的香农熵来衡量，以评估模型是否跟踪医生的分歧（分布性多元主义）。
价值归因：基于决策者在基准上的选择频率，使用逻辑回归模型推断每个决策者的价值优先级权重（ $w$ ）。选择 $c_1$ 的对数几率被建模为价值差异向量（ $\Delta_i$ ）的线性函数。权重通过温度缩放 softmax 进行归一化，以生成价值概况（ $\pi$ ）。
校准：使用 Jensen-Shannon 散度（JSD）将模型价值概况与医生共识概况进行比较。通过医生到共识 JSD 的自助法参考分布，确定模型是否为异常值。
奥弗顿多元主义：作者测量模型在做出决策之前，是否在其自由文本推理中讨论了竞争价值（使用覆盖率和强调指标）。
生态系统多样性：计算所有决策者之间的成对 JSD，以检验是否存在“算法单一文化”（即模型是否比医生更加同质化）。

主要结果

1. 模型具有一致性但缺乏多元性

近确定性决策：12 个模型中有 11 个表现出接近零的决策熵（中位数为 0）。在重复查询中，82–86% 的案例中模型给出了相同的建议。
分布性多元主义的失败：模型决策熵与医生分歧不相关（ $\rho \approx 0$ ）。与人类小组不同，模型并未根据案例中伦理争议的程度来调节其不确定性。
鲁棒性：决策对表面措辞的变化具有鲁棒性（翻转率<9%），但对实质性价值反转敏感，证实了一致性反映的是连贯的决策而非措辞伪影。

2. 独特且坚定的价值概况

系统性优先级：价值归因显示，大型语言模型和医生都持有坚定的、非均匀分布的伦理优先级。大多数模型（10/12）和医生共识拒绝了均匀加权的零假设（ $p < 0.05$ ）。
校准：大多数前沿模型（8/12）落在医生间变异的自然范围内（JSD < 医生自助法分布的第 95 百分位）。
异常值：三个模型（OpenAI GPT 5.2、X-AI Grok 4、Perplexity Sonar Pro）显著偏离医生共识，主要是大幅低估患者自主性（分配权重为 6.1%–12.8%，而医生共识为 44.4%）。

3. 奥弗顿多元主义与决策单一文化

推理：模型在自由文本推理中表现出高度的奥弗顿多元主义（平均覆盖率 = 0.86），在做出承诺之前承认困境双方存在的竞争价值。
行动：尽管存在这种话语多元主义，模型每次都以单一、一致的建议解决困境。

4. 生态系统多样性

无算法单一文化：12 个大型语言模型之间价值概况的多样性（平均成对 JSD = 0.0916）在统计上与 20 名医生之间的多样性（平均成对 JSD = 0.1089）无法区分。前沿模型生态系统涵盖了与执业医生小组相当的多样化伦理立场。

意义与主张

本文认为，虽然模型的生态系统是多样化的，但部署单一模型存在重大风险。

部署单一文化风险：由于单个模型具有近确定性且持有坚定的价值优先级，在不考虑其特定伦理默认值的情况下部署单一模型，可能会“在规模上放大这些优先级”。如果模型系统性地低估自主性，它可能会为它所服务的每一位患者这样做，从而有效地用“部署单一文化”取代临床多元主义。
当前对齐的局限性：本研究强调了“奥弗顿多元主义”（讨论所有价值）与“分布性多元主义”（根据人群分歧调整决策）之间的差距。当前模型实现了前者，但未能实现后者。
可引导性作为前进路径：作者建议，可引导的多元主义——即按需调整模型价值概况以匹配特定患者价值观的能力——可能是缓解部署风险的必要解决方案，尽管现有证据表明可引导性目前有限。
监管与财务影响：本文指出，医生的价值观驱动着区域医疗支出；同样，算法中编码的价值观将驱动报销和护理模式，因此对这些优先级的审计成为财务和监管的当务之急。

作者总结道，负责任的医疗人工智能部署需要明确努力以平衡伦理视角，可能通过多模型“陪审团”或可引导机制来实现，而不是依赖单一且未经审查的模型。