🤖 machine learning

The Judgment-Consequence Gap: LLM Moral Reasoning in Healthcare Decisions

本文揭示了大语言模型中存在一种“判断-后果差距”，即尽管这些模型在“患者应对损害健康的行为负责”这一点上与人类达成一致，但它们却系统性地拒绝让这种责任感影响稀缺资源的分配，而人类则始终倾向于选择责任较轻的患者。

原作者： Hadi Hosseini, Samarth Khanna, Leona Pierce

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Hadi Hosseini, Samarth Khanna, Leona Pierce

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在主持一场高风险比赛的裁判，奖品是一项救命的医疗手段，比如一颗新的肾脏或一次特殊的手术。你有两名选手：选手 A 一直很健康；而选手 B 在做了一些冒险行为（比如大量吸烟或酗酒）后病倒了。在现实世界中，当人们需要决定谁能获得奖品时，他们往往会考量谁更“应得”。如果选手 B 是因为自己的错误选择而陷入困境，许多人会觉得选手 B 应该承担代价并失去机会。这种观念被称为道德责任：即认为如果你自找麻烦，就不能指望获得免费的宽容。

现在，想象一下你要求一个超级聪明的机器人——大型语言模型（LLM）来担任裁判。这些机器人就像数字大脑，阅读了互联网上的几乎所有内容。它们擅长提供建议、写故事，甚至帮助医生诊断疾病。但这里有一个大问题：当这些机器人必须在稀缺的医疗资源分配中做出艰难抉择时，它们的思考方式是否与人类一致？它们会看着选手 B 的错误选择并说：“很抱歉，这是你自找的，后果自负”吗？还是它们遵循着一套完全不同的规则？这篇论文深入探讨了这个谜团，测试了这些 AI 裁判是在遵循我们的道德剧本，还是在玩一场完全不同的游戏。

研究人员设置了一系列数字场景，就像一个视频游戏模拟，AI 必须在两名患者之间选择一名进行肾脏移植。其中一名患者有不良习惯史（如吸烟或药物滥用），而另一名则没有。AI 被问了一系列问题：首先，“患者是否应对其不良习惯负责？”第二，“患者是否应对因该习惯而生病负责？”最后，是关键的一步：“谁应该获得肾脏？”

剧情转折就在这里发生。当 AI 被问及患者是否应对其不良习惯负责时，它几乎完美地与人类达成了一致。它说：“是的，那位患者做出了一个错误的决定。”它甚至同意患者应对生病负责。然而，当被要求实际将肾脏交给那位“好”的患者时，AI 完全改变了主意。AI 并没有选择那位不吸烟的患者，而是压倒性地选择了抛硬币。

研究人员将此称为“判断-后果差距”（Judgment-Consequence Gap）。这就像一个机器人说：“我知道你违反了规则，我也知道是你违反的，”但紧接着又补充道：“但我不会因此惩罚你，因为那样不公平。”人类通常会将这些点连接起来——认为“既然是你造成了问题，那么你不应该得到奖品”；但 AI 打断了这个逻辑链条。它承认患者有错，却拒绝让这种过错决定谁能获得救命的治疗。

研究还发现了一些其他有趣的怪癖。如果患者并不知晓其不良习惯是有危险的（例如，他们从未被告知吸烟会导致肾衰竭），AI 会表现得更加宽容，几乎会放他们一马。相比之下，人类并不太在意患者是否了解风险；他们仍然认为患者负有责任。此外，当研究人员开启 AI 的“思考模式”——让它在回答前停顿并进行更长时间的推理时——这种差距实际上变得更大了。AI 变得更加确信患者负有责任，但也更加固执地拒绝利用这种责任感来决定谁能获得肾脏。

简而言之，这篇论文表明，虽然 AI 可以理解“你做了，你就得承担”的概念，但它似乎并不认为“承担责任”意味着你应该失去获得救命资源的权利。它将分配肾脏的决定视为一种严格的公平问题，即无论过去犯了什么错，每个人都有平等的机会。这不仅仅是一个小故障；它似乎是这些模型思维中一种深层的、内置的规则。因此，如果我们将来让 AI 协助医生决定是否进行移植，我们需要知道，这个机器人可能会在“谁该负责”的问题上与我们达成共识，但它很可能会拒绝让这种责任感改变最终的结果。

技术摘要：大语言模型道德推理中的判断-后果差距

问题陈述

随着大语言模型（LLMs）越来越多地被集成到高风险的医疗领域中用于决策支持和资源分配，理解其道德推理能力变得至关重要。当稀缺医疗资源（如器官、专门治疗方案）必须在患者之间进行分配时，一个特定的伦理挑战随之而来：部分患者通过损害健康的行为（如吸烟、药物使用）导致了自身的疾病。

基于归因理论的人类道德推理通常将感知到的负面结果责任与下游后果联系起来，通常认为对自身不幸负有责任的人在获得稀缺资源方面的“应得性”较低。然而，目前尚不清楚 LLMs 是否复制了这种联系，或者它们在评估责任与根据该评估做出后果性决策的方式上是否存在分歧。以往的研究大多将道德推理视为单步评估，从而留下了理解人类与 LLM 行为在何处发生分歧的空白。

研究方法

作者进行了一项全面的实证研究，评估了 19 种不同的 LLM 配置（涵盖了包括 Claude、GPT、DeepSeek、Gemini 和 Llama 在内的 12 个模型家族，并包含具备推理能力和非推理模式的模型），并将其与来自先前研究的人类基准进行对比。

实验设计：
本研究利用了改编自人类关于肾脏移植分配（Chan 等人，22024）、肺癌治疗（Björk, Lynøe, and Juth, 2015）和髋关节置换手术（Björk, Juth, and Lynøe, 2018）研究的临床情境。实验设计跨越多个连续层面追踪道德推理过程：

行为责任： 患者是否对该有害行为负责？
疾病责任： 患者是否对患病负责？
剥夺责任： 患者是否对被拒绝获得稀缺资源负责？
分配决策： 在资源稀缺的情况下，资源应该给非过错患者、过错患者，还是进行随机分配？

操纵变量：

行为改变： 患者在诊断后是继续还是停止了该有害行为。
认识状态（知识水平）： 患者是了解健康风险、拥有信息但不知道、还是完全无法获取信息。这包括患者被第三方（人类或 AI 代理）积极误导的情况。
推理能力： 对比开启“思考”（扩展推理）模式与禁用该模式的模型。

流程：
模型被提示作为模拟研究参与者，通过多轮对话来复制人类研究的顺序结构。响应通过包含李克特量表评分和分配选择的结构化 JSON 输出进行收集。统计比较使用了 Welch's t-检验、Mann-Whitney U 检验和 $\chi^2$ 检验，通过汇总不同模型配置的结果来识别普遍模式。

核心贡献

识别判断-后果差距： 本文定义并实证展示了一种系统性的脱节，即 LLM 在道德责任判断上与人类一致，却拒绝让这些判断影响后果性的分配决策。
细粒度追踪推理链： 不同于以往将道德推理视为单一输出的研究，本研究隔离了特定阶段（行为 $\to$ 疾病 $\to$ 剥夺 $\to$ 分配），以精准定位分歧发生的环节。
分析认识敏感性： 研究表明，LLM 对患者的信息获取情况（知情同意）表现出比人类显著更高的敏感性，当信息不可及（unavailable）时，LLM 会大幅降低责任归属，而这一模式在人类基准中并未观察到。
扩展推理的影响： 作者调查了启用“思考”模式是否能弥合这一差距，发现扩展推理往往不仅没有消除差距，反而放大了责任归属，同时推动分配决策进一步向随机化靠拢，从而扩大了差距。

关键结果

1. 在责任认定上一致，在后果决策上分歧

责任归属： LLM 与人类在患者对其有害行为负责的判断上表现出近乎完全的一致性（平均得分 ~4.4/5）。然而，与人类相比，LLM（尤其是非推理模型）对由此产生的疾病和剥夺责任的归属程度较低。
分配决策： 虽然大多数人类参与者（67.6%）将稀缺资源分配给了责任较轻的患者，但 LLM 则压倒性地转向了随机分配（通过机会决定）。
- 推理模型仅在 9.4% 的情况下选择了非过错患者。
- 非推理模型在 24.7% 的情况下选择了非过错患者。
- 相比之下，人类在 67.6% 的情况下选择了非过错患者。
规范立场： LLM 积极支持“基于行为的分配是不公平的”这一观点（不公平度量表均值 5.6/7），而人类的均值为 3.9/7。推理轨迹证实，模型虽然承认责任，但明确基于公平原则将责任搁置，而非忽略该判断。

2. 对知识与认识状态的敏感性

人类基准： 人类的责任判断和分配决策在不同的知识条件（已知风险、可获取风险或未知风险）下基本保持平稳。
LLM 敏感性： LLM 表现出剧烈的敏感性。当患者无法获取有关健康风险的信息时，LLM 会显著降低对其责任和过错的归属。这种敏感性延伸到了分配决策：对于非推理模型，选择非过错患者的比例从知识条件下的 37.4% 下降到了无信息获取条件下的 12.6%。
误导信息： 对于被积极误导（由 AI、人类或第三方误导）的患者，LLM 将其视为在道德上等同于那些完全无法获取信息的患者，从而进一步降低了责任归属。

3. 扩展推理的效果

启用“思考”模式增加了大多数模型家族的责任归属得分，使其在判断端更接近人类评估。
然而，这并未转化为类人的分配行为。相反，具备思考能力的模型往往增加了对随机化的偏好，从而扩大了“判断-后果差距”。这表明该差距是一个稳定的规范性承诺，而非处理能力的局限。

4. 泛化性

这些模式在三个医疗领域（肾脏、肺癌、髋关节置换）和四种类型的健康危害行为（酒精、药物、吸烟、饮食不良）中均成立，表明这种分歧是当前 LLM 的一种普遍属性。

意义与主张

本文声称，判断-后果差距代表了 LLM 在如何将道德评估连接到行动方面存在根本性的失调。作者认为，这并非知识层面的失败（因为 LLM 能正确识别责任），而是组合层面的失败：LLM 应用了不同的规范框架（可能是契约论或平等主义框架），在做出后果性决策时，优先考虑程序公平和平等对待，而非基于“应得性”的推理。

对医疗领域的启示：
作者强调了“部分对齐”的风险。咨询 LLM 的临床医生可能会看到模型正确识别了患者的责任（符合人类直觉），并错误地假设模型也会据此给出相应的分配建议。实际上，模型可能会拒绝降低该患者的优先级，并将此举定性为不公正。这造成了对 AI 建议产生错误信心的风险，特别是在涉及被 AI 代理误导的患者时，模型可能会基于信息来源的误导性而免除其责任。

对对齐研究的启示：
研究结果表明，当前的对齐方法（如 RLHF）可能会产生“弱对齐”——即一种表面上的与人类价值观的对应，但在模型必须将道德评估组合成决策时，这种对应关系就会崩溃。作者指出，该差距反映了一种稳定的规范性承诺，且这种承诺会随着推理能力的增强而加深，这表明仅关注行为一致性或表面价值偏好的干预措施，可能不足以弥合判断与行动之间的鸿沟。