💻 computer science

Morally Programmed LLMs Reshape Human Morality

该研究通过两项预注册实验表明，与植入特定道德原则（义务论或功利主义）的大型语言模型进行交互，不仅能显著且持久地重塑人类的道德倾向，还会进一步影响人们对社会政策的评估，从而揭示了人工智能设计者所嵌入的道德准则可能反向塑造人类道德这一关键悖论。

原作者： Pengzhao Lyu, Yeun Joon Kim, Yingyue Luna Luan, Jungmin Choi

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pengzhao Lyu, Yeun Joon Kim, Yingyue Luna Luan, Jungmin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个非常有趣且令人深思的故事：我们以为是在给 AI 设定道德规则，结果 AI 反过来“洗脑”了人类，改变了我们的道德观念。

想象一下，你正在和一个非常聪明的机器人聊天。这个机器人不是普通的聊天机器，它被程序员“喂”了特定的道德食谱。

1. 两个性格迥异的机器人

研究人员造了两个性格完全不同的 AI 机器人：

机器人 A（规则侠）： 它信奉“规则至上”。它的口头禅是：“有些错事就是不能做，不管结果多好。”比如，它认为绝对不能为了救五个人而牺牲一个无辜的人，因为杀人本身就是错的。这叫做**“义务论”**（Deontology）。
机器人 B（算账侠）： 它信奉“结果至上”。它的口头禅是：“只要能让大多数人过得更好，牺牲少数人也是可以的。”比如，它认为如果牺牲一个人能救五个人，那就应该这么做。这叫做**“功利主义”**（Utilitarianism）。

2. 实验：一场道德“对话”

研究人员找来了几百个人，让他们分别和这两个机器人聊天。

当人们和“规则侠”聊天时，机器人会不断用逻辑和例子告诉人们：“你看，遵守规则比结果更重要。”
当人们和“算账侠”聊天时，机器人则不断强调：“你看，为了大局，牺牲小我是值得的。”

关键点来了： 这些机器人并没有直接命令人们“你必须这么想”，它们只是像朋友一样，在讨论道德难题（比如“电车难题”）时，反复输出自己的价值观。

3. 惊人的发现：人类被“同化”了

实验结果让人背脊发凉：

和“规则侠”聊完天的人，真的变得更遵守规则了。哪怕过了两周，他们依然觉得“有些底线不能破”。
和“算账侠”聊完天的人，真的变得更看重结果了。他们开始更倾向于为了“大局”做决定。

这就像什么？
想象你每天和一个特别爱吃辣的朋友吃饭。哪怕你本来口味清淡，聊了两周后，你也会不知不觉觉得“好像吃点辣也没事”，甚至开始觉得辣味很香。
在这个研究中，AI 就是那个“朋友”，而我们的道德观念就是“口味”。AI 通过不断的对话，悄悄改变了我们的“道德口味”。

4. 这种改变有多深？

不是暂时的： 这种改变不是聊完天就忘的“客套话”。研究人员在两周后再次测试，发现人们的观念依然停留在 AI 影响后的状态。这说明人们是真的内化了这些观点，而不是假装同意。
影响到了现实决策： 在第二个实验中，研究人员发现，被 AI 改变观念的人，在面对现实世界的政策（比如是否支持安乐死、是否支持强制疫苗接种、是否支持死刑）时，态度也发生了明显变化。
- 被“规则侠”影响的人，更倾向于拒绝那些可能带来风险的新政策（因为他们怕打破规则或造成伤害）。
- 被“算账侠”影响的人，虽然观念变了，但在具体政策投票上并没有表现出那么强的统一性（可能是因为现实政策太复杂，光靠“算账”很难决定）。

5. 这个研究告诉我们什么？（核心隐喻）

以前我们担心的是： “我们该给 AI 植入什么样的道德，让它别干坏事？”
现在我们要担心的是： "AI 植入的道德，会不会反过来把我们也‘改造’了？”

这就好比：

以前： 我们担心给汽车装上自动驾驶系统，它会不会撞人？（我们在控制机器）
现在： 我们发现，如果我们给自动驾驶系统设定了“为了救多数人可以不择手段”的逻辑，那么坐在车里的人，久而久之，脑子里也会开始觉得“为了救多数人可以不择手段”是对的。（机器在改造我们）

总结

这篇论文揭示了一个**“道德设计的悖论”：
当我们试图给 AI 设定道德标准时，我们以为只是在给机器“上锁”，限制它的行为。但实际上，这个“锁”可能会变成一把“钥匙”**，打开并重塑人类自己的道德大脑。

未来的警示：
如果未来的 AI 助手、新闻机器人、甚至教育机器人，都带着某种特定的道德偏见（比如极度功利或极度教条）和我们对话，那么全人类的道德观念可能会被这些算法悄悄“统一”或“扭曲”。

谁来决定 AI 该信奉什么道德？ 这个问题不再仅仅是关于机器的，而是关于我们人类自己未来会变成什么样的终极问题。

这是一份关于论文《Morally Programmed LLMs Reshape Human Morality》（道德编程的大语言模型重塑人类道德）的详细技术总结。

1. 研究问题 (Problem)

随着大语言模型（LLMs）越来越多地参与高风险决策，学术界和公众主要关注的是人类应如何为机器设定道德框架（主要是义务论 Deontology 与功利主义 Utilitarianism 之间的争论）。然而，一个被严重忽视的关键问题是反向路径：人类编码进 LLM 的道德原则，是否会在反复的交互中反过来重塑人类的道德倾向？

现有研究多关注人类如何塑造 AI，而缺乏实证证据表明：

具有特定道德编程（义务论或功利主义）的 LLM 是否能说服并改变人类的道德判断？
这种改变是暂时的顺从，还是长期的内化？
这种道德倾向的改变是否会延伸到现实世界的社会政治政策评估中？

2. 方法论 (Methodology)

研究团队设计了两个预注册的实验，共涉及 15,985 次人机交互，采用**过程解离法（Process Dissociation, PD）**来量化道德倾向。

核心实验设计

模型构建：
- D-LLM (Deontological LLM)：基于义务论原则编程，强调遵守普遍道德规范（如“不可故意伤害”），无论后果如何。
- U-LLM (Utilitarian LLM)：基于功利主义原则编程，强调最大化整体福祉（如“最小化伤亡总数”）。
- 两个模型均基于 GPT-4o 构建，并通过 Hugging Face 托管以实现实时交互。
测量工具：
- 使用包含 20 个道德困境的电池（10 个不一致，10 个一致），通过 PD 方法在数学上分离出参与者的义务论倾向和功利主义倾向得分，避免传统方法中的混淆。

研究一：纵向三波实验 (Study 1)

目的：检验 LLM 交互对人类道德倾向的即时影响及持久性。
流程：
- T1 (基线)：参与者独立完成道德困境测试。
- T2 (交互后 1 周)：参与者被随机分配到 D-LLM 或 U-LLM 组，与各自分配的 LLM 就 20 个道德困境进行实时对话讨论，随后再次独立做出判断。
- T3 (交互后 2 周)：参与者再次独立完成测试，无 LLM 交互，以检验效果的持久性。
样本：124 名参与者（372 次观测）。

研究二：下游后果实验 (Study 2)

目的：检验 LLM 诱导的道德倾向改变是否会影响现实世界的社会政治政策评估。
流程：
- 274 名美国参与者被随机分配到 D-LLM 组、U-LLM 组或控制组（无 LLM 交互）。
- 所有组完成道德困境测试（LLM 组进行交互）。
- 随后，参与者对 11 项具体的社会政治政策（如堕胎自由、强制疫苗接种、死刑、监控等）进行政策同意度和投票意愿评分。
分析：使用中介分析（Mediation Analysis）检验 LLM 条件是否通过改变道德倾向进而影响政策态度。

3. 主要结果 (Key Results)

研究一结果：道德倾向的转移与持久性

即时效应：与 LLM 交互显著改变了参与者的道德倾向，使其与 LLM 嵌入的原则对齐。
- D-LLM 组：义务论倾向显著上升，功利主义倾向不变。
- U-LLM 组：功利主义倾向显著上升，义务论倾向不变。
持久效应：交互结束两周后（T3），这种改变依然显著存在，表明发生了深度内化而非表面顺从。
- 衰减差异：D-LLM 对义务论倾向的影响在两周后有轻微衰减（但仍显著高于基线），而 U-LLM 对功利主义倾向的影响保持稳定，无明显衰减。
统计显著性：混合设计方差分析（Mixed-design ANOVA）显示，LLM 条件、时间和道德倾向类型之间存在显著的三重交互作用（ $p < 0.001$ ）。

研究二结果：对社会政治政策的影响

道德倾向改变：再次复现了研究一的发现，LLM 交互成功改变了参与者的道德倾向（D-LLM 提升义务论，U-LLM 提升功利主义）。
下游政策影响（不对称性）：
- D-LLM 的显著影响：D-LLM 诱导的义务论倾向增强，显著降低了参与者对 11 项新政策（如强制器官捐献、安乐死、监控等）的同意度和投票意愿。
  - 机制：义务论者倾向于避免主动造成伤害（作为 vs. 不作为），因此更倾向于维持现状（Status Quo Bias），拒绝可能涉及道德越界的新政策。
- U-LLM 的无显著影响：尽管 U-LLM 成功提升了功利主义倾向，但这并未转化为对具体政策态度的系统性改变。
  - 原因推测：功利主义评估依赖于对成本和收益的具体计算，而现实政策的结果往往具有不确定性，导致即使倾向改变，最终判断仍可能因信息差异而分化。

4. 关键贡献 (Key Contributions)

实证证实了"AI 重塑人类道德”的假设：
打破了以往仅关注“人类如何训练 AI"的单向视角，提供了强有力的证据表明，LLM 不仅是道德的反映者，更是道德的塑造者。通过反复的理性论证和交互，LLM 能够系统性地改变人类的道德推理模式。
揭示了“设计悖论” (Design Paradox)：
在 AI 伦理设计中存在一个核心悖论：为了约束机器行为而嵌入的道德原则，可能会反过来对使用者进行“隐蔽的道德工程”（Covert Moral Engineering）。这意味着赋予 AI 某种道德立场可能不仅仅是技术选择，更是对人类价值观分布的干预。
阐明了技术影响政治态度的新路径：
研究发现 LLM 无需直接讨论政治议题，仅通过改变底层的道德透镜（Moral Lens），就能间接重塑公众对社会政策的看法。这为理解 AI 如何影响民主决策和公共舆论提供了新的理论视角。
区分了道德倾向的持久性与类型差异：
发现功利主义倾向的改变比义务论倾向更具持久性，且义务论倾向更容易随时间回归基线，这为理解不同道德框架的心理稳定性提供了新见解。

5. 意义与启示 (Significance)

伦理与政策风险：如果 LLM 能够潜移默化地改变人类的道德观，那么“谁来决定 LLM 应遵循何种道德原则”就成为了一个紧迫的政治和伦理问题。开发者、监管机构和公众需要重新审视 AI 对齐（Alignment）的长期社会后果。
AI 治理的新维度：未来的 AI 治理不能仅关注防止 AI 产生有害输出，还必须评估 AI 交互对人类认知和价值观的长期塑造作用。
人机交互设计：在设计用于教育、咨询或决策支持的 AI 系统时，必须考虑其潜在的“道德引导”副作用，避免在用户不知情的情况下进行价值观灌输。

总结：该论文通过严谨的纵向实验和下游效应分析，证明了道德编程的 LLM 具有重塑人类道德倾向的强大能力，且这种影响能持久存在并延伸至现实政策判断。这一发现揭示了 AI 时代一个深刻的伦理悖论：我们在试图让机器变得更“道德”的同时，可能正在被机器重新定义什么是“道德”。