💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

本文表明，利用基于结果奖励的强化学习来微调预训练大语言模型，能够使其成为双重用途的认知模型，从而在实现强大预测准确性的同时，为人类的风险决策生成可解释的自然语言解释。

原作者： Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：教 AI “大声思考”

想象你有一个超级聪明的学生（大语言模型，简称 LLM），他非常擅长预测你下一步会做什么。如果你给他一道难题，他通常能给出正确的答案。但如果你问他为什么得出这个答案，他可能会说：“我就是知道的，”或者给出一个模糊不清、不太合逻辑的解释。

在心理学领域，科学家们希望模型不仅能预测行为（预测人类行为），还能解释人类为何做出这些选择（揭示认知机制）。

这篇论文探讨的是：我们能否教会一个 AI 不仅能预测人类的决策，还能以一种真正解释人类心理学的方式进行“大声思考”？

实验： “风险选择”游戏

为了测试这一点，研究人员使用了一个经典的心理学游戏，叫做“风险选择”。想象你面临两个选项：

选项 A： 你稳拿 27 美元。
选项 B： 你有 90% 的机会得到 25 美元，但有 10% 的机会得到 92 美元。

大多数人必须在稳妥的赌注和冒险的博弈之间做出选择。研究人员拥有一个包含数千名真实人类进行此类选择的海量数据集。他们想训练一个 AI 来观察这些选项并说道：“70% 的人会选选项 A，30% 的人会选选项 B。”

三种训练方法

研究人员尝试了三种不同的方式来教授 AI 完成这项任务，就像三种不同的教练风格：

“背诵者”（标准训练）： 他们向 AI 展示了成千上万个问题和正确答案的例子。AI 学会了模仿模式。它擅长猜测百分比，但并没有真正理解为什么。这就像一个只背下了答案解析，却无法解释数学原理的学生。
“掩码背诵者”（半人马式）： 这是第一种方法的进阶版，AI 被迫只能关注答案中的数字，忽略其余文本。它也擅长猜测，但仍然无法生成好的解释。
“带计分板的教练”（强化学习 - RL）： 这是全场的明星。在这里，AI 被允许在给出最终答案之前，写出一段“思维链”（逐步推理过程）。
- 转折点： AI 不仅仅因为答对而获得分数。它的得分取决于其最终预测与真实人类行为的接近程度。
- 结果： 为了赢取分数，AI 意识到它需要像心理学家一样去“思考”。它开始写下类似“人们是风险厌恶的”或“他们在计算期望值”之类的话。通过试图赢得比赛（匹配人类数据），它意外地学会了将人类遵循的心理学规则用语言表达出来。

结果：AI 变成了心理学家

研究人员发现，“带计分板的教练”（RL）方法之所以成为游戏规则的改变者，有两个原因：

预测能力强： 它在猜测人类选择方面与其他方法一样出色。
解释能力强： 它的“大声思考”部分（思维链）确实是高质量的心理学解释。
- 类比： 想象其他方法就像一个只说“会下雨”的天气应用。而 RL 方法则像一位气象学家，他会说：“会下雨，因为冷锋正在与暖空气碰撞，从而形成了低压区。”
- AI 开始使用真实的心理学概念，如风险厌恶（人们讨厌损失）、期望值（对概率进行数学计算）和确定性效应（人们热爱稳操胜券）。

“聪明度”的要求

不过，这里也有一个限制条件。研究人员在更小、更弱的 AI 模型上尝试了同样的“教练”方法。

类比： 想象尝试把复杂的策略教给一个幼儿和一个大学生。幼儿（小模型）即便有了教练，也无法理解其中的数学或策略。它只会感到困惑并给出错误的答案。
发现： “教练”方法之所以奏效，是因为基础 AI 本身已经足够聪明，能够理解这些概念。如果 AI 起初就无法理解“期望值”这个概念，你就无法训练它去解释它。

“变幻形态”测试

为了证明 AI 不仅仅是在背诵固定的短语，研究人员改变了游戏的规则。他们没有使用真实的人类数据，而是喂给 AI 一组由一个只关心数学（期望值）的机器人生成的数据。

结果： AI 立即改变了它的“思考方式”。它不再谈论人类的恐惧和风险厌恶，而是开始纯粹地讨论数学和逻辑。
启示： 这证明了 AI 并不是在机械地复制剧本；它实际上在根据训练数据的不同而调整其推理过程。它确实在真正“学习”它所参与的特定游戏的规则。

总结

这篇论文表明，如果你训练一个聪明的 AI 使用奖励系统（就像电子游戏得分一样）来预测人类行为，它会自然而然地开始使用人类所遵循的心理学规则来进行“大声思考”。它将 AI 从一个简单的猜测者转变为一个能够解释我们为何做出这些选择的模型。然而，这只有在 AI 本身足够聪明、能够理解这些概念的前提下才会奏效。

技术摘要：使用强化学习训练大语言模型以解释人类决策

问题陈述

认知建模面临的一个核心挑战是，如何开发出不仅能高精度预测人类行为，还能为底层认知机制提供可解释见解的系统。虽然在规模化行为数据上训练的神经网络模型通常能获得强大的预测性能，但它们往往表现为“黑盒”，难以提供对所捕捉到的认知过程的理论理解。尽管最近的研究（例如 Centaur 模型）已经证明了大语言模型（LLM）可以通过微调有效地预测人类行为，但这些模型往往缺乏生成关于“为何”做出此类预测的显式自然语言解释的能力。本文旨在解决平衡预测准确性与可解释性的困境，探索 LLM 是否可以作为兼具预测与解释功能的双重用途认知模型。

研究方法

作者提出了一个框架，用于训练 LLM 生成显式的推理轨迹（思维链，或称 CoT），以解释人类的风险决策。本研究聚焦于人类风险选择领域（即在安全选项与风险选项之间的决策），并使用了 choices13k 数据集（Peterson et al., 2021）。

实验设置

基座模型使用的是 Qwen-2.5-7B-Instruct。作者比较了应用于低秩自适应（LoRA）模块的三种不同的后训练策略：

监督微调 (SFT)： 对格式化为 JSON 的人类选择数据进行标准的自回归训练。
Centaur 式 SFT： 一种变体，其中仅对对应于人类选择比例的 token（由特殊括号包围）计算损失，在训练期间屏蔽掉推理 token。
强化学习 (RL)： 作者采用了基于结果奖励的 组相对策略优化 (GRPO)。

强化学习方法

在 RL 设置中，模型针对给定问题生成多个候选补全内容（包括 CoT 推理和最终的 JSON 预测）。其奖励函数是严格基于结果并与人类行为的真实情况挂钩的：

正确性奖励： 定义为 $1 - |o_B - p_B|$ ，其中 $o_B$ 是模型预测的选项 B 概率， $p_B$ 是人类选择选项 B 的经验比例。
格式奖励： 对于生成结构有效的 JSON 输出（即预测紧随推理之后）给予奖励（最高 0.5）。
连贯性约束： 如果模型的预测概率之和不为 1 或超出 [0, 1] 范围，则会对模型进行惩罚。

RL 训练使用每提示词 12 个候选样本的组大小，并采用了 “GRPO Done Right” 算法，该算法通过省略基于标准差的奖励归一化，以防止产生针对问题难度的偏差。

控制实验

为了验证推理轨迹的可适应性，作者进行了以下控制实验：

数据控制： 用由期望值最大化模型生成的合成数据替换人类数据，以观察 CoT 是否能适应新的数据结构。
模型控制： 使用更小、更弱的基座模型（Gemma-2-2B-Instruct）复制实验，以测试对模型容量的依赖性。

关键结果

预测性能

相当的准确度： 在最终检查点，经过 RL 训练的模型实现的预测准确度（测试集上的均方误差）与标准 SFT 和 Centaur 式 SFT 相当（RL 的 $M \approx 0.0148$ ，而 SFT 为 $0.0144$）。统计检验显示，不同方法之间没有显著差异。
学习效率： 相对于处理的学习样本数量，RL 在减少预测误差方面比 SFT 更快，但由于每个步骤需要生成多个候选样本，其计算成本也更高。
模型容量依赖性： 当应用于较弱的 Gemma-2-2B 模型时，RL 的表现明显逊于 SFT 方法。较弱的模型未能生成关键的认知机制——“期望值计算”，从而导致预测性能不佳。

推理质量 (CoT)

推理的涌现： 与未被明确训练生成推理的 SFT 和 Centaur 模型不同，RL 模型能够一致地在最终预测前生成详细的 CoT 推理。
认知机制： 对 RL 生成的 CoT 进行分析发现，特定的认知机制得以涌现，其中最显著的是 期望值计算 (Expected Value computation) 和 风险厌恶 (Risk Aversion)，这两者占据了约 29–36% 的推理 token。其他识别出的机制还包括损失厌恶、确定性效应和概率加权。
适应性： 在数据控制实验中，当在合成的期望值数据上进行训练时，RL 模型将其推理转向侧重于期望值计算，这表明 CoT 会适应训练数据的结构，而非保持静态。
因果影响： 一项 “CoT 交换” 实验表明，使用 RL 模型的 CoT 来引导基座模型能显著降低预测误差；而使用基座模型原始的 CoT 配合 RL 模型则会增加误差。这表明 RL 生成的推理与改进的预测之间存在因果联系。
人工评估： 在小规模的人工评估中，专家认为 RL 模型的 CoT 比基座模型的 CoT 更合理的比例为 61.5%。

意义与主张

本文声称证明了 基于结果奖励的强化学习 (RLVR) 可以从 LLM 中诱导出高质量、可解释的推理轨迹，这些轨迹可以作为人类决策的言语理论。

双重用途建模： 本研究确立了 LLM 可以作为既能预测人类行为，又能提供驱动这些行为的认知机制之自然语言解释的认知模型。
理性 vs. 启发式： 研究结果表明，与一些强调启发式和偏差的文献不同，当通过这些模型进行观察时，理性特征化（特别是期望值计算和风险厌恶）可能是解释人类风险选择的主导力量。
诱导假设： 结果支持了 “诱导假设”，即 RL 并不一定是在教授新的能力，而是挖掘并放大了预训练 LLM 中已存在的潜在理论知识。因此，这种方法的成功高度依赖于基座模型的容量；较弱的模型无法诱导出必要的推理机制。
可扩展性： 该方法提供了一种可扩展的替代方案，可以取代人工认知建模或专家驱动的模型发现，无需显式的符号编程或针对每个决策的人机交互反馈，即可自动从大规模行为数据中生成可解释的理论。

作者总结道，虽然 RL 后训练在计算上比 SFT 更昂贵，但它为开发既具有定量准确性又具有定性可解释性的认知模型提供了一条独特的路径。