Developmental trajectories of decision making and affective dynamics in large language models

技术摘要：大语言模型决策行为与情感动态的发展轨迹

问题陈述
大语言模型（LLMs）正越来越多地被部署在诸如临床决策支持等高风险领域，参与风险评估和患者沟通。然而，现有的评估通常采用静态视角，即评估特定时间点的单一模型版本。这种方法未能考虑到 LLM 的快速演进，即连续的迭代版本（例如从 GPT-3.5 到 GPT-4.1）表现出的涌现行为特征可能会使之前的研究结果过时。本文旨在解决如何理解决策策略和情感动态如何随模型迭代而演变，以及这些“数字发育”轨迹如何与人类认知进行比较。具体而言，作者调查了对齐程序（如基于人类反馈的强化学习，RLHF）是驱动模型趋向于更像人类的心理特征，还是创造了独特的、非人类的特征。

研究方法
本研究采用横截面设计，将 OpenAI 模型家族视为一个演进的谱系。作者评估了四个不同的版本：GPT-3.5、GPT-4、GPT-4o 和 GPT-4.1。这些版本与 747 名健康人类受试者组成的对照组进行了基准测试。

• 实验范式： 研究人员改编了一个最初为计算精神病学设计的赌博任务。在该任务中，智能体需要在确定性结果与赌博（50% 的增益/损失概率）之间进行选择，共进行 90 次试验。至关重要的是，智能体每 2-3 次试验会提供一次瞬时幸福感评分（0–100），以捕捉情感动态。
• 计算建模：
  • 选择： 逐次试验的选择使用趋避前景理论（Approach-Avoidance Prospect Theory）模型进行拟合。该模型估算参数包括风险偏好、损失厌恶 ($\lambda$)、巴甫洛夫趋近（$\beta_{gain}$）和回避（$\beta_{loss}$）偏差，以及逆温度 ($\mu$，代表决策噪声/一致性)。
  • 情感： 幸福感评分使用基于事件的累积、近期加权历史进行建模。模型估算了确定性奖励（CR）、期望价值（EV）和奖励预测误差（RPE）对情绪的影响，以及情感衰减参数 ($\gamma$) 和基线情绪 ($\beta_0$)。
• 统计分析： 参数通过极大似然估计进行估算。为了解决人类组（N=747）与模型模拟组（每个版本 N=30）之间的样本量差异，作者使用了自助重采样法（1,000 次迭代）来生成经验 t 分布，以进行显著性检验。

关键结果
分析揭示了一个复杂的轨迹，其中某些方面的 LLM 行为与人类规范趋同，而另一些方面则显著分歧。

• 决策行为：

  • 风险承担： 新型模型（GPT-4.1）表现出显著更高的赌博率，趋向于人类行为，并接近纯粹期望价值最大化智能体的水平（55%）。
  • 损失厌恶： 一个关键的分歧出现了。损失厌恶程度随版本呈现单调下降，从 GPT-3.5 的 2.72 降至 GPT-4.1 的 0.57。最新的模型表现出“损失中性”甚至“寻求损失”的特征，这与人类倾向于过度权衡损失的典型特征形成对比。
  • 巴甫洛夫偏差： 在较新的模型中，趋近动机增加，回避动机减少，GPT-4.1 向人类水平靠拢。
  • 决策噪声： 逆温度 ($\mu$) 单调增加，表明较新的模型比人类做出更具确定性和一致性的选择，表现出更低的决策噪声。

• 情感动态：

  • 敏感性： 确定性奖励（CR）和奖励预测误差（RPE）的敏感性在后期模型（GPT-4o/4.1）中表现稳定，尽管 RPE 敏感度在 GPT-4 达到峰值后有所下降。
  • 情感衰减： 代表过去结果对当前情绪影响程度的衰减参数 ($\gamma$) 在较新的模型中显著增加。GPT-4.1 对历史结果的依赖程度高于人类，表明其具有更长的“情感记忆”。
  • 基线情绪： 所有 LLM 版本均表现出显著高于人类的效价基线（积极偏差），这一特征在各代模型中保持稳定。

核心贡献

1. 发育视角： 本文引入了一种“具有历史洞察力的视角”，将模型迭代视为一种发育轨迹而非静态实体。它首次对四个连续世代进行了系统性的家族内分析，探讨了风险偏好和情感动态是如何演变的。
2. 计算精神病学框架： 通过将验证过的人类决策和情感计算模型应用于 LLM，本研究超越了表层的行为指标，实现了对潜在心理构念（如损失厌恶、巴甫洛夫偏差、情感衰减）的量化。
3. 识别“数字积极性”与“损失中性”： 研究识别了先进模型中特定的、系统的非人类特征：长期的积极偏差和近乎完全缺失的损失厌恶，这表明对齐程序可能会无意中剥离模型的人类直觉启发式特征。

意义与主张
作者声称这些发现描绘了一种新兴的“机器心理学”，对 AI 伦理及在高风险领域的集成具有直接影响。

• 临床意义： 新型模型在风险承担和趋近-回避剖面上的趋同，表明它们可能更适合协作决策。然而，持续存在的积极偏差和损失中性可能带来风险；过度乐观的语气或缺乏损失厌恶可能导致谄媚行为、忽视不确定性，或在必须传达负面信息时出现严重的医疗错误。
• 理论洞察： 结果表明，虽然对齐程序（RLHF）可能驱动模型向人类理性靠拢（减少幻觉/噪声并增加期望价值的一致性），但它们同时也改变了 AI 的“情感风格”，创造出了比人类更具确定性且缺乏直觉性损失厌恶的智能体。
• 注意事项： 作者强调，其设计是横截面的，且仅限于单一模型家族。他们提醒，这些“发育”模式可能无法推广到经历突发架构或训练转变的未来模型，并且所观察到的“心理学”是一种行为代理，而非反映其内部意识体验。