Stimulus prior and reward probability differentially affect response bias in perceptual decision making

该研究通过五项大鼠听觉辨别实验发现，奖励比例对决策偏好的影响显著强于刺激呈现比例，且现有基于检测理论、匹配律和强化学习的模型均无法解释这种差异，表明受试者可能显式地表征了先验刺激概率或完整的刺激分布。

要点

这篇论文就像是在研究大老鼠是如何做决定的，特别是当它们面对“猜声音”游戏时，是如何调整自己的“赌注”策略的。

为了让你更容易理解，我们可以把这项研究想象成在一个充满噪音的赌场里玩老虎机。

1. 核心故事：老鼠的“猜谜游戏”

想象一下，你是一只老鼠，面前有两个按钮（左和右）。

• 机器会播放两种不同的声音（比如高音和低音）。
• 如果你听到高音就按左键，听到低音就按右键，就能得到水喝（奖励）。
• 但是，机器有时候会“作弊”：
  • 情况 A（刺激概率）： 它故意多放高音，少放低音。
  • 情况 B（奖励概率）： 它虽然放的声音一样多，但按左键赢水的几率大，按右键赢水的几率小。

老鼠的目标是什么？ 当然是喝到最多的水。
老鼠该怎么做？ 它需要调整自己的“心理门槛”（决策标准）。

• 如果高音经常来，老鼠就会想：“反正高音多，我干脆多按左键，哪怕猜错了也无所谓，因为猜对的机会大。”
• 如果按左键更容易赢水，老鼠也会想：“不管声音是什么，我都要多按左键，因为这样更划算。”

2. 科学家发现了什么？（主要结论）

科学家做了五个实验，想看看这两种“作弊”方式（声音多 vs. 赢钱多）对老鼠的影响是不是一样的。结果发现了一个非常有趣的**“双标”现象**：

🏆 结论一：钱（奖励）比声音（概率）更有说服力

• 比喻： 想象你在玩一个游戏。
  • 场景 1： 游戏里“石头”出现的频率是“剪刀”的 4 倍。
  • 场景 2： 游戏里“石头”和“剪刀”出现频率一样，但出“石头”赢 4 块钱，出“剪刀”只赢 1 块钱。
• 结果： 老鼠在场景 2（奖励不同）里，改变得快得多、彻底得多！它们会疯狂地偏向那个能赢更多钱的选择。
• 而在场景 1（只是声音多）里，老鼠虽然也会调整，但调整得慢吞吞、不情愿。它们似乎觉得：“哦，那个声音多，但我还是得仔细听听，不能太随便。”
• 科学解释： 老鼠的大脑里，“奖励”的学习速度是“声音频率”学习速度的 10 倍以上！就像是你听到有人喊“有免费午餐”（奖励）时，你会立刻冲过去；但听到“今天下雨概率大”（声音频率）时，你可能只是稍微带把伞，反应没那么剧烈。

🤯 结论二：当“声音多”和“钱多”打架时，钱赢了

在第三个实验里，科学家故意让两者“对着干”：

• 让“高音”出现得特别多（比如 4 次），但按左键（对应高音）赢钱的几率却很低。
• 让“低音”出现得少（比如 1 次），但按右键（对应低音）赢钱的几率很高。
• 结果： 老鼠完全无视了声音的频率，死死地追着高奖励跑。它们不管那个声音多不多见，只要按那个键能喝到水，它们就按那个键。
• 这意味着： 老鼠的大脑并不是简单地计算“哪个声音多”，它们似乎明确地知道“哪个选择回报更高”，并且这个信息压倒了“哪个声音更常见”。

💧 结论三：水的总量（奖励密度）不重要

科学家还测试了：如果每次赢水的概率都很低（比如只有 10% 能赢），或者很高（比如 90% 能赢），老鼠的学习速度会变吗？

• 结果： 不会。 不管水多难喝到，还是很容易喝到，老鼠调整策略的速度都是一样的。
• 比喻： 就像你学骑自行车。不管路上坑多坑少（奖励密度），你学会平衡的速度主要取决于你摔了多少次（奖励的比率），而不是路上坑的总数。

3. 为什么现有的“电脑模型”都失败了？

科学家用了三种流行的数学模型（就像三种不同的“大脑模拟器”）来预测老鼠的行为：

1. 模型 A（信号检测论）： 假设老鼠只是机械地调整门槛。
2. 模型 B（匹配定律）： 假设老鼠根据过去的奖励比例来分配行为。
3. 模型 C（强化学习）： 假设老鼠像玩电子游戏一样，通过试错来更新“动作价值”。

尴尬的是： 这些模型在老鼠只面对“声音多”或只面对“钱多”时，还能勉强猜对。但一旦让两者打架（实验 3），这些模型就彻底懵了。

• 原因： 这些模型都假设老鼠是“瞎子”，它们不知道声音出现的概率（先验概率），只记得“按这个键赢了多少次”。
• 真相： 老鼠其实心里有本账！它们不仅记得“按左键赢了多少次”，还记得“高音出现了多少次”。它们把这两条信息结合起来，做出了更聪明的决定。现有的模型因为没把“声音出现的概率”算进去，所以算不准。

4. 总结与启示

这篇论文告诉我们：

• 老鼠（甚至人类）在做决定时，对“奖励”的反应比对“概率”的反应要敏感得多、快得多。
• 我们的大脑不仅仅是在统计“过去发生了什么”，我们似乎明确地知道“哪种情况更可能发生”以及“哪种选择更划算”，并且这两者在大脑里是分开处理的。
• 未来的 AI 或心理学模型，如果想要真正模拟生物的智慧，就不能只盯着“奖励”看，必须把“对世界概率的感知”也加进去。

一句话总结：
老鼠不是只会数数的计算器，它们更像是精明的赌徒：如果赢钱的几率变了，它们会立刻改主意；如果只是某种声音变多了，它们只会稍微动一动念头。而且，它们心里清楚这两种变化的区别，现有的简单模型还学不会这一招。

技术摘要

这是一份关于论文《Stimulus prior and reward probability differentially affect response bias in perceptual decision making》（刺激先验和奖励概率对感知决策中的反应偏差产生差异化影响）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
信号检测理论（Signal Detection Theory, SDT）是分析感知决策的标准模型。该理论假设受试者在双刺激、双选择任务中，通过将证据变量与一个静态的决策标准（criterion）进行比较来做决定。然而，大量研究表明，决策标准并非静态，而是会随着试次（trial-by-trial）波动，并受到实验操纵（如刺激呈现概率 SPP 和奖励概率 RP）的影响。

现有局限：
尽管已知 SPP（刺激呈现概率）和 RP（奖励概率）都会影响决策标准，但目前的理论模型（如匹配律、强化学习模型等）大多关注稳态行为，缺乏对试次间标准更新机制的清晰描述。更重要的是，现有的模型未能解释 SPP 和 RP 操纵对行为影响的差异性。

研究目标：
本研究旨在通过五个实验，系统地探究并比较 SPP 和 RP 对大鼠感知决策中反应偏差（即决策标准）的独立及交互影响，并评估现有的三种试次间学习模型（Modified KDB, DT, RL）在解释这些差异化效应方面的能力。

---

2. 方法论 (Methodology)

实验对象与任务：

• 对象： 9 只雄性大鼠。
• 任务： 双刺激、双选择的听觉辨别任务。大鼠需根据听到的音调（S1 或 S2）选择左或右的鼻孔（R1 或 R2）。
• 刺激： 由 12 个纯音组成的和弦，中心频率不同。

实验设计（共 5 个实验）：

1. 实验 1 (SPP 操纵)： 改变 S1 和 S2 的呈现比例（如 1:4, 1:2, 1:1 等），奖励概率保持恒定（0.5）。
2. 实验 2 (RP 操纵)： 刺激呈现比例恒定（1:1），改变 S1 和 S2 对应的奖励概率（如 1:4, 1:2 等）。
3. 实验 3 (SPP 与 RP 对抗)： 同时操纵 SPP 和 RP，且两者方向相反（例如 SPP 为 1:2 时，RP 为 2:1），以此测试哪种因素主导行为。
4. 实验 4 (奖励密度)： 保持 SPP 和 RP 比例对称（1:1），仅改变整体奖励密度（Global Reward Rate，即平均奖励概率）。
5. 实验 5 (RP 与奖励密度交互)： 同时改变 RP 比例和奖励密度，探究两者交互作用。

数据分析与建模：

• 稳态分析： 使用“每会话一个标准”（One-criterion-per-session, OCPS）模型拟合 SDT 参数（$d'$ 和 $c$），以及拟合 Davison-Tustin (DT) 定律。
• 试次间模型拟合： 将三种模型拟合到原始数据，并进行前向模拟（Forward Simulation）以验证模型生成行为的能力：
  1. Modified KDB 模型： 基于 Kac, Dorfman & Biderman 的模型，引入漏泄积分参数（leaky integration, $\gamma$）防止标准漂移，仅在 rewarded 试次更新标准。
  2. DT 模型： 基于 Davison & Tustin 的稳态定律扩展出的试次间更新模型，更新步长依赖于当前标准位置。
  3. RL 模型： 基于 Lak et al. (2020b) 的强化学习模型，基于动作价值（Action Value）和奖励预测误差更新。
• 评估指标： 负对数似然（NLL）、贝叶斯信息准则（BIC）以及模拟行为与真实数据的匹配度。

---

3. 关键发现与结果 (Key Results)

1. SPP 与 RP 对反应偏差的差异化影响：

• 实验 1 & 2 对比： 虽然 SPP 和 RP 的不对称都会导致反应偏向高概率/高奖励选项，但RP 操纵对决策标准的影响显著强于 SPP 操纵。在相同的比例变化下，RP 变化引起的标准偏移更极端。
• 模型参数差异： 在模型拟合中，当 RP 被操纵时（实验 2），所有三个模型的学习率参数（KDB 中的 $\Delta$，DT 中的 $\Delta_{max}$，RL 中的 $\alpha$）均比 SPP 操纵时（实验 1）高出一个数量级以上（>10 倍）。这表明动物在奖励概率变化时学习速度更快。
• 实验 3 结果（对抗实验）： 当 SPP 和 RP 以相反方向操纵时（理论上最优标准应为 0），动物并未选择中性标准，而是表现出强烈偏向高奖励概率一侧的偏差。这直接证明了 RP 的权重远大于 SPP。
• 模型失效： 现有的三种模型（Modified KDB, DT, RL）均无法准确模拟实验 3 中的行为。因为根据这些模型的逻辑，当 $\pi_1\rho_1 = \pi_2\rho_2$ 时，平衡标准应保持不变（通常为 0），无法解释动物为何表现出由 RP 主导的偏差。

2. 奖励密度（Reward Density）的影响：

• 实验 4 & 5 结果： 改变整体奖励密度（即平均奖励率）没有对动物的学习速度或稳态标准产生系统性影响。
• 模型拟合： 虽然引入“多学习率”版本（不同奖励密度对应不同学习率）在统计上（BIC）略微改善了模型拟合度，但拟合出的学习率数值在不同密度条件下没有呈现任何规律性（有时高密度对应高学习率，有时则相反）。这表明奖励密度本身并不是调节学习率的关键因素。

3. 模型表现总结：

• Modified KDB 和 DT 模型： 能较好地拟合实验 1 和 2 的数据，但在实验 3 中完全失败。
• RL 模型： 在实验 2（RP 变化）中表现尚可，但在实验 1（SPP 变化）中无法捕捉到缓慢的适应过程，且在实验 3 中同样失败。
• 核心缺陷： 所有模型都假设刺激先验（Stimulus Prior）是固定的或未被显式表示，导致无法解释 SPP 和 RP 的差异化效应。

---

4. 主要贡献 (Key Contributions)

1. 揭示了 SPP 与 RP 的解耦效应： 首次在大鼠感知决策任务中明确证明，尽管 SPP 和 RP 在信息论上对最优决策标准有相同的理论贡献，但在实际生物行为中，奖励概率（RP）对决策标准的调节作用远强于刺激呈现概率（SPP）。
2. 量化了学习率的差异： 通过模型拟合发现，动物在应对奖励概率变化时的学习速率是应对刺激概率变化时的 10 倍以上，揭示了生物体对“奖励反馈”比“刺激频率”更敏感。
3. 挑战了现有理论模型： 证明了当前主流的基于 SDT 的试次间更新模型（包括 KDB, DT 和 RL 变体）均存在局限性，特别是它们无法解释当 SPP 和 RP 发生冲突时的行为（实验 3）。
4. 否定了奖励密度对学习率的调节作用： 在感知不确定性任务中，未发现整体奖励密度（Global Reward Rate）对适应速度有系统性影响，这与某些基于非感知任务（如价值选择）的研究结论不同。

---

5. 意义与未来方向 (Significance & Future Directions)

理论意义：

• 本研究指出，现有的感知决策模型过于简化，未能区分“刺激先验”（Stimulus Prior）和“奖励结构”（Reward Structure）在神经计算中的不同权重。
• 动物似乎不仅根据奖励结果更新策略，还显式地表示或追踪刺激分布（Stimulus Distributions）。现有的模型假设刺激分布是固定的或未被追踪，这是导致模型在实验 3 中失效的根本原因。

未来方向：

• 模型改进： 未来的模型需要引入可塑的刺激先验表示机制（Malleable representation of stimulus priors），即模型需要能够动态学习和更新对刺激概率分布的估计，而不仅仅是更新决策标准。
• 神经机制探索： 需要进一步研究大脑（特别是涉及多巴胺和纹状体的回路）如何分别编码和整合 SPP 与 RP 信息，以解释为何 RP 的权重如此之大。
• 人类研究对比： 此前人类研究（Maddox et al.）发现 SPP 操纵往往产生更优的偏差，而 RP（通过奖励量操纵）产生次优偏差。本研究在大鼠中发现了相反的模式（RP 效应更强），提示物种差异或操纵方式（奖励概率 vs 奖励量）可能导致不同的行为策略，值得进一步比较研究。

结论：
成功的试次间决策模型必须能够显式地表示并区分刺激先验概率和奖励概率，并解释为何生物体在感知决策中对奖励线索表现出比刺激频率线索更高的敏感性和更快的学习速度。