Dynamic distortion of inferred reward probability shapes choice over time

该研究通过形式化将选择视为对时间和奖励概率不确定性的推断问题，揭示了人类在动态奖励环境中虽趋近最优但仍存在对推断奖励概率的系统性扭曲，并发现了奖励概率而非单纯时间流逝会调节时间不确定性的两个关键计算原则。

要点

这篇论文研究了一个非常有趣的问题：当我们面对不确定的未来时，大脑是如何根据“时间”和“奖励”来做决定的？

想象一下，你正在玩一个游戏，或者在现实生活中面临一个选择：是现在行动，还是再等一等？

🎮 核心场景：一场“时间赛跑”

研究人员设计了一个简单的游戏：

1. 开始信号：屏幕上出现一个“准备”信号（比如两个棋盘格）。
2. 等待：你需要等待一段时间。这段时间是随机的，短则 0.4 秒，长则 1.4 秒。
3. 行动信号：当“开始”信号变成“行动”信号（棋盘格翻转）时，你必须立刻按左键或右键。
4. 奖励规则：
   • 按左键：如果按得早，奖励概率高；按得晚，奖励概率低。
   • 按右键：如果按得晚，奖励概率高；按得早，奖励概率低。
   • 关键点：在某个特定的时间点，左右两边的奖励概率正好各占 50%。在这个点之前，选左边划算；过了这个点，选右边划算。

挑战在于：游戏过程中没有任何提示告诉你现在具体过了几秒。你必须靠内心的时钟来估算时间，并据此判断现在选哪边更可能赢钱。

---

🧠 大脑的两个“秘密武器”

研究人员发现，人类的大脑在处理这种“时间 + 奖励”的复杂任务时，并没有像教科书里说的那样完美，而是用了两个非常聪明的（但有点“歪”的）策略：

1. 策略一：把“可能性”变成“更极端的决定” (动态扭曲)

通俗解释：
假设你心里算出“现在选左边有 60% 的把握赢”。

• 理性的做法：既然有 60% 把握，那你就按 60% 的频率去选左边（比如 10 次里有 6 次选左）。
• 大脑的实际做法：大脑觉得"60% 还不够稳”，于是它把这种感觉放大了。它把 60% 的把握“扭曲”成了 80% 甚至 90% 的把握。
  • 如果把握是 30%，大脑会觉得“这太危险了”，于是几乎不选。
  • 如果把握是 70%，大脑会觉得“这很稳”，于是几乎全选。

🌰 比喻：
这就像你在看天气预报。

• 客观事实：明天有 60% 的概率下雨。
• 你的大脑：把它扭曲成“肯定会下雨！”或者“完全不会下雨！”。
• 结果：你要么带伞，要么不带伞，很少会“半带半不带”。
  研究发现，大脑通过这种**“非黑即白”的放大机制**，虽然损失了一点点理论上的完美分数，但能让我们在面对模糊信息时，做出更果断、更高效的决定。

2. 策略二：重要的时刻，时间感更精准 (奖励驱动的时间感)

通俗解释：
传统理论认为，时间过得越久，我们对时间的感觉就越模糊（就像韦伯定律说的，时间越长，误差越大）。
但这篇论文发现：不是这样的！

大脑对时间的精准度，不取决于“过了多久”，而取决于**“那个时刻有多重要（奖励多高）”**。

• 当某个时间点奖励很高（比如正好是左右切换的关键点附近），大脑的“内部时钟”会突然变得超级精准，像高清摄像机一样。
• 当某个时间点奖励很低（比如刚开始或快结束时，选哪边都差不多），大脑的“内部时钟”就会变得模糊，像开了美颜滤镜一样，时间感变得很随意。

🌰 比喻：
想象你在看一场足球赛。

• 比赛刚开始（0 分钟）：进球概率低，你看得很放松，甚至可能看手机，对时间的流逝感觉模糊。
• 比赛最后 1 分钟（绝杀时刻）：进球概率极高，奖励巨大！这时候你的眼睛瞪得大大的，每一秒都感觉被拉长了，你的时间感变得极度敏锐。
• 结论：大脑会根据“利益”来调节时间的分辨率。越重要的时刻，时间越清晰。

---

💡 总结：我们是如何做决定的？

这篇论文告诉我们，人类在做决定时，并不是像计算机那样冷冰冰地计算概率。我们的大脑是一个**“智能的扭曲者”**：

1. 它会把模糊的概率“ sharpen"（锐化）：把模棱两可的感觉变成坚定的行动，让我们不再犹豫不决。
2. 它会根据“利益”来调节时间感：在关键时刻，它会调动所有资源让时间感变得精准；在无关紧要的时刻，它就“摸鱼”放松。

一句话总结：
当我们面对不确定的未来时，大脑不会死板地等待完美信息，而是主动地“脑补”和“放大”，把模糊的时间线索变成清晰的行动指南，并且只在最有价值的时刻才开启“超高清时间模式”。这是一种为了在复杂世界中生存而进化出的高效生存策略。

技术摘要

论文技术总结：推断奖励概率的动态扭曲如何塑造随时间变化的选择

1. 研究背景与核心问题 (Problem)

在自然决策中，许多选择是由离散事件触发的，其奖励概率随时间动态变化，且事件之间缺乏连续的感官证据。

• 核心挑战：代理（Agent）必须在没有外部感官输入的情况下，联合推断两个潜在变量：经过的时间（elapsed time）和随时间变化的奖励概率（reward probability）。
• 现有框架的局限：
  • 传统的证据积累模型（Evidence-accumulation models）依赖于连续的感官输入，不适用于此场景。
  • 强化学习（RL）模型通常将时间不确定性视为固定状态，未明确阐述内部时间估计的不确定性如何影响动态奖励概率到选择的映射。
  • 经典的时间感知理论（如韦伯定律）假设时间不确定性随持续时间线性增加，但近期研究表明这可能受任务相关的概率密度调节。
• 研究目标：揭示在时间间隔内，代理如何结合“时间估计的不确定性”与“奖励概率的不确定性”来做出最优选择，并量化这种选择过程中的计算原则。

2. 方法论 (Methodology)

实验范式：Set-Go 任务

• 任务流程：
  1. Set 提示：出现一个警告信号（Set cue），确立时间参考点。
  2. Go 时间：经过一个从均匀分布 $[0.4s, 1.4s]$ 中随机抽取的时间间隔。
  3. Go 提示：出现目标信号（Go cue），参与者必须在两个选项（左/右按钮）中做出选择。
  4. 反馈：立即给予视觉反馈（奖励/无奖励）。
• 动态奖励结构：
  • 奖励概率随 Go 时间动态变化。
  • 左选项：奖励概率随时间增加而下降。
  • 右选项：奖励概率随时间增加而上升。
  • 两者之和恒为 1。存在一个交叉点（Crossover point），在此处左右选项的奖励概率均为 0.5。
• 实验设计：
  • 12 名参与者，分为两组，分别完成 4 种不同奖励曲线斜率和交叉点位置的条件。
  • 总分析试次：31,931 次。

计算模型：动态对数几率线性算子 (DLLO)
为了量化从客观奖励概率到主观选择概率的映射，作者提出了 DLLO (Dynamic Log-Odds Linear Operator) 模型：
$$\text{DLLO}(\pi(p(t))) = \gamma \cdot \text{Lo}(p(t)) + (1 - \gamma) \cdot \text{Lo}(p_0)$$
其中：

• $p(t)$：客观奖励概率。
• $\pi(p(t))$：主观选择概率。
• $\text{Lo}(x) = \log(\frac{x}{1-x})$：对数几率变换。
• $\gamma$：斜率参数（控制扭曲程度）。
  • $\gamma = 1$：一对一映射（模仿策略，Veridical mapping）。
  • $\gamma \to \infty$：阶跃函数（最优策略，Step function）。
  • $1 < \gamma < \infty$：S 形扭曲（Sigmoidal distortion）。
• $p_0$：固定点参数（交叉点偏移）。

时间不确定性建模对比
研究比较了两种关于时间估计不确定性的假设：

1. 时间模糊 (Temporal Blurring)：基于韦伯定律，不确定性 $\sigma$ 与经过时间 $t$ 成正比 ($\sigma = \varphi \cdot t$)。
2. 概率模糊 (Probabilistic Blurring)：不确定性由奖励概率调节，高奖励概率区域时间估计更精确，低奖励概率区域更模糊（$\sigma$ 与 $p(t)$ 成反比）。

3. 主要结果 (Results)

A. 行为表现与最优策略的偏差

• 参与者的表现显著优于随机猜测，接近最优策略，但未完全达到。
• 偏差特征：
  1. 交叉点偏移：参与者的主观交叉点向平均 Go 时间收缩（高估或低估客观交叉点）。
  2. 非模仿性：选择概率并未严格跟随奖励概率（即未采用“模仿策略”），而是表现出向最优阶跃函数靠拢的趋势。
  3. 极值压缩：高奖励概率被略微低估，低奖励概率被略微高估。

B. 奖励概率的动态扭曲 (DLLO 模型拟合)

• S 形扭曲：客观奖励概率与主观选择概率之间呈现显著的 S 形关系。
• 参数估计：
  • 最佳拟合斜率 $\gamma$ 范围在 1.71 到 2.20 之间（显著大于 1，小于无穷大）。
  • 这表明参与者采用了一种适度的扭曲策略：既不是完全客观的模仿，也不是极端的确定性切换。
• 收益分析：
  • $\gamma$ 与期望奖励呈非线性关系。从 $\gamma=1$ 增加到 $\approx 2$ 能带来巨大的奖励提升，而继续增加 $\gamma$ 带来的边际收益递减。
  • 参与者的行为处于参数空间的“高收益区”，在不追求极端精确（高 $\gamma$）的情况下最大化了奖励。

C. 时间不确定性的来源

• 模型比较：
  • 韦伯定律模型（时间模糊）：无法准确捕捉交叉点的偏移和选择概率的时间动态。
  • 奖励依赖模型（概率模糊）：提供了最佳的数据拟合（$R^2 > 0.99$），准确预测了交叉点偏移和整体时间动态。
• 结论：时间估计的精度（Temporal Precision）受预期奖励概率的调节，而非单纯由经过的时间长度决定。高奖励概率区域的时间表示更精确。

4. 关键贡献 (Key Contributions)

1. 提出了双重不确定性推断框架：将时间 contingent 的选择形式化为对“经过时间”和“随时间变化的奖励”的双重潜在变量推断问题。
2. 发现了动态概率扭曲机制：
   • 揭示了在动态推断情境下，奖励概率到选择的映射遵循对数几率空间的线性变换 (DLLO)。
   • 证明了这种扭曲（$\gamma > 1$）是一种适应性策略，能在有限的计算资源下最大化期望奖励，而非单纯的感知误差。
3. 挑战了韦伯定律在时间感知中的地位：
   • 提供了强有力的行为证据，表明时间不确定性并非仅由持续时间决定，而是由任务相关的奖励结构（Reward-contingent）动态调节。
   • 支持了“高价值时间点具有更高时间分辨率”的假设。
4. 统一了计算原则：
   • 将概率转换（对数几率线性变换）与时间精度调节（奖励依赖的模糊）结合，解释了复杂的时间 - 奖励决策行为。

5. 意义与启示 (Significance)

• 理论意义：
  • 超越了传统的强化学习（仅关注状态价值更新）和经典计时理论（仅关注时间误差），提出了一种联合推断的视角。
  • 表明大脑在处理时间 - 奖励耦合任务时，并非被动地记录时间，而是根据奖励的潜在价值主动调整时间感知的分辨率。
• 计算神经科学启示：
  • 暗示了多巴胺预测误差信号可能参与调节内部时间表征的分辨率（高奖励加速主观时间/提高精度）。
  • 对数几率空间的线性变换可能是一种神经计算的基本算子，用于处理不确定的概率信息。
• 实际应用：
  • 为理解人类在动态环境（如社交互动、驾驶、金融市场）中的决策偏差提供了新的计算模型。
  • 表明“次优”的行为（如 S 形扭曲）实际上可能是系统在噪声和计算成本约束下的贝叶斯最优或近优解。

总结：该论文通过严谨的行为实验和计算建模，证明了人类在动态奖励环境中，通过对数几率空间的适度扭曲来映射奖励概率，并根据奖励价值动态调整时间感知的精度。这两个相互作用的计算原则共同塑造了高效的时间 contingent 选择行为。