Explore-exploit instability reveals computational decision-making heterogeneity in early psychosis

该研究通过计算建模揭示，早期精神病患者的决策异质性并非源于奖赏学习缺陷，而是由探索 - 利用转换不稳定（表现为过早放弃有利选项）驱动，并识别出具有独特认知与症状特征的三个神经计算亚型。

要点

这篇论文讲述了一个关于大脑如何在做决定时“摇摆不定”的故事，特别是针对那些处于精神病早期（Early Psychosis）的人群。

为了让你更容易理解，我们可以把大脑做决定的过程想象成在一个充满未知宝藏的森林里找路。

1. 核心问题：是“迷路”还是“太好奇”？

想象一下，你走进一片森林，面前有三条路（这就是实验中的“三臂老虎机”任务）。

• A 路：昨天刚发现这里有宝藏，但今天可能没了。
• B 路：看起来平平无奇。
• C 路：完全没走过。

正常人（对照组）的策略通常是：

1. 先试一下 A 路，发现有好东西。
2. 决定坚持走 A 路（这叫“利用”，Exploit），因为既然有宝藏，就别乱跑了。
3. 只有当 A 路突然没东西了，或者过了很久没动静，他们才会犹豫一下，去试试 B 路或 C 路（这叫“探索”，Explore）。

早期精神病（EP）：
研究发现，这群人虽然也能找到宝藏，总得分和正常人差不多，但他们有一个奇怪的习惯：他们太容易放弃刚找到的好路了。哪怕 A 路还在出宝藏，他们也会突然想：“哎呀，万一 B 路有更大的宝藏呢？”然后立刻换路。

这就好比你在玩一个抓娃娃机，明明刚抓到一个，你还没抓够，就急着换到下一个机器去试，结果反而抓到的总数变少了。

2. 为什么他们会这样？（两个“捣蛋鬼”）

以前大家以为，这是因为他们学不会哪条路有宝藏（奖励学习缺陷）。但这篇论文发现，不是学不会，而是“停不下来”。

通过复杂的数学模型（就像给大脑做了一次"CT 扫描”），作者发现了两个导致这种“乱换路”行为的捣蛋鬼：

捣蛋鬼一：过度敏感的“不确定性雷达” (Uncertainty Sensitivity)

• 比喻：想象你的大脑里装了一个灵敏度调得太高的烟雾报警器。
• 解释：正常人觉得“这条路有点不确定，再试几次吧”。但早期精神病患者的这个雷达太敏感了，只要有一点点“不确定”（比如连续两次没抓到），他们的大脑就尖叫：“太危险了！这里肯定没宝藏了！快跑！”
• 结果：他们还没等机会成熟，就过早地放弃了正在赚钱的路，跑去探索新路。

捣蛋鬼二：大脑里的“静电干扰” (Decision Noise)

• 比喻：想象你的大脑是一个信号不好的收音机，或者走路时脚底打滑。
• 解释：即使他们心里知道"A 路最好”，但大脑里的信号有杂音，导致他们有时候莫名其妙地就换了路。这种换路不是经过深思熟虑的，而是随机的、混乱的。
• 结果：这种“手滑”让他们无法稳定地坚持在最好的路上。

3. 并不是所有人都一样：三种“大脑类型”

最精彩的部分来了。作者发现，早期精神病患者并不是一个模子里刻出来的。通过聚类分析，他们把患者分成了三种不同的“大脑类型”，就像把森林里的探险者分成了三队：

• **第一类：正常的“稳健派” **(Normative Subtype)

  • 特点：他们的决策逻辑和正常人几乎一样，知道什么时候该坚持，什么时候该尝试。
  • 临床特征：这类人虽然被诊断为精神病，但他们的躁狂症状（情绪高涨、冲动）比较多，而认知能力（记忆力、反应速度）其实还不错。
  • 比喻：他们只是情绪像过山车，但走路找路的能力是正常的。

• **第二类：敏感的“雷达派” **(Uncertainty-Sensitive Subtype)

  • 特点：他们的“不确定性雷达”太灵敏了。他们能学会哪条路好，但太容易因为一点点不确定就放弃。
  • 临床特征：这类人住院次数最多。可能是因为太敏感，觉得周围环境太“动荡”，所以不得不频繁求助。
  • 比喻：他们像惊弓之鸟，稍微有点风吹草动就换地方，导致很难在一个地方扎根。

• **第三类：混乱的“静电派” **(High Decision-Noise Subtype)

  • 特点：他们的大脑“静电”最强，完全无法坚持在一条路上，哪怕那条路很好。
  • 临床特征：这类人认知能力最差（记性差、反应慢），负面症状最重（比如不想动、没表情、没动力）。
  • 比喻：他们像是在迷雾中乱撞，既找不到路，也记不住刚才走过的路，所以一直在原地打转或乱跑。

4. 这项研究有什么用？

以前，医生给病人看病，主要看症状（比如“你有幻觉”或“你情绪低落”）。但这篇研究告诉我们，同样的症状背后，大脑的“运作机制”可能完全不同。

• 精准医疗的曙光：
  • 如果你是“雷达派”，治疗可能需要降低敏感度，让你学会忍受一点点不确定。
  • 如果你是“静电派”，治疗可能需要增强大脑的稳定性，帮你把注意力拉回来。
  • 如果你是“稳健派”但情绪不好，那可能需要调节情绪的药物，而不是去改认知。

总结

这篇论文就像给大脑做了一次精细的“导航系统诊断”。它告诉我们，早期精神病患者的“乱换路”行为，不是因为笨或学不会，而是因为他们的大脑导航系统里有两个不同的故障：一个是警报器太灵敏，一个是信号太嘈杂。

更重要的是，它发现患者其实分成了三队，每队的问题都不一样。这意味着未来的治疗不再是“一刀切”，而是可以量体裁衣，针对每个人大脑具体的“故障模式”来开药或进行训练。这就像修车一样，不再只是说“车坏了”，而是能精准地说出“是轮胎气压不对”还是“发动机火花塞积碳”，从而开出更有效的药方。

技术摘要

这是一份关于早期精神病（Early Psychosis, EP）患者决策机制异质性的计算精神病学研究的详细技术总结。

1. 研究背景与问题 (Problem)

精神病谱系疾病（如精神分裂症）具有显著的临床和神经生理异质性，这给理解病理机制和制定个性化治疗方案带来了挑战。

• 核心问题：既往研究指出，精神病患者存在“探索 - 利用”（Explore-Exploit）权衡失调，表现为过度切换选择（过度探索）。然而，这种行为的驱动机制尚不明确：是由于奖励学习缺陷（无法识别高价值选项），还是由于决策噪声（随机性增加）或对不确定性的过度敏感？
• 研究缺口：以往研究多关注稳定环境下的奖励学习，缺乏在动态、高不确定性环境（如“ restless bandit"任务）下，对个体如何根据感知到的环境波动性在探索与利用之间转换的微观认知过程（microcognitive processes）的深入解析。

2. 方法论 (Methodology)

2.1 参与者

• 样本：75 名早期精神病（EP）患者和 68 名神经典型对照组（Controls）。
• 设计：纵向研究，包含两次基线会话（间隔约 3 周），用于评估测试 - 重测信度。
• 评估：除了行为任务，还进行了临床访谈（症状严重程度、功能评估）和认知功能测试（Test My Brain 平台）。

2.2 实验任务：三臂 restless Bandit 任务

• 任务机制：参与者面对三个选项（Gabor 图像），每个选项背后隐藏着一个随时间随机漂移（Drift）的奖励概率（0 或 1）。
• 动态性：每个选项的奖励概率每轮有 10% 的概率增加或减少 0.1。
• 目标：最大化总得分，需要在“利用”已知的高奖励选项和“探索”新选项以更新信息之间进行权衡。

2.3 计算建模与分析技术

研究采用了多层次的计算建模策略来解析行为数据：

1. 隐马尔可夫模型 (HMM)：
   • 用于从选择序列中推断潜在的“探索”和“利用”状态。
   • 分析状态转换概率（如从利用切换到探索的概率），以量化策略的不稳定性。
2. 贝叶斯学习者模型 (Bayesian Learner / Kalman Filter)：
   • 相比传统强化学习（RL）模型，该模型能同时估计价值和不确定性，并根据不确定性动态调整学习率。
   • 关键参数：
     • $\phi$ (Uncertainty Sensitivity)：不确定性敏感度，衡量估计的不确定性如何影响选择。
     • $\beta^{-1}$ (Decision Noise)：决策噪声（由逆温度参数 $\beta$ 的倒数表示），衡量选择的随机性。
     • $\omega$ (Perseveration)： perseveration 权重，捕捉价值无关的选择坚持性。
3. 模型比较：
   • 比较了多种 RL 变体（如带有选择核、非对称学习率、双状态 RL 的模型）与贝叶斯模型。
   • 使用 AIC 和 BIC 准则评估模型拟合度。
4. 层次聚类 (Hierarchical Clustering)：
   • 基于计算参数（不确定性敏感度、决策噪声）和传统认知指标（处理速度、言语记忆、执行功能），将参与者分为不同的亚型（Subtypes）。

3. 主要发现 (Key Results)

3.1 行为表现

• 总体表现：EP 组和控制组在总奖励获取上无显著差异，但 EP 组最优选择次数更少。
• 切换行为：EP 组表现出显著更多的选择切换（Switching），无论是在获得奖励后（Win-switch）、未获得奖励后，还是从最优选项切换。这表明 EP 组难以维持对高价值选项的利用。

3.2 机制解析：HMM 与状态转换

• 利用阶段的不稳定性：EP 组在“利用”状态下的切换率更高，表明其利用策略不稳定。
• 转换机制：EP 组从“利用”切换到“探索”的概率显著高于对照组，尤其是在获得奖励后。
• 关键结论：这种过度探索并非由奖励学习缺陷驱动（因为从探索回到利用的转换率正常，且奖励获取能力未受损），而是由于过早地放弃有利选项。

3.3 计算参数差异

• 最佳模型：贝叶斯学习者模型（包含不确定性敏感度 $\phi$ 和 perseveration $\omega$）对 EP 组数据的拟合度优于传统 RL 模型。
• 核心驱动因素：
  1. 不确定性敏感度 ($\phi$) 升高：EP 组对估计的不确定性反应过度，导致为了减少不确定性而过早转向探索。
  2. 决策噪声 ($\beta^{-1}$) 增加：EP 组的决策随机性更高，依赖学习到的价值进行选择的程度较低。
  3. 无奖励学习缺陷：两组在奖励学习率上无显著差异，证实问题在于策略转换而非价值学习本身。

3.4 计算亚型 (Computational Subtypes)

通过聚类分析，识别出三种具有独特认知和临床特征的亚型（跨越诊断组别）：

1. 亚型 1 (Normative, 规范型)：低不确定性敏感度、低噪声、认知功能强。在对照组中过代表，在 EP 组中主要为双相情感障碍伴精神病性特征患者。
2. 亚型 2 (Uncertainty-sensitive, 不确定性敏感型)：高不确定性敏感度、处理速度慢、记忆差，但执行功能 intact。无奖励学习缺陷，但临床特征显示其有更高的多次精神科住院史。
3. 亚型 3 (High Decision-noise, 高决策噪声型)：高决策噪声、广泛的认知缺陷（包括奖励学习受损）。与阴性症状严重程度显著相关，精神分裂症谱系患者在此亚型中过代表。

3.5 临床关联

• 功能影响：在 EP 组中，向探索的转换率越高，现实世界功能（Role functioning）越差。
• 症状关联：高决策噪声与阴性症状严重程度相关；高不确定性敏感度与住院历史相关。
• 非情感因素：过度探索在 EP 中普遍存在，不仅限于情感性精神病亚组。

4. 主要贡献 (Key Contributions)

1. 机制解耦：首次明确区分了早期精神病中过度探索的两种独立机制——对不确定性的过度敏感（Directed Exploration）和决策噪声（Random Exploration），并证明它们并非源于传统的奖励学习缺陷。
2. 微观认知异质性：揭示了即使在同一诊断（EP）下，患者存在截然不同的计算表型（Subtypes），这些表型比传统诊断分类更能解释临床症状（如阴性症状 vs. 住院史）和认知缺陷。
3. 模型创新：证明了在动态环境中，包含不确定性估计的贝叶斯模型比固定学习率的 RL 模型更能准确捕捉精神病患者的决策偏差。
4. 亚型验证：发现的三种计算亚型与 B-SNIP 联盟定义的生物亚型（Biotype 1-3）高度对应，为基于生物标记的精准精神病学提供了新的计算维度。

5. 意义与展望 (Significance)

• 精准精神病学 (Precision Psychiatry)：研究结果表明，基于计算参数的“指纹”可以识别出传统诊断无法区分的亚群。例如，针对“高决策噪声”亚型可能需要针对神经调节（如多巴胺/去甲肾上腺素）的干预，而针对“高不确定性敏感”亚型可能需要针对焦虑或不确定性处理的认知干预。
• 治疗靶点：识别出“不确定性敏感度”和“决策噪声”作为独立的可测量靶点，为开发针对性的药物或认知训练（如元认知训练）提供了理论依据。
• 跨物种转化：Restless Bandit 任务在人类、灵长类和啮齿类动物中均适用，有助于将神经机制（如前岛叶、前额叶皮层）与决策行为直接联系起来，加速从基础神经科学到临床应用的转化。
• 局限性：研究指出计算参数的信度受任务模型影响，未来需进一步验证其在不同任务中的稳定性及长期预测效度。

总结：该研究通过计算精神病学方法，将早期精神病患者的决策失调从笼统的“认知缺陷”细化为具体的“微观认知过程”（不确定性敏感与决策噪声），并据此划分出具有不同临床预后的亚型，为未来的个性化治疗策略奠定了坚实基础。