🧠 neuroscience

The unique value of zero prediction errors in reinforcement learning

本研究表明，零预测误差不仅是中性事件，而且在心理学和计算层面都具有显著意义，通过积极塑造瞬时幸福感、独特的信念状态以及神经反馈处理，从而影响人类强化学习中的后续学习过程。

原作者： Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你的大脑就像一位超级聪明的气象预报员。每天早上，你都会猜测是否会下雨，然后观察天空。通常情况下，学习发生在出错的时候。如果你说“晴天”，结果却倾盆大雨，你的大脑就会想：“哎呀！更新一下预报！”这就是经典的学习理念：错误驱动我们进步。

但当你做得完全正确时，会发生什么呢？你猜“晴天”，太阳果然出来了。在旧有的思维模式中，这只是一个枯燥的“无消息”时刻。你的大脑本该耸耸肩并继续关注其他事，因为没有错误需要修正。

一项新研究表明，做到完美契合实际上是你的大脑中一个巨大的、令人兴奋的事件。它不仅仅是一个“零误差”；它是一个特殊的信号，让你感到更快乐，改变你的学习方式，甚至以一种独特的方式点亮你的大脑。

“完美命中”的感觉

研究人员设计了一个游戏，参与者必须猜测下一个会出现的数字。这些数字来自一个可能性的云团——有时这个云团很紧凑（容易猜测），有时则很宽广且混乱（难以猜测）。

这里有个转折：研究人员秘密地设置了每80轮中有15轮，让出现的数字与玩家的猜测完全一致。玩家并不知道这是人为设置的，他们只以为自己运气好。

当研究人员问玩家：“你现在有多开心？”时，答案令人惊讶。人们感到最快乐的时刻，并不是获得巨额意外奖金的时候，而是当他们的预测完全准确的时候。这就像是一个幸福的甜点位。如果他们差了一点点，或者差了很多，快乐感就会下降。但那个完美的“靶心”时刻？那就是巅峰。

这项研究表明，我们的脑部将这种“完美匹配”视为一种内在的特殊奖励，而不仅仅是得到一份好奖品。这种感觉是：“我就知道！我真的看准了！”

“双轨制”大脑

那么，大脑如何利用这个完美的时刻呢？研究人员测试了三个想法：

旧方式： 完美匹配并不会产生特别的效果；只有出错时才会发生学习。
“粘性”方式： 完美匹配只会让你变得固执，让你一直重复同样的猜测。
“双轨制”方式（获胜者）： 当你达到完美时，你的大脑会专门为那些完美的时刻创建一个秘密的、独立的文件夹。

研究发现，“双轨制”的想法最符合实际情况。它表明，当你获得完美预测时，你的大脑并不仅仅是忽略它。相反，它打开了一个特殊的“零预测误差”文件夹。它会基于仅有你做对时的经历，建立一套关于事物运作方式的独立信念。

这在世界变得混乱（高不确定性）时尤其明显。当事情变得混乱且难以预测时，做对预测会带来巨大的解脱感。研究发现，那些普遍讨厌不确定性（在不可预测时会感到焦虑）的人，更加依赖这个“完美匹配”文件夹。他们更紧紧抓住自己做对的时刻，以此来获得安全感。

大脑的“P3”火花

为了观察大脑内部发生了什么，研究人员在40名志愿者的头皮上放置了电极，以读取他们的脑波。

他们发现，当一个完美的预测发生时，大脑并不仅仅是变得安静。它会发出一个独特的电火花，即一个被称为 P3 反应的大波幅活动，这看起来与人们出错时的反应截然不同。

最酷的部分在于：这个大脑火花的大小可以预测一个人接下来的行为，但根据情况的不同，其方向是相反的：

如果他们错了： 更大的大脑火花意味着他们在下次会大幅度改变他们的猜测。（火花在说：“好吧，大错特错，快修正它！”）
如果他们对了： 更大的大脑火花意味着他们会更加坚持原有的猜测。（火花在说：“完美！锁定它！不要改变任何东西！”）

这就像是大脑使用同一个“警报”信号，既用于在犯错时惊慌并修正，也用于在成功时庆祝并加倍确认。

这意味着什么

这项研究并不是说它是什么神奇的疗法，或者适用于所有情况。它表明，“做对”是一个强大且主动的学习工具，而不只是一个暂停键。

当我们完美地预测世界时，我们并不只是静止不动。我们正在感受一种幸福感，大脑正在构建一个特殊的“我猜对了”记忆，并且我们正在利用这一时刻来稳定我们的信念，尤其是在世界感到混乱的时候。事实证明，做对这件事，与做错一样，对于学习都至关重要。

技术摘要：强化学习中零预测误差的独特价值

问题陈述

传统的强化学习（RL）理论认为，学习是由预测误差（PEs）驱动的——即预期结果与观察结果之间的差异。在标准模型（如 Rescorla & Wagner, 1）中，与预期完美匹配的结果（零预测误差）被视为缺乏学习信号，除了奖励本身之外不携带任何信息价值。然而，这一框架留下了一个问题：即“完美的预测”是心理中性的，还是构成了能够主动塑造情感、信念更新和神经处理过程的独特且具有信息量的事件？具体而言，目前尚不清楚零预测误差是否会触发独特的计算机制，例如形成独立的潜在信念状态，特别是在不确定环境或具有高不确定性耐受度缺陷的个体中。

研究方法

本研究采用结合行为实验、计算建模和电生理学（EEG）的多模态方法，以调查零预测误差的影响。

实验设计：

任务： 参与者执行一项“数字生成任务”，预测来自不同宽度（低、中、高不确定性）高斯分布的奖励。
操纵： 参与者不知情，每组试验中的 18.75%（每组 80 次试验中的 15 次）经过实验性约束，使得奖励结果恰好与其预测相匹配，从而创造了“零预测误差”。
测量指标：
- 情感： 参与者每三次试验报告一次瞬时幸福感。
- 行为： 记录逐试次的预测更新。
- 神经： 在部分参与者（ $N=40$ ）中记录了奖励锁定的 EEG，以分析事件相关电位（ERPs）。
参与者： 进行了两项实验：一项在线研究（ $N=97$ ）和一项 EEG 实验室研究（ $N=40$ ），总计 $N=137$ 。

计算建模：
研究对比了三个强化学习模型，并使用分层贝叶斯推断进行分析：

PH-standard： 标准的 Pearce-Hall 模型，其学习率随 PE 幅度缩放；零 PE 不产生更新。
PH-persist： 一种扩展模型，其中零 PE 会诱发一种“持久性”状态，使未来的预测向被确认的结果偏移。
ZePE (Zero Prediction Error) 模型： 一种新颖的模型，提出零 PE 会触发一个独特的潜在信念状态（ $B_{zero}$ ），该状态与标准的信念状态（ $B_{std}$ ）并行追踪。最终预测是这两个状态的加权混合，由参数 $\omega$ 控制。

分析：

行为： 使用混合效应回归分析幸福感评分和预测更新。
模型比较： 使用留一交叉验证（LOO）和预期对数预测密度（ELPD）来确定最佳拟合模型。
EEG： 使用质量单变量回归（GLM）和基于集群的置换检验分析对 PE 的神经反应。心理物理交互作用（PPI）分析测试了残余神经活动是否能预测随后的行为更新。

关键结果

1. 情感影响：零 PE 最大化幸福感

与“幸福感随正向 PE 线性增加”的假设相反，参与者在零 PE 发生后报告了最高的瞬时幸福感。

幸福感与 PE 幅度呈现倒 U 型关系，在零处达到峰值，并在正向和负向 PE 较大时下降。
幸福感的计算建模证实，与仅依赖奖励大小和标准 PE 的模型相比，加入针对零 PE 的特定项显著提高了模型拟合度。零 PE 是幸福感最强的预测因子，其影响力超过了奖励结果本身。

2. 行为适应：ZePE 模型

ZePE 模型对两次实验中的行为数据拟合度最高，显著优于 PH-standard 和 PH-persist 模型。

独特的潜在状态： 数据支持了以下假设，即零 PE 会诱发一个独立的潜在信念状态，用以指导后续的更新。
不确定性调节： 控制零-PE 状态影响的权重参数 $\omega$ 随着环境不确定性的增加而增加。参与者在高不确定性模块中更加依赖零-PE 状态。
个体差异： 不确定性耐受度（IUS）量表得分较高的个体，其 $\omega$ 值也较高，这表明厌恶不确定性的个体通过利用完美预测来稳定其信念。
更新模式： 在低不确定性模块中，零 PE 之后会跟随更大的绝对预测更新，且这种效应在高不确定性下更加显著，表明完美预测是在积极塑造学习动态，而非仅仅是确认现有信念。

3. 神经特征：独特的 EEG 反应

EEG 分析显示，零 PE 引发的神经反应与标准 PE 不同。

ERP 成分： 零 PE 在额中和中顶电极区域（500–800 ms）引发了强健且持续的晚期正向反应（类 P3 反应），其强度与大正向 PE 相当，且显著大于其他 PE 条件。
潜在状态编码： 回归分析显示，零-PE 试验的 EEG 活动追踪的是偏离零-PE 潜在信念状态（ $B_{zero}$ ）的程度，而标准试验则追踪偏离标准信念状态（ $B_{std}$ ）的程度。
神经-行为耦合： 残余 EEG 活动（无法被模型解释的部分）根据试验类型预测了相反方向的后续更新：
- 标准试验： 更强的残余活动预测了增强的更新（学习）。
- 零-PE 试验： 更强的残余活动预测了减弱的更新（信念固化）。
- 这种耦合受 $\omega$ 的调节，较高的 $\omega$ 会放大这种分离现象。

意义与主张

作者声称，这项研究提供了首个系统性证据，证明零预测误差并非中性事件，而是能够积极塑造人类学习的独特且具有信息量的信号。

挑战传统观点： 研究结果挑战了标准的 RL 假设，即学习仅通过不匹配发生。相反，“尝试并命中”（完美预测）是一种互补的学习机制。
内在奖励： 完美预测似乎具有内在的奖励性，能够独立于外部奖励的大小产生正向情感，这可能是由于成功解决了不确定性。
计算机制： 研究提出，大脑维持着针对标准 PE 和零 PE 的并行潜在信念状态。这些状态的权重（ $\omega$ ）是一个灵活的控制参数，受环境不确定性和个体特质（不确定性耐受度）的影响。
神经特异性： 零 PE 调用了特定的神经回路（反映在类 P3 活动中），这些回路的作用是稳定信念而非更新信念，作为当环境被成功预测时的“信念固化”机制。

研究结论认为，完美预测的结果对于学习至关重要，它们通过稳定信念和减少不确定性发挥作用，对于那些认为不确定性具有厌恶感的个体而言尤为如此。这表明存在一种更复杂的学习架构，其中预期确认的计算意义与预期违背同样重要。