🤖 machine learning

Understanding Sample Efficiency in Predictive Coding

本文通过引入并验证“目标对齐”这一关键指标，为预测编码相较于反向传播在样本效率上的优势提供了理论与实证解释，证明预测编码在深度、窄型及预训练网络中尤其能实现更优的学习效果。

原作者： Gaspard Oliviers, Elene Lominadze, Rafal Bogacz

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Gaspard Oliviers, Elene Lominadze, Rafal Bogacz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

全景：训练大脑的两种方式

想象你正在教一个学生（计算机模型）根据描述画一幅画。学生先猜一个结果，你告诉他们偏离了多少（误差），然后他们调整画作。

主要有两种方式告诉学生如何调整：

反向传播（BP）： 人工智能目前的“黄金标准”。它像一位严厉的老师，发送一条信息从最终画作一直回溯到第一笔铅笔痕迹，告诉手臂的每一个部分确切该如何移动。
预测编码（PC）： 一种基于人脑可能如何学习的理论。它不是发送一条长长的信息，而是大脑的每个部分不断猜测下一部分会做什么，检查猜测是否正确，并仅根据局部的“意外”（误差）进行调整。

问题： 科学家们注意到，“预测编码”学生通常比“反向传播”学生学得更快，且需要更少的示例。但为什么？本文试图解开这个谜团。

核心问题：“非预期的副作用”

作者引入了一个名为目标对齐的概念。这可以理解为“瞄准”。

目标： 你希望将画作直接移向目标（正确的图片）。
问题（干扰）： 有时，当你试图修正画作的某一部分（比如鼻子）时，会意外搞砸另一部分原本完美的地方（比如眼睛）。

论文将这种现象称为干扰。这就像试图调音吉他弦；如果你为了修正 A 弦的音高而转动弦钮太用力，可能会意外让 E 弦走调。

论文的发现：

反向传播（BP） 容易受到这种干扰的影响。因为它发送一条漫长且复杂的指令链，修正一个误差往往会扭曲修正的方向，导致模型“摇摆”，去修正那些本不需要修正的东西。
预测编码（PC） 内置了一个“减震器”。它自然地抵消了这些非预期的副作用。它更直地瞄准目标，只修复损坏的部分，而不会搞砸原本正确的部分。

类比：盲眼徒步者

想象一位徒步者试图在迷雾森林中到达特定的营地（目标）。

BP 徒步者 从远处的向导那里得到一张地图。地图是准确的，但地形很棘手。每当徒步者迈出一小步来修正路径时，地面都会以奇怪的方式轻微移动，将他们推向侧面。他们必须迈出许多小而曲折的步数才能到达。
PC 徒步者 使用一个根据即时风和地形不断重新校准的指南针。当他们迈步修正路径时，指南针会自动调整以适应地面的移动。他们走出一条更直的路径，用更少的步数到达营地。

为什么 PC 瞄准得更好？（“神奇”的数学）

作者对简单的直线模型（深度线性网络）进行了大量的数学推导以证明这一点。他们发现，PC 使用一种特殊的“缩放因子”（一种数学工具），它就像降噪耳机。

在 BP 中，“噪声”（来自网络其他部分的干扰）会随着网络变得更深（层数更多）或更窄（宽度更小）而变大。
在 PC 中，“降噪”功能会自动调整以抵消这种噪声。这使得 PC 在深层、窄网络或已经经过一定训练（预训练）的网络中特别强大，因为这些情况下的“地面”非常不平坦。

如何让 PC 变得更好

论文还提出了两种让 PC 实现完美瞄准（100% 对齐）的方法，本质上就是让徒步者走出一条完美的直线：

针对单个示例（在线学习）： 给网络的每一层分配独特的“学习速度”（学习率）。如果某一层“噪声”较大，就减慢它；如果清晰，就加快它。这能保证一对一学习时的完美瞄准。
针对一组示例（批量学习）： 当从一组数据同时学习时，网络需要“去相关”数据。想象一个合唱团，所有人都在稍微跑调地一起唱歌。网络需要一个工具来分离这些声音，这样修正一个歌手就不会让其他人走调。论文表明，添加一个特定的数学“去相关”步骤可以解决这个问题。

结果：在现实生活中有效吗？

作者在以下方面测试了他们的理论：

简单的线性模型： 数学推导完全成立。
更深的非线性模型（如识别手写数字的 AI）： 即使数学推导是基于简单模型的，PC 的“更直路径”优势在这些测试中依然存在。PC 在这些测试中也学得更快，并达到了比 BP 更低的误差率。

总结

本文解释了预测编码比反向传播更高效，因为它避免了“附带损害”。

当反向传播试图修正一个误差时，往往会意外破坏其他原本运作良好的部分。预测编码拥有一种天然的机制来防止这种情况，使其能够用更少的示例（更高的样本效率）学习相同的任务。作者从数学上证明了这一点，并表明通过调整学习率，可以使这种“完美瞄准”更加有效。

本文并未声称：

它并未声称这将立即治愈疾病或用于临床环境。
它并未声称当前的 AI 模型是“生物大脑”，而是指出这种特定的学习方法模仿了生物系统可能如何避免干扰。
它专注于学习效率的机制，而非构建新的商业产品。

技术摘要：理解预测编码中的样本效率

问题陈述

预测编码（Predictive Coding, PC）是一种通过局部权重更新最小化预测误差的、具有生物学合理性的皮层学习框架。尽管最近的实证研究表明，与反向传播（Backpropagation, BP）相比，PC 在样本效率方面表现更优，且在线学习和持续学习范式下的灾难性干扰更少，但关于这些优势的原理性理论解释一直难以获得。现有证据主要局限于小规模模型，而 PC 避免 BP 所面临的“干扰”的具体机制——即 BP 在修正某一方向的误差时，会无意中在模型已准确预测的方向上引入误差——尚未得到解析层面的理解。本文旨在提供严谨的解析说明，阐明 PC 在何时以及为何优于 BP，具体通过“目标对齐”（target alignment）这一指标来量化学习效率。

方法论

作者采用深度线性网络（Deep Linear Networks, DLNs）作为可处理的解析框架，以推导学习动力学的闭式表达式。选择 DLN 是因为，尽管它们是线性的，却表现出非线性学习动力学，有助于理解更深层的架构。

理论推导：
- 作者推导了 BP 和 PC 的连续时间权重动力学。
- 对于 BP，他们表明预测的变化（ $\partial \hat{y}/\partial t$ ）是各项之和，其中输出残差 $r$ 被权重相关矩阵（ $W_{L:l+1}W_{L:l+1}^\top$ ）左乘。这些矩阵扭曲了 $r$ 的方向，从而引入干扰。
- 对于 PC，他们基于包含缩放矩阵 $S$ 的特定能量函数的最小化推导了权重动力学。他们证明，PC 更新中的 $S^{-1}$ 项充当预条件器，抵消了 BP 中发现的权重相关扭曲项，从而减弱了干扰。
指标定义：
- 目标对齐： 定义为输出预测误差（ $r$ ）与由权重更新引起的模型预测变化（ $\Delta \hat{y}$ ）之间的余弦相似度。完美的对齐（值为 1）意味着更新直接将预测推向目标，且无干扰。
提出的改进：
- 自适应学习率： 作者提出了特定于层的缩放学习率（ $\alpha_l$ ），其缩放比例基于推理前后活动点积的倒数，以保证单样本学习的最优对齐。
- 权重更新重缩放： 对于批量训练，他们提出将权重更新乘以去相关矩阵 $A_l$ （批量平均活动相关矩阵的逆），以消除样本间干扰。
实证验证：
- 实验在合成回归任务上进行，使用了随机初始化的 DLN，具有不同的深度（1 到 8 层）和宽度。
- 使用了在 MNIST 上训练的线性和非线性（ReLU）自编码器，以检验发现的普适性。
- 比较了标准 BP、标准 PC 及其“重缩放”对应版本（具有自适应率或去相关矩阵）。

主要贡献

干扰的解析解释： 本文推导出，BP 由于误差信号的权重相关扭曲而引入干扰，而 PC 则通过缩放矩阵 $S$ 固有地减弱这种干扰。这解释了 PC 为何表现出更高的目标对齐。
优越性的条件： 作者指出，PC 的优势在深层、窄且经过预训练的神经网络中最为显著，因为这些网络中的权重矩阵条件数较差（即远非正交），导致 BP 中出现显著的干扰。
保证的最优对齐：
- 定理 1： 证明具有特定于层学习率（按活动范数缩放）的 PC，在单样本学习中实现完美的目标对齐（$TA=1$），独立于架构或权重条件。
- 定理 2： 证明具有权重更新重缩放（使用去相关矩阵）的 PC，在批量学习中实现完美的目标对齐，前提是批量大小小于最小层宽度。
样本效率： 本文表明，更高的目标对齐转化为整个训练轨迹中更高效的样本学习，使 PC 能够以比 BP 更少的步数达到更低的误差率。

结果

目标对齐： 在随机初始化的网络中，PC 始终比 BP 实现更高的目标对齐。随着网络深度增加以及使用 Kaiming 初始化（导致活动范数衰减）时，这一差距显著扩大；而范数保持初始化虽然使两者都保持高对齐，但在深层、窄设置中 PC 仍保持优势。
训练轨迹： 在“全训练”实验中，PC 收敛更快，并达到比 BP 更低的最终误差。这一优势在深层网络（8 个隐藏层）和窄架构中最为明显。
重缩放效应：
- 在线学习（批量大小 = 1）： 在训练开始时，重缩放学习率提供的益处最小，因为使用单个样本估计费雪信息矩阵（或活动相关性）会削弱几何优势。然而，带有重缩放的 PC 最终会优于标准 BP。
- 批量学习： 重缩放权重更新显著提高了性能。重缩放的 PC 比标准 PC、标准 BP 或重缩放的 BP 以少得多的训练步数达到最小误差。
非线性模型： 在 MNIST 上训练的非线性自编码器的初步实验表明，PC 的益处以及重缩放的有效性（尤其是使用较大批量大小时）依然存在，表明理论见解超越了线性模型。
ResNets： 分析扩展到线性残差网络，表明虽然跳跃连接改善了基线条件数，但 PC 仍优于 BP，且特定于层的缩放保证了完美的对齐。

意义与主张

本文声称提供了对先前工作中观察到的 PC 优于 BP 的更高学习效率的机制性理解。通过将 PC 的性能与目标对齐概念及其与自然梯度下降的接近程度联系起来，作者认为 PC 最小化干扰的能力是其样本效率的主要驱动力。

该工作表明，为了最大化 PC 的有效性，应：

使用保持各层活动范数的权重初始化。
采用特定于层的学习率或权重更新重缩放，以保证无干扰学习。

作者对其提出的重缩放机制的生物学合理性保持谦逊，指出虽然它们作为最优性能基线，但生物系统可能采用其他策略（如活动归一化）来实现类似目标。本文结论认为，这些发现可以指导 PC 的参数化以实现有效学习，并在皮层学习理论与现代深度学习优化之间架起理论桥梁。