🤖 machine learning

Covariance-Aware Goodness for Scalable Forward-Forward Learning

本文介绍了协方差感知优度，这是一种可扩展的前向 - 前向学习框架，其具备双轴协方差优度、逻辑融合和特征对齐层，旨在克服卷积设置中的结构性瓶颈，在 ImageNet-100 和 Tiny-ImageNet 上实现了与反向传播相当的性能，同时将峰值内存使用量降低了约 50%。

原作者： Xiaoyi Jiang, Bashir M. Al-Hashimi, Kai Xu

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoyi Jiang, Bashir M. Al-Hashimi, Kai Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个由 16 名专家（神经网络中的层）组成的团队来识别不同的物体，比如猫、狗或汽车。

在传统训练这些团队的方法（称为反向传播）中，主管会从队伍的最末端一直向最前端发送一条消息，说道：“你在这里犯了错，你在那里也犯了错。”为了做到这一点，主管必须记住沿途每个人采取的每一个步骤。随着团队规模变大，主管会不堪重负，而存储所有这些步骤所需的内存也会变得巨大。

前向 - 前向（Forward-Forward, FF） 是一种新的训练方法。它不是由一位主管发送一条长长的回溯消息，而是让每位专家在工作过程中就接受对自己工作的评判。每位专家都会根据他们当前的表现获得一个“良好度评分”（Goodness Score）。如果评分高，他们就保持现状；如果评分低，他们就做出改变。这节省了巨大的内存，因为没有人需要记住整个旅程，只需记住自己当前的步骤。

问题所在：
作者发现，虽然这种“局部评判”在处理简单任务（如识别小且模糊的图片）时效果极佳，但在处理复杂任务（如高清图像）时却会失效。为什么呢？因为他们计算“良好度评分”的方式过于简单。

他们仅仅关注每个颜色通道的亮度（例如检查红色通道是否明亮、蓝色通道是否明亮等）。这就像只根据厨师用了多少盐来评判他，却忽略了盐与胡椒如何相互作用，或者当火候加大时香料会发生什么变化。他们忽略了食材之间的关系。

解决方案：“协方差感知”升级
论文提出了一种新框架来解决这个问题，使用了三个主要工具：

1. 双轴协方差良好度（BiCovG）： “关系侦探”

这种方法不再仅仅检查单个通道的亮度，而是观察通道之间如何相互关联以及模式如何在空间上变化。

类比：想象一个合唱团。旧方法只是测量每位歌手单独的音量。新方法则倾听和声——女高音的声音如何与男中音融合，以及声音如何随着歌曲从低语变为高喊而变化。
工作原理：它利用两个“轴”来收集这些信息：
- 跨通道：它将数据投影以观察不同特征如何混合在一起（就像检查和声）。
- 多尺度：它以不同的大小（缩小和放大）观察图像，以捕捉仅在特定尺度下出现的模式。
结果：这为专家提供了更丰富的“良好度评分”，使他们能够学习更深、更复杂的模式而不会感到困惑。

2. 特征对齐层（FAL）： “翻译器”

当你独立训练专家时，有时一位专家的输出与下一位专家的输入并不完全匹配。这就像接力赛中，一名跑步者将接力棒交给下一个人，但下一个人戴着手套，无法握住接力棒。

类比：FAL 是一个微小的智能适配器，放置在专家组之间的边界处。它就像一个“接力棒调节器”，对接力棒进行微小的、零成本的调整，以便下一位跑步者能完美接住。
结果：它防止了“接力赛”在交接棒时出现失误，使团队能够保持深度和连贯性。

3. 逻辑融合（Logistic Fusion）： “团队队长”

既然每位专家都在做出自己的猜测，我们如何得出最终答案呢？

类比：团队队长不是只听队伍最后一个人（他可能累了或困惑）的话，而是倾听所有人。他权衡早期专家和晚期专家的意见，将它们结合成一个更明智的最终决定。
结果：这确保了深层、复杂的层与浅层、简单的层贡献相当。

4. 混合良好度块（HGB）： “集两者之长”

有时，你既想要局部方法的内存节省，又需要在处理极难任务时拥有一点传统“全局主管”的权力。

类比：想象将专家分成 4 人一组的小队。在这个小队内部，他们可以互相交流并纠正错误（像旧方法），但这些小队本身保持独立（像新方法）。
结果：你可以调整这些小组的大小。如果将它们设为大小为 1，你可以节省最大内存。如果将它们设为大小为 4，你几乎能达到传统方法的效果，但仍能节省约 50% 的计算机内存。

结果

通过使用这些工具，作者构建了一个系统，该系统：

将可训练网络的深度翻倍（从浅层网络扩展到像 VGG-16 这样的 16 层网络）。
在未使用传统“全局主管”方法的情况下，在 ImageNet-100 上实现了**73.01%的准确率，在 Tiny-ImageNet 上实现了50.30%**的准确率。
当使用“混合”模式（HGB）时，他们在 ImageNet-100 上获得了83.98%的准确率，这仅比传统方法低3.6%，但使用的内存少了一半。

简而言之，他们找到了如何让“局部评判”变得足够智能以处理复杂的高清图像的方法，即教导系统去寻找关系和模式，而不仅仅是原始数字。

技术摘要：面向可扩展前向 - 前向学习的协方差感知 goodness

问题陈述
前向 - 前向（FF）算法通过利用局部"goodness"目标训练每一层，为反向传播（BP）提供了一种有原则的替代方案，从而消除了存储中间激活以进行反向传递的需求。然而，现有的无 BP 的 FF 方法在应用于复杂的、大规模卷积基准测试（如 ImageNet-100、Tiny-ImageNet）时，存在结构性瓶颈。标准的 goodness 公式计算每个通道的平方激活之和，实际上将特征体积坍缩为一阶统计量（边际通道能量）。这种方法丢弃了关键的二阶依赖关系，特别是跨通道相关性和空间共激活模式，而这些对于深度网络中的判别性表示至关重要。因此，虽然 FF 方法在 CIFAR 等小型数据集上表现尚可，但在更大的基准测试上却显著落后于 BP，且随着网络深度和任务复杂度的增加，性能差距进一步扩大。此外，深度局部训练网络在块边界处遭受表示失准，且固定的随机读出机制在容量上趋于饱和。

方法论
作者提出了一种局部学习框架，旨在通过三个主要组件解决这些表示和优化瓶颈，并将其集成到 VGG-16 架构中：

双轴协方差 goodness（BiCovG）： 这是核心创新，将 goodness 函数沿两个正交轴扩展，以捕获二阶统计量，同时避免了显式协方差矩阵估计所固有的 $O(C^2)$ 复杂度。
- 跨通道投影： 该方法采用可学习的线性投影在平方之前混合通道，而不是独立的逐通道聚合。这探测了非对角线协方差结构，捕获了特征间的相互作用。
- 嵌套多尺度空间聚合： 该方法将空间域划分为多个尺度（ $s_1, s_2$ ）的网格，并计算这些区域内的局部能量。这捕获了全局池化所丢弃的空间二阶依赖关系和尺度变化特征。
- 生成的特征向量连接了这些尺度上的逐通道空间 goodness 和跨通道 goodness。
特征对齐层（FAL）： 为了缓解因将网络解耦为梯度隔离块而导致的表示失准，在块边界处插入了一种轻量级残差适配器。它在块输出进入下一个块之前，应用零初始化的逐通道加法修正（ $\Delta$ ）。这使得后续块能够适应分布偏移，同时不破坏贪婪局部优化特性。
逻辑融合： 该框架不依赖单一层的预测或固定的随机投影，而是使用轻量级、可训练的融合头聚合所有层分类器的 logits。这放大了深层表示的贡献，并利用网络深度上的互补信息。
混合 goodness 块（HGB）： 作为一种实用扩展，作者引入了一种训练方案，将网络划分为大小为 $m$ 的块。块内的层通过标准 BP（块内部）联合训练，而块之间保持梯度隔离。这在严格的逐层 FF（ $m=1$ ）和全端到端 BP（ $m=L$ ）之间创建了一个可调节的连续体，允许在内存效率和准确性之间进行权衡。

主要贡献

双轴协方差 goodness（BiCovG）： 一种新颖的 goodness 编码，同时建模非对角线跨通道协方差和多尺度空间相关性。它提供了协方差感知学习的可行近似，带来每层 +3% 至 +7% 的一致增益，并改善了深层利用。
特征对齐层（FAL）： 残差适配器的一种特定于边界的变体，通过零初始化修正来校正深度局部训练网络中的表示失准。
混合 goodness 块（HGB）： 一种可配置的训练方案，弥合了无 BP 局部学习与全反向传播之间的差距，在保留显著内存节省的同时恢复准确性。

结果
所提出的方法在 CIFAR-100、Tiny-ImageNet 和 ImageNet-100 上进行了评估。

无 BP 性能： 完整的无 BP 模型（BiCovG + FAL）在 ImageNet-100 上实现了 73.01% 的准确率，在 Tiny-ImageNet 上实现了 50.30%。这比之前的 FF 方法（例如 SCFF 在 Tiny-ImageNet 上约为 35%）有了显著改进，有效地将 FF 学习的有效深度翻倍，将稳健利用扩展到像 VGG-16 这样的 16 层架构。
混合性能： 使用块大小为 $m=4$ 的 HGB，模型将 ImageNet-100 上与端到端 BP 的差距缩小至 3.6%（83.98% 对比 87.61% BP），并在 Tiny-ImageNet 上与 BP 性能持平（54.48% 对比 54.17%）。
效率： 与 ImageNet-100 上的标准 BP 相比，无 BP 模型将峰值 GPU 内存使用量减少了约 47.8% 至 53.1%，主要是通过消除块间激活的存储。由于用每层线性读出替换了全连接头，参数量也从 134.7M（标准 VGG-16）减少到了 34.9M。
机制分析： 逐层分析表明，BiCovG 显著减少了“下降区域”（峰值后的退化）并增加了“有效层数”（ $N_{eff}$ ），证实该方法使局部监督在网络更深处保持高效。

意义
该论文声称识别并解决了限制前向 - 前向学习可扩展性的 goodness 提取中的结构性瓶颈。通过超越对角线一阶统计量，纳入结构化的二阶依赖关系（协方差和空间相关性），作者证明了无 BP 的局部学习可以扩展到复杂的、高分辨率的基准测试。这项工作确立了 ImageNet-100 上全局无 BP CNN 训练的新最先进水平，并提供了一条实用途径（通过 HGB）来平衡内存效率与全反向传播的性能。作者将其定位为迄今为止在这些基准测试上报道的最强的基于 CNN 的全局无 BP FF 结果。

1. 双轴协方差良好度（BiCovG）： “关系侦探”

2. 特征对齐层（FAL）： “翻译器”

3. 逻辑融合（Logistic Fusion）： “团队队长”

4. 混合良好度块（HGB）： “集两者之长”

结果

技术摘要：面向可扩展前向 - 前向学习的协方差感知 goodness

类似论文