🤖 machine learning

Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

本文介绍了 Mono-Forward，一种局部学习算法，它将 Forward-Forward 算法中的对比式“良好性”目标替换为标准交叉熵损失，证明这一改进不仅提升了相对于原始 Forward-Forward 的准确率，而且在显著降低内存开销的同时，实现了与反向传播算法相当甚至更优的性能。

原作者： James Gong, Bruce Li, Waleed Abdulla

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： James Gong, Bruce Li, Waleed Abdulla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Mono-Forward：通过目标 - 局部性分解重访前向 - 前向算法》的通俗解读，辅以生动的类比。

宏观图景：一种训练人工智能的新方法

想象你正在训练一支学生团队（即神经网络）来识别不同类型的水果。

旧方法（反向传播）：
目前的标准方法就像一位站在教室前方的严厉老师。学生们观察一张苹果的图片。如果他们猜是“香蕉”，老师会一路走到队伍最后，向最后一名学生耳语纠正意见，该学生再向前传给前一位，如此一直传回第一名学生。所有人都从这单一的、全局性的纠正中学习。

问题所在： 这需要大量内存（老师必须记住整个耳语链条），而且感觉很不自然。在人脑中，神经元并不会像这样向后传递信息。

“前向 - 前向”（FF）尝试：
几年前，一位著名科学家（杰弗里·辛顿）提出了一种名为**前向 - 前向（Forward-Forward）**的新方法。与其让一位老师向后走，不如想象在教室里进行两次独立的传递：

传递 1（“好”传递）： 学生们观察真实的苹果。他们试图让自己的内部“良好度得分”变高。
传递 2（“坏”传递）： 学生们观察一张被标记为苹果的香蕉图片。他们试图让自己的“良好度得分”变低。
每个学生（层）只听取紧邻邻居的反馈。他们不需要一位全局老师。

问题所在： 虽然这种方法更节省内存且感觉更“生物化”，但学生们学得不如跟随旧老师时好。他们犯的错误更多。

谜团：为什么新方法更差？

本文作者提出了一个关键问题：为什么前向 - 前向方法更差？

是因为学生们只听取邻居的意见（局部性）吗？
还是
是因为他们玩的具体游戏（“良好度”目标）是一种糟糕的学习方式？

为了找出答案，他们将前向 - 前向方法拆解为两部分，就像拆开时钟查看是哪个齿轮坏了：

局部性： 学生只与邻居交谈的规则。
目标： 他们玩的具体“好 vs 坏”游戏。

实验：更换游戏

研究人员意识到，“好 vs 坏”游戏是薄弱环节。在原始的前向 - 前向算法中，学生通过比较“苹果”与“一种特定的错误水果”来学习。这就像一场游戏，你只需要击败一个对手就能获胜。

研究人员尝试了一种不同的游戏：标准多类游戏。
他们让学生们不再比较“苹果”与“香蕉”，而是同时比较“苹果”与“香蕉、橙子、葡萄、梨和猕猴桃”。这与旧老师（反向传播）使用的游戏相同，但他们保留了学生只与邻居交谈的规则。

他们将这种新方法称为Mono-Forward（MF）。

结果：意外的胜利

当他们运行 Mono-Forward 方法（局部规则 + 标准游戏）时，结果令人印象深刻：

解决了问题： “糟糕的游戏”确实是原始前向 - 前向算法表现不佳的主要原因。通过切换到标准游戏，学生们学得更好了。
超越了原始方法： Mono-Forward 始终优于原始的前向 - 前向方法。
与旧老师抗衡： 在许多测试中，Mono-Forward 几乎与传统反向传播方法一样好，而在某些特定任务（如识别名为 PathMNIST 的手写医学图像）上，它甚至击败了旧老师。
内存节省： 由于保留了“局部”规则（无需全局耳语），Mono-Forward 使用的内存显著减少。在 PathMNIST 任务上，它仅使用了旧老师所需内存的31%。

局限性：并非处处完美

论文也发现了一个局限性。虽然这种方法在简单、扁平的网络（如一条直线的学生）中表现极佳，但在复杂、深层的网络（如拥有宽阔走廊的多层建筑）中则变得棘手。

在这些复杂网络中，“局部游戏”要求学生在每一步携带一份关于每种可能水果的巨大分数列表。这份列表变得如此之大，以至于实际上比旧老师的方法消耗更多内存。然而，作者发现了一个变通方法：他们在一种称为MLP-Mixers的特定架构（一种不同风格的建筑）上测试了该方法，发现它依然非常高效且节省内存。

一句话总结

问题： 原始的“前向 - 前向”方法虽然符合生物特性，但不够智能。
发现： 问题不在于“局部”学习，而在于学生们玩的奇怪的“好 vs 坏”游戏。
解决方案： 作者创建了Mono-Forward，它保留了局部学习（节省内存），但将游戏替换为标准、经过验证的分类游戏。
结果： 这种新方法比原始方法更智能，几乎与标准方法一样聪明，并且在许多情况下使用更少的内存。它证明了你可以拥有一个局部、内存高效的学习系统，而不会牺牲太多准确性。

技术摘要：Mono-Forward：通过目标 - 局部性分解重访 Forward-Forward

问题陈述
反向传播（BP）仍是训练深度神经网络的主导算法，但其存在显著的内存开销，并依赖于全局误差传播，这一机制常被认为在生物学上不可行。Hinton 提出的 Forward-Forward（FF）算法提供了一种生物学上可行的替代方案，它用两个前向传递（正样本和负样本）取代了前向 - 后向传递，并利用局部的“好坏度”（goodness）目标来训练每一层。然而，FF 的准确率始终落后于 BP。一个核心未决问题是：这种性能差距是源于局部学习（仅利用局部信息更新参数）的固有局限性，还是源于 FF 中使用的特定对比好坏度目标（该目标依赖于正负双传递及基于阈值的损失函数）？原始 FF 公式中这两个设计选择的紧密耦合，使得难以隔离性能缺陷的来源。

方法论
作者提出对 FF 算法进行分解，以分离其两个核心组件：(1) 局部误差信号的使用（层局部学习）和 (2) 对比好坏度训练目标。为了探究是目标还是局部性构成了主要瓶颈，作者引入了Mono-Forward（MF）。

MF 是 FF 的一个简化变体，它保留了层局部学习的结构，但根本性地改变了训练目标：

目标替换：MF 不再使用原始 FF 的正负双传递对比目标，而是在每一层局部应用标准的多类交叉熵目标。
架构：每一层 $i$ 配备一个层特定的“好坏度矩阵” $M_i \in \mathbb{R}^{n \times m}$ （其中 $n$ 是神经元数量， $m$ 是类别数量）。给定激活向量 $a_i$ ，该层计算好坏度向量 $g_i = a_i^\top M_i$ 。
训练：立即根据这些好坏度分数计算局部交叉熵损失，以更新该特定层及其好坏度矩阵的参数。随后，激活值被断开（detach）并向前传递至下一层。
预测：在推理阶段，MF 可以累积所有层的好坏度分数，或仅依赖最后一层的好坏度分数，后者在内存上更高效。

本文还进行了广泛的消融研究，以分析全局误差传播、全比较好坏度目标（FC-FF）以及层间 L2 归一化的影响，结果表明，与标准分类目标相比，原始 FF 目标是导致性能下降的重要来源。

主要贡献

FF 的分解：本文提供了概念性分解，表明 FF 与 BP 之间的性能差距并非 solely 归因于局部性，而是很大程度上受到原始对比好坏度目标在监督分类任务中效率低下的影响。
Mono-Forward（MF）：引入 MF 作为局部学习的极简受控基线。它通过将 FF 目标替换为标准交叉熵损失，同时保持局部参数更新，从而隔离了 FF 目标的影响。
实证验证：在包括 MNIST、FashionMNIST、CIFAR-10/100、PathMNIST 和 TinyImageNet 的数据集上，对 MLP、卷积神经网络（CNN）和 MLP-Mixer 架构进行了广泛实验。
内存效率分析：详细分析了内存消耗，指出虽然 MF 在 MLP 设置中减少了内存使用，但由于需要存储高分辨率特征图的好坏度矩阵，其在 CNN 中的内存成本可能超过 BP。

结果

准确率提升：在 MLP 基准测试中，MF 始终优于原始 FF 及各类 FF 变体（如 Collaborative FF、SymBa）。在 MLP 上，MF 达到了与 BP 相当的准确率，在 MNIST 和 FashionMNIST 上略高于 BP，在 CIFAR-10 和 CIFAR-100 上保持竞争力。
MLP-Mixer 性能：在 PathMNIST 上，MF 在准确率上略胜 BP（特定配置下为 89.32% 对 87.62%），同时仅需 BP 消耗内存的31%。
CNN 局限性：当应用于 CNN 时，MF 的内存成本随空间分辨率和类别数量缩放，有时甚至超过 BP 的内存使用量，这与在全连接 MLP 中提供显著节省的情况不同。
表征质量：使用线性探针准确率、k-NN 准确率和 Fisher 比率的分析表明，MF 比原始 FF 学习到更强的层间表征，特别是在更深层中，并且与 BP 保持竞争力。
硬件效率：MF 在 CPU 上每轮训练的实际耗时减少（为 BP 时间的 0.88–0.93 倍），但在 GPU 上较慢（为 BP 时间的 1.18 倍），这是因为与标准反向传播相比，缺乏针对层局部目标的高度优化内核。

意义与主张
本文主张，Forward-Forward 算法在监督设置中的主要局限性并非其更新的局部性，而是其采用的特定对比目标。通过解耦这些因素，作者证明，当配合标准分类目标时，局部学习可以非常有效。

Mono-Forward 的意义体现在两个方面：

实用性：它提供了一种训练方法，在特定架构（MLP 和 MLP-Mixer）中，能以显著降低的内存需求实现接近反向传播的准确率，从而可能提高资源受限环境下的可及性。
分析性：它充当了局部学习领域的“受控探针”。作者提出，将局部学习方法与其放宽局部性约束的变体（通过引入全局误差信号）进行比较，是识别性能差距是由局部性引起还是由训练目标选择引起的一种有用策略。

作者保持谦逊，承认 MF 并非忠实的生物学模型（因为它仍依赖显式标签和基于梯度的优化），且其效率取决于硬件。他们并未声称 MF 在所有方面都优于 BP，但建议设计良好的局部目标在特定设置下（尤其是内存效率至关重要的场景）可能具有优势。