🤖 machine learning

Adaptive Multi-Scale Goodness Aggregation for Forward-Forward Learning

本文介绍了自适应多尺度优良度聚合（AMSGA），这是前向 - 前向算法的一种新颖扩展，它通过多尺度表示聚合和自适应训练策略增强了稳定性、鲁棒性和泛化能力，在 MNIST 和 Fashion-MNIST 上实现了显著的性能提升，同时保持了生物合理性和内存效率。

原作者： Salar Beigzad, Vansh Verma

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Salar Beigzad, Vansh Verma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一群学生如何识别不同的物体，比如手写数字或衣物。

几十年来，实现这一目标的标准方法（称为“反向传播”）就像一位站在教室后方的严厉老师。当学生犯错时，老师会从队伍末端向最前端发送信号，沿途纠正每一位学生。这种方法效果极佳，但存在两个大问题：

内存：老师必须记住每位学生在每一步的所作所为，才能将纠正信号回传。这需要消耗大量的脑力（或计算机内存）。
生物学：真正的大脑并非如此运作。我们的神经元不会通过完美的导线向后发送“误差信号”。它们基于眼前所见进行局部学习。

于是，前向 - 前向（Forward-Forward, FF） 算法应运而生。与向后纠正不同，FF 就像一个“双遍”系统：

第一遍（好的方面）：你向学生展示真实示例（例如一张"7"的图片）。他们尝试让自己对此感到“好”（高能量）。
第二遍（坏的方面）：你向他们展示虚假或混乱的示例。他们尝试让自己对此感到“坏”（低能量）。
规则：每位学生（或每一层神经元）独立学习。他们无需等待来自队伍末端的信号。他们只需检查：“我对这个真实事物感觉好吗？我对这个虚假事物感觉坏吗？”

问题：原始的 FF 方法略显简单。它就像一把钝器。它一视同仁地对待所有学生，使用随机的“坏”示例，并且从未随着学生变得更聪明而调整规则。它效果尚可，但不如标准的反向传播方法出色。

解决方案：AMSGA（自适应多尺度优良性聚合）
本文作者创建了一个名为 AMSGA 的 FF 升级版。他们修复了四个主要弱点，使学习过程更智能、更稳定、更准确。以下是他们如何做到的，辅以简单的类比：

1. 在不同尺度上倾听（多尺度优良性）

旧方法：想象一位评委仅根据一个数字来评分：房间的总音量。无论是一个人尖叫还是所有人低语，总音量都一样。
新方法（AMSGA）：新系统在三个不同层级进行监听：

局部：这个特定神经元活跃吗？（就像检查一位小提琴手是否演奏得当）。
中间：这组神经元是否协同工作？（就像检查弦乐组）。
全局：整个房间的能量如何？（整个管弦乐队）。
通过结合这三种视角，系统能获取更丰富的画面，而不仅仅是一个模糊的单一数字。

2. 更聪明的练习题（自适应负样本挖掘）

旧方法：系统完全随机地挑选“坏”示例（虚假样本）。早期，虚假样本过于明显，学生感到无聊；后期，虚假样本过于混乱，学生感到沮丧。
新方法（AMSGA）：系统采用课程，就像一位随着学生进步而调整作业难度的老师。

早期阶段：挑选仅略具挑战性的虚假样本（处于学生知识边缘）。
中期阶段：开始混入更难的虚假样本。
晚期阶段：用最难的虚假样本挑战学生，将其推向极限。
这使学习保持在“金发姑娘”区域——既不太容易，也不太难。

3. 移动球门（自适应阈值）

旧方法：系统对什么是“足够好”只有一个固定规则（阈值）。这就像说“你必须得 50 分才能及格”，无论你是初学者还是大师。
新方法（AMSGA）：系统意识到初学者需要较低的门槛，而专家需要更高的门槛。随着学生深入网络（更抽象）以及训练推进（时间增加），“及格分数”会自动提高。这确保了规则在每个阶段都保持公平且具有挑战性。

4. 温和的起步（预热与余弦退火）

旧方法：系统一开始就以全速学习。这就像在挂挡之前就将汽车引擎转速拉到最大；这往往导致撞车或起步不稳。
新方法（AMSGA）：

预热：以非常低的学习率开始，让系统稳定下来并找到立足点。
余弦退火：随着训练进行，它缓慢而平滑地降低学习率，就像在接近停车标志时轻踩刹车。这防止了系统在结束时过度偏离解决方案。

结果

作者在两个标准数据集上测试了这个新系统：MNIST（手写数字）和 Fashion-MNIST（衣物）。

数字识别：原始 FF 的正确率约为 92%。新的 AMSGA 正确率达到 94.45%。
衣物识别：原始 FF 的正确率约为 81%。新的 AMSGA 正确率达到 84.5%。

为何重要：
该论文声称，这证明了“局部学习”（无需向后误差信号的学习）不必是薄弱的。通过仅仅使规则更智能、更具适应性，他们缩小了这种符合生物学特性的方法与标准的重型计算机学习方法之间的差距。他们无需更多的计算机内存或算力；他们只是让现有过程运作得更好。

简而言之：他们采取了一个有前景但简单的想法，添加了一些聪明的“辅助轮”和“可调节规则”，使其性能显著提升，同时保留了其内存高效、类大脑的优势。

技术摘要：面向前向 - 前向学习的自适应多尺度 goodness 聚合

1. 问题陈述

由 Hinton 提出的前向 - 前向（Forward–Forward, FF）算法，利用两次前向传播（一次在真实数据上，一次在负样本数据上）独立训练各层，为反向传播提供了一种生物学上合理的替代方案。该方法消除了为计算梯度而存储中间激活值的需求，从而降低了内存占用，并避免了“权重传输”问题。然而，基准 FF 算法的性能与基于反向传播的模型相比存在显著差距（例如，在 MNIST 数据集上约为 92% 对比约 98%）。

作者指出，这一性能差距并非源于 FF 的核心概念，而是源于原始实现中四个具体且过于简单的设计选择：

单尺度 goodness：原始算法将"goodness"（激活质量的一种度量）计算为单个标量（激活值的平方和），未能捕捉不同抽象层次的信息。
静态负样本采样：负样本通过随机打乱生成，导致训练信号要么过于简单，要么具有破坏性的困难，缺乏基于课程的学习进程。
固定阈值：在整个训练过程中，对所有层应用单一静态阈值（ $\theta$ ），忽略了激活分布随网络深度和训练进程变化的事实。
静态学习率：使用固定学习率未能考虑到训练早期阶段的不稳定性，此时 goodness 分数和阈值仍在趋于稳定。

2. 方法论：自适应多尺度 goodness 聚合（AMSGA）

本文提出了AMSGA，该框架保留了 FF 核心的逐层、非反向传播结构，同时用自适应机制替换了上述四个薄弱的设计选择。

A. 多尺度 goodness 聚合

AMSGA 不再使用单一的 goodness 指标，而是在三个尺度上计算 goodness，并使用依赖于深度的权重将它们组合：

局部 goodness（ $g_{local}$ ）：每个神经元的平均平方激活值。这捕捉了细粒度的低级特征，在浅层中权重较高。
中间 goodness（ $g_{inter}$ ）：将神经元分组为分区，并在组内对平均平方激活值进行平均。这提供了稳定的中级信号。
全局 goodness（ $g_{global}$ ）：所有神经元和样本的平均平方激活值，捕捉层的整体能量。这在深层中权重较高。
加权方案：第 $l$ 层的最终 goodness $g(h, l)$ 为线性组合：
$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$
其中权重从浅层偏向局部结构线性过渡到深层偏向全局活动。

B. 基于课程学习的自适应负样本挖掘

负样本的选择根据训练进度（ $p = \text{当前 epoch} / \text{总 epoch}$ ）动态调整：

早期阶段（ $p < 0.3$ ）：专注于“边界邻近性”，选择靠近决策阈值的负样本，以确保初始学习的稳定性。
中期阶段（ $0.3 \le p < 0.7$ ）：扩大难度范围，并以 40% 的比例引入“极难”负样本（即具有较高 goodness 分数的样本），以细化表征。
晚期阶段（ $p \ge 0.7$ ）：通过扩大范围并将“极难”负样本的采样率提高至 50%，积极细化模型。
安全机制：如果选择标准产生的样本过少，算法将通过添加剩余的最难样本保证最小批次大小。

C. 层依赖的自适应阈值

阈值 $\theta$ 不再是全局常数。它根据层深度（ $l$ ）和训练进度（ $p$ ）进行调整：
$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$
这确保了处理更抽象特征的深层以及在表征更精细的后期训练阶段使用更高的阈值，从而保持决策边界的适当校准。

D. 学习率调度

为了防止 goodness 分数和阈值在初始稳定期间的不稳定性，AMSGA 采用预热（warm-up）阶段（在前 10% 的训练中线性增加学习率），随后对剩余部分进行余弦退火（cosine annealing）。这对于 FF 至关重要，可避免在系统稳定之前出现大的、破坏性的更新。

3. 主要贡献

新颖的聚合机制：引入多尺度 goodness 聚合，利用局部、中间和全局信号，并结合深度依赖的加权。
基于课程的训练：实施自适应负样本挖掘策略，使样本难度与训练进度同步演进。
动态校准：用依赖于层和阶段的自适应阈值替换固定阈值。
稳定化策略：整合专门针对局部学习规则独特动态的预热和余弦退火。
性能验证：证明这些修改在不牺牲算法内存效率或生物学合理性的情况下，显著缩小了 FF 与反向传播之间的性能差距。

4. 实验结果

实验在MNIST和Fashion-MNIST数据集上使用多层感知机（MLP）架构进行。

MNIST：
- 基准 FF：92.00% 测试准确率。
- AMSGA：94.45% 测试准确率。
- 提升：+2.45%。
- 模型实现了小于 0.1% 的测试 - 训练差距，表明具有强大的泛化能力。
Fashion-MNIST：
- 基准 FF：81.00% 测试准确率。
- AMSGA：84.50% 测试准确率。
- 提升：+3.5%。
计算效率：
- AMSGA 引入了极小的计算开销。尽管增加了聚合和挖掘逻辑的复杂性，但每个 epoch 的时间仅略有增加（例如，在 MNIST 上从 2.5 秒增加到 2.7 秒）。
- 该方法保留了 FF 的核心优势：无需反向传播、无需全局梯度存储以及逐层优化。

5. 意义与主张

本文认为，局部学习规则（如 FF）的局限性并非概念本身固有，而是“缺乏雄心的默认”设计选择的结果。通过解决如何度量 goodness、如何选择负样本以及如何塑造训练动态的问题，作者证明了生物学上合理的学习可以在标准基准测试中与反向传播竞争。

作者声称，AMSGA 代表了使生物学上合理的学习“真正具有竞争力，而不仅仅是理论上有趣”的一步。他们强调，尽管在更困难的任务上，与最先进的反向传播模型相比仍存在差距，但此处取得的性能提升证明，该差距主要归因于训练动态，而非局部规则无法学习复杂表征的根本能力。这项工作表明，未来的改进可能在于细化标签信息的嵌入方式以及逐层独立性的管理方式，而不是放弃局部学习范式。