🤖 machine learning

Hyperspherical Forward-Forward with Prototypical Representations

本文介绍了球面前向 - 前向（HFF）算法，这是一种受生物启发的新颖算法，通过将局部目标重构为超球面特征空间中的多类分类问题，解决了原始前向 - 前向方法中计算上不可行的推理瓶颈，从而实现了单次通过推理，在 ImageNet-1k 等基准测试上不仅速度提升了 40 倍以上，还取得了更优的准确率。

原作者： Shalini Sarode, Brian Moser, Joachim Folz, Federico Raue, Tobias Nauen, Stanislav Frolov, Andreas Dengel

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shalini Sarode, Brian Moser, Joachim Folz, Federico Raue, Tobias Nauen, Stanislav Frolov, Andreas Dengel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一个工人团队（即神经网络）将一大堆混杂的玩具分类到不同的盒子里：汽车、洋娃娃、动物等等。

几十年来，完成这项任务的标准方法是反向传播。这就像一位严厉的主管，从头到尾监视整个分拣过程。如果一个玩具被放错了盒子，主管就会沿着生产线一直往回走，告诉每一位工人具体哪里做错了，以及如何修正。这种方法效果极佳，但速度缓慢且需要大量内存，因为主管必须记住过程的每一步，以便将那些“修正说明”向后传递。

“前向 - 前向”算法的问题

几年前，一种名为**前向 - 前向（Forward-Forward, FF）**的新理念被提出。这种方法不再让主管向后走，而是试图在本地教导每一位工人。

工作原理：每位工人观察一个“好”样本（例如一辆汽车），并尝试让自己的大脑“明亮”起来。然后，他们观察一个“坏”样本（例如一辆被标记为洋娃娃的汽车），并尝试让自己的大脑“暗淡”下来。
缺陷：为了判断一个新玩具是否是汽车，旧的 FF 方法存在一个巨大的缺陷。它必须询问每一位工人：“这是汽车吗？”然后再次询问：“这是洋娃娃吗？”接着又问：“这是马吗？”
瓶颈：如果你有 1,000 种玩具，为了分拣一个玩具，你就必须将整个分拣线运行 1,000 次。这就像雇佣 1,000 个不同的团队，一个接一个地检查同一个盒子。对于大规模任务而言，这极其缓慢且不切实际。

解决方案：超球面前向 - 前向（Hyperspherical Forward-Forward, HFF）

本文的作者引入了超球面前向 - 前向（HFF）。他们通过彻底改变游戏规则，解决了速度问题。

1. “超球面”类比

想象工人的大脑不再仅仅是开关灯光，而是在一个巨大的、无形的球体（超球面）上指向特定的方向。

在旧方法中，工人们只是试图变得“响亮”或“安静”。
在 HFF 中，工人们被训练将他们的“手指”指向球体上的特定点。

2. “原型”（锚点）

系统不再询问 1,000 次“这是汽车吗？”，而是学习一组原型。

想象在球体上漂浮着巨大的发光锚点：一个代表“汽车”，一个代表“洋娃娃”，一个代表“动物”，以此类推。
当新玩具进来时，工人只需看着玩具并问：“这个玩具指向哪个锚点最近？”
因为玩具被投影到了这个球体上，系统可以在一眼之间立刻看出它离哪个锚点最近。

3. 结果：一次通过，一个答案

这就是魔法所在。

旧 FF：“是汽车吗？不是。是洋娃娃吗？不是。是马吗？是！”（需要尝试 1,000 次）。
新 HFF：“看着这个玩具。它指向‘马’的锚点最近。”（只需尝试 1 次）。

这使得新方法在分拣速度上比原始的前向 - 前向方法快40 倍，同时保留了不需要那种缓慢的、向后传递的“主管”（反向传播）的优势。

他们取得了什么成就？

该论文声称，通过使用这种“球体与锚点”系统：

速度：他们几乎能像标准的、基于缓慢反向传播的方法那样快速地分拣图像，但无需反向传递过程。
准确性：他们在标准测试（如识别数字或简单图像）中获得了极高的分数。
大数据：他们成功将此方法应用于ImageNet，这是一个包含 1,000 个不同类别的庞大数据集。他们是首批在未使用传统反向方法的情况下，在该大型数据集上获得合理准确率（超过 25%）的团队之一。
迁移学习：他们证明，如果你使用旧有的、缓慢的方法训练一个模型，然后仅用他们的新方法微调最后的“锚点”层，效果会更好（在 ImageNet 上达到近 66% 的准确率）。

简而言之

这篇论文提出并重塑了一个有前景但缓慢的想法（前向 - 前向）。他们不再反复询问“这是 X 吗？这是 Y 吗？这是 Z 吗？”，而是教导系统指向一张“锚点”地图，并瞬间选择最近的一个。这将一个缓慢、重复的过程转变为一个快速、单步的决策，使得在不付出传统方法沉重计算成本的情况下训练复杂 AI 模型成为可能。

以下是论文《基于原型表示的超球面前向 - 前向算法》（"Hyperspherical Forward-Forward with Prototypical Representations"）的详细技术总结。

1. 问题陈述

杰弗里·辛顿（Geoffrey Hinton）提出的**前向 - 前向（Forward-Forward, FF）**算法提供了一种受生物启发的反向传播（BP）替代方案，它用第二次前向传递取代了反向传递。每一层都在局部目标上进行贪婪训练，以区分“正”数据（正确标签）和“负”数据（错误标签）。

然而，原始 FF 算法存在一个关键的推理瓶颈：

推理效率低下：为了分类单个测试图像，网络必须为每一个可能的类别执行一次单独的完整前向传递，以计算每个类别的“好坏度”（goodness）分数。
可扩展性问题：这导致推理成本为 $O(C)$ ，其中 $C$ 是类别数量。对于像 ImageNet-1K（1,000 个类别）或 CIFAR-100（100 个类别）这样的大型数据集，这使得推理在计算上不可行，且难以在实际部署中应用。
二元局限性：原始 FF 将学习视为二元判别任务（正 vs. 负），而非直接的多类分类，限制了其高效学习可分离表示的能力。

2. 方法论：超球面前向 - 前向（HFF）

作者提出了超球面前向 - 前向（Hyperspherical Forward-Forward, HFF），这是对 FF 算法的重新表述，通过重构局部学习目标来解决推理瓶颈。

核心创新

超球面投影：
- 不使用原始激活向量，HFF 通过 $\ell_2$ 归一化将每一层的输出投影到单位超球面（ $S^{D-1}$ ）上。
- $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$ 。
- 这确保了学习关注特征的方向（角度相似性）而非其幅度，防止层利用向量幅度来“欺骗”损失函数。
原型表示（几何锚点）：
- 每一层学习一组特定于类别的单位范数原型 $\{v^{(l)}_{c,p}\}$ ，其中 $c$ 是类别， $p$ 是原型索引。
- 这些原型在超球面特征空间中充当几何锚点，为每个类别定义一个独特的区域。
- 与需要生成显式负样本的原始 FF 不同，这些原型充当隐式负样本。
直接多类分类目标：
- 局部目标从二元好坏度判别转变为直接多类分类。
- Logit 计算：对于归一化特征向量 $h^{(l)}_{norm}$ ，类别 $c$ 的分数是使用该特征与该类别所有原型之间的相似度的LogSumExp (LSE) 计算的：
  $g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$
  其中 $\tau$ 是控制最大操作软度的温度参数。
- 损失函数：使用平滑边界损失（smooth margin loss）来最大化真实类别的分数，同时最小化所有其他类别的分数（通过负类别的 LSE 隐式处理）：
  $L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$
单次传递推理：
- 由于模型在每一层同时输出所有类别的分数向量，推理仅需一次前向传递。
- 最终预测 simply 为 $\hat{c} = \arg\max_c G_{last}(x)[c]$ 。
- 这将相对于类别数量的推理复杂度从 $O(C)$ 降低到 $O(1)$ 。
卷积适应：
- HFF 自然地扩展到卷积神经网络（CNN）。它将局部目标与特征提取解耦，避免了先前 FF 变体所需的复杂标签嵌入或空间标签掩码。
- 使用辅助的 1x1 卷积来调整特征维度以进行超球面投影，而不改变主网络的深度。

3. 主要贡献

解决推理瓶颈：HFF 实现了单次传递推理，使得在前向 - 前向算法在具有许多类别的数据集上比原始 FF 快 40 倍以上。
卓越的准确率：该方法在无反向传播的方法中取得了最先进的结果，显著优于标准 FF 和其他局部学习算法（如 SymBa、FFCL）。
ImageNet 可扩展性：HFF 是最早报告在ImageNet-1K上结果的贪婪局部学习方法之一，从头训练（from scratch）达到25.70%的 Top-1 准确率，迁移学习达到65.96%（在迁移设置中超过了其 65.80% 的反向传播基线）。
理论稳定性：作者提供了理论分析，表明 HFF 层是Lipschitz 连续的，与基于幅度的原始 FF 相比，对输入扰动具有固有的鲁棒性。
可解释性：HFF 的逐层性质允许细粒度的可解释性，每一层都产生有效的类别预测，且原型提供了关于类别簇的几何洞察。

4. 实验结果

作者在 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 和 ImageNet-1K 上评估了 HFF。

数据集	指标	HFF-MLP	HFF-CNN	最佳局部方法 (非 HFF)	反向传播基线
MNIST	准确率	98.59%	99.09%	98.74% (MF)	99.25%
CIFAR-10	准确率	61.93%	83.08%	82.39% (MF)	84.37%
CIFAR-100	准确率	-	54.34%	54.77% (MF)	55.16%
ImageNet-1K	Top-1 (从头训练)	-	25.70%	~22% (SoftHebb)	71.59%
ImageNet-1K	Top-1 (迁移学习)	-	65.96%	65.30% (DFA)	65.80%

推理速度：在 CIFAR-100 上，HFF 推理比基线 FF 算法快约40 倍。
收敛性：虽然 HFF 需要比反向传播稍长的训练时间（1.7 倍），但其收敛速度显著快于原始 FF（原始 FF 的训练时间是 BP 的 9.5 倍）。
消融研究：
- 损失放置：激活后损失（ReLU 之后）比激活前损失具有更好的稳定性。
- 原型：每个类别一个原型（ $P=1$ ）通常足以实现泛化且为最优，尽管复杂数据集可能受益于 $P>1$ 。
- 归一化：将特征投影到单位超球面上对性能至关重要。

5. 意义

这项工作代表了生物可解释深度学习的重大进步。

实际可行性：通过解决推理瓶颈，HFF 使局部、无反向传播的学习成为现实世界应用的可行候选者，特别是在资源受限的环境（如边缘设备）中，在这些环境中反向传播的内存消耗过大。
弥合差距：HFF 缩小了局部学习与反向传播之间的性能差距，特别是在像 ImageNet 这样的大规模数据集上，挑战了全局梯度流对于高性能深度学习严格必要的观念。
几何学习：向超球面特征空间和原型学习的转变，为神经网络如何在没有全局误差信号的情况下学习判别性表示提供了新视角，这与生物学习机制更加一致。

总之，超球面前向 - 前向算法成功地将前向 - 前向算法从一个具有实际局限性的理论好奇对象，转变为一种可扩展、高性能且高效的反向传播替代方案。