💻 computer science

HCL-FF: Hierarchical and Contrastive Learning for Forward-Forward Algorithm

本文提出了一种名为 HCL-FF 的新颖框架，该框架通过由粗到细的层次化学习策略和监督对比目标来增强前向 - 前向算法，通过解决纯局部优化的局限性和语义模糊性问题，在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上实现了最先进的性能。

原作者： Jie-En Yao, Hong-En Chen, C. -C. Jay Kuo

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jie-En Yao, Hong-En Chen, C. -C. Jay Kuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《HCL-FF：面向前向 - 前向算法的层次化与对比学习》的通俗化解读，辅以富有创意的类比。

宏观图景：一种全新的 AI 教学方式

想象一下，你正在教一个机器人识别动物。我们今天采用的标准方法（称为反向传播）就像一位站在教室后方的严厉老师：他看着学生犯错，然后一路走回教室前方，精确地告诉每一位学生如何修正他们画作中的具体部分。这种方法效果很好，但速度缓慢、需要大量内存，而且并不像人脑学习的方式。

一种名为**前向 - 前向（FF）**的新方法试图更像人脑。它不再依赖一位老师来回走动，而是让每个学生（或网络的每一“层”）独立学习。他们看着图片并问自己：“这在我看来看起来好吗？”如果好，他们就获得一个“良好度”分数；如果不好，他们就再试一次。他们不等待老师，只是努力让自己负责的部分看起来更好。

问题所在： 虽然这种“前向 - 前向”方法更快、更高效，但它存在两个重大缺陷：

过于贪婪： 排在队伍最前面的学生（早期层）被要求立即解决整个谜题。他们甚至还没学会“皮毛”或“耳朵”长什么样，就试图区分“猫”和“狗”。这让他们感到困惑。
丢失了意义： 为了让学生保持独立，该方法剥离了他们回答的“音量”（幅度），以防他们只是简单复制前一位学生。但这样一来，他们就失去了所见内容的意义。他们知道这个模式是“好”的，却忘记了该模式实际上代表什么。

解决方案：HCL-FF（智能课程）

作者提出了一种名为HCL-FF的新框架来解决这两个问题。这就像聘请了一位睿智的导师来指导学生。

1. “由粗到细”的课程（层次化学习）

类比： 想象一个学生学习绘画。

旧方法： 老师给学生一张特定犬种（例如金毛寻回犬）的照片，说：“把这张画得一模一样。”学生感到不知所措。
HCL-FF 方法： 老师从简单的开始。
- 早期层（草图）： “只需告诉我这是动物还是车辆。”（这既简单又宽泛）。
- 中间层（轮廓）： “好的，现在告诉我这是哺乳动物还是鸟类。”
- 深层（细节）： “最后，告诉我这是金毛寻回犬还是贵宾犬。”

论文所述： 系统将学习过程组织为从“超级类别”（宽泛的组）到“细粒度类别”（具体项目）。这防止了早期层感到困惑，并帮助整个网络在攻克困难细节之前建立起坚实的基础。

2. “群体拥抱”（对比学习）

类比： 想象学生们正在尝试整理图书馆。

问题： “前向 - 前向”规则说：“不要看你声音的音量（幅度），只看你词语的形状。”但如果只看形状，你可能会忘记“猫”和“狗”是不同的动物，它们可能最终看起来都一样。
修正： 作者添加了一条名为对比学习的规则。
- 规则： “如果你看到两张猫的图片，你必须让你的内部表示看起来非常相似（进行一次群体拥抱）。如果你看到一只猫和一只狗，你必须将你的表示推得远远的。”

论文所述： 尽管系统移除了“音量”（幅度）以保持各层的独立性，但这条新规则迫使系统保持事物之间的关系清晰。它确保即使没有音量信号，“猫”也能与“狗”保持 distinct（区分）。

结果：效果如何？

作者在标准图像数据集（如 CIFAR-10、CIFAR-100 和 Tiny-ImageNet）上测试了这种新的“智能课程”。

得分： HCL-FF 以巨大优势击败了所有之前的“前向 - 前向”方法。
- 在CIFAR-10上，准确率提高了5.46%。
- 在CIFAR-100（包含更多令人困惑的类别）上，它跃升了17.00%。
- 在Tiny-ImageNet上，提高了12.51%。
对比： 在某些情况下，当使用相似的计算能力时，这种新方法甚至比标准的“反向传播”（旧的、缓慢的方式）表现更好。

为什么这很重要（根据论文）

论文声称 HCL-FF 解决了“解耦困境”。这是一种花哨的说法，意思是：“我们可以在保持各层独立（快速且高效）的同时，不丢失它们所学内容的意义。”

效率： 它不需要存储海量数据来计算反向误差。
生物合理性： 它更像大脑那样学习（逐层进行），而不是像计算机那样（一次性完成）。
可扩展性： 与之前的尝试相比，它在更深、更复杂的网络上表现要好得多。

总结： 这篇论文介绍了一种更快、更高效的教学 AI 的方法。它通过分步骤教学（从宽泛到具体），并强制 AI 将相似的事物聚在一起、将不同的事物分开，从而确保 AI 真正理解它正在观察的图片，而不仅仅是在猜测。

技术摘要：HCL-FF

问题陈述

通过反向传播（BP）训练的深度神经网络已在视觉任务中实现了最先进的性能，但其存在生物不可行性、高计算需求（需要存储梯度和反向传播）以及内部表示不透明等问题。前向 - 前向（FF）算法通过利用局部的“良好性”（goodness）目标（即激活的幅度）独立训练每一层，提供了一种生物可行的替代方案。然而，标准的 FF 方法面临两个关键局限：

缺乏层级协调：FF 迫使浅层直接区分细粒度类别，导致早期层表示次优。与 BP 自然学习从低级线索到高级语义的递进不同，FF 缺乏一种机制来协调跨层级的这种递进。
解耦困境：为了防止深层从浅层 trivially 继承良好性信号，FF 通过归一化（去除幅度信息）将良好性与特征表示解耦。虽然这防止了对先前信号的过拟合，但导致生成的特征语义模糊且不受约束，因为优化目标仅针对激活幅度，而非特征的相对几何结构。

方法论

作者提出了HCL-FF（面向 Forward-Forward 的层级与对比学习），这是一个在保留 FF 逐层独立性的同时，通过两项关键创新解决上述局限的框架。

1. 层级学习（由粗到细策略）

为解决缺乏协调的问题，HCL-FF 引入了一种由粗到细粒度的课程学习策略：

超类目标：浅层使用粗粒度的超类目标进行监督，而深层则逐步分配更细粒度的标签，最终在最后一层实现细粒度类别的区分。
层级构建：类别层级通过数据驱动的方法构建。首先在不使用层级的情况下预训练模型，并在最后一层的特征上训练一个线性分类器。分类器的权重作为类别原型，随后使用层次凝聚聚类（hierarchical agglomerative clustering）将其聚类以形成语义树。
层级通道竞争（HierCwC）损失：修改标准 FF 损失，在浅层计算超类级别的“良好性”。超类良好性通过平均每个超类组内的各类别良好性得出。这降低了早期层目标的复杂度，并鼓励表示从广泛的语义结构演变为细粒度的区分。

2. 对比学习（语义落地）

为了解耦困境，HCL-FF 将监督对比目标直接应用于解耦良好性的特征（即归一化后的特征向量 $z^{(\ell)}$ ）：

特征投影：在每一层，解耦良好性的特征经过全局平均池化，并投影到潜在嵌入空间。
监督对比损失：对这些嵌入应用标准的监督对比损失，鼓励同类样本聚集在一起，不同类别样本相互分离。
意义：通过在良好性解耦之后约束特征的相对几何结构，该目标恢复了去除幅度信息时丢失的语义意义。它确保了虽然尺度（良好性）被解耦，但方向（语义内容）仍保持可区分性。

3. 整体框架

每一层 $\ell$ 的总损失函数结合了 HierCwC 损失和对比损失：
$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$
其中 $\lambda$ 设为 1。该框架利用基于通道卷积（CW-Conv）层的残差前向 - 前向架构，其中每一层独立运行，层间不进行梯度传播。

主要贡献

HCL-FF 框架：一种新颖的 FF 框架，整合了层级监督和对比学习，以解决缺乏协调和解耦困境的问题。
由粗到细的课程：一种通过超类监督浅层来降低早期层复杂度的策略，实现了语义抽象的自然递进。
对比落地：首次将对比学习专门应用于 FF 中的解耦良好性特征，在不违反逐层独立性约束的情况下有效保留了语义结构。
最先进的性能：该方法在多个基准测试中取得了基于 FF 的方法的新最优结果。

实验结果

实验在 CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST 和 Tiny-ImageNet 上进行。

性能提升：HCL-FF 在 CIFAR-10 上取得了显著优于先前最佳 FF 方法（DeeperForward）的准确率提升：
- CIFAR-10 提升 +5.46%（91.68% 对比 86.22%）。
- CIFAR-100 提升 +17.00%（70.09% 对比 53.09%）。
- Tiny-ImageNet 提升 +12.51%（48.46% 对比 35.95%）。
与 BP 的比较：在 CIFAR-10 上，HCL-FF 超越了标准 BP 训练的 ResNet-20（91.68% 对比 91.25%），并缩小了与参数匹配的 BP 变体之间的差距。
消融研究：
- 仅添加对比学习使 CIFAR-100 准确率提升了 +9.12%，证实了其在稳定解耦特征方面的作用。
- 仅添加层级学习使 CIFAR-100 准确率提升了 +6.96%，突显了其对更大标签空间的益处。
- 强数据增强仅在结合层级监督时才有效，因为它减轻了浅层的负担。
分析：
- 逐层准确率：HCL-FF 在各层均显示出稳定的准确率提升，而先前的方法则过早进入平台期。
- 解耦：线性探针评估显示，HCL-FF 即使在归一化后仍保持高准确率，证明其在解耦特征中保留了语义结构；相比之下，DeeperForward 在归一化后准确率显著下降。
- 可视化：t-SNE 可视化证实，HCL-FF 在良好性响应和解耦良好性特征中均保持了清晰的类别分离。

意义与主张

该论文声称，HCL-FF 代表了向可扩展、有效且生物可行的学习范式迈出的重要一步。通过解决根本的解耦困境并引入层级协调，该方法证明了逐层独立训练可以达到与基于反向传播的方法相当的性能，在某些情况下甚至超越后者。

作者指出，虽然 HCL-FF 改进了现有的 FF 方法，但它仍继承了一些限制，例如与端到端 BP 相比收敛速度较慢，以及通道数量需要随类别数量扩展（尽管在浅层中这一限制有所缓解）。这项工作表明，将层级监督与对比落地相结合，是克服非反向传播学习中长期存在挑战的一条可行路径。