🤖 machine learning

Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment

本文介绍了一种新颖的前向卷积神经网络框架，该框架采用可学习的通道-类别分配和损失感知层权重，在基准数据集上实现了最先进的性能，显著缩小了与基于反向传播的方法之间的差距。

原作者： Mohammadnavid Ghader, Saeed Reza Kheradpisheh, Bahar Farahani, Mahmood Fazlali

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammadnavid Ghader, Saeed Reza Kheradpisheh, Bahar Farahani, Mahmood Fazlali

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一支由100名专业工人（即计算机大脑中的“通道”）组成的队伍，将一大堆混杂的邮件进行分类放入不同的箱子（即“类别”，比如“猫”、“狗”或“汽车”）。

长期以来，教导这些工人的标准方法是反向传播（Backpropagation）。你可以把它想象成一个严厉的经理，他观察最终结果，发现出了错，然后沿着整个生产线一路往回走，告诉每一个工人到底哪里做错了。虽然这种方法很有效，但它速度慢、占用内存多，而且并不符合生物大脑的学习方式。

一种被称为**前向-前向（Forward-Forward, FF）**的新方法试图解决这个问题。与其让经理往回走，不如让每个工人直接观察面前的邮件，做出判断，并检查自己感觉“好不好”。如果这封邮件看起来符合他们负责的箱子，他们就会感觉良好；如果看起来不对，他们就会感觉糟糕。他们仅仅通过“向前看”来进行学习。

然而，原始的前向-前向方法有一个大缺陷：僵化的分配（Rigid Assignments）。
想象一下，经理告诉工人：“你，1号到10号工人，只能看‘猫’的邮件。你，11号到20号工人，只能负责‘狗’的邮件。”这就是静态通道分配（Static Channel Assignment）。

问题在于： 如果一张猫的照片有很多“像狗一样”的毛发纹理怎么办？1号工人（猫专家）可能会错过它，因为他被严格禁止观察那些特征。工人们被困在了自己的格子里，无法适应变化。

该论文的解决方案：一支灵活的团队

这篇论文介绍了一种新的组织这些工人方式，称为可学习的通道-类别分配（Learnable Channel–Class Assignment）。它是这样运作的，使用了简单的类比：

1. “智能徽章”系统（可学习分配）

与其给工人永久且僵硬的徽章上面写着“仅限猫”，团队领导给了他们智能且可调节的徽章。

开始时，1号工人可能认为：“我有80%的把握我是个猫专家，但可能有20%是狗。”
随着处理更多邮件，他们可以学习并调整这些百分比。如果他们意识到自己其实非常擅长识别出现在猫和狗身上的“蓬松纹理”，他们的徽章就会更新为：“我是50%的猫，50%的狗。”
结果： 工人们不再被困在僵硬的格子里。他们可以根据数据的实际情况进行动态专业化，这使得整个团队效率更高。

2. “团队和谐”规则（正则化）

为了确保工人不会全都决定变成“猫专家”而忽略了其他类别，论文加入了两条规则（数学上的引导）：

“稀疏性”规则（熵）： 这鼓励工人保持专注。它说：“不要试图精通所有事情。选出几件具体的事情并做到极致。”这可以防止混乱。
“多样性”规则（正交性）： 这确保了团队不会都在做同样的工作。它说：“如果1号工人擅长识别‘耳朵’，那么2号工人应该擅长识别‘尾巴’，而不是耳朵。”这迫使团队从不同的角度来解决问题。

3. “智能投票”系统（层贡献）

在一个深度神经网络中，存在许多层的工人（就像一个拥有多个装配线的工厂）。通常情况下，只有最后一行的决定才算数。

旧方法： 忽略早期的工人；只听最后一个人说话。
新方法： 论文提出了一种损失感知层贡献策略（Loss-Aware Layer Contribution Strategy）。想象一个投票系统，每一层都可以为最终答案投出一票。
运作方式： 系统会检查每一层的“得分”（损失）。如果第3层在识别物体方面做得很好，它的投票权重就会很大。如果第5层感到困惑并犯了错，它的投票权重就会很小。
结果： 最终的决定是所有层的加权平均值，给予那些表现良好的层更多的权重。

他们发现了什么？

作者在标准的图像数据集（如识别猫、狗、汽车以及微小的物体图像）上测试了这种新的“灵活团队”方法。

击败竞争对手： 他们的这种方法始终优于以往的前向-前向方法。比起旧的“僵硬徽章”系统，它在分拣邮件方面表现得更好。
以少胜多： 因为工人们非常灵活，所以团队规模可以更小。他们使用比之前最佳方法少50%的工人（通道），就实现了更好的结果。
缩小差距： 虽然旧的“向后经理”（反向传播）仍然是绝对的最优选择，但这种新的“仅向前”方法比以往任何时候都更接近顶尖水平，证明了你不需要一个“向后”的经理也能取得卓越的成果。

总结

这篇论文教会计算机仅通过“向前看”来学习，但加入了一个转折：它不再强迫大脑的各个部分成为僵化的专家，而是让它们根据数据进行自适应专业化。它还使用了一个智能投票系统来决定大脑的哪些部分在任何给定时刻做得最好。其结果是，这是一种更快、更高效且高度准确的方式，让计算机能够从图像中学习，而无需复杂的“向后”训练过程。

技术摘要：具有可学习通道-类别分配机制的前向（Forward-Only）卷积神经网络

问题陈述
前向（Forward-Forward, FF）算法通过用局部、仅前向的目标取代全局梯度信用分配，提供了一种具有生物学合理性的反向传播替代方案。虽然最近的改进已将 FF 扩展到卷积神经网络（CNN），但现有的公式（如 CwComp、DeeperForward）依赖于静态的通道-类别划分。在这些方法中，卷积通道通过固定的分组机制被永久分配给特定的类别。作者认为，这种僵化性限制了网络根据训练过程中不断演化的特征分布动态调整通道专业化的能力，从而导致特征利用效率低下、表示灵活性降低，并无法充分利用更深层的架构。此外，标准的 FF 推理通常仅依赖于最后一层或简单的聚合，可能忽略了有价值的中间表示。

方法论
所提出的方法引入了一种可学习的通道-类别分配机制，并将其集成到残差 CNN 中，同时结合了损失感知层贡献策略。

可学习通道-类别分配 (CAW-Conv)：
- 不同于静态分配通道给类别，作者引入了一个可学习的参数矩阵 $U \in \mathbb{R}^{C_{out} \times J}$ （其中 $C_{out}$ 是输出通道数， $J$ 是类别数）。
- 对 $U$ 的行应用 Softmax 函数以生成权重矩阵 $M$ ，该矩阵代表每个通道对每个类别的贡献率。这使得通道可以根据数据结构进行动态专业化。
- 每个类别的“良好度”（goodness）得分被计算为特征图的池化表示（ $A_{pooled}$ ）乘以分配矩阵 $M$ 。
- 正则化： 为了防止退化解并促进有效学习，损失函数中添加了两个正则化项：
  - 熵正则化 (Entropy Regularization)： 最小化类-通道权重的熵以鼓励稀疏性，确保通道仅对少数类别做出显著贡献。
  - 正交正则化 (Orthogonality Regularization)： 强制归一化后的类-通道权重向量之间保持正交，以促进不同类别间特征提取的多样性。
损失感知层贡献策略：
- 不同于仅在最后一层做出决策的传统网络，所提出的框架聚合了来自所有层的预测。
- 每一层对最终决策的贡献根据其验证损失进行自适应加权。具有较低验证损失（表明预测可靠性更高）的层通过 Softmax 变换被分配更高的权重。
- 最终预测是各层良好度得分的加权和。
训练与推理：
- 网络使用逐层、仅前向的对比过程进行训练。每一层都使用局部交叉熵损失结合正则化项进行独立优化。
- 在层间应用实例归一化（Instance Normalization），以将特征尺度与表示方向解耦。
- 在推理期间，通过对层输出进行加权聚合来确定最终的类别预测。

核心贡献

动态专业化： 本文提出用可学习的分配机制取代静态通道分组，实现了卷积通道的自适应、数据驱动专业化。
增强表示能力： 通过使用熵正则化和正交正则化，该方法促进了稀疏且多样化的通道利用，提高了特征的可区分性。
自适应推理： 引入的损失感知层贡献策略使得模型能够比仅依赖最后一层输出的方法更有效地利用中间表示。
高效性： 与静态分组方法相比，所提出的方法在显著减少通道数量的情况下实现了更优越的性能。

实验结果
该方法在 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上使用三种架构进行了评估：TinyCNN-4、VGG-14 和 ResNet-17。

在 CIFAR-10 上的表现： 所提方法在使用 17 层 ResNet 时达到了 89.37% 的准确率，超过了之前的最先进 FF 方法（DeeperForward）超过 3 个百分点。在浅层 4 层架构上，它也比 DeeperForward 高出 5% 以上。
在挑战性数据集上的表现： 在 CIFAR-100 上，所提方法达到了 63.52%（对比 DeeperForward 的 53.09%）。在 Tiny-ImageNet 上，它达到了 49.87%（对比 DeeperForward 的 41.36%）。
通道效率： 即使在通道规模减少 30–50% 的情况下（例如，在 0.6 倍通道规模下使用 ResNet-17 实现 86.52% 的 CIFAR-10 准确率，而 DeeperForward 在全规模下仅为 86.22%），所提方法仍持续优于 DeeperForward。
与反向传播 (BP) 的比较： 虽然在绝对准确率上仍落后于全反向传播（例如，在 CIFAR-10 上，152 层 BP 模型为 95.52%，而本方法为 89.37%），但所提 FF 方法显著缩小了与以往 FF 尝试之间的性能差距，特别是在超越了一些基于 BP 的基准模型的 MNIST 和 Fashion-MNIST 任务中。

意义与主张
论文声称，引入可学习的通道专业化和层贡献加权显著增强了深度 CNN 中仅前向学习的表示能力。作者断言，其方法在 FF 模型中建立了新的最先进性能，证明了前向学习可以有效地扩展到更深的架构和复杂的任务，而不会受到静态通道分配的约束。结果表明，所提出的框架是一种可行的、受生物启发的替代方案，可以在提供更高通道使用效率和扩展性的同时，与基于梯度的算法相竞争。作者也谦虚地指出，虽然可学习矩阵提升了性能，但未来的工作可以专注于辅助机制，以进一步引导其学习并更好地调节全局损失的影响。