🤖 machine learning

Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models

本文介绍了 PolyNeXt，这是一系列无激活函数的视觉骨干网络，其在 MetaFormer 风格架构中利用哈达玛积以多项式替代方案取代标准非线性函数，在图像识别与分割任务中实现了最先进的性能，同时降低了计算成本。

原作者： Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在构建一个超级智能的机器人，它能够观察图片并准确告诉你它看到了什么。多年来，制造这些机器人的工程师们一直依赖一组特定的“魔法开关”，称为激活函数（如 ReLU 或 GELU）。这些开关就像交通信号灯或闸门；它们决定哪些信息能通过机器人的“大脑”，哪些会被阻挡。行业惯例认为，如果没有这些特定的闸门，机器人就无法学习复杂的模式。

这篇题为《用于图像识别的无激活函数骨干网络》的论文，挑战了这一长期持有的信念。作者 Jeffrey Wang 及其同事表示：“实际上，你并不需要那些特定的交通信号灯。你可以使用完全不同的数学方法，构建出更智能、更高效的机器人。”

以下是他们所做的工作及其重要性的简要说明，并辅以日常类比：

1. 问题所在：“交通信号灯”瓶颈

在现代人工智能中，机器人的“大脑”由多层构成。信息流经这些层，在每一步都会遇到一个“交通信号灯”（即激活函数），该信号灯会开启、关闭或改变信号的形状。

旧方法：机器人计算出一个数字，经过一个交通信号灯，然后继续前进。
问题：作者认为，这些交通信号灯并非创造复杂性的唯一途径。事实上，它们可能效率低下，有时甚至会成为阻碍。

2. 解决方案：用“食谱”代替“开关”

作者没有使用交通信号灯，而是用多项式取而代之。

类比：想象你在烤蛋糕。
- 旧方法（激活）：你混合配料，然后停下来检查一条特定规则（交通信号灯），看看是否应该加更多的糖。
- 新方法（多项式）：你只需按照特定的数学食谱将配料混合在一起。复杂性来自于你如何混合它们，而不是停下来检查规则。

具体来说，他们用哈达玛积（Hadamard products） 取代了那些“停下来检查”的步骤。

这是什么？ 想象你有两个数字列表。你不是将它们相加，而是逐个元素地将它们相乘。
神奇之处：当你将两个数字列表相乘时，你会自动创建一个复杂的、弯曲的关系（即多项式），而无需任何特殊的“交通信号灯”开关。这就像将红色和蓝色颜料混合会自然产生紫色，而无需一个“紫色开关”。

3. 三种新工具

团队构建了三种新工具，以取代机器人“大脑”中的旧工具：

PolyMLP：取代标准的“前馈”层（处理信息的部分）。它不再使用闸门，而是将两股数据流相乘。
PolyConv：取代“卷积”层（寻找边缘或纹理等形状的部分）。它通过乘法混合图像的不同视图。
PolyAttn：取代“注意力”机制（决定图像哪些部分重要的部分）。它不使用复杂的指数数学函数（如陡峭的山坡），而是使用平滑的多项式曲线。

4. 挑战：“雪球效应”

这种新方法存在一个大问题。

类比：如果你将两个大数字相乘，你会得到一个巨大的数字。如果在下一层再次这样做，你会得到一个极其巨大的数字。如果你持续这样做 100 层，数字会变得如此之大以至于爆炸（就像雪球滚下山坡，变得太重而无法控制）。这导致机器人的训练崩溃。

解决方案：作者发明了一种“稳定食谱”，以防止雪球爆炸：

Sigmoid-Scale：他们添加了一个微小的“调光开关”，如果数字变得太大，它会自动调低音量。
多输入跳跃连接：他们构建了“旁路道路”，让两步之前的信息跳过某一层，确保信号不会丢失或失真。
深而窄：他们发现，将机器人的“大脑”设计得非常深（很多层）但很窄（宽度较小），比通常的宽而浅的设计效果更好。

5. 结果：更快、更强、更稳健

他们在庞大的图像数据集（ImageNet）上测试了他们新的"PolyNeXt"机器人。

性能：他们的多项式机器人在表现上与使用旧“交通信号灯”开关的最佳机器人一样好，甚至更好。
效率：他们以更少的参数（更少的“大脑物质”）和更少的计算能力实现了这些结果。
稳健性：当他们向机器人展示模糊、嘈杂或绘制得奇怪（分布外数据）的图像时，多项式机器人在正确猜测方面出人意料地优于旧机器人。
隐私潜力：由于他们移除了复杂的“指数”数学和除法步骤，这些机器人更接近与全同态加密（FHE） 兼容。
- 什么是 FHE？ 这是一种在不解密数据的情况下对加密数据进行数学运算的方法。这对隐私至关重要。旧的“交通信号灯”开关很难与加密配合使用；而这些新的多项式开关则对加密友好得多。

6. 结论

该论文证明，激活函数并非构建强大图像识别人工智能的根本必需品。它们只是工程问题的一个解决方案。通过转向多项式数学（用乘法代替门控）并添加一些安全机制以保持数学稳定，作者创建了一个新的 AI 模型家族，它们：

同样聪明（甚至更聪明）于当前模型。
更高效（运行成本更低）。
更稳健（更能处理奇怪的图像）。
更利于隐私（更容易加密）。

简而言之：他们将“交通信号灯”从机器人的“大脑”中移除，用一种巧妙的混合食谱取而代之，结果发现机器人实际上开得更好了。

技术摘要：用于图像识别的无激活骨干网络

问题陈述

现代视觉架构，包括 MetaFormer 风格的骨干网络，严重依赖点式激活函数（如 ReLU、GELU、SiLU）以及 softmax 注意力机制中的指数运算来引入非线性。尽管这些组件使神经网络能够逼近复杂函数，但它们并非非线性的唯一来源。本文认为，这些激活函数对于实现竞争性性能并非严格必要。此外，对非多项式运算（如指数运算和点式激活）的依赖为全同态加密（FHE）带来了显著开销；FHE 是一种隐私保护计算范式，标准网络因其非多项式特性而在此范式下产生巨大成本。现有的多项式网络（如 MONet、DTTN）虽已展现出潜力，但往往需要定制且紧密耦合的架构，限制了其实用性，且未能以相当的计算成本匹配基于激活的对应模型的性能。

方法论

作者提出了一种框架，用多项式替代方案替换标准非线性，同时保留现有模块化视觉骨干网络的输入输出接口。这种方法允许将多项式模块集成到 MetaFormer 等成熟框架中，而无需重新设计整个架构。

核心原语

本文介绍了三种无激活模块，用学习到的线性投影的哈达玛积（逐元素乘法）替代标准非线性：

PolyMLP（通道混合）： 用两个并行线性投影的哈达玛积替代前馈网络中的点式激活： $PolyMLP(x) = W_o ((W_a x) * (W_b x))$ 。这产生了输入特征的二阶多项式。
PolyConv（空间混合）： 通过逐元素乘法融合具有不同感受野的并行卷积分支，以替代可分离卷积中的激活。具体而言，它结合了一个“粗”分支（膨胀深度卷积）和一个“细”分支（标准深度卷积），并在融合前对其中一个分支应用通道翻转以去相关特征。
PolyAttn（全局空间混合）： 用多项式核替代 softmax 注意力中的指数函数： $A = (s \cdot QK^\top + 1)^p$ ，随后进行 $\ell_1$ 归一化。这创建了一种无激活的注意力机制，同时保持与窗口注意力等结构变体的兼容性。

稳定化技术

作者指出，哈达玛积会放大大数值，导致深层网络训练不稳定。为实现高达约 200 层网络的稳定训练，他们引入了以下技术：

Sigmoid-Scale（Sigmoid 缩放）： 一个由 Sigmoid 函数 ( $\sigma(\lambda)$ ) 约束的可学习标量，用于缩放残差贡献 ( $y = x + \sigma(\lambda)f(x)$ )，防止无界增长。
多输入跳跃连接： 受 NASNet 启发，每个单元接收来自前两个单元 ( $x_{t-1}$ 和 $x_{t-2}$ ) 的输入，以改善梯度流。
深度优先于宽度设计： 作者主张堆叠更窄的层以加深网络，而不是使用更宽、更浅的配置。这种设计利用了多项式次数随深度呈指数增长（深度 $L$ 对应 $2^L$ ）的事实，在参数不线性增加的情况下最大化表征能力。

架构：PolyNeXt

这些模块在 MetaFormer 风格的四阶段分层架构中实例化。提出了两种变体：

CPolyNeXt： 在所有阶段使用 PolyConv 进行空间混合。
APolyNeXt： 一种混合设计，在高分辨率阶段使用 PolyConv，在低分辨率阶段使用 PolyAttn。

关键结果

模型在 ImageNet-1K 分类、分布外（OOD）鲁棒性以及 ADE20K 语义分割任务上进行了评估。

ImageNet-1K 分类： PolyNeXt 模型在所有模型规模（从 Tiny 到 Large）上均达到或超过了基于激活的 MetaFormer 实例（ConvFormer、CAFormer）。例如，CPolyNeXt-S（2600 万参数）实现了 83.9% 的 Top-1 准确率，显著优于 ConvFormer-S18（83.0%）和先前的多项式网络如 DTTN-S（79.4%），提升了 2–3 个百分点，且计算成本更低。
鲁棒性： 多项式骨干网络在 ImageNet-C（损坏）、ImageNet-A（对抗样本）、ImageNet-R（重绘）和 ImageNet-Sketch 上表现出更优越的鲁棒性。CPolyNeXt-B（4000 万参数）在多个 OOD 基准测试上超越了 ConvFormer-B36（1 亿参数）。
密集预测： 在 ADE20K 语义分割任务中，CPolyNeXt-S 在参数匹配的情况下，分别比 ConvFormer-S18 和 CAFormer-S18 高出 +2.0 和 +1.7 的 mIoU。
全多项式变体： 通过将 LayerNorm 替换为与多项式兼容的 BatchNorm（使用运行统计量以避免除法），作者构建了全多项式模型。CPolyNeXt-S (BN) 在 ImageNet 上达到 82.7%，比最佳先前的全多项式模型（MONet-T BN）提高了 5.0 个百分点，并超越了基于激活的 ConvNeXt-T（82.1%）。

消融实验洞察

激活函数有害： 在多项式模块中重新引入激活函数（如 GELU）会一致地降低性能。作者将此归因于破坏了哈达玛积固有的“相互梯度耦合”，即每个分支的梯度会被另一个分支的输出缩放。
稳定化至关重要： 移除 Sigmoid-Scale 或多输入跳跃连接会导致性能显著下降或训练崩溃。
配方敏感性： 性能提升归功于模块设计和稳定化技术，而非独特的训练配方，因为这些模块在交换到其他架构时表现出良好的迁移性。

意义与主张

本文主张，激活函数并非现代视觉骨干网络的表征必需品，而是解决优化挑战的一种方案。通过特定机制（Sigmoid-Scale、深度优先于宽度）解决训练稳定性问题，多项式交互可以作为有效的非线性来源。

主要贡献包括：

多项式替代方案： 引入了 PolyMLP、PolyConv 和 PolyAttn，用哈达玛积替代标准非线性，同时保持与架构改进的兼容性。
实证证据： 证明了无激活骨干网络（PolyNeXt）在不同规模下，在准确率和鲁棒性方面能够匹配或超越基于激活的对应模型。
稳定化配方： 一套轻量级技术，使得训练深层（高达 200 层）多项式网络成为可能。
FHE 进展： 通过移除非多项式运算（包括一种优于先前全多项式网络并接近基于激活基线的完全多项式变体），推动了全同态加密兼容推理的发展。

作者总结道，虽然他们的工作并不意味着立即带来安全或公平性方面的收益，但它为隐私保护推理开辟了一条道路，并表明该领域应重新评估传统激活函数在深度视觉模型中的必要性。