🤖 AI

Rational Neural Networks have Expressivity Advantages

本文证明了利用可训练低阶有理激活函数的神经网络，比使用标准固定激活函数的神经网络具有显著更高的表达能力和参数效率，并提供了在理论上可证明且在实验上得到验证的指数级逼近优势。

原作者： Maosen Tang, Alex Townsend

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Maosen Tang, Alex Townsend

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在为一个解决复杂谜题的机器人大脑（神经网络）构建大脑。为了让这个大脑变得聪明，你需要给它提供“激活函数”。你可以把它们想象成大脑的开关或闸门，决定了信息如何从一个神经元层流向下一个神经元层。

多年来，工程师们一直在使用两种主要的开关：

“分段式”开关： 像楼梯一样。它既尖锐又带有棱角（例如 ReLU）。
“平滑式”开关： 像连绵起伏的小山丘一样（例如 GELU、Swish、Sigmoid）。这些是现代 AI 的领跑者。

重大发现
这篇论文介绍了一种新型开关，称为有理激活（Rational Activation）。这些开关不再是固定的形状（比如预制的塑料模具），而是可训练的。它们由“有理函数”（多项式的分数形式）构建，这意味着 AI 可以在训练过程中学习如何重塑自己的开关，以适应它正在解决的具体谜题。

作者声称，这些新的开关在两个主要方面优于旧的平滑开关：

1. “魔镜”类比（效率）

想象一下，你想画一座锯齿状的山峰。

平滑开关（旧方法）： 如果你试图仅用平滑、起伏的小山丘来绘制一座尖锐的山峰，你需要将数千个微小的山丘堆叠在一起，才能伪造出那种尖锐感。这需要耗费大量的精力和材料（参数）才能做到准确。
有理开关（新方法）： 这个开关就像一个魔镜，可以自然地捕捉到尖锐的棱角和突然的跌落。你只需要寥寥数个层级，就能画出同样的山峰。

数学魔力： 论文证明了，为了达到相同的准确度，使用这些新型有理开关的网络，比使用标准平滑开关的网络所需的参数量呈指数级减少。

如果一个平滑网络需要大小为 $X$ 才能达到准确，那么有理网络可能只需要 $\log(\log(X))$ 的大小。
用通俗的话说： 这就像是用一整座图书馆的书来描述一个故事，与用一页完美的文字来描述一个故事之间的区别。

2. “瑞士军刀”对比“固定工具”

固定开关（GELU、ReLU 等）： 这些就像一把锤子。它们在钉钉子时表现出色，但如果你需要切割木头或拧螺丝，它们就会显得力不从心。它们具有无法改变的固定形状。
有理开关： 这些就像一把可以重塑自身刀片的瑞士军刀。如果数据看起来像平滑的曲线，开关就会变得平滑；如果数据有一个尖锐的突起，开关可以瞬间变形，产生一个尖锐的棱角。因为它们可以适应形状，所以能更高效地表示复杂的模式。

实验结果显示

作者不仅做了数学推导，还在现实世界中进行了测试：

图像识别（CIFAR-10 & Tiny ImageNet）： 当他们将标准开关替换为有理开关进行图像分类器测试时，AI 的学习速度更快，且准确度更高。
- 趣闻： 在一次实验中，他们尝试移除“归一化层”（一种标准的 AI 安全机制），以观察有理开关是否能独自应对这种情况。旧的开关崩溃并失败了，但有理开关却保持正常运行，并且表现得更好。
机器人控制（强化学习）： 他们在机器人学习走路（在模拟环境中）的过程中测试了这一点。有理开关使得机器人在使用相同计算能力的情况下，能够学习到更好的策略。

潜在问题（“安全阀”问题）

论文还提出了一个警告。有理开关非常灵活，但也非常敏感。

类比： 想象一个非常灵敏的麦克风。如果你把它紧挨着一个也在放大声音的扬声器（比如一个“归一化”层），就会产生巨大的、刺耳的反馈回路，从而毁掉录音。
解决方法： 作者发现，为了让这些有理开关发挥最佳效果，有时你需要关闭通常位于它们前面的标准“归一化”层。当他们这样做时，有理开关的表现更加出色。

总结

这篇论文认为，相比于我们今天使用的平滑、固定的开关，可训练的有理激活函数是构建 AI 更强大、更高效且更灵活的工具。它们可以用更少的“脑力”（参数）完成同样的工作，并且能够适应其他开关难以模仿的尖锐、复杂的模式。这就像是从一套固定的塑料模具升级到了一套可以自我塑形的粘土，可以根据 AI 的需求变成任何形状。

技术摘要：有理神经网络具有表达能力优势

问题陈述

深度神经网络在很大程度上依赖于非线性激活函数的选择来控制表达能力（expressivity）和可训练性。虽然现代架构主要使用固定的、平滑的激活函数（如 GELU、Swish/SiLU、Mish、ELU/SELU/CELU）或分段线性函数（如 ReLU 及其变体），但这些选择在如何高效近似具有尖锐过渡、折点或临近复杂奇点的函数方面施加了特定的限制。本文研究了将这些固定激活函数替换为可训练低阶有理激活函数（trainable low-degree rational activation functions），是否能在参数效率和表达能力方面提供理论与实践上的优势。

研究方法

理论框架

作者建立了有理神经网络与基于标准平滑或分段线性激活函数的网络之间的逼近理论分离（approximation-theoretic separations）。

有理网络（Rational Networks）： 定义为在前馈网络中，每一层的标量非线性是一个可训练的有理函数 $r(x) = P(x)/Q(x)$ ，其中 $P$ 和 $Q$ 为低阶多项式。其系数在训练过程中进行学习。
逼近度量（Approximation Metrics）： 表达能力通过在固定紧致定义域（例如 $[-1, 1]^d$ ）上达到统一误差 $\epsilon$ 所需的可训练参数（网络规模）来衡量。
关键理论工具：
- 有理逼近理论（Rational Approximation Theory）： 利用经典的逼近结果（如 Trefethen, Gonchar），证明有理函数在近似非平滑特征（如 $|x|$ 或 ReLU）以及具有临近奇点的函数时，比多项式或平滑替代函数更高效（呈指数级高效）。
- 构造性证明（Constructive Proofs）： 本文利用 Zolotarev 函数、算术-几何平均（AGM）迭代和 Halley 方法的显式构造，展示如何使用有理网络来近似平滑激活函数（如 GELU）。
- 下界（Lower Bounds）： 证明使用受限参数的平滑网络来近似某些有理目标（特别是那些在实数线附近存在极点的目标）时，由于曲率约束，需要显著更多的参数。

实验设置

作者在三个不同领域评估了有理激活函数，在保持架构、优化器和训练预算固定的情况下，仅改变激活函数：

监督视觉（Supervised Vision）： 使用 VGG4 和 VGG8 架构进行 CIFAR-10 图像分类，以及使用 Transformer 类模型（ViT, CaiT, Swin）进行 Tiny ImageNet 分类。
离线强化学习（Offline Reinforcement Learning）： 使用 Minari 中量数据集和 IQL 及 TD3+BC 算法，在连续控制运动基准测试（HalfCheetah, Hopper, Walker2d）上进行评估。
归一化分析（Normalization Analysis）： 研究自适应有理激活与归一化层（BatchNorm, LayerNorm）之间的相互作用，特别测试了 Transformer 中的“无 LayerNorm”变体。

核心贡献

参数复杂度的指数级分离（Exponential Separation in Parameter Complexity）：
- 平滑 $\to$ 有理： 任何由标准平滑激活函数（GELU, Swish, SiLU 等）构建的网络，都可以通过一个规模开销仅为 $O(\text{poly}(\log \log(1/\epsilon)))$ 的有理网络进行统一近似。具体而言，本文证明了对于 GELU，其规模界限为 $O(\log^3 \log(1/\epsilon))$ 。
- 有理 $\to$ 平滑： 相反，使用受限参数的平滑网络来近似最坏情况下的有理函数族（具有靠近定义域的极点）时，所需的规模至少为 $\Omega(\log(1/\epsilon))$ 。
- 结论： 这确立了表达能力的指数级差距，即在涉及非平滑结构的机制中，有理网络能以显著更少的参数实现与平滑激活网络相同的精度。
向复杂架构的扩展：
- 这些分离结果从标量函数提升到了完整的前馈网络、门控激活以及 Transformer 风格的架构（特别是 MLP 子层）。
- 本文证明了有理网络可以以较低的开销近似门控平滑模型，而反向过程则需要高昂的开销。
归一化与可辨识性（Normalization and Identifiability）：
- 作者指出，标准的归一化层可能对自适应有理激活产生负面影响。归一化引入的学习仿射变换可能会被有理系数吸收，导致不可辨识性和条件性变差。
- 此外，归一化中的数据依赖型随机性（如 BatchNorm）会由于有理系数的多项式敏感性而放大梯度噪声。
- 发现： 移除归一化（例如“no-LayerNorm” Transformer）可以让自适应有理函数作为可学习的缩放机制发挥作用，从而在固定激活函数失效的情况下稳定训练。
构造性证明：
- 本文基于经典逼近理论提供了构造性证明，包括使用 Zolotarev 函数和 AGM 构造，以展示有理网络如何高效地实现复杂的非线性。

实验结果

CIFAR-10： 在 VGG4 和 VGG8 模型中，有理激活函数始终取得了最高的 Top-1 测试准确率，表现优于 ReLU、LeakyReLU、Swish 和 GELU。在增强训练流水线中，即使应用了 GroupNorm，有理变体（初始化为模拟 LeakyReLU 或 GELU）仍保持顶尖性能，尽管 GroupNorm 对有理函数造成的性能下降比固定激活函数更大。
离线 RL： 在 MuJoCo 中量数据集上，有理激活函数在 6 个设置中的 5 个中匹配或超越了最佳的固定激活函数（IQL 和 TD3+BC 在 HalfCheetah, Hopper, Walker2d 上）。值得注意的是，较小宽度（128）的有理模型在竞争力上足以媲美甚至优于宽度为 384 的 GELU 模型，验证了参数效率假设。
Tiny ImageNet (Transformers)： 有理激活函数在 ViT、Cait 和 Swin 模型中匹配或提升了最佳 EMA 验证准确率。至关重要的是，在“no-LayerNorm” ViT 变体中，固定激活函数（ReLU, GELU）会发散至 NaN，而有理变体保持稳定并达到了高准确率（61.24%），这支持了归一化对有理函数具有限制性的观点。
学习形状（Learned Shapes）： 有理函数的可视化显示，它们能迅速将曲率重新分配到高密度输入区域，通常会发展出类似于成功的固定激活函数（如 Swish 和 Mish）那样的局部非单调“门控”形状。

意义与主张

本文声称，有理神经网络提供了一个在数学上自然且在计算上高效的基础。其核心意义在于表达能力优势：有理激活函数可以使用比现代平滑激活函数少得多的参数，来表示具有尖锐过渡和复杂奇点的函数。

作者认为，这种理论优势直接转化为实践，从而实现：

更高的准确率： 在相同的架构下，在视觉和强化学习任务中获得更好的性能。
更快的收敛速度： 在训练早期达到强劲性能。
参数效率： 以更小的网络宽度实现同等或更优的结果。
在无归一化机制下的鲁棒性： 使训练不带归一化层的深层 Transformer 成为可能，而在此机制下固定激活函数往往会失败。

这项工作表明，该领域应当重新审视固定平滑激活函数的统治地位，提出可训练的有理函数是一个更符合复杂数据分布结构要求的原则性替代方案。