🤖 AI

Universal Smoothness via Bernstein Polynomials: A Constructive Approximation Approach for Activation Functions

本文介绍了伯恩斯坦线性单元（BerLU），这是一种新颖的激活函数，它利用伯恩斯坦多项式构建了一种可微、计算高效且稳定的现有非线性函数替代方案，从而提升了各类架构中深度神经网络的性能。

原作者： Wentao Zhang, Yutong Zhang, Yifan Zhu, Wentao Mo

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Wentao Zhang, Yutong Zhang, Yifan Zhu, Wentao Mo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一台由成千上万个微小开关组成的巨大而复杂的机器。这些开关就是深度神经网络（驱动人工智能的类脑软件）中的“激活函数”。它们的工作是决定让信号通过还是将其阻断，从而帮助机器从数据中学习。

很长一段时间以来，最流行的开关被称为ReLU。将 ReLU 想象成一扇简单的开/关门：

如果信号为正，门会完全打开（100% 通过）。
如果信号为负，门会猛然关上（0% 通过）。

旧开关的问题
这扇简单的门存在两个主要缺陷：

“死亡”开关：如果信号卡在“负”区域，门就会永远保持关闭状态，机器也就忘记了如何修复它。这被称为“死 ReLU"问题。
尖锐的拐角：从“关闭”到“打开”的过渡是一个尖锐、锯齿状的拐角。用数学术语来说，它不“平滑”。这种尖锐性会扰乱机器的学习过程，使其摇摆不定，难以找到最佳解决方案。

为了解决这种尖锐性，研究人员发明了“平滑”开关（如 GELU 或 SiLU）。但这些开关就像需要复杂计算才能打开的华丽电动门。它们效果很好，但速度慢且笨重，会消耗大量计算机算力。

新解决方案：BerLU
本文的作者介绍了一种名为BerLU（Bernstein Linear Unit，伯恩斯坦线性单元）的新开关。他们希望这扇门具备以下特点：

平滑：没有锯齿状拐角，让机器易于学习。
快速：没有沉重的电机；只有简单的机械结构。
活跃：它永远不会卡在“关闭”位置。

工作原理：“软斜坡”类比
想象旧 ReLU 门是一个悬崖边缘。如果你从负侧踏出一步，你会瞬间坠落。
新的 BerLU 用一条由特殊数学曲线（伯恩斯坦多项式）构成的柔和弯曲的斜坡取代了那个悬崖。

在负侧，它是一条平缓的斜坡（而不是平坦的地面），因此信号总是可以 trickle（涓涓细流）通过。
在中间，代替尖锐拐角的是一个平滑、弯曲的桥梁。
在正侧，它是一条笔直、开放的高速公路。

作者使用一种名为伯恩斯坦多项式的数学工具来设计这座桥梁。可以将这些多项式想象为一组“控制点”，允许他们仅使用基础数学（加法和乘法）来绘制完美的平滑曲线，从而避免了其他平滑开关所使用的繁重、复杂的数学运算。

为何独特：“非扩张”规则
该论文最大的主张之一是关于安全性。在深度学习中，信号在通过网络传播时有时会得到放大，导致数值爆炸（就像麦克风离扬声器太近时发出的刺耳尖叫声）。这被称为“梯度爆炸”。

作者证明，他们的新开关 BerLU 具有"非扩张"特性。

类比：想象一条走廊，每当你穿过一扇门，你保证会保持原样或变得更小，绝不会变大。
结果：BerLU 确保“信号”永远不会变得比初始状态更大。这使得整个机器保持稳定，防止数值爆炸，即使在非常深的网络中也是如此。

结果：更快、更智能
研究人员在著名的 AI 模型（如 Vision Transformers 和 ConvNeXt）上，使用标准图像数据集（CIFAR 和 ImageNet）测试了这种新开关。

性能：BerLU 击败了当前最好的开关（如 GELU 和 PReLU）。例如，在一个困难的图像测试（CIFAR-100）中，它将准确率提高了显著幅度（比 GELU 高出 8.4%）。
速度与内存：因为它使用简单的数学运算而不是复杂的公式，所以运行速度更快，占用的计算机内存更少。这就像驾驶一辆轻量级跑车而不是重型卡车去同一个目的地。

总结
本文提出了BerLU，一种用于 AI“大脑”的新型“开关”。它解决了旧开关的“神经元死亡”问题，消除了令学习困惑的“尖锐拐角”，并且这一切都没有减慢计算机的速度。它就像一个完美平滑、安全且高效的斜坡，帮助 AI 模型学得更快、更准确。

技术摘要：基于伯恩斯坦多项式的通用平滑性

问题陈述

深度神经网络（DNN）中非线性激活函数的设计面临着计算效率与优化稳定性之间持久的权衡。

分段线性函数（例如 ReLU、Leaky ReLU）： 虽然由于简单的阈值操作而具有计算效率，但它们在原点处存在不可微性。这种奇点会在损失景观中产生“扭结”，导致优化不稳定，并引发“死 ReLU"问题，即处于负状态的神经元停止更新。
平滑超越函数（例如 GELU、Swish、Mish）： 这些函数通过引入基于高斯或指数运算的平滑过渡来解决不可微性问题。然而，由于依赖超越函数，它们在训练和推理过程中会产生显著的计算开销。此外，许多此类平滑函数表现为扩张算子（Lipschitz 常数 $L > 1$ ），理论上可能导致深度架构中的梯度爆炸。

核心挑战在于开发一种激活函数，既能保留线性单元的计算效率，又能确保超越函数的平滑性和梯度稳定性，同时不产生其计算成本。

方法论

本文提出了一种基于伯恩斯坦多项式的构造性近似框架，用于平滑 Leaky ReLU 函数的不可微过渡。

1. 伯恩斯坦线性单元（BerLU）

作者引入了BerLU，这是一种新型激活函数，它通过伯恩斯坦多项式构建的二次过渡区域，取代了原点处的奇点。

构造： 该函数分段定义。对于 $x < -\epsilon$ 和 $x > \epsilon$ ，它表现为线性函数（负输入斜率为 $\alpha$ ，正输入斜率为 $1 $）。在过渡区间$ [-\epsilon, \epsilon]$ 内，它采用二次伯恩斯坦多项式（即二次贝塞尔曲线）。
连续性约束： 多项式的控制点通过在边界 $x = -\epsilon$ 和 $x = \epsilon$ 处施加 $C^0$ （连续性）和 $C^1$ （可微性）约束唯一确定。
解析形式： 所得函数在过渡区域内是一个简单的二次多项式，仅需基本算术运算（加法、乘法），而无需超越函数。
$\text{BerLU}(x) = \begin{cases} \alpha x & x < -\epsilon \\ \frac{1-\alpha}{4\epsilon}x^2 + \frac{1+\alpha}{2}x + \frac{(1-\alpha)\epsilon}{4} & -\epsilon \leq x \leq \epsilon \\ x & x > \epsilon \end{cases}$
其中， $\epsilon$ 是平滑超参数， $\alpha$ 是初始化为 0.01 的可学习参数。

2. 理论保证

平滑性： 该构造保证了严格连续可微性（ $C^1$ ），消除了原点处的奇点。
Lipschitz 连续性： 本文证明了 BerLU 是 Lipschitz 连续的，其常数 $L_{\text{BerLU}} = \max(1, |\alpha|)$ $L_{BerLU} = max (1, ∣ α ∣)$ 。由于 $\alpha$ $α$ 通常很小（ $|\alpha| \ll 1$ $∣ α ∣ ≪ 1$ ），Lipschitz 常数实际上为1。
- 这将 BerLU 归类为非扩张算子。与 GELU、SiLU 或 Mish 不同（它们的 Lipschitz 常数 $> 1$ ，例如 GELU $\approx 1.084$ ），BerLU 确保梯度范数不会在层间固有地放大，从而在理论上防止深度网络中的梯度爆炸。

主要贡献

通用平滑框架： 一种利用伯恩斯坦多项式将非平滑分段线性激活转换为严格可微对应物的构造性近似方法，同时保持几何属性。
高计算效率： BerLU 用基本算术运算取代了昂贵的超越运算，与 GELU 和 Swish 相比，显著降低了训练和推理期间的计算开销。
理论稳定性： 严谨的分析表明，BerLU 保证了非扩张的 Lipschitz 常数 1，确保了稳定的梯度传播和平坦的损失景观。
实证优越性： 在 CIFAR 和 ImageNet 基准测试中，针对视觉 Transformer（ViT、DeiT、TNT）和卷积神经网络（ConvNeXt）进行了广泛验证。

实验结果

作者在多种架构和数据集上将 BerLU 与最先进基线（GELU、ELU、PReLU、CELU、SiLU、Mish）进行了评估。

分类准确率：
- CIFAR-100： BerLU 实现了 50.6% 的平均准确率，比 PReLU 高出 3.2%，比 GELU 高出 8.4%。
- CIFAR-10： BerLU 实现了 78.5%（ViT-Tiny），超过了 PReLU（78.0%）和 GELU（70.4%）。
- ImageNet-1K： BerLU 在 ViT/DeiT 上实现了 60.6% 的平均准确率，在 ConvNeXt 上实现了 73.5%，始终领先于 GELU 和 SiLU。
计算效率：
- 推理速度： 在 ViT 上，BerLU 表现出更低的前向延迟（55.8 毫秒），而 GELU 为 59.2 毫秒。
- 内存占用： BerLU 在测试函数中消耗的峰值内存最少（10.58 GB），显著低于 GELU（11.53 GB）和 SiLU（12.25 GB）。
敏感性分析： 平滑参数 $\epsilon$ 在 $[10^{-4}, 10^{-1}]$ 范围内表现出鲁棒性，最佳性能出现在 $\epsilon = 10^{-2}$ 时。过度的平滑（ $\epsilon > 0.2$ ）会因侵蚀必要的非线性而降低性能。

意义与主张

本文声称 BerLU 提供了一种稳健的、与架构无关的解决方案，解决了深度学习中的效率 - 稳定性权衡问题。通过利用构造性近似理论，它在无需超越运算计算惩罚的情况下，实现了平滑函数的优化优势（更好的梯度流、更平坦的损失景观）。

至关重要的是，作者强调 BerLU 的**非扩张特性（ $L=1$ ）**为梯度爆炸提供了理论保障，而这是 GELU 和 Swish 等流行平滑激活中存在的结构性弱点。实证结果表明，BerLU 不仅是一个可行的替代方案，更是大规模视觉任务的更优选择，它以减少的内存使用和更快的推理速度实现了最先进的性能。