🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

本文提出了通过在 Swish 激活函数中引入 Tanh 偏置来构建 Swish-T 函数族（特别是 Swish-T $_{\textbf{C}}$ ），该改进通过提供更平滑的非单调曲线和更广泛的负值接受度，在多个基准数据集和模型上显著提升了神经网络的性能。

原作者： Youngmin Seo, Jinha Kim, Unsang Park

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Youngmin Seo, Jinha Kim, Unsang Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Swish-T 的新技术，它是深度学习（AI 大脑）中一种核心组件的升级版。为了让你轻松理解，我们可以把神经网络想象成一家繁忙的快递公司，而激活函数就是分拣员。

1. 背景：分拣员遇到了什么麻烦？

在 AI 的世界里，数据像包裹一样源源不断地流进来。为了让 AI 学会识别图片（比如区分猫和狗），我们需要一种机制来决定哪些信息重要，哪些不重要。这个机制就是“激活函数”，也就是我们的分拣员。

老式分拣员（ReLU）： 以前最常用的分拣员叫 ReLU。他很简单：如果包裹是正数（好包裹），他就放行；如果是负数（坏包裹），他就直接扔掉（输出 0）。
- 问题： 有时候，他太“绝情”了。只要遇到一点点负数，他就把包裹扔了，导致很多潜在有用的信息（比如负数代表的细微特征）永远无法传递下去。这被称为“死神经元”问题，就像分拣员罢工了，不再工作。
进阶分拣员（Swish）： 后来出现了 Swish，他更聪明一点。遇到负数时，他不会完全扔掉，而是会“犹豫”一下，让一点点负数通过。这就像他在分拣时多了一个“缓冲期”，让信息流动更顺畅。

2. 核心创新：给分拣员加个“情绪调节器”

这篇论文的作者发现，虽然 Swish 已经很棒了，但他还是有点“犹豫不决”，特别是在训练初期，对于负数的处理还不够灵活。

于是，他们给 Swish 分拣员加了一个**“情绪调节器”（Tanh Bias）**，这就是 Swish-T 的诞生。

什么是 Tanh Bias？
想象一下，Swish 分拣员在决定是否放行负数包裹时，原本只靠自己的直觉。现在，我们给他加了一个**“老练的导师”**（Tanh 函数）。
- 这个导师会告诉分拣员：“嘿，虽然这个包裹是负数，但别急着扔，先留个门缝，让它稍微通过一点点。”
- 这个“门缝”的大小是可以调节的。在训练初期，这个导师会鼓励分拣员更宽容地接受负数，让信息流更顺畅，就像在拥堵的路口多开了一条临时车道。

3. Swish-T 家族的三个“分身”

为了适应不同的工作场景，作者把 Swish-T 设计成了三个版本（就像同一款车的不同配置）：

Swish-TA（经济版）：
- 特点： 把复杂的公式简化了，去掉了需要学习的参数。
- 比喻： 就像一辆省油的小轿车。它不需要复杂的调校，启动快，跑起来轻快。适合那些对计算速度要求极高、不想增加额外负担的任务。
Swish-TB（智能版）：
- 特点： 保留了那个可以学习的参数（ $\beta$ ），让分拣员能根据具体情况动态调整“门缝”的大小。
- 比喻： 就像一辆带自动驾驶的轿车。它能根据路况（输入数据）自动调整策略，适应性最强，通常表现最好。
Swish-TC（平衡版）：
- 特点： 在数学上做了特殊处理，确保无论参数怎么变，它的表现都非常稳定，不会忽高忽低。
- 比喻： 就像一辆底盘极稳的越野车。不管路况多复杂，它都能稳稳地通过，不会翻车。

4. 实际效果：真的更快、更准吗？

作者把这些新分拣员（Swish-T 家族）放进了各种著名的 AI 模型（如 ResNet, MobileNet 等）里，并在多个标准测试集（MNIST, CIFAR 等，相当于各种难度的“分拣考试”）上进行了测试。

结果：
- 准确率更高： 在大多数考试中，Swish-T 家族（特别是 Swish-TC）的得分都比老前辈（ReLU, Swish, GELU 等）要高。这意味着 AI 识别图片更准了。
- 训练更稳： 由于那个“情绪调节器”的作用，AI 在刚开始学习时（训练初期）不容易“迷路”，收敛得更快。
- 甚至不需要学习参数： 有趣的是，作者发现，即使把那个需要学习的参数（ $\beta$ ）直接固定成一个“魔法数字”（比如 6.0），Swish-T 依然能表现得非常出色，甚至比那些需要不断调整参数的版本跑得还快。这就像是一个分拣员，只要给他定好一个固定的规则，他就能干得比那些还在纠结“要不要改规则”的同事更好。

5. 总结

简单来说，这篇论文就是给 AI 的“分拣员”（激活函数）加了一个智能的“缓冲垫”（Tanh Bias）。

以前： 遇到负数，要么全扔，要么犹豫一下。
现在（Swish-T）： 遇到负数，有一个导师指导，温柔地留个口子，让信息更顺畅地流动。

这个小小的改进，让 AI 在识别图片、理解世界时变得更聪明、更稳定，而且有时候甚至不需要额外的“大脑”（参数）就能跑得飞快。这对于未来开发更高效、更强大的 AI 模型来说，是一个非常有用的新工具。

以下是基于论文《SWISH-T : ENHANCING SWISH ACTIVATION WITH TANH BIAS FOR IMPROVED NEURAL NETWORK PERFORMANCE》的详细技术总结：

1. 研究背景与问题 (Problem)

激活函数的局限性：
- 早期的 Sigmoid 和 Tanh 存在梯度消失问题。
- ReLU 虽然解决了梯度消失并加速了训练，但存在“死神经元”（Dying ReLU）问题，即在负值区域梯度为零，导致神经元永久失活。
- 为了解决死神经元问题，Leaky ReLU 和 PReLU 被提出，但它们在零点不可导，可能导致优化过程中的不连续性。
- 后续提出的平滑函数（如 GELU, Swish, Mish 等）虽然改善了这些问题，但 Swish 函数（ $x \cdot \sigma(\beta x)$ ）在初始训练阶段对负值的接受度仍有优化空间，且其非单调曲线在某些场景下不够平滑。
核心痛点：现有的激活函数在平衡非线性、平滑性、负值区域的处理能力以及训练稳定性方面仍有提升空间。特别是如何在保持 Swish 优势的同时，通过引入偏置项来更精细地控制激活阈值和负值区域的梯度行为。

2. 方法论 (Methodology)

作者提出了 Swish-T 系列激活函数，其核心思想是在原有的 Swish 函数基础上直接引入 Tanh 偏置项（Tanh Bias）。

基本设计原则：
- 零中心化：保持原 Swish 函数的零中心特性（当 $x=0$ 时，输出为 0）。
- 非线性：偏置项需随输入 $x$ 非线性变化。
- 有界性：偏置项需通过缩放参数 $\alpha$ 进行限制，避免破坏原函数的性质。
函数定义：
基础 Swish-T 函数定义为：
$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$
其中， $\sigma$ 是 Sigmoid 函数， $\beta$ 是可训练参数， $\alpha$ 是超参数（用于缩放 Tanh 的范围）。
- 机制：Tanh 偏置项允许在训练初期更广泛地接受负值，提供比原始 Swish 更平滑的非单调曲线。当 $x$ 为负时，Tanh 项提供额外的偏置，防止神经元过早失活。
变体设计 (Variants)：
为了平衡计算效率、适应性和稳定性，作者设计了三个变体：
1. Swish-TA：简化公式，将 $x$ $x$ 的系数统一为 1，去除了可训练参数 $\beta$ $β$ 。
  - 公式： $f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
  - 特点：计算速度最快，无参，适合对效率要求高的场景。
2. Swish-TB：在 TA 基础上重新引入可训练参数 $\beta$ $β$ 。
  - 公式： $f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$
  - 特点：动态调整偏置，适应不同输入特征的任务。
3. Swish-TC：确保当 $\beta$ $β$ 变号时函数的对称性，并优化梯度稳定性。
  - 公式： $f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$
  - 特点：通过 $\beta$ 控制偏置系数，防止梯度爆炸，在不同输入范围内保持性能稳定。
梯度推导：
论文详细推导了各变体关于 $x$ 和 $\beta$ 的梯度表达式，证明了 Swish-T 家族在反向传播中的高效性，特别是 Swish-TC 通过避免 $\alpha$ 和 $\beta$ 的直接相乘，进一步稳定了梯度流。

3. 主要贡献 (Key Contributions)

提出 Swish-T 家族：首次将 Tanh 偏置项直接集成到 Swish 激活函数中，创造了一个新的激活函数家族，能够更平滑地处理负值区域。
多样化的变体设计：提出了 Swish-TA（高效无参）、Swish-TB（动态适应）和 Swish-TC（稳定对称）三种变体，分别针对计算效率、任务适应性和训练稳定性进行了优化。
消融研究的新发现：通过消融实验发现，将 Swish-TB 和 Swish-TC 中的 $\beta$ 参数固定（即作为非参数函数使用，例如固定为 6.0），不仅没有降低性能，反而在某些模型（如 ResNet-18）中获得了更高的精度和更快的训练速度。
广泛的实证验证：在多个数据集（MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100）和多种架构（ResNet, ShuffleNet, SENet, EfficientNet, MobileNet, DenseNet）上进行了全面测试。

4. 实验结果 (Results)

基准数据集表现：
- CIFAR-10：Swish-TC 在 ShuffleNetV2 (2.x) 上达到了 94.27% 的 Top-1 准确率，比 ReLU 高出 2.34%。在 DenseNet-121 上，Swish-TC 与 SMU 并列达到 94.95% 的准确率。
- CIFAR-100：Swish-TC 表现优异，在 ResNet-18 上达到 79.02%，比 ReLU 高出 4.12%。
- 其他数据集：在 MNIST、Fashion MNIST 和 SVHN 上，Swish-T 系列（特别是 Swish-TC 和 Swish-TB）均 consistently 优于 ReLU, GELU, Swish, Mish 和 SMU 等主流激活函数。
训练效率与稳定性：
- 训练速度：如图 4 所示，Swish-TC 在 DenseNet-121 上的训练时间比 SMU 更快，且保持了相当的精度。
- 非参数化优势：在消融实验中，将 $\beta$ 固定为 6.0 的 Swish-TC-6 在 ResNet-18 上达到了 95.54% (CIFAR-10) 和 79.06% (CIFAR-100) 的准确率，甚至超过了可训练参数的版本，同时减少了内存占用和计算开销。
梯度行为：实验表明，Swish-T 系列在训练初期能更平滑地处理负值，避免了 ReLU 的“死区”问题，且梯度流更加稳定。

5. 意义与结论 (Significance & Conclusion)

理论意义：该研究证明了在激活函数内部直接引入偏置项（Bias）是一种有效的改进策略。Tanh 偏置项不仅扩展了负值区域的接受度，还通过平滑的非单调曲线增强了模型的表达能力。
实际应用价值：
- 性能提升：Swish-T 系列（尤其是 Swish-TC）在多种主流架构上均取得了 State-of-the-art (SOTA) 或接近 SOTA 的性能。
- 部署友好：通过消融实验发现，该函数可以简化为无参版本（固定 $\beta$ ），这意味着在实际部署中，可以在不增加模型参数量和计算复杂度的情况下，获得比传统激活函数更好的性能。
- 通用性：该函数适用于从轻量级模型（MobileNet, ShuffleNet）到深度模型（ResNet, DenseNet）的各种场景。

总结：Swish-T 通过巧妙的 Tanh 偏置设计，解决了传统激活函数在负值处理和梯度稳定性方面的不足。其提出的变体不仅提升了深度学习模型的精度，还通过非参数化选项提供了极高的部署灵活性，为激活函数的设计提供了新的思路。代码已开源。