🤖 machine learning

ArcGate: Adaptive Arctangent Gated Activation

本文介绍了 ArcGate，一种具有可学习参数的自适应反正切门控激活函数，能够动态优化非线性，在基于 ResNet-50 和 ViT 架构的遥感任务中，相较于标准基线展现出更优的精度和抗噪能力。

原作者： Avik Bhattacharya, Siddhant Dnyanesh Gole, Subhasis Chaudhuri, Alejandro C. Frery, Biplab Banerjee

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Avik Bhattacharya, Siddhant Dnyanesh Gole, Subhasis Chaudhuri, Alejandro C. Frery, Biplab Banerjee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在组建一支庞大的工人队伍（即神经网络），以处理成千上万张卫星照片，识别森林、城市或水域等目标。在过去，这支队伍中的每位工人都被赋予完全相同的规则手册，指导他们如何对所见内容做出反应。

最流行的规则手册被称为ReLU。它很简单：“如果你看到明亮的东西，就大声喊出来；如果是暗的，就保持沉默。”它效果不错，但存在一个缺陷：如果工人看到的东西哪怕稍暗一点，他们就会完全停止工作并终止学习。此外，这本规则手册非常僵化；它无法根据工人是初学者（观察简单形状）还是专家（观察复杂模式）而改变其判断。

本文介绍了一种全新的、超级聪明的规则手册，名为ArcGate。

“变形”规则手册

ArcGate 不再给每位工人设定固定规则，而是为他们提供一套可定制的工具箱。这就像一把用于决策的瑞士军刀。

旧方法（ReLU）： 如同一个电灯开关。它要么开，要么关。如果你以错误的方向用力过猛，它就会损坏（即“神经元死亡”问题）。
新方法（ArcGate）： 如同一个内置人工智能的调光开关。它拥有七个特殊旋钮，网络可以在学习过程中转动并调整这些旋钮。

这些旋钮使网络能够决定：

山坡有多陡： 工人应对微小变化反应缓慢，还是立即警觉？
中心点在哪里： 工人应忽略非常微弱的信号，还是关注它们？
转弯有多锐利： 反应应是平滑曲线还是尖锐拐角？

通过转动这些旋钮，网络可以改变其行为。它可以像初学者那样表现为柔和曲线，像专家那样表现为尖锐开关，甚至针对复杂数据表现为平滑斜坡。它本质上是在说：“我将为这项特定任务和我大脑的这一特定层级找出完美的规则。”

为何它对卫星照片是颠覆性的

研究人员在三个不同的卫星图像数据集（PatternNet、UC Merced 和 EuroSAT）上测试了这一新系统。结果如下：

1. 分类能力最强
当网络使用 ArcGate 时，其在识别土地类型方面的表现优于任何其他方法。在一项测试（PatternNet）中，它达到了99.67% 的准确率。这就像在一份庞大的考试中几乎答对了每一道题。它击败了旧的"ReLU"方法以及其他现代方法，如 GELU 和 SiLU。

2. 在风暴中更坚韧（抗噪性）
卫星照片常含有“噪声”——就像电视上的静电干扰，由云层、传感器故障或大气干扰引起。

当研究人员向图像添加中等程度的“静电”（噪声）时，旧的 ReLU 系统崩溃了。其准确率从近 100% 骤降至约39%。它陷入混乱并放弃。
然而，ArcGate 系统保持冷静。其准确率降至约66%。虽然低于其完美得分，但比旧系统高出26%。
类比： 想象两个人在嘈杂的房间里试图听清耳语。ReLU 式的人在噪音变大时捂住耳朵，完全停止倾听；而 ArcGate 式的人则调整听力，过滤掉静电干扰，继续倾听。

3. 学会成长
研究人员深入网络内部，观察这些“旋钮”是如何设置的。他们发现了一个有趣的现象：

早期层（初学者）使用平滑、柔和的曲线。
深层（专家）调高了“增益”或强度。它们使反应更陡峭、更强烈。
原因是什么？ 当信号穿过网络的 50 层时，可能会变弱（就像耳语沿着长走廊传播）。更深层学会了“调高音量”，以确保重要细节不会消失。旧的 ReLU 系统无法做到这一点；它从顶层到底层都固定在同一设置上。

核心结论

该论文声称，ArcGate 是一种灵活、可自我调整的激活函数，它使深度学习网络能够根据所见数据调整自身的“个性”。

它不仅仅遵循僵化的规则；它为网络的每个部分学习最佳规则。
它比当前标准更能处理杂乱、含噪声的卫星数据。
它在遥感任务中实现了破纪录的准确率，而无需超级计算机来运行（它学习的额外“旋钮”几乎不会给系统增加额外负担）。

简而言之，ArcGate 就像赋予神经网络一种能力，使其能够说：“我不仅仅是一个拥有固定规则的机器人；我足够聪明，能够找出对所见内容做出反应的最佳方式。”

技术摘要：ArcGate：自适应反正切门控激活函数

问题陈述

激活函数是深度神经网络的基础，支配着非线性、特征学习、收敛性和鲁棒性。虽然 Sigmoid 和 Tanh 等历史选择存在梯度消失问题，而 ReLU、GELU 和 SiLU 等现代固定形状函数提供了计算效率，但它们缺乏结构灵活性。这些传统激活函数无法适应不同网络层或数据分布的特定需求。此外，固定激活函数通常表现出局限性，例如“死 ReLU"问题（负输入时梯度为零）或在原点处的不可微“折点”，这可能导致深层架构中的训练不稳定。在遥感背景下，数据往往表现出高动态范围，且易受传感器噪声和大气干扰的影响，标准激活函数的刚性可能会阻碍最佳性能和鲁棒性。

方法论

本文提出了ArcGate（自适应反正切门控激活函数），这是一种灵活的参数化激活函数，旨在自主优化其非线性。ArcGate 通过涉及每层七个可学习参数（ $a, c, p, \alpha, \beta, \gamma, \delta$ ）的三阶段非线性变换构建而成。

公式推导如下：

单调过渡：平滑过渡函数 $u(x; a, c)$ 利用反正切函数将输入映射到 $(0, 1)$ 。参数 $a$ 控制陡峭度， $c$ 设定过渡中心。
非线性拉伸（门控）：自适应门控函数 $v(x; p)$ 是通过对 $u(x)$ 应用几率变换、将其提升至 $p$ 次幂，并通过反正切将其映射回 $(0, 1)$ 而导出的。参数 $p$ 控制门控的锐度，允许从类 Sigmoid 行为过渡到近乎分段线性行为。
仿射组合：最终激活函数 $F(x)$ 将门控函数与线性和双线性项相结合：
$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$
其中， $\alpha$ 调节活跃区域的斜率， $\beta$ 控制非线性贡献， $\gamma$ 引入线性路径（泄漏）， $\delta$ 提供常数偏移。

数学性质

泛化性：ArcGate 构成了一个功能超集，能够通过调整参数将经典激活函数（ReLU、Sigmoid、Tanh、SiLU、GELU、Leaky ReLU）作为特例或近似复制。
连续性与可微性：与 ReLU 不同，ArcGate 由于其由反正切和幂函数组成，在全局范围内是 $C^\infty$ （无限可微）的，确保了稳定的反向传播。
数值稳定性：使用反正切作为压缩机制，防止了在半精度训练期间基于指数函数（如 Sigmoid）常见的溢出问题。
可学习偏置：参数 $c$ 和 $\delta$ 允许激活函数学习独立于权重层的内部偏置，从而适应特定的数据统计特性。

实验设置

作者在三个遥感基准测试上使用 ResNet-50 和 Vision Transformer (ViT-B/16) 架构评估了 ArcGate：

PatternNet：高分辨率土地覆盖数据集。
UC Merced Land Use：标准土地利用分类数据集。
EuroSAT MSI：13 波段多光谱数据集。

对于多光谱输入（EuroSAT），模型被调整为 13 个通道。训练使用 AdamW 优化器进行 50 个 epoch。ArcGate 参数被初始化为“软 ReLU"配置（ $a=5.0, p=1.0$ 等），以确保训练初期的稳定性。

关键结果

1. 分类精度

ArcGate 在所有数据集和架构上始终优于标准基线（ReLU、Leaky-ReLU、SiLU、GELU 等）。

PatternNet：使用 ResNet-50 实现了 99.67% 的峰值总体精度（OA），超过了 ReLU 基线（99.57%）和 SiLU（99.01%）。
UC Merced：实现了 98.15%（ResNet-50）和 98.33%（ViT-B/16），优于 ReLU 和 SiLU。
EuroSAT：表现出具有竞争力的性能，ResNet-50 实现了 98.47% 的 OA。

2. 噪声鲁棒性

在 PatternNet 数据集上对高斯噪声（ $\sigma \in [0, 0.2]$ ）进行的压力测试揭示了 ArcGate 卓越的结构鲁棒性。

在中等噪声（ $\sigma = 0.1$ ）下，基于 ReLU 的模型精度急剧下降至 39.34%。
ArcGate 模型保持了 65.99% 的精度，相对于 ReLU 基线实现了 26.65% 的绝对提升。
这种鲁棒性归因于 ArcGate 平滑且完全可微的过渡，与 ReLU 的尖锐不连续性相比，它自然地正则化了响应并限制了噪声放大。

3. 逐层适应与消融研究

深度依赖演化：对 learned 参数的分析显示，门控斜率（ $\alpha$ ）随网络深度增加（从浅层 0.99 增加到深层 1.12）。这表明网络自主地学习在更深层中放大信号强度，以抵消衰减并增强特征显著性。
粒度：消融研究证实，逐层可学习参数（共 343 个额外参数）比全局共享参数高出 0.42%，比固定参数高出 0.66%。计算开销微不足道（<总参数的 0.002%）。
初始化：与随机初始化或恒等初始化相比，使用“软 ReLU"配置初始化带来了更快的收敛速度和接近最优的结果。

意义与主张

本文认为 ArcGate 是一种鲁棒且自适应的通用节点激活函数，特别有利于高分辨率地球观测任务。其主要意义在于：

自主适应：与固定激活函数不同，ArcGate 允许网络根据其特定的特征层次和数据分布塑造其非线性，深度依赖的参数演化即证明了这一点。
增强的鲁棒性：该函数的平滑可微特性提供了对遥感中常见信号扰动（如传感器噪声）的显著鲁棒性，在噪声条件下远超标准 ReLU。
统一框架：ArcGate 将各种激活行为（整流、饱和、线性、平滑非单调）统一到一个单一的参数族中，证明了经典函数是该更广泛公式的特例。

作者得出结论，虽然 ArcGate 在 SAR 和光学图像分析方面显示出前景，但未来的工作将探索其在轻量级架构和复值网络中的应用。