🤖 machine learning

TESLA: Taylor Expansion of Sinusoidal Learnable Activations

本文介绍了 TESLA，一种基于可学习正弦组合的新型激活函数，该函数在理论上通过控制多项式阶数来增强泛化能力和鲁棒性，并在具有挑战性的 Parity 和 Forrelation 任务以及 ImageNet-100 等标准视觉基准测试中展示了卓越的性能。

原作者： Daehwa Ko, Jaehyeon Kim, Seunghyun Ham, Jay Hoon Jung

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daehwa Ko, Jaehyeon Kim, Seunghyun Ham, Jay Hoon Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

全局图景之谜

想象一下，你正在试图教一个机器人识别一张脸。你给它看一张照片，它先看鼻子，再看眼睛，然后看嘴巴。标准的计算机大脑（被称为神经网络）在处理这种“局部”侦探工作方面非常出色。它们使用简单的、阶梯式的开关（就像打开或关闭灯光一样）来识别微小的细节。这在识别照片中的猫或翻译句子时效果极佳，因为这类问题的答案取决于附近的线索。

然而，有些谜题更为棘手。想象一个游戏，有一排很长的电灯开关，而答案取决于整排开关的状态，例如：“开关开启的总数是奇数还是偶数？”要解决这个问题，机器人不能只看一个开关，甚至不能只看一小组开关；它必须同时计算所有的开关。这是一个“全局”问题。传统的机器人大脑在处理这类问题时表现挣扎，因为它们的结构被设计为首先观察微小的、局部的部分。它们经常会陷入困境，因为过于关注微小的细节而错失了宏观的全景。科学家们一直试图构建一种能够自然理解这些宏大、整体模式的机器人大脑，而无需将其规模做得极其庞大或深奥。这正是名为 TESLA 的新思路出现的地方。

音乐化激活的神奇之处

来自韩国航空宇宙研究院的研究人员提出了一个让这些机器人大脑进行“思考”的新方法。他们将这项发明称为 TESLA（泰勒展开的正弦可学习激活函数）。为了理解他们的做法，让我们来看看一个标准机器人神经元是如何工作的。通常，它接收一个输入，通过一个简单的、僵硬的开关，然后传递结果。这就像一扇门，只有当你用力推时才会打开，但它并不会真正地“歌唱”或改变它的曲调。

TESLA 用一个乐器取代了这个僵硬的开关。它不再是一个简单的开/关按钮，而是使用了正弦波和余弦波的组合——你可以把这些想象成像声音或海浪一样平滑、起伏的波浪。但神奇之处在于：TESLA 不仅仅使用一种波。它通过混合许多种不同的波来创作一首定制的歌曲，每种波都有自己的“音量旋钮”。机器人在训练过程中学会了如何调高或调低这些旋钮。

为什么这很重要？在数学世界中，这些波可以组合成看起来像复杂多项式（具有许多起伏的曲线）的形状。通过调节旋钮，机器人可以决定它的思维应该有多“扭曲”或多复杂。如果问题很简单，它就使用平滑的低频波；如果问题是一个棘手的全局谜题（比如那个奇偶开关游戏），它可以调高高频波，以捕捉那些标准机器人会错过的复杂的、整体性的模式。

破解“奇偶之谜”

团队在了一个著名的难题——**奇偶校验问题（parity problem）**上测试了这个想法。想象一串由 32 个开关组成的序列。机器人必须猜出开启的开关总数是奇数还是偶数。这对标准机器人来说是一场噩梦，因为答案取决于每一个开关与其他每一个开关之间的相互作用。

在实验中，研究人员使用 10 万个示例训练了这些搭载 TESLA 的机器人。尽管 32 个开关存在超过 40 亿种可能的组合（这意味着机器人看到的只是极小极小的一部分可能性），但 TESLA 机器人依然学得非常好。它在干净的数据上达到了近乎完美的准确率。更令人印象深刻的是，当研究人员开始干扰数据——通过故意翻转 3项 30% 的答案来“欺骗”机器人时——TESLA 机器人依然保持强韧，并能持续正确预测。

相比之下，使用传统开关（如 ReLU）甚至其他基于波形的机器人（如 SIREN）的“标准”机器人则完全放弃了。随着开关数量的增加，它们的准确率下降到了约 50%，这并不比随机猜测“正反面”更好。然而，即使在数据嘈杂且混乱的情况下，TESLA 机器人依然能够洞察全局模式。

从数学谜题到现实世界的照片

研究人员并没有止步于数学谜题。他们想看看这种“音乐化”的思维是否也能帮助处理现实世界的任务，例如识别图像。他们在 ImageNet-100 数据集（包含 100 种不同类型的图像）上，利用 ResNet 和 Vision Transformer 等流行的机器人脑架构测试了 TESLA。

结果令人振奋。TESLA 机器人在识别图像方面的表现与标准机器人一样出色，但有一个关键区别：稳定性。当他们尝试在这些大型图像任务中使用其他基于波的方法（如 SIREN）时，机器人变得不稳定并无法学习。得益于对“音量旋钮”（作者称之为系数预算）的精心设计，TESLA 保持了冷静并能有效学习。它在实现这一目标时并未减慢机器人的速度，也没有显著增加其规模；其额外所需的工作量微乎其微，仅比通常情况多出约 1%。

这对未来意味着什么

论文指出，通过赋予机器人神经元调节自身“频率”和复杂性的能力，我们可以帮助它们解决需要观察全局而非局部的问题。作者证明了这种方法不仅是一个理论上的技巧，更是一个实用的工具，适用于从求解物理方程到识别面孔的各种领域。

虽然论文证明了 TESLA 在这些特定测试中表现异常出色，并表明它可以在许多领域作为标准开关的强大替代品，但研究人员也谨慎地指出，仍有更多值得探索的空间。他们计划研究如何让这些音乐化神经元在计算机芯片上运行得更快，以及它们如何帮助大型语言模型理解长篇且复杂的叙事。不过目前来看，TESLA 已成为一种聪明的全新方式，教机器去“聆听”数据的旋律，而不仅仅是计数音符。

技术摘要：TESLA（正弦可学习激活的泰勒展开）

1. 问题陈述

标准的神经网络通常依赖于将局部非线性函数（如 ReLU、GeLU）与线性映射堆叠，这表现出一种向低频（低阶）分量学习的“谱偏差”（spectral bias）。这种局限性使得它们在处理需要全局交互、高阶组合输入坐标或特定全局对称性的任务时效率低下。

一个典型的挑战案例是奇偶校验问题（判断二进制向量中 1 的个数是奇数还是偶数）。该任务在逻辑上是线性不可分的，并且需要对所有输入位进行全局交互。传统的架构在处理此类任务时往往难以泛化，尤其是在输入维度 ( $n$ ) 增加或数据稀缺的情况下，因为表示此类高阶结构通常需要极高的深度、宽度或权重范数。此外，现有的解决谱偏差的方法——如周期性激活（SIREN）或傅里叶特征嵌入——往往面临优化不稳定、在低数据量下过拟合或缺乏对激活函数多项式阶数显式控制的问题。

2. 方法论：TESLA

作者提出了 TESLA（Taylor Expansion of Sinusoidal Learnable Activations，正弦可学习激活的泰勒展开），这是一种参数化激活函数，旨在为神经网络激活提供显式的、可学习的对多项式阶数和频率成分的控制。

2.1 定义

TESLA 定义为在所有神经元层中共享的一组正弦和余弦项的有限线性组合：
$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$
其中：

$K \in \mathbb{N}$ 控制最大频率（谐波计数）。
$\{a_k, b_k\}_{k=1}^K$ 是可学习的标量系数。
$1/k$ 缩放是一个设计选择，用于管理梯度幅度。

2.2 理论解释

虽然 TESLA 在实现上是三角展开，但作者通过其泰勒（麦克劳林）展开对其进行了分析。这表明激活函数的有效多项式系数是学习到的三角系数 $\{a_k, b_k\}$ 的显式线性泛函。这种形式化允许网络在激活层面选择性地放大或衰减特定的多项式阶数（次数），而不是依赖于输入侧的谱化（如傅里叶特征），后者将模式选择留给了后续层。

2.3 稳定性与复杂度控制

为了确保稳定性并防止过拟合，TESLA 引入了一个系数预算：
$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$
理论分析表明， $A_K$ 限制了激活函数和网络的 Lipschitz 常数。具体而言， $L$ 层网络的 Lipschitz 常数由层算子范数的乘积与 $A_K^{L-1}$ 共同决定。该预算允许控制梯度幅度及 Rademacher 复杂度，确保增加频率范围 ( $K$ ) 不会本质上导致优化过程不稳定。

3. 核心贡献

本文提出了三个主要贡献：

理论保证： 作者推导了紧致的 Lipschitz 界限和基于 Rademacher 复杂度的泛化保证。他们利用神经切线核（NTK）分析表征了学习动力学，表明 TESLA 的归纳偏置自然地倾向于恢复低频和中频结构，同时允许选择性地学习高阶分量。
构造性逼近结果： 本文提供了使用 TESLA 近似岭函数（ridge functions）和交互型函数（interaction-type functions）的上界。相反，它也勾勒出了下界，证明了标准分段线性激活在表示振荡或全局结构时，相比 TESLA 需要显著更多的资源（深度/宽度）。
实证验证： 作者证明了 TESLA 在合成基准测试（Parity、Forrelation）和连续域任务（PINNs、INR）上具有良好的泛化能力，同时在大型视觉任务（ImageNet-100）上保持了极具竞争力的水平，且计算开销微乎其微。

4. 实验结果

4.1 合成基准测试

奇偶校验任务（Parity Task）： 在输入长度 $n=32$ 的奇偶校验任务中，TESLA 仅使用 100,000 个训练样本（约占输入空间的 0.002%）就实现了强大的泛化能力。至关重要的是，它在重度标签噪声（高达 30%）下依然保持稳健，而基准激活函数（ReLU、GeLU）则会退化为随机猜测（50% 准确率）。
与周期性基准对比： TESLA 在奇偶校验和 Forrelation 任务上显著优于 SIREN、SNAKE 和傅里叶特征嵌入。虽然 SIREN 和傅里叶嵌入在高噪声或高维场景下往往无法捕捉全局相关性，但 TESLA 保持了稳定的性能。例如，在无噪声的 32 位奇偶校验任务中，TESLA 达到了约 96% 的准确率，而 SIREN 则降至约 50%。
Forrelation： 在 Forrelation 任务（一个全局相关性决策问题）中，与标准激活函数相比，TESLA 收敛更快，并在各种隐藏层大小下均取得了更高的准确率。

4.2 连续域任务

PINNs： 在求解一维粘性 Burgers 方程时，TESLA 在对比的激活函数（包括 ReLU、Tanh 和 SIREN）中实现了最低的最终损失。
隐式神经表示（INRs）： 在图像重建任务（Kodak24、DIV2K）中，TESLA 比 SIREN 和 ReLU 更快达到目标 PSNR 阈值，并实现了更高的最终质量（PSNR/SSIM）。
混合频率回归： 在测试的各类方法中，只有 TESLA 在处理由混合高频分量组成的信号时，能使测试 MSE 低于 0.011。

4.3 大规模视觉任务 (ImageNet-100)

TESLA 在 ViT、MLP-Mixer、ResNet-18 和 MobileNetV3 架构上进行了 ImageNet-100 评估。

性能： 在所有架构中，TESLA 实现的 Top-1 准确率与 ReLU、GeLU 和 SiLU 相当或略好。
效率： 该方法带来的吞吐量开销极小（FLOPs 增加约 1%）。
稳定性： 与 SIREN 不同（SIREN 在相同的训练设置下表现出严重的优化不稳定性和极低的准确率，例如在 ViT 上 Top-1 仅为 ~4%），TESLA 训练稳定并达到了标准的准确率水平。

5. 重要性与主张

本文声称，TESLA 为仅限于输入侧的谱化方法提供了一个鲁棒且实用的替代方案。通过利用可学习系数在激活层面实现谱控制，TESLA 允许从业者以最小的架构改动来调整网络的归纳偏置，同时保持与标准训练流程的兼容性。

作者强调，TESLA 弥合了理论谱偏差分析与实际应用之间的鸿沟。它实现了对多项式阶数的显式控制，促进了对全局高阶交互的学习，而这些交互是标准激活函数难以处理的，同时又不会牺牲在现实世界视觉工作负载下的稳定性或可扩展性。这项工作表明，激活层级的阶数控制是提高由全局对称性主导的任务中的样本效率和泛化能力的有效策略。