🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

本文介绍了具有可学习激活函数的随机特征模型（RFLAF），该模型通过使用基函数的加权和来对激活函数进行参数化，从而显著扩展了模型的表达能力，并实现了比传统的固定激活函数随机特征模型更优越的性能与效率。

原作者： Zailin Ma, Jiansheng Yang, Yaodong Yang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zailin Ma, Jiansheng Yang, Yaodong Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别模式，比如在照片中区分猫和狗。为了做到这一点，机器人使用了一个被称为**随机特征模型（Random Feature Model）**的数学“翻译器”。你可以把这个翻译器想象成一条工厂流水线。

在标准工厂（传统模型）中，工人（激活函数）总是做着完全相同且重复的动作。他们是僵化的。如果任务发生轻微变化，工厂就会难以适应，因为工人们无法改变他们的常规流程。

这篇论文介绍了一个更智能的新工厂，叫做 RFLAF（具有可学习激活函数的随机特征模型）。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：僵化的工人

在旧的方法中，工厂使用一个固定的“工具”（固定的激活函数）来处理数据。这就像是用锤子去修补轮胎。对于某些任务它可能有用，但对于其他任务则非常糟糕。模型无法学习“哪种”工具最适合特定的工作；它只能使用它天生自带的那一个。

2. 解决方案：变形工具箱

作者提议给工厂工人一个变形工具箱。他们不再只有一个固定的工具，而是拥有一套基础构建模块（称为“基函数”）。这些模块就像是：

径向基函数 (RBFs)： 把这些想象成平滑的、钟形的曲线（就像一座平缓的小山丘）。
样条函数 (Splines)： 把这些想象成灵活的、可弯曲的尺子。
多项式 (Polynomials)： 把这些想象成弯弯曲曲、扭动着的线条。

RFLAF 的魔力在于，模型会学习如何混合并搭配这些模块。它能弄明白：“对于这项特定任务，我需要 30% 的小山丘，50% 的弯曲尺子，以及 20% 的扭动线条。”它会即时创造出一个完美契合数据的定制化工具。

3. “单座小山”的发现

在构建复杂的工具箱之前，作者研究了如果只使用一个这种“山丘”形状（单个径向基函数）会发生什么。

发现： 他们发现了一个隐藏的数学公式（一个“核”），描述了这单个山丘是如何与数据相互作用的。
局限性： 他们发现，仅使用一个山丘并不能让模型变得超级聪明。它仍然有些局限，就像只有一种类型的螺丝刀一样。

4. 混合的力量

当我们将许多个这样的“山丘”与可学习的权重结合起来时，真正的突破发生了。

结果： 通过混合许多个山丘，模型可以表现出极其多样化的形状和模式。它变得非常有表现力，这意味着它能比旧的僵化模型更好地理解复杂的数据。
代价： 作者从数学上证明，你不需要一个庞大的工厂来完成这件事。你只需要多出一点点“空间”（参数），就能获得巨大的性能提升。这就像是为一个小型汽车引擎升级了一个稍好的燃油喷射系统，从而获得了赛车级的速度。

5. 竞赛：山丘 vs. 尺子

团队使用真实世界的数据（如识别手写数字或预测房价）将他们的新工厂与旧工厂进行了对比测试。

胜出者： 使用**山丘（RBFs）和弯曲尺子（Splines）**的模型一致优于旧的僵化模型。
速度冠军： 虽然山丘和尺子表现都不错，但山丘（RBFs）是明显的冠军。它们的计算速度比尺子快了三倍，同时依然提供了最好的结果。
失败者： “扭动线条”（多项式）不稳定，并且在任务变得复杂时经常崩溃。

6. “冻结” vs. “解冻”测试

最后，作者做了最后一个实验。他们拿出了这个新的“智能工厂”，并让它改变一切，不仅是工具，还有初始的装配线设置（解冻第一层参数）。

结果： 即使与标准的、现代的神经网络（目前的顶尖水平）相比，他们的“智能工厂”方法依然能站得住脚，并且往往表现得更好。这证明了“学习工具”的思想是任何神经网络都强大的升级方案。

总结

简而言之，这篇论文是在说：“不要对所有事情都用锤子。给你的 AI 一个形状工具箱，让它学习如何混合它们，你就会得到一个更聪明、更快、更具适应性的模型。” 具体来说，使用“山丘形状”的混合器（RBFs）是实现最佳性能且消耗最少额外计算能力的“黄金平衡点”。

技术摘要：通过参数化激活学习具有表现力的随机特征模型

1. 问题陈述

随机特征（Random Feature, RF）模型作为核方法（Kernel Methods）的一种可扩展替代方案被引入，它利用有限数量的随机特征来近似核函数。虽然这些模型在计算上非常高效，但标准的 RF 模型通常采用固定激活函数（例如 ReLU、Sigmoid、Cosine）。这种僵化性限制了它们在不同任务中的适应能力，使其无法自动搜索最优激活函数以拟合特定的数据分布。相反，近期在可学习激活模块（如 Kolmogorov-Arnold 网络，KANs）方面的进展虽然展示了有效性，但往往面临扩展性或优化方面的挑战。本文旨在解决固定 RF 模型的效率与可学习激活网络的高表现力之间的差距，提出了一种在 RF 框架内对激活函数进行参数化的框架。

2. 方法论

作者引入了具有可学习激活函数的随机特征模型（RFLAF）。

模型公式化

在 RFLAF 中，激活函数 $\sigma$ 不再是固定的，而是被参数化为随机特征框架内一组基函数 $\{B_i(x)\}_{i=1}^N$ 的加权和。该模型定义为：
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
其中：

$w_m \sim \mathcal{N}(0, I_d)$ 是从高斯分布中采样的固定随机特征。
$B_i(x)$ 是基函数（例如径向基函数 RBF、B-样条、多项式），具有预设的中心和宽度。
$a = (a_1, \dots, a_N)$ 和 $v = (v_1, \dots, v_M)$ 是可学习参数。

作者重点使用**径向基函数（RBFs）**作为理论分析的代表性基函数，其定义为 $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ 。

理论方法

单 RBF 分析： 作者首先推导了由单个 RBF 激活函数诱导的核函数的显式解析形式。他们建立了该旋转不变核的泰勒展开，并刻画了相关的再生核希尔伯特空间（RKHS）。
多 RBF 与逼近： 通过扩展到多个 RBF，他们利用高斯通用逼近定理证明：RBF 的加权和可以以任意误差 $\epsilon$ 近似任何具有紧支撑的连续目标激活函数。
泛化界限： 利用 Rademacher 复杂度，作者推导了学习过程的泛化界限。他们分析了实现低超额风险所需的样本复杂度，表明随机特征的数量 $M$ 需要随样本量 $n$ 的平方根进行缩放（ $M = \Theta(\sqrt{n})$ ），以达到最优性能，这与标准 RF 模型中最尖锐的结果相匹配。

3. 核心贡献

本文做出了以下具体贡献：

新颖的核推导： 作者识别并提供了第一个由单个 RBF 作为激活函数所诱导的核的解析形式，将先前关于中心化高斯激活的研究扩展到了通用的非中心化情况。
理论保证： 他们为 RFLAF 提供了严谨的逼近和泛化界限。理论保证该模型在提升表示能力的同时，其参数增加量远低于标准 RF 模型两倍的水平。
实证验证： 大量实验表明，在各种分类和回归任务中，使用 RBF 或 B-样条的 RFLAF 表现始终优于使用固定激活函数的标准 RF 模型。
效率分析： 研究强调，基于 RBF 的 RFLAF 在计算效率上大约是基于 B-样条的 RFLAF 的 3 倍，同时能获得优异或相当的性能。
向神经网络的扩展： 通过解冻 RFLAF 的第一层参数，作者验证了可学习激活组件在常规两层神经网络（称为 LAN）上的表现力优势，表明它们在收敛速度和稳定性方面可以超越标准 MLP 和 KAN。

4. 实验结果

作者在七个真实世界数据集（MNIST、CIFAR-10、Adult、Protein、CT、Workloads、MillionSongs）以及合成数据集上对 RFLAF 进行了评估。

性能： 使用 RBF 和 B-样条的 RFLAF 在测试损失和准确率方面始终优于使用固定激活函数（ReLU、Cos、Tanh、Sigmoid）的标准 RF 模型（RFMLP）。
效率： 虽然 B-样条表现良好，但研究发现 RBF 在训练和测试时间上比 B-样条快 2–4 倍。例如，在“Workloads”数据集上，RBF 在增加不到 30% 时间的情况下，将测试损失相比表现最好的固定激活函数（Sigmoid）降低了约 70%。
网格规模敏感性： 实验表明，少量的基函数（ $N=16$ 或 $32$）就足以显著超越标准 RF 模型，从而在性能和计算成本之间提供良好的平衡。
激活恢复： 在合成任务中，RFLAF 成功地从数据中恢复了真实的激活函数，证明了其无需网格搜索即可学习最优非线性的能力。
两层网络： 当应用于常规两层网络（LAN）时，基于 RBF 的模型在性能上优于 LAN、MLP 和 KAN，其收敛速度比 KAN 快，且表现优于 MLP。

5. 意义与主张

本文声称提供了对现代神经网络架构中可学习激活组件更深层次的理解。通过将可学习激活集成到随机特征框架中，这项工作弥合了核方法的理论效率与深度学习的适应性之间的鸿沟。

作者将 RFLAF 定位为一种能够：

扩展函数空间： 与固定 RF 模型相比，在不按比例增加计算复杂度的前提下，大幅扩展了所表示的函数空间。
提供极小开销： 以极小的参数量和训练时间增加，实现显著的性能提升。
验证可学习激活： 提供证据表明，可学习激活模块不仅在 KANs 等复杂架构中有效，在更简单、更具扩展性的两层结构中同样有效。

研究结论认为，RFLAF 为随机特征模型开辟了未来的方向，表明参数化激活是增强核方法和神经网络表现力的可行且高效的策略。