🤖 machine learning

Kolmogorov-Arnold Fourier Networks

本文介绍了柯尔莫哥洛夫 - 阿诺德傅里叶网络（KAF），这是一种新颖的架构，通过使用可训练的随机傅里叶特征和混合激活机制，以全局自适应谱表示替代局部 B 样条，从而克服了传统柯尔莫哥洛夫 - 阿诺德网络（KANs）的参数爆炸和高频局限性，进而在多种任务中实现了最先进的性能与效率。

原作者： Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Kolmogorov-Arnold Fourier Networks》（KAF）的解释。

核心问题：“过度设计”的机器

想象你正在教一个机器人识别照片中的猫。

旧方法（MLP）： 你给机器人一套标准工具箱。它快速且简单，但有时会错过细微之处，比如毛发的纹理或耳朵的锐利边缘。
“新”方法（KAN）： 几年前，研究人员发明了一套名为KAN（Kolmogorov-Arnold Network）的新工具箱。理论上，这套工具箱是天才之作，它能完美描述任何形状或模式。然而，在实践中，它就像试图用一百万块定制的小砖头来盖房子。
- 问题 1（太重）： 它需要如此多的参数（砖块），以至于变得极其笨重且训练缓慢。这就像试图背着一背包的金砖；对机器人来说，这重量太大，无法高效处理。
- 问题 2（视野模糊）： 由于 KAN 使用“平滑”曲线（称为 B 样条）来构建其形状，它在处理锐利、锯齿状或“高频”细节时显得力不从心。这就像透过柔焦滤镜看照片；猫看起来不错，但胡须却模糊不清。

解决方案：KAF（“频谱”升级）

作者提出了一种名为KAF（Kolmogorov-Arnold Fourier Network）的新架构。他们不仅仅是微调了旧的 KAN，而是从根本上改变了它“思考”数据的方式。

可以将 KAF 想象成拿走了那个沉重且模糊的 KAN 工具箱，将砖块换成了音符。

1. 用音乐替换砖块（频谱重参数化）

KAF 不再使用数百万个微小的局部片段（B 样条）来构建形状，而是使用**随机傅里叶特征（RFF）**来构建。

类比： 想象你想画一个复杂的波形。
- KAN 试图通过连接成千上万个微小的平滑点来绘制它。这既耗时又耗费墨水。
- KAF 意识到任何波形都只是简单正弦波（就像音符）的组合。它不再画点，而是只需调节几个“旋钮”来调整这些音符的音高和音量。
结果： 这大幅减少了所需的“砖块”（参数）数量。机器人变得更轻便、更快速，同时仍能构建复杂的形状。

2. “混合”引擎（GELU-Fourier 激活函数）

KAF 引入了一种特殊引擎，它同时使用两种燃料运行：

燃料 A（GELU）： 这是“平滑”燃料。它处理图像中那些宏大、简单的部分（比如猫的整体轮廓）。
燃料 B（Fourier/RFF）： 这是“锐利”燃料。它处理那些棘手的高频细节（比如胡须和毛发纹理）。
魔法所在： 机器人拥有一个智能开关（可学习系数），用于决定使用多少比例的每种燃料。在训练开始时，它主要使用平滑燃料来掌握基础。随着学习的深入，它逐渐调高“锐利”燃料的比例以捕捉细微细节。这就像一位厨师，先熬制基础高汤，然后慢慢加入香料以完善风味。

3. 调谐收音机（初始化策略）

论文提到了一个特定数字1.64，用于设置机器人收听的“电台”（频率）。

类比： 如果你把收音机调得太靠左，你只能听到低音（低频）；如果调得太靠右，你只能听到静电噪音（高频）。
修正： 作者计算出，将频率的“音量”设置为1.64是完美的平衡点。这确保了机器人从一开始就能听到正确的声音混合，从而不会感到困惑或错过重要信号。

他们证明了什么？

作者在多个领域测试了这种新的“音乐机器人”（KAF）与旧机器人（MLP 和 KAN）：

视觉（看）： 在识别手写数字或复杂图像（CIFAR、ImageNet）等任务中，KAF 比其他模型更准确，且使用的资源更少。
语言（读）： 当用于语言模型（GPT-2）内部时，KAF 比标准版本学习预测文本更快、更好。
科学（解方程）： 他们让机器人求解复杂的物理方程（如热量如何扩散或波如何移动）。与模糊的 KAN 相比，KAF 在捕捉这些方程中锐利、突然的变化方面表现优异得多。
拟合形状： 当被要求绘制完美的正弦波（一条上下起伏的平滑曲线）时，KAF 几乎完美地绘制了出来，而其他模型在边缘处出现了错误。

总结

该论文声称，KAF解决了前代“天才”网络（KAN）的两个最大问题：

它是轻量级的（参数更少，训练更快）。
它具有锐利的视野（能够看到其他模型遗漏的高频细节）。

通过将过去沉重、平滑的“砖块”替换为灵活、音乐的“傅里叶”方法，KAF 成功兼顾了高效与强大，使其成为下一代人工智能的有力候选者。

技术摘要：Kolmogorov-Arnold 傅里叶网络（KAF）

问题陈述
尽管 Kolmogorov-Arnold 网络（KANs）通过将固定激活函数替换为可学习的 B 样条基函数，提供了强大的理论表达能力，但在高维任务的实际应用中仍面临两个关键障碍：

参数爆炸：双重矩阵架构（激活函数矩阵和 B 样条系数矩阵）导致参数量显著高于传统多层感知机（MLPs），从而带来高昂的存储和计算成本。
频谱局限性：B 样条基函数固有的平滑性限制了捕捉高频特征的能力，导致在具有丰富频谱特性的数据（如自然图像、音频和复杂微分方程）上表现次优。

方法论
作者提出了Kolmogorov-Arnold 傅里叶网络（KAF），通过频谱重参数化从根本上重新定义了 KAN 范式。其核心架构用全局自适应频谱表示取代了局部的、基于网格的 B 样条表示。

关键方法论组件包括：

频谱重参数化：KAF 利用矩阵乘法的结合律合并 KAN 的大型矩阵，将参数复杂度从 $O(d_{in} \times d_{out} \times (G + K + 3))$ 降低至 $O(d_{in} \times d_{out})$ 。
可训练随机傅里叶特征（RFF）：KAF 采用可学习的 RFF 替代 B 样条，将输入映射到再生核希尔伯特空间（RKHS）。频率矩阵 $W$ 通过源自中心极限定理和对 GELU 激活函数进行傅里叶分析的频谱对齐策略（具体为 $\sigma = 1.64$ ）进行初始化。这种初始化使 RFF 频谱与自然信号的先验知识对齐，从而减轻频谱泄漏。
混合 GELU-傅里叶激活：网络采用定义为 $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$ 的动态激活机制。系数 $\alpha$ 和 $\beta$ 为可学习的缩放参数。在训练过程中， $\alpha$ 最初优先保证低频平滑性，而 $\beta$ （初始化为较小值，例如 $10^{-2}$ ）逐渐增长以捕捉高频分量，从而实现从固定激活到混合傅里叶 - 符号表示的自动过渡。

主要贡献

基变换：从局部 B 样条转向全局自适应频谱表示，在保持表达能力的同时降低了参数复杂度。
频谱对齐初始化：一种 RFF 初始化策略（ $\sigma = 1.64$ ），打破了固定核的平滑性限制，允许准确捕捉高频分量。
自适应混合激活：一种在训练过程中动态平衡低频平滑性和高频表示的机制，确保了稳定性和效率。

实验结果
在计算机视觉（CV）、自然语言处理（NLP）、音频和科学计算任务中进行了全面的实验：

基准性能：在视觉数据集（MNIST、CIFAR-10/100、SVHN）上，在可比参数预算下，KAF 始终比 MLP、KAN、FAN 和 GPKAN 取得更高的准确率。
大规模模型：当集成到 ResNet-18、ViT-Tiny 和 MLP-Mixer 中时，KAF 提高了 Top-1 准确率（例如，ResNet-18 在 CIFAR-10 上为 91.72%，而 MLP 为 91.19%），同时保持了合理的计算成本。
语言建模：在 GPT-2 架构中，用 KAF 替换前馈网络（FFN）降低了 WikiText（MLP 为 184.53，KAF 为 180.85）和 OpenWebText 上的困惑度（PPL），同时与因不稳定和巨大参数开销而受苦的 KAN 相比，显著减少了训练时间。
函数逼近与偏微分方程：KAF 在复杂函数（包括高频求和和不连续函数）上展示了卓越的拟合能力，并在求解偏微分方程（泊松方程、热方程、Burgers 方程）方面比 MLP 和其他基线取得了更低的误差。
消融研究：实验证实了混合 GELU-RFF 激活的必要性以及 $\sigma = 1.64$ 特定初始化的重要性，表明移除任一组件都会导致性能下降。

意义
该论文声称，KAF 成功弥合了 Kolmogorov-Arnold 网络的理论可解释性与可扩展深度学习所需的参数效率之间的鸿沟。通过解决 KANs 固有的“理论与实践之间的悖论”，KAF 提供了一种实用的替代方案，既保留了 KANs 的函数逼近视角，又以改进的效率实现了最先进的性能。作者将 KAF 定位为现代神经架构中 KAN 和 MLP 组件的可行替代品，特别是针对需要高频特征提取的任务。