💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

本文介绍了字典式 KAN（Dictionary-KAN, DKAN），这是一种经过机器验证的架构，它通过采用复系数径向基函数（RBF）字典和离散分层细化技术，解决了 Kolmogorov-Arnold 网络中的优化悖论，从而在实现卓越的多变量回归、偏微分方程（PDE）系数恢复以及硬件高效的可解释性的同时，避免了基于连续样条的 KAN 所存在的内存和收敛问题。

原作者： Kiarash Mohammadi

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kiarash Mohammadi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的广阔版图中，一个持久的挑战长期以来一直困扰着研究人员：如何构建能够学习复杂模式，却又不会在数学混乱的海洋中迷失方向的机器。几十年来，标准方法一直依赖于大规模、稠密的连接网格，其中系统的每个部分都与所有其他部分进行通信。虽然这些系统功能强大，但它们往往难以找到解决问题的最有效路径，容易陷入局部陷柜，或者由于需要过多的内存而导致根本无法在现有硬件上运行。一种被称为柯尔莫哥洛夫-阿诺德（Kolmogorov-Arnold）表示法的较新理念提供了一条不同的路径。它提出，任何复杂的、多维的关系都可以分解为一系列相加的更简单的、一维的步骤。这个概念承诺了一种更优雅、更具可解释性的建模世界的方式，但当科学家们试图构建它时，却遇到了一个根本性的悖论。他们用来使这些网络具有灵活性的数学工具过于不稳定，导致学习过程崩溃或变得计算成本极高。

研究员基亚拉什·穆罕默迪（Kiarash Mohammadi）现在提出了一种解决方案，通过一种名为 Dictionary-KAN 的新架构来解决这一悖论。该系统不再试图拉伸和扭曲连续的数据点网格（这往往会导致困扰以往尝试的不稳定性），而是使用了一组固定的、预定义的构建模块。想象一本永不改变的词典；网络只需学习如何将这些词汇组合成句子，而不是试图即时发明新的字母。通过将每一个连接锚定在这个稳定的词典中，研究人员确保了计算机求解的数学问题始终是平滑且可预测的，从而避免了旧模型中出现的突然崩溃和进度丢失。这种方法允许系统在不忘记已学知识的情况下变得更大、更详细，而这在以前这类网络中是不可能实现的。

这项创新不仅限于稳定性。研究人员将整个系统提升到了一个复杂的数学空间中，使网络能够自然地理解不同变量是如何相互乘积并产生交互作用的。在之前的版本中，系统必须通过沉重且低效的计算来强制学习这些交互。在这里，结构本身处理了乘法，使得学习过程更加高效。这种设计还包含了一种独特的精细化方法。当网络需要变得更加精确时，它可以在现有层之间插入新的细节层，而不会干扰已经完成的工作。新部分从零影响力开始，确保网络在扩展前后的输出完全保持一致，从而有效地消除了“灾难性遗忘”问题，即学习新事物时抹去了旧知识。

为了确保这些主张不仅仅是理论上的希望，研究人员对核心逻辑进行了严格的机器验证检查。通过一个专门设计的用于证明数学真理的计算机程序，优化理论的每一步都在特定条件下被验证为正确。计算机确认该系统具有唯一的、最优的解，并且用于寻找该解的方法总能收敛到该解，而不会陷入停滞。这种确定性在领域内是罕见的，因为许多理论都依赖于难以证明的假设。这些验证结果随后在了一系列现实世界的模拟中接受了测试。在涉及多个变量交互的任务中，新系统比标准的稠密模型高出二十倍，以极少的资源实现了更高的准确度。

该系统还展示了卓越的科学发现能力。当被要求识别受空气阻力影响的摆钟运动规律时，网络成功分离出了正确的物理变量，包括其他模型忽略的微弱阻尼力。同样，在被要求揭示被称为 Burgers 方程的流体力学问题背后的方程时，即使它必须自行发明必要的乘法项，它也以不到 1% 的误差重建了正确的数学关系。在一次实际应用中，研究人员训练该网络模拟光线从粗糙金属表面反射的方式，这是一项对于实现逼真计算机图形至关重要的任务。生成的模型非常简洁且具有结构性，以至于它可以直接转化为一段简短的、人类可读的计算机程序，从而不再需要沉重的神经网络软件。

然而，这项研究并非没有局限性，作者也以同样的清晰度报告了这些局限。当系统在处理具有剧烈跳变的数据（如阶跃函数）时，表现出了一个已知的弱点，即“振铃效应”（ringing），即输出会在锐利的边缘附近发生轻微振荡。虽然新系统在这些特定情况下比之前的版本处理得更好，但仍无法达到比简单旧模型更高的精度。此外，机器验证提供的数学保证依赖于某些条件的满足（例如数据具有特定的结构），这意味着该理论并非对所有可能的数据集都有普遍的保证。研究人员明确指出，该系统并非旨在成为记录每一个细节的完美记忆，而是一个理解和精炼复杂关系的工具。

这项工作代表了使人工智能变得更加可靠和高效的重要进步。通过用固定的函数词典取代不稳定的连续网格，研究人员解决了阻碍此类网络发展的长期优化悖论。这种在不遗忘的情况下扩展网络的能力、发现物理定律的高精度能力，以及将最终结果编译为简单代码的能力，预示着一个系统不仅强大而且可理解且实用的未来。这些发现并非被呈现为所有问题的最终答案，而是作为一个稳定的基础，可以在其之上构建更先进的版本，其核心理论已被机器验证为在数学上是稳健的。

技术摘要：Dictionary-KAN

问题陈述

本文探讨了连续 Kolmogorov-Arnold 网络（KAN）中固有的“优化悖论”。虽然 Kolmogorov-Arnold 表示定理保证任何多元连续函数都可以分解为一维函数与加法的组合，但标准的连续 KAN 实现（使用 B-样条、切比雪夫多项式或可学习高斯中心）在实践中遇到了四个关键失效问题：

基函数病态性：有界有理函数会导致梯度消失，而高阶多项式会产生具有不稳定零交叉的崎岖损失平面。
网格不稳定性：样条节点（Spline knots）的动态重网格化会导致非凸排序崩溃和定义域扭曲，从而在局部更新期间引发灾难性遗忘。
违反 KA 约束：建模非线性变量交互（例如 $x_1x_2$ ）通常需要稠密线性投影或门控机制，这实际上重新引入了多层感知机（MLP）的稠密权重矩阵，破坏了一维求和结构。
正则化难以处理：标准的 Sobolev $L_2$ 惩罚会模糊剧烈过渡，而严格的 Lipschitz 界限则过度限制了表达能力。

此外，连续 KAN 遭受着“维度诅咒带来的内存问题”，其中稠密网格激活随网络宽度扩展时表现极差，常导致显存溢出（OOM）失败。

方法论：Dictionary-KAN (DKAN)

作者提出了 Dictionary-KAN，这是一种基于泛函分析、以固定离散字典取代连续可学习网格扭曲的架构。其核心设计承诺如下：

1. 带有复系数的固定 RKHS 字典

不同于可学习的中心点，每个边函数被定义为一个在再生核希尔伯特空间（RKHS）中的固定高斯（幅度-RBF）字典。其系数是可学习的复数。

边函数： $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ ，其中 $c_m$ 是固定的实数中心， $w$ 是复权重。
复数路由：输入被提升到复平面（ $x_p \mapsto x_p + 0i$ ）。解析基项（ $z, z^2$ ）能够自然地隔离乘法交叉项（例如 $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ），而无需依赖稠密矩阵投影。

2. 离散层次细化 (DHR)

为了在不重新训练或破坏现有表示的情况下增加容量，DKAN 采用了 DHR。该过程在现有字典中心之间插入中点中心。至关重要的是，新权重被初始化为精确的零，确保网络输出在细化前后保持位一致（bit-identical）。这保证了“零灾难性遗忘”。

3. 离散全变分 (TV) 正则化

为了强制执行稀疏性和分段线性权重轮廓，对权重序列的二阶离散差分应用 $\ell_1$ 惩罚： $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ 。

4. 机器验证理论

该工作的显著特征是其核心优化理论在 Lean 4 / Mathlib 中经过了形式化验证。作者并非依赖非正式的渐近论证，而是提供了经过机器检查的证明，涵盖：

严格凸性：在全秩字典假设下，损失函数是严格凸的。
平稳性：梯度下降的平稳性等价于正规方程（ $K^*(Kw-y)=0$ ）。
收敛性：在导出的 Polyak–Lojasiewicz (PL) 条件下，证明了梯度下降的几何收敛性。
零遗忘：证明了 DHR 恒等式在逐点保持函数值方面的一致性。

关键结果

1. 优化稳定性与精度

在耦合多元回归任务（ $f(x,y) = \sin(x)\cos(y) + xy$ ）上，DKAN 的测试 MSE 比稠密 RBF-KAN 基准模型优胜约 20 倍。

复数 vs 实数：复值 DKAN (C-DKAN) 收敛平滑且单调。相比之下，实值 DKAN (R-DKAN) 表现出严重的损失不稳定和梯度冲击，这验证了复相位作为几何稳定器的作用。
零遗忘：在进行 DHR 扩展后，网络输出的变化精确为 0.0，证实了理论保证。

2. 对不连续性的局限性

论文报告了关于不连续性的负面结果。在阶跃函数逼近任务中，平滑幅度-RBF 字典表现出 吉布斯现象（Gibbs-like ringing）（过冲/欠冲）。

虽然 C-DKAN 的振荡比稠密 KAN 少，但它无法达到接近 ReLU MLP 那样的近乎精确的阶跃逼近。
TV 正则化通过惩罚权重空间的曲率，却无法抑制函数空间的过冲，因为宽大的过冲波峰具有很小的离散二阶导数。作者明确指出，权重空间的 TV 并不能控制函数空间的振荡。

3. 硬件扩展性

DKAN 解决了连续 KAN 的内存瓶颈。

稠密 KAN 需要 $O(BN^2G)$ 的内存用于边激活张量，导致在宽度 $N=256$ 时发生 OOM。
DKAN 的内存复杂度为 $O(BNM)$ 。在 $N=128$ 时，DK可能比稠密基准模型节省 18.6 倍的显存。在 $N=256$ 时，稠密模型失效，而 DKAN 能在 2.66 GB 内完成计算。

4. 科学发现 (ODEs 与 PDEs)

阻尼单摆：DKAN 成功恢复了耦合状态空间结构 $\{\theta, \dot{\theta}\}$ 以及非线性项 $\sin(\theta)$ 。实值基准模型未能保留阻尼坐标 $\dot{\theta}$ ，而是用一个单调代理项替代了它。
Burgers 方程：DKAN 以小于 1% 的误差发现了粘性 Burgers PDE 系数（ $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ）。至关重要的是，它通过 $z^2$ 的虚部（其中 $z = u + i u_x$ ）原生合成非线性乘积 $u u_x$ ，而基准模型需要将此项作为显式输入特征。

5. 符号编译

DKAN 可以被编译为约 50 行闭式 GLSL 着色器，用于 BRDF 能量补偿。通过剪枝微小权重并使用固定中心，该网络可以直接转换为符号表达式树，实现无需神经网络运行时的实时部署。

重要性与主张

论文将 Dictionary-KAN 定位为一种稳定、可解释且硬件高效的选择，而非通用的插值器（在平滑网格上，非结构化 MLP 可能仍能获得更低的原始 MSE）。

其主要意义在于：

解决优化悖论：通过固定字典和使用复数路由，它消除了网格不稳定性及梯度消失，同时保持了 KA 定理的拓扑约束。
机器验证保证：它提供了首个针对 KAN 收敛性、凸性和零遗忘细化的机器检查证明，超越了非正式的理论主张。
原生乘法耦合：它通过复分析属性实现变量交互建模，而非依赖稠密投影。
可扩展性：它移除了与稠密网格 KAN 相关的维度诅咒内存问题。

作者对其主张持谨慎态度，明确承认平滑字典在处理不连续性时存在困难，并指出当前理论依赖于条件前提（例如全秩字典），这需要在未来的 V2 版本中进行数据驱动的认证。该工作被框架化为一个“V1”基础版本，未来的目标是实现核理论统一以及深度系统扩展。