KANO: Kolmogorov-Arnold Neural Operator

这是一篇发表于 ICLR 2026 的会议论文，题为 KANO: KOLMOGOROV–ARNOLD NEURAL OPERATOR（KANO：柯尔莫哥洛夫 - 阿诺德神经算子）。该论文提出了一种新的神经算子架构，旨在解决现有方法在处理变系数偏微分方程（PDE）时的局限性，并实现了具有内在符号可解释性的科学建模。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 科学 AI 的需求：现代科学和工程需要能够从观测数据中学习支配动力学的模型。理想的科学模型应具备通用泛化性（在定义良好的域上）和可解释性（能够提取符号表示用于验证和下游任务）。
• 现有方法的局限性 (FNO 的瓶颈)：
  • 傅里叶神经算子 (FNO) 是目前最成功的神经算子之一，它通过伪谱投影（截断傅里叶变换）将函数编码为潜在向量。
  • 纯谱瓶颈 (Pure-Spectral Bottleneck)：FNO 假设算子在频域是稀疏的（对角化）。然而，对于位置依赖动力学（即变系数 PDE，如 $x^2 \cdot a(x)$ 或 Schrödinger 方程中的势能项），位置算子在频域中表现为稠密的 Toeplitz 矩阵。
  • 理论缺陷：论文证明，FNO 试图通过非线性激活函数来模拟这些稠密的非对角线项，但这导致其生成的非对角线项与训练数据的分布紧密绑定。因此，FNO 在训练分布内可能收敛，但在分布外（Out-of-Distribution, OOD）泛化能力极差，且为了达到特定精度，其模型规模可能需要超指数级增长（维数灾难）。
• 可解释性缺失：现有的算子网络（如 DeepONet 或 FNO 的变体）通常缺乏内在的符号可解释性，难以直接恢复出物理定律的闭式公式。

2. 方法论 (Methodology)

作者提出了 KANO (Kolmogorov–Arnold Neural Operator)，这是一种在空间域和频域联合参数化的双重域神经算子。

• 核心架构：
  • KANO 基于伪微分算子（Pseudo-differential Operator）框架。
  • 它使用 Kolmogorov–Arnold Network (KAN) 作为子网络。KAN 的边是可训练的单变量函数（通常由样条展开表示），这使得网络具有内在的可解释性。
  • KANO 层公式：
    $$L_{KANO}(a)(x) = \Phi_{\theta_1} \left( F^{-1}_m [ p_{\theta_2}(x, \xi) * F_m(a)(\xi) ](x), \quad a(x) \right)$$
    其中：
    • $p_{\theta_2}(x, \xi)$ 是一个由 KAN 参数化的伪微分符号，同时依赖于空间坐标 $x$ 和频率 $\xi$。
    • $*$ 表示卷积（在 Kohn-Nirenberg 量化下计算），允许在频域进行模式混合，从而处理位置依赖项。
    • $\Phi_{\theta_1}$ 是另一个 KAN 子网络，用于非线性激活。
• 双重域稀疏性 (Dual-Domain Expressivity)：
  • KANO 的核心洞察是：微分项在频域是稀疏的（对角乘子），而位置依赖项（如 $x^2$）在空间域是稀疏的（移位矩阵）。
  • KANO 通过在两个域中联合参数化，能够“ cherry-pick"（选择）每个项最稀疏的表示形式，从而避免 FNO 的纯谱瓶颈。
• 符号可解释性：
  • 由于 KAN 的边是可可视化的 1D 曲线，KANO 可以恢复出算子的闭式符号公式（Closed-form symbolic representation）。
  • 论文展示了如何通过可视化学习到的边并进行符号回归，直接提取物理方程的系数和结构。

3. 理论分析 (Theoretical Analysis)

• FNO 的维数灾难：
  • 引理 1：单个位置算子（如 $x \cdot a(x)$）会将带限输入的频谱扩展到代数衰减（Algebraic decay），导致输出频谱尾部衰减缓慢。
  • 定理 1：对于任意位置依赖动力学，FNO 为了达到误差 $\epsilon$，其模型规模（参数数量）需要以 $\epsilon$ 的超指数级增长。这意味着 FNO 无法在实用规模下收敛到通用的位置依赖动力学，只能过拟合训练分布。
• KANO 的实用性：
  • 定理 2：如果算子的投影能生成 KAN 易于逼近的光滑符号，KANO 的模型规模仅随精度 $\epsilon$ 多项式级增长。
  • KANO 对输入数据没有严格的频带限制，能够处理任意物理输入，并在分布外具有鲁棒的泛化能力。

4. 实验结果 (Results)

论文在合成算子基准和量子动力学基准上进行了验证：

A. 合成算子泛化基准 (Synthetic-Operator Generalization)

• 任务：学习三个变系数算子（$G_1, G_2, G_3$），包含 $x^2, x, \partial_x$ 等项。
• 设置：在 Group A（周期性、啁啾余弦等）上训练，在 Group B（Sinc 脉冲、高斯×Hermite 等未见过的分布）上测试。
• 结果：
  • 泛化能力：FNO 及其变体（U-FNO, AM-FNO）在 Group B 上损失急剧增加（泛化失败）。KANO 在训练集和测试集上均保持了极低的损失，表现出鲁棒的 OOD 泛化能力。
  • 效率：KANO 仅使用了 FNO 0.03% 的参数量，却实现了低一个数量级的相对 $\ell_2$ 损失。
  • 符号恢复：KANO 成功恢复了算子的闭式公式，系数精度达到小数点后第四位（例如，将 $x^2 \cdot f - \partial_{xx}f$ 精确恢复为 $(x^2 + 0.0003)f - \partial_{xx}f$）。

B. 量子哈密顿量学习基准 (Quantum Hamiltonian Learning)

• 任务：从投影测量数据（位置/动量概率分布）中学习量子系统的哈密顿量（双势阱 DW 和非线性薛定谔方程 NLSE）。
• 设置：使用 Q-KANO（KANO 的量子变体），仅使用部分观测数据（位置或位置 + 动量）进行训练，预测长时演化。
• 结果：
  • 精度：Q-KANO 在仅使用部分观测数据（Pos & Mom）的情况下，状态不保真度（State Infidelity）达到 $\approx 6 \times 10^{-6}$，与使用理想全波函数数据训练的 FNO 相比（$\approx 1.5 \times 10^{-2}$），精度提高了四个数量级。
  • 符号恢复：Q-KANO 成功恢复了哈密顿量的符号结构（如 $x^4 - x^2 + \dots$），系数精度同样达到小数点后第四位。
  • 物理一致性：模型仅恢复了数据支持的部分（例如，在全局相位不可观测的情况下，模型自动忽略了全局相位项），体现了物理可解释性。

5. 主要贡献 (Key Contributions)

1. 理论突破：首次从理论上证明并量化了 FNO 在处理位置依赖动力学（变系数 PDE）时的“纯谱瓶颈”和维数灾难，指出其无法在实用规模下实现通用的分布外泛化。
2. 新架构 KANO：提出了 KANO，一种结合 KAN 和伪微分算子框架的神经算子。它通过在空间和频域联合参数化，实现了双重域稀疏表示，解决了 FNO 的瓶颈。
3. 内在可解释性：首次展示了在算子学习中通过 KAN 实现符号恢复（Symbolic Recovery）。KANO 不仅能预测，还能直接输出物理定律的闭式公式和精确系数。
4. 性能优势：在多个基准测试中，KANO 以极小的参数量（<0.03% FNO 大小）实现了比 FNO 高几个数量级的精度和泛化能力。

6. 意义与影响 (Significance)

• 范式转变：KANO 将算子学习从“黑盒式的通用近似”（Universal Approximation）推向了“通用泛化与可解释建模”（Universal Generalization & Interpretable Modeling）。
• 科学发现：该方法为从数据中直接发现物理定律（Symbolic Regression of Operators）提供了强有力的工具，特别是在处理变系数和复杂动力学系统时。
• 量子物理应用：在量子系统学习中，KANO 展示了从有限的、有噪声的测量数据中高精度恢复哈密顿量的潜力，这对量子控制和量子态层析具有重要意义。
• 未来方向：论文指出，虽然 KANO 目前在计算复杂度上（由于双重求和）略高于 FNO，但其参数效率在解决高难度变系数问题时具有决定性优势。未来的工作将致力于优化计算效率并扩展到高维应用。

总结：KANO 通过引入柯尔莫哥洛夫 - 阿诺德网络（KAN）和伪微分算子理论，成功解决了传统神经算子（如 FNO）在处理变系数物理系统时的泛化瓶颈，并实现了高精度的符号公式恢复，是科学 AI 领域向可解释、通用化方向迈进的重要一步。