技术摘要：几何柯尔莫哥洛夫–阿诺德网络（GeoKAN）

问题陈述

标准深度学习模型，包括多层感知机（MLP）和近期的柯尔莫哥洛夫–阿诺德网络（KAN），通常在固定的欧几里得坐标系内运行。虽然 KAN 通过将固定的标量权重替换为可学习的单变量函数来提高近似灵活性，但它们仍直接在原始输入坐标上评估这些函数。这一限制在科学机器学习和微分方程求解中变得尤为关键，因为目标函数往往表现出高度非均匀的行为：在某些区域平滑，但在激波、薄界面、尖锐峰值或边界层附近变化剧烈。在此类场景中，固定坐标表示法低效地分配模型容量，往往过度解析平滑区域，而对快速变化区域解析不足。

方法论

作者引入了几何柯尔莫哥洛夫–阿诺德网络（GeoKAN），这是一类在逼近函数的同时自适应输入空间几何结构的模型家族。其核心机制涉及学习一个对角黎曼度量 $g(u)$，该度量在基展开和特征混合之前对输入坐标进行扭曲。

核心机制

GeoKAN 并非在原始输入 $x$ 上直接评估基函数，而是首先计算扭曲坐标：
$$\xi_i = x_i \sqrt{g_i(x)}$$
其中 $g_i(x) > 0$ 是学习到的度量分量。这种扭曲拉伸了快速变化的区域（增加有效分辨率），并压缩了更平滑的区域。随后，模型在这些几何自适应坐标中构建特征。

变体

论文提出了 GeoKAN 的三种主要变体，它们在度量的参数化方式以及扭曲后特征的构建方式上有所不同：

1. GeoKAN-NNMetric：使用通过神经网络（MetricNet）从完整输入表示中学习到的耦合度量。它将此度量与局部小波字典（墨西哥帽小波）及体积摘要项（$\log \det g$）相结合。
2. GeoKAN-γ：采用结构化、可分离的度量，其中每个坐标独立学习其自身的缩放比例。它不使用扭曲后字典，而是构建源自度量的显式几何特征，包括扭曲坐标、度量的局部对数导数以及度量幅值。
3. LM-KAN（学习度量 KAN）：专为物理信息场景设计。它使用耦合学习度量（类似于 GeoKAN-NNMetric），但允许根据问题结构选择扭曲后的基函数：小波（LM-KAN-Wav）、径向基函数（LM-KAN-RBF）或傅里叶（LM-KAN-Fourier）。

物理信息学习

在物理信息设置中，作者在标准的物理信息神经网络（PINN）框架内利用LM-KAN变体作为代理模型。训练目标仍然是包含控制微分方程、初始条件和边界条件的基于残差的损失函数。新颖之处仅在于架构：代理模型学习一个任务相关的度量，并在度量自适应坐标中评估其局部基表示，而不是改变损失函数的变分公式。

主要贡献

1. 几何归纳偏置：论文引入了一个框架，模型不仅学习函数逼近，还学习表示空间的底层几何结构，提供了一种根据任务重新分配表示分辨率的机制。
2. 三种不同的架构：GeoKAN-NNMetric、GeoKAN-γ和 LM-KAN 的开发提供了一系列模型，从灵活的耦合度量方法到结构化的轻量级度量特征模型。
3. 基函数自适应：在几何扭曲中集成特定的基函数族（小波、RBF、傅里叶），使模型能够将其归纳偏置针对特定问题类型进行调整（例如，针对振荡亥姆霍兹问题使用傅里叶基）。
4. 综合基准测试：该工作在两个不同的领域评估了这些模型：
   • 监督函数逼近：使用容量匹配的基准测试来隔离内在的逼近优势。
   • 物理信息学习：求解各种微分方程（Allen–Cahn、Burgers、Lorenz 系统、Helmholtz），以测试其在科学计算背景下的性能。

结果

监督函数逼近

在容量匹配的基准测试中（约 $2 \times 10^4$ 个参数），GeoKAN 变体在非均匀结构目标上表现出优于 MLP 和 Efficient-KAN 的性能：

• 高频和局部化目标：GeoKAN-NNMetric 和 LM-KAN-Wav 在高频正弦波、阶跃不连续性、窄针状峰和多尺度包络调制正弦波上实现了最低的均方误差（MSE）。
• 啁啾信号：LM-KAN-RBF 在啁啾目标上优于其他变体，表明 RBF 基函数更适合处理平滑变化的局部频率。
• 解释：结果证实，学习到的度量有效地重新分配了分辨率，拉伸困难区域并压缩平滑区域，从而在不增加参数数量的情况下实现了更紧密的拟合。

物理信息学习

LM-KAN 的性能在几个微分方程中与标准 PIKAN 基线（Efficient-KAN 和 Wav-KAN）进行了比较：

• Allen–Cahn 方程（情况 1）：两种模型均达到了高精度。PIKAN 达到了略低的最终损失，但 LM-KAN 训练速度快得多（315 秒 vs. 539 秒），且参数更少。
• Allen–Cahn 方程（情况 2 - 刚性）：在具有更尖锐界面的更具挑战性的领域，LM-KAN 提供了更好的解重构和更低的偏微分方程残差，尽管计算成本更高（4760 秒 vs. 1281 秒）。
• Burgers 方程：LM-KAN 达到了与 PIKAN 几乎相同的最终损失，但时间大幅缩短（206 秒 vs. 295 秒），尽管其参数更多，表明在解析陡峭梯度方面计算效率有所提高。
• Lorenz 系统：LM-KAN 的最终损失低于 PIKAN，表明几何自适应有利于耦合非线性常微分方程，尽管训练时间更长。
• Helmholtz 方程：在这个高度振荡的领域，LM-KAN（使用傅里叶基）显著优于 Efficient-KAN 基线。它达到了更低的最终损失（约减少 45%），并且训练速度快了两倍多（76 秒 vs. 166 秒），尽管参数数量几乎相同。几何自适应在波长减小时被证明特别有效地保持了相位精度和波结构。

意义与主张

论文声称，GeoKAN 为科学机器学习提供了一种更灵活且通常更有效的表示机制，特别是针对具有尖锐过渡、局部结构或振荡复杂性的问题。

• 架构与变分：作者强调，改进在于架构。训练框架（基于残差的损失）保持标准；收益来自于代理模型学习几何自适应坐标系的能力。
• 任务相关的分辨率：主要意义在于能够“将容量放置在最需要的地方”。通过学习拉伸困难区域的度量，GeoKAN 避免了固定网格表示必须全局解析局部特征的低效性。
• 适度的主张：作者承认，GeoKAN 并非在所有指标上均优于其他方法。在某些情况下（例如 Allen–Cahn 情况 1），标准 PIKAN 实现了更低的最终损失或更快的训练。GeoKAN 的优势在具有强非均匀性、刚性或高频振荡的领域最为显著。
• 未来方向：论文建议未来的工作可以探索各向异性（非对角）度量以用于高维偏微分方程，并进一步自适应基函数选择。

总之，GeoKAN 通过学习输入域的几何结构扩展了 KAN 范式，为处理许多科学和微分方程问题中固有的非均匀性提供了一种稳健的方法。