🤖 machine learning

Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks

本文提出了一种基于约束型 Kolmogorov–Arnold 网络（具体为硬约束 MC-KAN 和软惩罚 Cheb-KAN）的可微求解器框架，用于从稀疏且含有噪声的观测数据中鲁棒地发现积分微分方程中的可解释记忆项与非局部核，并证明了通过构建方式强制执行物理形状约束，相比于软惩罚方法，在处理多维问题时能获得更高的精度。

原作者： Aruzhan Tleubek, Salah A Faroughi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aruzhan Tleubek, Salah A Faroughi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解一台神秘机器“幽灵规则”的侦探。你看不见机器内部的齿轮，但你可以观察它在受到推动时的运动方式。在物理学世界中，许多系统（比如缓慢回弹的橡皮筋，或者具有记忆效应的热量在材料中的扩散）并不只是对“当下”发生的事情做出反应。它们拥有“记忆”。

数学家使用一个特殊的成分来描述这种记忆，称之为核（kernel）。你可以把“核”想象成一张食谱卡，它告诉系统应该给过去的每一个瞬间分配多少权重。如果你知道了这张食谱，你就能完美地预测未来。但通常情况下，食谱卡是丢失的！科学家们拥有的是机器运动的数据，却不知道食谱是什么。这是一个棘手的谜题，因为许多不同的食谱都可能产生相同的运动，尤其是当你的观测数据模糊或不完整时。

旧方法 vs. 新方法

长期以来，科学家们试图通过针对每个特定问题进行复杂的数学推导，或者通过猜测一个食谱并寄希望于它能契合来解决这个问题。本文作者说：“让我们尝试一些不同的方法。”他们构建了一个神经网络（一种 AI 大脑），这个大脑扮演着侦探的角色。这个 AI 不再是靠猜，而是直接从系统运动的杂乱、多噪的数据中学习食谱。

但问题在于，如果你只是让一个标准的 AI 大脑去瞎猜，它可能会给出一个在物理学上毫无意义的食谱。例如，它可能会建议记忆会随着时间的流逝而变得更强，或者过去的影响会突然变成负数。在现实世界中，记忆通常是平滑消退且永不改变符号的。

两种侦探策略

为了防止 AI 做出荒谬的猜测，研究人员尝试了两种不同的方法来强制 AI 遵循物理规则。

策略 1：“软”惩罚 (Cheb-KAN)
想象你在训练一只狗。你告诉它：“不要跳上沙发”，如果它跳了，你会给它一个轻微的“不”（软惩罚）。这只狗可能会听话，但也可能在非常想跳的时候依然跳上去。这就是 Cheb-KAN 所做的。它试图学习食谱，但如果食谱违反了规则（比如变成负数或曲线走向错误），计算机就会给 AI 的作业加上一个小的“惩罚”分数。AI 会努力减少惩罚，但它并不会被严格禁止违反规则。

策略 2：“硬”约束 (MC-KAN)
现在，想象你在狗周围建了一个笼子。由于笼子的存在，狗在物理上无法跳上沙发。这就是 MC-KAN（单调凸 Kolmogorov–Arnold 网络）。研究人员不仅要求 AI 表现良好，还用特殊的数学模块（伯恩斯坦多项式）构建了 AI 的大脑，使得 AI 不可能生成违反规则的食谱。AI 被其自身的架构强制要求只能生成正向、始终衰减且曲线方向正确的食谱。这不是一个建议，而是机器的法则。

大考：AI 能找到食谱吗？

团队通过三个从简单到极其复杂的场景对这两种策略进行了测试。

1. 简单记忆 (1D Volterra 方程)
他们从一个简单的系统开始，其记忆像标准的指数曲线一样衰减（就像一杯咖啡冷却的过程）。他们给 AI 的数据带有不同程度的“噪声”（静态干扰或模糊性）。

结果： 两种策略都找到了正确的食谱。即使数据中有很多噪声，两者都做对了。然而，硬约束 (MC-KAN) 更加精确，根据噪声水平的不同，它找到的食谱误差比软惩罚版本低了约 13% 到 54%。这就像那只被关在笼子里的狗从未犯过错，而那只接受温柔劝诫的狗偶尔还是会出一点小错。

2. 拉伸记忆 (1D 粘弹性波)
接下来，他们观察了一根具有橡胶特性的振动杆。这里的记忆不是简单的曲线，而是一种“拉伸指数”形状，这在玻璃态聚合物中经常见到。他们使数据变得非常稀疏，这意味着他们只给了 AI 杆运动的极少数快照（在可能的 1001 个快照中仅提供了 11 个）。

结果： 令人惊叹的是，即使数据如此稀少，两种方法仍然能够找到食谱。但同样，硬约束 (MC-KAN) 表现得更加稳定。它找到的食谱误差比软惩罚版本低了约 40%。软惩罚版本有时会有些波动，而硬约束版本则保持稳健。

3. 2D 混沌 (非局部反应-扩散方程)
最后，他们挑战了最难的任务：一个 2D 系统，其记忆取决于空间上的两个方向（就像在表面上形成的图案）。数据是稀疏的（在 32x32 的网格上仅有 7 个时间快照）且多噪的（噪声标准差高达 0.15）。

结果： 这正是差异巨大的地方。软惩罚策略开始出现“幻觉”。它生成的食谱出现了奇怪的涟漪，并且没有正确衰减。硬约束 (MC-KAN) 则保持稳如泰山。
- 在最高噪声水平 (σ = 0.15) 下，硬约束方法的核误差为 12.36%，而软惩罚方法的误差为 21.95%。硬约束方法的准确度几乎是两倍。
- 当噪声较高时，软惩罚方法甚至产生了“非容许”的形式（即看起来像幂律而不是正确指数形状的食谱）。而硬约束方法从未违反规则。

最终结论

论文得出结论：虽然两种方法在数据干净且简单时表现良好，但在面对杂乱、稀疏或高维数据时，通过将规则构建进 AI 结构中（硬约束）会更加鲁棒。

作者发现，对于最困难的 2D 问题，硬约束方法比软惩罚方法减少了大约 44% 的误差。他们还成功使用了名为 PySR 的工具，将 AI 学到的“黑盒”食谱转换回清晰、可读的数学公式（如 $e^{-0.9\tau}$ ），证明了 AI 不仅仅是在猜测数字，它实际上学习到了底层的物理定律。

论文中并非 true（并非声称）的内容：

论文并未声称这适用于所有类型的记忆。它明确排除了会摆动（振荡）、改变符号或不衰减的核。硬约束方法是专门为正向且平滑的“衰减记忆”设计的。
论文并未说这是所有逆问题的“万灵药”。它承认在处理 2D 问题时，他们必须将食谱拆解开来才能找到完整的公式，且两个方向之间的耦合关系无法一次性完美恢复。
结果是基于模拟（计算机生成的数据），而非真实的物理实验。作者建议这是下一步的研究方向，但目前的证明是基于他们生成的数值。

简而言之，如果你想从杂乱的数据中寻找衰减记忆的秘密食谱，那么通过构建一个笼子来约束你的 AI（硬约束），要比仅仅礼貌地要求它表现良好（软惩罚）效果要好得多。

技术摘要：基于约束 Kolmogorov–Arnold 网络发现积分微分方程中的记忆与非局部核

1. 问题陈述

本文解决了从稀疏且含有噪声的时空观测数据中识别控制积分微分方程（IDEs）的未知记忆或非局部核的病态反问题。IDEs 用于模拟具有记忆效应（如粘弹性松弛、反常扩散）或空间非局部性（如近场动力学、非局部反应扩散）的物理系统，其中状态通过卷积核 $K$ 取决于历史演化或远距离空间相互作用。

现有的识别方法面临显著局限性：

经典方法依赖于特定问题的解析推导、专门的观测要求（例如边界通量测量）或为了保证适定性而采取的限制性假设。
当前的科学机器学习（SciML）方法通常将核函数隐式地表示在神经网络参数中，缺乏闭式形式的可解释性，或者需要针对特定案例进行伴随导数推导以进行梯度计算。此外，许多方法难以强制执行物理约束（正定性、单调性、凸性），而这些约束对于在病态设置下实现稳定的核恢复至关重要。

目标是开发一个灵活的、数据驱动的框架，在严格遵守物理形状约束的同时，直接从观测数据中恢复核函数的函数形式，且无需特定问题的解析反演公式。

2. 方法论

作者提出了一个基于可微求解器的框架，该框架将可训练的神经核表示嵌入到 IDE 的数值求解器中。该框架遵循“先离散后优化”的策略，通过自动微分技术通过求解器计算梯度，从而避免了对特定伴随方程的需求。

2.1. 神经核参数化

未知的核 $K(\tau)$ （其中 $\tau$ 代表时间/空间滞后）使用 Kolmogorov–Arnold 网络（KANs） 进行参数化。文中对比了两种特定的架构：

软约束切比雪夫 KAN (Cheb-KAN)：
- 使用切比雪夫多项式基函数作为边函数（edge functions）。
- 通过添加到损失函数中的软惩罚项来鼓励物理特性（正定性、单调递减、凸性）。
- 损失函数结合了数据失配项以及针对负值、正一阶导数和负二阶导数的惩罚项。
硬约束单调-凸 KAN (MC-KAN)：
- 使用 Bernstein 多项式基函数作为边函数。
- 通过对多项式系数施加约束，通过构造方式强制执行物理特性。
- 机制： 通过约束 Bernstein 系数以满足特定的排序和凸性条件（例如，对于单调递减，需满足 $c_0 \ge c_1 \ge \dots \ge c_N$ ），从而确保生成的函数在定义域 $[0, 1]$ 内是正的、单调递减且为凸的。
- 该架构采用了特定的层级顺序：第一层使用递减凸边函数，而后续层使用递增凸边函数。这种组合确保了最终的核无论学习到的系数如何，都能满足所需的物理约束。

2.2. 训练与恢复

训练： 神经核被嵌入到一个前向求解器（使用求积法或 FFT 处理积分）中。通过优化参数来最小化预测值与观测时空数据之间的失配。
符号回归： 训练完成后，对学习到的神经核进行采样，并应用**符号回归（通过 PySR）**来提取可解释的闭式数学表达式（例如指数或幂律形式）。

3. 核心贡献

可微求解器框架： 一个通用的核发现框架，将神经表示直接集成到数值求解器中，消除了对特定伴随导数推导的需求。
硬约束 KAN 架构： 引入了 MC-KAN，它利用 Bernstein 多项式通过构造方式（而非依赖软惩罚）来保证物理约束（正定性、单调性和凸性）。
对比分析： 在不同数据稀疏度、噪声水平和维度下，对硬约束（MC-KAN）与软约束（Cheb-KAN）方法进行了系统的评估。
可解释性： 成功集成了符号回归，将学习到的神经核转换为闭式本构律。

4. 实验结果

该框架在三个基准问题上进行了验证：

实验 I：1D Volterra IDE（时间记忆）

任务： 从带有噪声的时间序列数据中恢复指数记忆核。
结果： 两种方法都成功识别出了指数形式。然而，在所有噪声水平和网络深度下，MC-KAN 始终比 Cheb-KAN 实现了更低的核重建误差。
观察： 虽然两种方法在经过符号回归后都能恢复正确的解析形式（ $K(\tau) = e^{-r\tau}$ ），但硬约束的 MC-KAN 提供了更准确的数值近似，尤其是在高噪声水平下。

实验 II：1D 粘弹性波 PIDE（时间记忆）

任务： 从粘弹性杆振动的稀疏时间快照中恢复拉伸指数（KWW）核。
结果： 两种方法对数据稀疏性（低至全网格的 1%）都具有鲁棒性。MC-KAn 在所有稀疏度水平下实现的核重建误差比 Cheb-KAN 低约 40%。
观察： MC-KAN 的重建结果保持严格的正定、单调和凸性，而 Cheb-KAN 则表现出轻微的振荡伪影。两种方法均通过符号回归成功恢复了真实的 KWW 参数（ $\tau_0, \beta$ ）。

实验 III：2D 非局部反应扩散方程（空间非局部性）

任务： 从稀疏且含有噪声的数据中恢复复杂的、各向异性的 2D 空间相互作用核。
结果：
- 在无噪声情况下，Cheb-KAN 表现略好。
- 在有噪声条件下（ $\sigma \ge 0.02$ ），MC-KAN 显著优于 Cheb-KAN。 在 $\sigma = 0.15$ 时，MC-KAN 将核误差降低到接近 Cheb-KAN 的一半。
- 鲁棒性： MC-KAN 中的硬约束防止了在数据稀疏和多噪时 Cheb-KAN 重建中出现的非物理振荡。
- 归一化： 幂律输入归一化（将分辨率集中在原点附近）进一步提升了 MC-KAN 对具有陡峭梯度的核的性能。
符号恢复： 虽然直接恢复完全耦合的二维形式具有挑战性，但符号回归成功识别了可分离的 1D 切片以及对数空间中的耦合结构（乘积形式）。

5. 重要性与主张

本文声称，通过构造方式强制执行物理动机形状约束（通过 MC-KAN）比使用软惩罚在多维核发现中提供了更高的鲁棒性，特别是在观测数据质量下降时。

鲁棒性： 硬约束的主要优势不在于在观测充分的简单反问题中表现更优，而在于当数据质量恶化时，能够维持物理一致且准确的表示。
泛化性： 该框架与标准时间积分器和空间离散化兼容，使其适用于广泛的 IDE 类问题，而无需自定义伴随导数推导。
局限性： 作者承认目前的 MC-KAN 仅限于正定、单调且凸的核（排除了振荡或变号的核）。此外，针对完全耦合的多维核进行符号回归仍然具有挑战性，通常需要分阶段恢复可分离的分量。

总之，这项工作证明了将可微求解器与结构化约束神经网络（特别是基于 Bernstein 的 KAN）相结合，为解决非局部和具有记忆依赖系统的反问题提供了一种强大、可解释且鲁棒的方法。