💻 computer science

Spectral bias mitigation in physics-informed neural surrogates for nonlinear structural dynamics: Fourier feature encoding versus Kolmogorov-Arnold representations

本研究表明，尽管 Kolmogorov–Arnold 网络（KANs）在非线性结构动力学中本质上比标准 MLP 更好地缓解了谱偏差，但应用傅里叶特征编码是决定准确性的主导因素，这使得傅里叶增强型 MLP 优于纯 KANs 以及由于存在与物理信息优化不兼容的梯度振荡而导致性能退化的傅里叶增强型 KANs。

原作者： Salih Berkan Aydemir

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Salih Berkan Aydemir

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何预测建筑物在地震中的摇晃。建筑物不仅仅是进行简单的、缓慢的往复摆动；它同时伴随着缓慢、沉重的摇摆和快速、细微的颤动，呈现出一种复杂的混合振动。这就是非线性结构动力学的世界。长期以来，用于解决这类问题的标准机器人大脑（称为 MLP 或多层感知器）一直存在一个严重的盲点。

问题所在：“谱偏差”盲点

把这些标准的机器人大脑想象成一台只能接收低音的收音机。它们擅长捕捉低频的运动（地震中沉重的轰鸣声），但会完全忽略高频的震动（尖锐的咔哒声）。在科学界，这被称为谱偏差（spectral bias）。无论训练多久，它们都无法“听到”高音，导致预测结果看起来像一条平滑的直线，而实际上建筑物正在剧烈摇晃。

竞争者：两种修复“收音机”的新方法

研究人员设置了一场比赛，看看到底如何修复这个问题。他们测试了四种不同的机器人大脑设计，但有一个严格的规则：每个大脑必须拥有完全相同的“神经元”数量（约 16,400 个参数）。这确保了比赛的公平性。

他们测试了两种主要思路：

“傅里叶特征”升级： 这就像是给机器人戴上了一副特殊的眼镜，能将输入的时间转化为高维的正弦和余弦波图谱。这迫使机器人在一开始就能观察到高频信号。
“KAN”大脑： 这是一种新型的大脑（Kolmogorov-Arnold 网络），其神经元之间的连接不是固定的，而是可学习的、灵活的曲线（具体使用切比雪夫多项式）。这就像是赋予机器人一个可以根据数据形状来重塑自身内部布线的头脑。

比赛：四种不同的地震场景

机器人被置于四种截然不同的挑战中进行测试：

Bouc–Wen 模型： 一种表现得像具有粘性、塑性材料的系统，它会发生弯曲且不会完美回弹（滞后行为）。
Duffing 模型： 一个具有“双阱”能量形状的系统，就像一个在两座小山之间滚动的球。
Van der Pol 模型： 一个会产生自身节奏的系统，类似于心跳或机翼的颤动。
3-DOF 建筑模型： 一个在多种模态下同时摇晃的三层建筑。

结果：谁赢得了比赛？

1. 眼镜赢得了比赛
最大的发现是，傅里叶特征编码（那副特殊的眼镜）是决定性的因素。当研究人员为标准的 MLP 大脑戴上这副眼镜时，它变成了一个超级明星。

在 Duffing 和 Van der Pol 测试中，“傅里叶-MLP”将其误差降低到了极低的水平，实现了 L2 误差低于 0.001（对于这些基准测试而言，这几乎达到了完美的精度）。
在 Bouc–Wen 和 3-DOF 建筑测试中，它将误差降低了 98.6% 至 99.7%。
如果没有这副眼镜，标准的 MLP 会彻底失败，预测出的运动几乎为零（误差接近 1.0），无法捕捉复杂的建筑摇晃。

2. KAN 大脑：不错，但仅限于没有眼镜时
仅使用 KAN 的大脑（没有傅里叶眼镜）其实非常聪明。在 Van der Pol 测试中，它比普通的 MLP 强了 3.5 倍，因为其灵活的内部曲线起到了内置频率解码器的作用。然而，它仍然无法与傅里叶-MLP 相媲美。

3. 悖论：混合使用反而适得其反
这是论文中发现的一个非常有趣的转折。当他们尝试将傅里叶眼镜与 KAN 大脑结合起来（创建了一个“FPIKAN”）时，性能反而变差了。

在 Duffing 测试中，给 KAN 大脑戴上眼镜实际上增加了 201.7% 的误差（使其变成了单纯 KAN 大脑的三倍之多）。
在 Van der Pol 测试中，误差增加了 9.0%。

为什么混合使用会失败？

作者利用“梯度流（gradient flow）”的概念来解释这一点，即机器人如何从错误中学习。

傅里叶眼镜为机器人创造了一条非常平滑、易于学习的路径。
KAN 大脑的内部曲线（切比雪夫多项式）是非常扭曲且复杂的。当强迫 KAN 大脑通过傅里叶眼镜观察时，“学习信号”（梯度）开始剧烈震荡。这就像是试图让一辆高性能赛车（KAN）行驶在完美的平滑赛道（傅里叶）上，但赛车的悬挂系统对平滑度过于敏感，以至于它开始因自身的敏感而剧烈抖动。数学过程变得过于混乱，导致机器人无法找到最优解。

最终裁定

研究结论是，对于预测结构运动，输入表示（眼镜）比大脑架构本身更重要。

获胜者： 傅里叶-MLP（标准大脑 + 傅里叶眼镜）。它最准确、训练最快，且使用起来最简单。
亚军： 仅 KAN 大脑。如果你事先不知道频率范围，它是很强的第二选择，但不如傅里叶-MLP。
失败者： FPIKAN（KAN + 傅里叶）。论文明确指出，将这两项技术结合起来是适得其反的，在目前的形式下应予以避免。

简而言之，如果你想让机器人预测建筑物的振动，不要仅仅去构建一个更高级的大脑；要给它一副能看到高频细节的正确眼镜。并且，不要尝试将最先进的大脑与眼镜混合在一起，否则你可能会破坏整个系统。

技术摘要：非线性结构动力学中物理信息神经代理模型的谱偏差缓解研究

1. 问题陈述

用于物理信息神经网络（PINNs）的标准多层感知器（MLPs）存在谱偏差（spectral bias）问题：即系统性地倾向于学习信号中的低频成分，而无法捕捉高频模态。这种局限性在非线性结构动力学中至关重要，因为系统的响应本质上包含由模态相互作用、滞回行为和非线性刚度引起的多种频率成分（例如基频和高次谐波）。

尽管最近提出了**Kolmogorov–Arnold 网络（KANs）**等替代方案，旨在通过可学习的边缘激活函数来缓解这一问题，但现有研究对 KAN 与 MLP 的比较往往存在缺陷。先前的研究通常受到以下问题的影响：

参数计数不相等。
输入归一化不当（导致激活饱和）。
即使对于非零状态也硬编码为零初始条件（ICs）。
物理约束的应用不一致。

这些方法论上的不一致导致了关于架构选择与输入表示之间有效性的误导性结论。

2. 研究方法

本研究建立了一个严格的、参数匹配的实验框架，以隔离输入表示与骨干架构的影响。

2.1 基准问题

选择了四个典型的非线性动力学问题，每个问题代表了一种不同的动力学类别：

Bouc–Wen 滞回振子： 速率无关的滞回行为（数据驱动训练）。
Duffing 振子： 具有准周期行为的三次几何刚度（物理信息驱动）。
受迫 Van der Pol 振子： 自激极限环振荡（物理信息驱动）。
三自由度剪切型建筑： 线性多频模态叠加（数据驱动）。

2.2 架构设计 (2 × 2 析因设计)

对比了四种模型，所有模型均被限制在 ~16,400 个可训练参数以内，以确保公平性：

普通 MLP (Plain MLP)： 使用归一化时间输入 ( $t/t_{max}$ ) 的标准 MLP。
傅里叶-MLP (Fourier-MLP)： 使用傅里叶特征编码 ( $\Phi(t)$ ) 的 MLP。
仅 KAN (KAN-only)： 使用可学习切比雪夫多项式激活和归一化时间输入的 KAN。
FPIKAN (傅里叶增强 KAN)： 使用傅里叶特征编码的 KAN。

关键方法论控制：

输入归一化： 普通 MLP 和 KAN-only 的输入被归一化到 $[0, 1]$ 以防止 $\tanh$ 饱和；傅里叶模型由于其有界性（正弦/余弦）而不受此影响。
初始条件： 明确强制执行真实的物理初始条件（ $u(0), \dot{u}(0)$ ），而非硬编码为零。

损失函数： 统一的损失函数由数据保真度 ( $L_{data}$ )、初始条件约束 ( $L_{IC}, L_{vel}$ ) 以及适用于相应基准的物理残差 ( $L_{phys}$ ) 组成。

训练： 使用带有余弦退火的 Adam 优化器进行 5,000 个 epoch 的训练。

2.3 理论分析

研究包含了对 KAN 层梯度流的分析。研究指出，虽然切比雪夫多项式充当了隐式谱分解器，但其二阶导数（对于二阶 ODE 的物理信息损失是必需的）会产生振荡的梯度幅值。这些振荡产生了一个与傅里叶编码输入不兼容的优化图景，从而可能导致训练不稳定。

3. 主要贡献

参数匹配对比： 首次在四个非线性基准测试中，对 KAN 和 MLP 架构进行了严格的参数匹配比较（严格相等容量约为 16.4k 参数）。
析因消融研究： 通过系统性的 $2 \times 2$ 设计，分离了傅里叶特征编码与骨干架构（MLP vs. KAN）各自的贡献。
方法论修正： 识别并纠正了 PINN 文献中常见的七个实现“错误”（例如缺失速度初始条件、未归一化时间、参数不匹配），这些错误此前扭曲了结果。
梯度不兼容性分析： 从数学上证明了为什么将傅里叶编码与基于切比雪夫的 KAN 结合会导致性能下降，原因在于冲突的梯度动力学。
谱保真度评估： 通过频域分析证明，仅靠时域误差指标不足以诊断谱偏差。

4. 结果

4.1 傅里叶特征编码的主导地位

最重要的发现是，傅里叶特征编码是缓解谱偏差的主导因素。

在所有基准测试中，为普通 MLP 添加傅里叶特征编码使相对 $L_2$ 误差降低了 98.6% 至 100%。
Fourier-MLP 在所有四个基准测试中均取得了最低误差（ $L_2 \le 0.014$ ，在 Duffing 和 Van der Pol 中 $L_2 < 10^{-3}$ ）。
在没有傅里叶编码的情况下，无论是 Plain MLP 还是 KAN-only，都无法捕捉 Bouc–Wen 和 3-DOF 建筑模型中的高频动力学，其 $L_2$ 误差接近 1.0（近乎零预测）。

4.2 无傅里叶编码时的 KAN 表现

在缺乏傅里叶编码的情况下，KAN-only 在非线性振荡系统中优于 Plain MLP：

Duffing： KAN 将误差降低了 1.9 倍（$0.074 $对比$ 0.139$）。
Van der Pol： KAN 将误差降低了 3.5 倍（$0.164 $对比$ 0.574$）。
这证实了可学习的切比雪夫激活函数充当了隐式谱分解器，在较简单的频率范围内部分缓解了偏差。

4.3 FPIKAN 的“悖论”

与“结合两种缓解策略会产生更好结果”的预期相反，FPIKAN 的表现始终逊于 Fourier-MLP。

在 Duffing 基准测试中，为 KAN 添加傅里叶编码使误差增加了 201.7%（从 $0.074 $增加到$ 0.224$）。
在 Van der-Pol 基准测试中，误差增加了 9.0%。
原因： 高阶切比雪夫多项式固有的振荡梯度幅值，与二阶物理残差所需的平滑优化图景发生了冲突，尤其是在与傅里叶输入耦合时。

4.4 收敛性与谱分析

收敛性： Fourier-MLP 平滑收敛至 $MSE < 10^{-7}$ 。FPIKAN 最初收敛，但随后在较高的误差水平（ $10^{-3}$ 至 $10^{-5}$ ）处进入平台期，这与梯度不稳定性假设一致。
谱保真度： Fourier-MLP 准确重建了完整的频谱。非傅里叶模型表现出严重的高频衰减，实际上过滤掉了 2–3 Hz 以上的模态。

5. 意义与结论

本文得出结论，对于非线性结构动力学中的物理信息神经代理模型：

输入表示至关重要： 傅里叶特征编码是缓解谱偏差最重要的设计选择，无论骨干架构如何，它都能有效地消除谱偏差。
推荐架构： Fourier-MLP 是推荐的架构，它提供了最低的误差、最快的训练速度（比 KAN 替代方案快约 2 倍）以及最简单的实现方式。
独立 KAN 的价值： 当无法使用傅里叶编码时（例如频率范围未知时），KAN 仍具有价值，因为它们通过隐式谱分解，表现优于 MLP 高达 3.5 倍。
混合化的负面影响： 将傅里叶编码与基于切比雪夫的 KAN 结合（FPIKAN）目前是适得其反的。作者建议未来探索基于 B 样条或小波的 KAN 变体，以解决导数有界性问题。
方法论的严谨性： 本研究强调，现有的对比文献可能受到实现缺陷的影响。在这一领域，遵循严格的参数匹配、适当的归一化以及正确的初始条件执行，对于获得有效的科学结论至关重要。