🤖 machine learning

A new initialisation to Control Gradients in Sinusoidal Neural network

本文提出了一种新颖的、基于理论推导的初始化策略，适用于 SIREN 等正弦神经网络，该策略通过控制梯度缩放和预激活方差来抑制不恰当的频率出现，从而显著提升了函数拟合、图像重建以及物理信息驱动任务中的训练动态与泛化性能。

原作者： Andrea Combette, Antoine Venaille, Nelly Pustelnik

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrea Combette, Antoine Venaille, Nelly Pustelnik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一座非常深、多层的建筑（神经网络）如何唱一首特定的歌（重构一个信号或图像）。这座建筑有许多层（层），在每一层上，都有工人（神经元）将信息传递给上一层。

你想让他们唱的歌很复杂。它包含低沉、稳定的嗡嗡声（低频细节，如人脸的形状）和高亢、尖锐的哨音（高频细节，如皮肤纹理或图像中的细微线条）。

问题：“低语”与“尖叫”

过去，当研究人员使用标准方法构建这些深层次的“歌唱塔”时，他们面临两个大问题：

低语（梯度消失）：如果信息传递的楼层太多，它会变得如此微弱，以至于顶层的工人听不到。建筑学会了低频的嗡嗡声，却完全错过了高音的哨音。这首歌听起来浑浊且模糊。
尖叫（梯度爆炸）：如果信息在向上传递时被过度放大，到了顶层就会变成震耳欲聋的尖叫。建筑如此激进地学习高音哨音，以至于开始唱出原歌中根本不存在的声音。这会在最终图像中产生“幽灵”或“噪声”——就像电视屏幕上的雪花噪点，或者本不该存在的奇怪锯齿状线条。

最初训练这些“正弦波”（基于正弦波）网络的方法，就像是在猜测音量旋钮的设置。对于短小的建筑来说，这种方法还算凑合，但随着建筑越来越高，它要么陷入沉默，要么开始尖叫，从而毁掉了整首歌。

解决方案：一种新的“音量控制”策略

本文的作者 Andrea Combette、Antoine Venaille 和 Nelly Pustelnik 提出了一种精确的数学配方，用于在训练开始时设置“音量旋钮”（初始化）。

这就像在音乐会前给吉他调音。如果调音完美，音乐就能从第一根弦顺畅地流淌到最后一根弦。如果调音不当，琴弦要么松弛无力，要么崩断。

他们的新配方具体做了两件事：

保持信号稳定：他们精确计算了如何设置权重，以确保信息在穿越深层建筑时既不会变得太弱，也不会变得太响。它始终保持在“金发姑娘”般的音量——恰到好处。
控制频率：他们找到了一种方法，确保建筑能学会正确的高音，而不会编造虚假的、充满噪声的高音。

“混沌边缘”

论文提到了一个名为“混沌边缘”的概念。想象一位走钢丝的人。

如果他太僵硬（过于稳定），他就无法移动或学习任何新东西。
如果他太松散（过于混乱），他会立刻从绳子上摔下来。
“混沌边缘”是完美的平衡点：他既足够稳定以留在绳子上，又足够灵活以跳舞并学习复杂的动作。

作者的新方法将神经网络恰好置于这条钢丝之上。这使得网络可以非常深（许多层），而不会分崩离析或陷入混乱。

当他们尝试时会发生什么？

研究人员在几项任务中测试了他们的新调音方法，就像进行严格的试音一样：

图像重构：当被要求重绘一张宇航员或风景的图片时，他们的方法生成了清晰、干净的图像。旧方法要么让图片变得模糊，要么用静态噪声填满图片。
音频：他们尝试重构一段 7 秒的音频片段。他们的方法清晰地捕捉到了高音，而没有添加奇怪的电子尖叫声。
气象数据：他们尝试模拟球体（如地球）上的风模式。他们的方法生成了平滑、准确的风场图，而其他方法则生成了锯齿状、充满噪声的混乱结果。
物理问题：他们用该方法求解描述流体（如水或空气）如何运动的方程。他们的方法找到了正确的解，而其他方法未能正确还原物理规律。

关键要点

该论文声称，通过使用这种特定的、基于数学推导的起点（初始化），你可以构建更深、更复杂的神经网络，它们学习得更快，犯错更少。它能阻止网络“幻觉”出虚假的细节（噪声），并确保其捕捉到它试图学习的数据中真实、细微的细节。

简而言之：他们找到了启动引擎的完美方式，使汽车（神经网络）能够快速、远距离行驶，而不会发生碰撞或熄火。

技术摘要：一种用于控制正弦神经网络梯度的新初始化方法

问题陈述
隐式神经表示（INRs），特别是那些利用正弦激活函数（SIREN）的表示，在图像重建、信号编码和求解偏微分方程（PDE）等应用中，对于近似高频信号非常有效。然而，标准的 SIREN 架构面临一个关键的权衡：虽然它们通过学习高频来缓解标准多层感知机（MLP）的频谱偏差，但增加网络深度往往会导致虚假高频伪影的出现。这种现象会损害泛化能力并导致梯度爆炸。相反，标准的初始化方案（如 Xavier、Kaiming）或原始的 SIREN 初始化无法为深度周期网络中的梯度稳定性提供理论保证，通常导致梯度消失或爆炸，从而阻碍训练动态。

方法论
作者提出了一种新的、解析推导出的 SIREN 网络初始化方案，旨在使其在“混沌边缘”（EOC）运行。该机制确保预激活方差保持稳定，且随着网络深度的增加，梯度既不会消失也不会爆炸。

该方法依赖于在无限宽度（ $N \to \infty$ ）和无限深度（ $L \to \infty$ ）极限下的理论分析：

预激活分布：作者利用 Lambert $W$ 函数推导出了预激活方差（ $\sigma_a^2$ ）不动点的闭式表达式。他们表明，方差收敛于一个由权重缩放参数 $c_w$ 和偏差方差 $c_b$ 决定的不动点。
梯度稳定性：通过分析层间映射的雅可比矩阵，作者推导出了梯度稳定性的条件。他们定义了一个重缩放梯度方差 $\sigma_g$ ，并强制 $\sigma_g = 1$ 以防止梯度爆炸或消失。这一约束确立了 $c_w$ 和 $c_b$ 之间的特定关系。
频谱控制：作者在稳定性曲线上识别出两个特定的解：
- $\sigma_a = 1$ ：对应于原始的 SIREN 直觉（预激活遵循 $N(0,1)$ ），作者表明这会导致深度网络中的频谱展宽和混叠。
- $\sigma_a = 0$ （ proposed）：将预激活方差设为零。在这种机制下，深层几乎表现为线性（ $\sin(z) \approx z$ ），有效地抑制了傅里叶频谱的展宽，并防止出现超过奈奎斯特极限的频率。
神经正切核（NTK）分析：论文研究了该初始化对 NTK 的影响。他们证明，所提出的初始化（ $\sigma_a=0$ ）产生的 NTK 特征值随深度线性缩放，而输入梯度保持归一化。这与原始的 SIREN 初始化形成对比，后者中 NTK 特征值和梯度随深度呈指数级爆炸。

主要贡献

闭式初始化：推导出了 SIREN 的显式初始化方案，保证了跨层的梯度分布不变性以及深度无关的傅里叶频谱。
$\sigma_a = 0$ 的理论依据：确定了将预激活方差设为零对于控制频率频谱、防止混叠以及确保深度架构中训练动态稳定是最优的。
NTK 动态：证明了在初始化时控制梯度传播直接塑造了 NTK 特征值，从而决定了不同频率分量的学习速度，并避免了其他深度网络配置中固有的频谱偏差。

结果
所提出的初始化（ $\sigma_a = 0$ ）在各项任务中与原始 SIREN 方案、 $\sigma_a = 1$ 变体以及其他最先进架构（如 FINER、WIRE、带傅里叶特征的 Tanh、带位置编码的 ReLU）进行了基准测试：

函数拟合：在 1D、2D 和 3D 多尺度函数近似中，与基线相比，所提出的方法始终实现了更低的泛化误差，特别是在网络深度增加时。
图像和视频重建：在图像拟合和视频重建任务（使用 ERA-5 大气数据集）中，与原始 SIREN 和其他方法相比，所提出的方法产生了更清晰的特征，且显著减少了高频伪影。
物理信息神经网络（PINNs）：该方法在求解 1D 伯格斯方程、2D 定常纳维 - 斯托克斯方程以及复杂几何中的 2D 热方程方面进行了测试。所提出的初始化产生了稳定的解，而原始的 SIREN 初始化由于未受控制的高频分量，在纳维 - 斯托克斯方程和热方程任务中产生了嘈杂且不稳定的结果。
去噪：在图像去噪实验中，所提出的初始化充当了有效的隐式正则化器，在忽略高频噪声的同时重建干净信号，而其他方法则倾向于过拟合噪声。

意义
该论文声称，这项工作提供了对 INR 初始化的更深入理论理解，从经验调整转向基于动力系统理论的 principled 方法。通过稳定梯度传播并在初始化时控制频率频谱，所提出的方法使得深度正弦网络能够在不引入虚假伪影的情况下学习高频细节。这使得训练动态更加稳定，学习率可随深度线性缩放，从而使 SIREN 架构在科学计算和多尺度信号重建等复杂、高维问题中更加稳健和适用。作者指出，虽然动机源于 INRs，但该闭式初始化适用于任何需要梯度稳定性和频率控制的具有周期激活的深度架构。

问题：“低语”与“尖叫”

解决方案：一种新的“音量控制”策略

“混沌边缘”

当他们尝试时会发生什么？

关键要点

类似论文