Symplectic Neural Networks for learning Generalized Hamiltonians

技术摘要：用于学习广义哈密顿量的辛神经网络

问题陈述
本文解决了从噪声观测的状态轨迹中识别动力系统控制哈密顿量（Hamiltonian）的挑战。虽然哈密顿神经网络（HNN）在通过神经网络表示哈密顿量以学习物理先验方面已取得了成功，但现有方法面临显著局限性。许多方法依赖于显式积分方案，或者假设哈密顿量是可分的（即 $H(q, p) = T(p) + V(q)$），这限制了其在复杂、非可分或混沌系统中的适用性。此外，使用隐式辛积分器（Implicit Symplectic Integrator）训练 HNN 会带来计算障碍——而隐式积分器对于保持一般哈密顿系统的几何结构和长期能量守恒是必要的。具体而言，通过隐式常微分方程（ODE）求解器进行反向传播（Backpropagation）是内存密集型的，其内存消耗随模拟长度线性增长，并且需要在每个时间步求解非线性方程。

方法论
作者提出了一个框架，利用隐式辛积分器（具体为隐式中点法）结合伴随灵敏度方法（Adjoint Sensitivity Method）来克服计算瓶板。

1. 隐式辛积分： 前向传递过程利用了适用于非可分哈密顿量的二阶辛积分器——隐式中点法。为了减轻求解所得隐式方程的计算成本，作者采用了预测器-校正器（Predictor-Corrector）方案。首先使用显式龙格-库塔（Runge-Kutta）方法作为预测器，随后使用不动点迭代（Fixed-Point Iteration, FPI）作为校正器来精细化解。
2. 用于梯度计算的伴随灵敏度： 为了避免标准反向传播（需要存储所有中间状态）带来的内存开销，作者利用了伴随灵敏度方法。他们利用了一个关键理论特性：当对伴随动力学应用相同的辛积分器时，伴随系统的辛离散化产生的灵敏度与反向传播产生的灵敏度相同。这使得可以通过对伴随 ODE 进行逆时计算，从而获得关于网络参数的精确梯度。该方法将反向传递过程与前向轨迹存储解耦，将内存复杂度降低到与模拟长度无关的常数水平。
3. 后向误差分析（Backward Error Analysis）： 本文引入了后向误差分析来解释学习到的哈密顿量。它假定，应用于学习到的哈密顿量 $H_{NN}$ 的辛积分器等价于一个“修正哈密顿量” $\tilde{H}_{NN}$ 的精确流。通过在训练后应用此分析，作者证明了 $\tilde{H}_{NN}$ 比单纯的 $H_{NN}$ 能提供更高阶的真值哈密顿量近似，从而有效地修正了离散化误差，而无需在训练期间使用更高阶的积分器。

核心贡献

• 广义哈密顿量学习： 作者展示了一个能够从噪声轨迹数据中学习广义、非可分哈密顿量的神经框架，且不施加结构性偏差（如可分性假设）。
• 高效训练隐式方案： 该工作表明，结合预测器-校正器方法和伴随方法，可以高效地训练隐式辛积分器，从而处理非可分和混沌系统。
• 内存高效的梯度计算： 通过利用具有辛离散化的伴随灵敏度方法，作者实现了具有常数内存复杂度的精确梯度计算，克服了标准反向传播通过 ODE 求解器时线性增长的内存问题。
• 用于提高精度的后处理： 论文确立了通过对学习到的哈密顿量应用后向误差分析，可以获得一个更准确近似真实系统的修正哈密顿量，从而有效地提升了所学模型的精度阶数。

结果
所提方法在四个不同的哈密顿系统中进行了评估：双阱势能、耦合谐振子（非可分）、Hénon–Heiles 系统（混沌）以及克卜勒二体问题。

• 系统识别： 模型成功学习了所有系统的控制哈密顿量，包括具有混沌动力学的系统，并且在来自不同分布（均匀分布、网格分布和高斯分布）的分布外数据上表现出良好的泛化能力。
• 性能比较： 在哈密顿量预测的平均绝对误差方面，所提方法（SHNN）在大多数测试分布下优于基准方法（NSSNN 和标准 HNN），特别是在双阱势能和 Hénon–Heiles 系统中。
• 计算效率： 运行时和内存分析证实，伴随方法保持了常数级别的内存占用，而不论模拟长度如何，而反向传播则表现出线性增长。对于较小规模的问题，伴随方法还展现出了更优的执行速度。
• 哈密顿量修正： 通过后向误差分析对谐振子进行的数值实验证实，通过 $\tilde{H}_{NN}$ 得到的修正哈密顿量相对于原始学习到的网络输出，显著降低了相对于真实哈密顿量的误差。

意义
本文声称，其方法弥合了辛积分的理论优势（长期稳定性与能量守恒）与深度学习模型训练的实际约束之间的差距。通过实现高效训练隐式、非可分的辛积分器，该方法使得在传统显式方法失效或引入显著偏差的复杂系统中发现物理定律成为可能。利用后处理手段恢复更高阶近似真值哈密顿量的能力，为提高物理启发式机器学习模型的保真度提供了一条新途径，且无需增加训练过程本身的计算成本。