技术摘要：用于混合符号-神经动力系统的 OrthoReg

1. 问题陈述

动力系统建模面临着解释性与表达能力之间的根本权衡。人工预设的机制（符号）模型具有可解释性，但往往存在设定错误或过于简化，难以应对复杂的自然现象。相反，灵活的数据驱动神经方法擅长拟合数据，但缺乏物理洞察力。混合建模试图弥合这一差距，通过将预设或符号的物理组件 ($f_{phy}$) 与灵活的神经残差 ($f_{aug}$) 相结合。

当符号组件不是预先固定的，而是通过基于稀疏库的方法（例如 SINDy 类方法）从数据中发现时，会出现一个关键挑战。在这种情形下，标准的混合方法往往无法维持清晰的分工。具体而言，神经增强项可能会“重新学习”或与符号结构重叠，导致模型冗余且不可解释。

本文指出，依赖标准 $L_2$ 正则化（如 APHYNITY 框架）的现有方法依赖于一个假设符号子空间是固定的投影论证。当符号组件通过稀疏约束（如 $L_1$ 正则化）进行联合学习时，系数的收缩会导致残差结构仍然存在于符号库的跨度之内。因此，即使总范数很小，神经增强项也可能与符号部分发生重叠，从而破坏了 $L_2$ 正则化在固定类别设置下提供的正交性保证。

2. 方法论：OrthoReg

作者提出了 OrthoReg（正交正则化），这是一种旨在在联合训练期间强制符号组件与神经组件之间实现互补分解的方法。

核心目标

OrthoReg 修改了训练目标，以显式惩罚神经增强项与符号库之间的经验重叠。给定数据集 $D = \{x_i\}_{i=1}^N$，固定符号库 $\{\phi_j\}_{j=1}^M$，以及神经增强项 $\hat{f}_{aug}(\cdot; \vartheta)$，其目标函数为：

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

其中：

• $\mathcal{L}_{fit}$ 是数据拟合损失（向量场回归或单步预测）。
• $\mu \|w\|_1$ 对符号系数 $w$ 实施稀疏性约束。
• 第三项是正交性惩罚，其中 $\langle \cdot, \cdot \rangle_D$ 表示在观测状态下的经验内积。
• $\lambda$ 控制正交性约束的强度。

理论机制

不同于惩罚增强项总范数 ($\|\hat{f}_{aug}\|_D^2$) 的 $L_2$ 正则化，OrthoReg 惩罚了增强项与每一个库函数的平方内积。

• 理论保证： 作者证明，当 $\lambda \to \infty$ 时，经验正交性违规趋于零。
• 误差分解： 在经验内积下，强制正交性可以实现清晰的误差分解：
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  这确保了符号部分捕捉库所能表达的内容（库内投影），而神经部分捕捉正交补（残差）。

3. 主要贡献

1. 重叠性的理论分析： 本文证明了当符号组件通过稀疏发现进行学习时，$L_2$ 正则化无法防止符号-神经重叠（定理 A.2）。一个反例表明，稀疏性迫使残差保持在符号跨度内，从而允许神经网络重新学习符号方向。
2. OrthoReg 算法： 作者引入了一种算法解决方案，将正交性惩罚直接集成到联合稀疏发现目标中，确保神经残差在经验内积下与符号库保持正交。
3. 实证验证： 在基准动力系统（阻尼单摆、Lotka-Volterra、SIR、Duffing 振荡器）上的广泛实验表明，与纯符号、纯神经及经 $L_2$ 正则化的混合基准相比，OrthoReg 提高了符号恢复能力（更高的 F1 分数、更少的项数）和分布外（OOD）泛化能力。

4. 实验结果

评估重点在于存在**部分库失配（partial library mismatch）**的系统，即真实的动力学包含库中不存在的项。

• 符号恢复： OrthoReg 在恢复正确的符号支撑集和最小化项数方面始终表现出最高的 F1 分数，表明其模型更简洁、更具可解释性。例如，在阻尼单摆实验中，OrthoReg 达到了 $0.93 \pm 0.15$ 的 F1 分数，而 $L_2$ 基准仅为 $0.61$。
• 分布外（OOD）泛化： 在存在中度库失配的机制下，OrthoReg 显著降低了 OOD 导数误差。在阻尼单摆实验中，相对于 $L_2$ 基准，OOD 导数误差下降了两个数量级以上。
• 权衡： 该方法接受了略微增加分布内（ID）状态均方误差（MSE）的代价，以换取更好的 OOD 表现和符号分离度。这与强制严格正交分解会牺牲部分拟合精度以保持结构完整性的理论观点一致。
• 鲁棒性： 在不规则采样下，该优势依然存在，但在观测噪声极高或缺失动力学与库特征高度纠缠时，效果会有所减弱。

5. 重要性与主张

本文声称 OrthoReg 解决了混合建模中的一个特定脆弱点：即当符号组件是学习而非固定时，解释性会丧失。通过通过正交正则化使符号组件与神经组件之间的互补性显式化，该方法确保了：

• 符号组件捕捉所有库可表达的动力学。
• 神经组件仅捕捉库无法表达的有结构残差。

作者将 OrthoReg 定位为一种分解正则化器，而非通用的精度提升器。其核心价值在于通过保持有意义的符号解释，并将非符号效应分配给残差，从而实现混合科学模型中近似机制词汇与灵活残差的共存，且不会抹除符号解释。

承认的局限性：

• 目前的理论保证仅限于经验内积以及具有固定可微库的加性模型。
• 群体层面的保证需要针对增强假设类的一致收敛论证，这属于未来的工作。
• 该方法并不能恢复库中不存在的控制律；它仅能分离库可表达的动力学与其余部分。
• 在导数估计变得不可靠的高噪声水平下，性能会下降。