技术摘要：具有惯性的狄拉克-弗伦克尔动力学（用于非线性参数化解）

1. 问题陈述

本文研究了使用非线性参数化 $\hat{u}(t) = \Phi(\theta(t))$ 来近似希尔伯特空间 $\mathcal{H}$ 上演化问题 $\dot{u}(t) = F(u(t))$ 的解 $u(t)$ 的挑战，其中 $\theta(t) \in \Theta$ 代表参数（例如神经网络权重）。标准的 狄拉克-弗伦克尔（Dirac–Frenkel, DF）动力学 方法通过将向量场 $F(\hat{u})$ 投影到由 $\Phi$ 定义的流形切空间上来确定参数速度 $\dot{\theta}(t)$。

一个核心难点在于，当参数化是冗余的（例如神经网络、高斯混合模型）或雅可比矩阵 $J(\theta) = D\Phi(\theta)$ 是病态的，会出现以下情况：

• 参数速度与函数空间切向量之间的映射是不唯一的（由于存在非平凡的核）。
• 即使映射是唯一的，通过雅可比矩阵拟合向量场的问题也可能因为微小的奇异值而变得病态。
• 标准正则化技术（如 Tikhonov 正则化或截断 SVD）通过瞬时阻尼或消除在弱信息方向上的速度分量来解决此问题。这种“瞬时收缩”会导致不稳定性或有用轨迹信息的丢失，这种现象被称为切空间塌陷（tangent space collapse）。

2. 方法论：具有惯性的狄拉克-弗伦克尔动力学 (DFI)

作者提出了 具有惯性的狄拉克-弗伦克尔动力学 (DFI)，它通过引入一个关于速度本身的二阶演化方程，取代了瞬时的代数选择速度。

2.1 连续形式化

DFI 不直接求解 $\dot{\theta}$，而是引入了一个速度变量 $v(t) = \dot{\theta}(t)$ 和一个加速度 $\ddot{\theta}(t)$。加速度是通过 Onsager 原理选取的，旨在最小化一个结合了狄拉克-弗伦克尔缺陷的变化率与加速度二次惩罚项（作为质量项 $\tau^2$）的泛函。

对于 Tikhonov 正则化情形，系统为：
$$\begin{aligned} \dot{\theta} &= v, \\ \tau^2 \dot{v} + M_\varepsilon(\theta)v &= g(\theta), \end{aligned}$$
其中 $M_\varepsilon(\theta) = J(\theta)^*J(\theta) + \varepsilon^2 I$ 且 $g(\theta) = J(\theta)^*F(\Phi(\theta))$。

核心机制：

• 信息充足的方向： 在雅可比矩阵提供强信息（大奇异值）的方向，速度会迅速向标准的正则化 DF 解收敛。
• 弱信息方向： 在雅可比矩阵奇异或近乎奇异（小奇异值）的方向，速度不会被瞬时重置为零或被阻尼，而是受惯性驱动进行传输，保留来自过去轨迹的信息。
• 零空间方向： 在精确的核方向中，如果 $\varepsilon=0$，速度将被保留；如果 $\varepsilon>0$，速度会呈指数级衰减而非被瞬时归零。

2.2 时间离散化

作者提出了一种**半隐式欧拉（semi-implicit Euler）**方案：

1. 速度的隐式更新： 通过求解一个正则化最小二乘问题来计算新的速度 $v_{k+1}$，其中前一时刻的速度充当锚点。
   $$v_{k+1} = \beta_k v_k + z_{k+1}, \quad z_{k+1} = \arg\min_z \|J_k z - (f_k - \beta_k J_k v_k)\|^2 + \eta_k^2 \|z\|^2$$
   这里，$\beta_k$ 控制对前一时刻速度的保留程度（记忆），而 $\eta_k^2$ 结合了 Tikhonov 参数和与时间步长相关的惯性项。
2. 参数的显式更新： $\theta_{k+1} = \theta_k + h_k v_{k+1}$。

该公式要求求解与标准方法相同类型的正则化线性最小二乘问题，但其右侧项经过修改，纳入了惯性记忆。

3. 主要贡献与理论结果

3.1 良定性 (Well-posedness)

论文证明了 DFI 系统是良定的：

• 局部存在性与唯一性： 在向量场和参数化满足标准 Lipschitz 条件的情况下，存在唯一的极大解。
• 全局存在性： 在力映射 $g(\theta)$ 满足线性增长条件下，解在所有时间内存在。
• 消除非唯一性： 不同于标准 DF 动力学在冗余点处速度不唯一的情况，一旦固定初始相点 $(\theta_0, v_0)$，DFI 会产生唯一的轨迹。

3.2 后验误差分析

作者推导了针对连续和离散形式的后验误差界限：

• 连续形式： 全局误差由两个缺陷平方和的平方根积分界定：
  1. 投影缺陷 ($\delta_\varepsilon$)： 正则化投影的标准残差。
  2. 弛豫缺陷 ($\rho_\varepsilon$)： 由于当前速度与瞬时最优速度之间的滞后而产生的误差。
     这种分离表明，惯性虽然引入了弛豫滞后，但允许方法穿过瞬时问题处于病态状态的区域。
• 离散形式： 全局误差受沿计算路径累积的局部缺陷控制。界限明确显示出对 $(1-\beta)^{-1}$ 的依赖性，这表明虽然记忆提高了鲁棒性，但如果瞬时修正不足，过度的记忆（$\beta \to 1$）可能会降低稳定性。

4. 数值实验结果

该方法通过使用神经网络参数化的两个非线性演化问题进行了验证：

1. Allen–Cahn 方程 (1D)：

   • 对正则化的鲁棒性： 当正则化强度 $\eta^2$ 增加时，DFI 保持了精度，而标准的 Tikhonov-DF (T-DF) 则迅速恶化，因为 T-DF 在每一步都从头重新计算一个“收缩”后的速度。
   • 草图法 (Sketching)： 当通过随机草图（子采样）近似雅可比矩阵时，DFI 在 T-DF 失效的较小草图规模下仍能保持准确，因为惯性记忆补充了缺失的瞬时信息。
   • 能量衰减： DFI 更好地保留了梯度流的长期能量衰减结构。

2. 高维 Fokker–Planck 方程 (10D)：

   • 基于样本的动力学： 在维度 $d=10$ 且对残差进行随机采样的设定下，与 T-DF 相比，DFI 在追踪概率密度的均值和协方差方面表现出更优越的鲁棒性。
   • 草图法： 与 Allen–Cahn 情况类似，由于记忆项的存在，DFI 在激进的草图处理（小样本量）下仍能保持较低的误差。

5. 意义与主张

论文声称 DFI 为标准的正则化狄拉克-弗伦克尔动力学提供了一个鲁棒的替代方案，特别是在以下情形下：

• 参数化是冗余的（例如过度参数化的神经网络）。
• 雅可比矩阵是病态的或近乎秩亏的。
• 最小二乘问题被强正则化以确保稳定性。
• 雅可比矩阵通过压缩或随机草图进行评估。

核心论点： 通过将参数速度视为具有惯性的状态变量，DFI 允许“弱信息”的速度分量从过去的轨迹中持续存在，而不是被瞬时抑制。这种机制起到了一种动态正则化的作用，它是具备历史感知能力的，这与 Tikhonov 正则化的瞬时收缩形成了对比。该方法在保留标准 DF 动力学计算结构（每步仅需一次正则化最小二乘求解）的同时，显著提升了在病态场景下的稳定性和准确性。