Stable Matrix Parametrizations and Structured Adjoints for Ornstein-Uhlenbeck Processes

技术摘要：Ornstein–Uhlenbeck 过程的稳定矩阵参数化与结构化伴随

问题陈述
多元 Ornstein–Uhlenbeck (OU) 过程是捕捉耦合、不对称及阻尼振荡均值回归的基础模型，广泛应用于信号处理和系统发育学等领域。漂移矩阵 $S$ 控制这些动力学过程，但它在基于似然性的推断中存在显著的计算瓶颈。为了确保过程定义良好，$S$ 必须是 Hurwitz 稳定的（所有特征值的实部均为负）。然而，在保持表达能力（允许复特征值和旋转动力学）的同时，强制执行这一约束并保证计算的可处理性是非常困难的。

现有的参数化方法面临权衡：

• 对角或对称漂移： 计算简单，但无法捕捉不对称耦合或阻尼振荡。
• 实 Schur 分解： 具有表达能力，但需要在实数与复数特征值的边界处进行离散的模型选择，并且在似密函数（likelihood）和梯度计算中保留昂贵的稠密矩阵运算（如 Schur–Parlett 指数、Bartels–Roth 伴随 Lyapunov 解法）。
• 基于 Lyapunov 的参数化： 通过构造实现稳定性，但往往会导致非正规矩阵（non-normal matrices），从而引入昂贵的稠密矩阵函数算法并带来数值脆弱性。

此外，计算最大似然或贝叶斯推断所需的梯度，需要对矩阵指数和代数 Lyapunov 方程进行微分。这些操作在状态维度 $p$ 上呈三次方增长，且具有较大的常数因子，是反向模式微分（伴随方法）中的主要瓶颈。

方法论：Hurwitz 平滑谱块参数化 (H-SSBP)
作者提出了 Hurwitz 平滑谱块参数化 (H-SSBP)，该方法将漂移矩阵 $S$ 表示为应用到稳定标量块和 $2 \times 2$ 块的基变换：
$$S = R B R^{-1}$$
其中 $R$ 是可逆的基变换矩阵，$B$ 是块对角矩阵。

• 块结构： $2 \times 2$ 块 $B_b$ 由三个参数 $(\alpha_b, \rho_b, \omega_b)$ 定义：
  $$B_b(\alpha_b, \rho_b, \omega_b) = \begin{pmatrix} \alpha_b & \alpha_b\rho_b + \omega_b \\ \alpha_b\rho_b - \omega_b & \alpha_b \end{pmatrix}$$
• 稳定性强制执行： 通过简单的标量约束来强制执行 Hurwitz 稳定性：$\alpha_b < 0$ 且 $|\rho_b| < 1$。参数 $\omega_b$ 是无约束的，允许该块在实数和复数特征值区间之间平滑过渡，而无需离散的模型选择。
• 支撑集： H-SSBP 表示了每一个在 $\mathbb{C}$ 上可对角化的实 Hurwitz 矩阵以及某些亏格（defective）矩阵。其像集在实 Hurwitz 锥内是稠密的，并具有全勒贝格测度。文中还讨论了一种正交变体（$R^\top R = I$），该变体改善了条件数，但也限制了可表示矩阵的类别。
• 结构化计算： 通过将问题转化为块基底，昂贵的矩阵指数 $e^{St}$ 和 Lyapunov 方程 $SV + VS^\top + \Sigma = 0$ 被分解为独立的常数规模（$1 \times 1$ 或 $2 \times 2$）计算。主要的成本变成了基变换乘法，而非通用的稠密矩阵函数运算。

核心贡献

1. 参数化： 引入了 H-SSBP 作为一种稳定的漂移参数化方法，它结合了广泛的谱灵活性（捕捉实数和复数特征值）以及易于处理的稳定性约束。
2. 结构化伴随： 推导了反向模式梯度，其中矩阵指数和 Lyapunov 拉回（pullbacks）在基变换后简化为常数规模的块或块对（block-pair）内核。这消除了对稠密伴随计算的需求。
3. 齐次性利用： 证明了对于齐次 OU 模型（各边共享 $S$），可以将块基底应用于整个图，从而消除重复的稠密矩阵运算。如果 $S$ 和扩散协方差 $\Sigma$ 共享一个公共的正交基，则该过程可以完全分解为独立的 1D 和 2D 组件。

结果

• 计算基准测试： 数值实验表明，与稠密矩阵和基于 Schur 的替代方案相比，H-SSBP 实现了显著的加速。对于矩阵指数伴随和 Lyapunov 方程内核，H-SSBP 避免了稠密微分，其优势最为明显。
• 模拟研究： 在涉及 5 维过程的模拟中，H-SSBP 在实-复特征值边界处未表现出任何恢复精度上的损失。稠密基底变体成功恢复了 H-SSBP 正交变体无法表示的非正规漂移，且两者均保持了稳定性。
• 真实数据应用：
  • 金融数据： 应用于异步高频 BitMEX 交易数据，成功捕捉了加密货币工具之间不对称、方向性的耦合，且无需振荡模式。
  • 系统发育学： 应用于 Anolis 蜥蜴形态特征，推断了一个带有正交 H-SSBP 的多元 OU 模型。后验分析揭示了方向性的跨性状漂移耦合，并证明 MCMC 链反复穿越实-复特征值边界，验证了该参数化的平滑性。

意义与主张
本文声称，H-SSBP 提供了一种既能保留丰富的稳定线性动力学表达能力，又能使精确的基于梯度的推断更加透明、计算结构化且数值稳定的方法。通过将通用的稠密矩阵函数和 Lyapunov 计算替换为独立的常数规模块运算，该方法大幅降低了在有根有向树上进行多元 OU 模型似然评估和梯度计算的成本。

作者指出了一些局限性：该方法并未消除所有的三次方成本（在某些情形下，稠密旋转和消息代数可能仍占主导地位），且通用的 H-SSBP 需要规范约定（gauge conventions）以保证可识别性。然而，该框架为大规模多元 OU 模型的高效推断提供了稳健的基础，并具有扩展到其他矩阵函数（如解析算子、时间积分半群）以及更一般的图形结构（如系统发育网络）的潜力。