技术摘要：齐性空间上的可转向神经常微分方程

问题陈述

神经常微分方程（NODEs）提供了一个连续时间框架，用于通过可学习的向量场对数据变换进行建模，具有可逆性和自适应计算等优势。尽管现有研究已将 NODEs 扩展到黎曼流形，并建立了群作用下全局等变性（equivariance）的条件，但在处理具有局部对称性的数据方面仍存在显著差距。

具体而言，许多现代机器学习问题涉及定义在齐性空间 $M = G/H$ 上的数据，其特征不仅仅是标量值，而是根据局部对称群 $H$（稳定子群）进行变换的向量或张量值场。现有模型，包括连续归一化流（CNFs）和等变 NODEs，主要关注点的传输或标量密度的传输。它们缺乏一种通用的、几何一致的公式，用于在尊重全局对称性 $G$ 和局部对称性 $H$ 的同时，传输根据 $H$ 的表示进行变换的一般特征场。

方法论

作者提出了可转向神经常微分方程（Steerable Neural ODEs），这是定义在齐性空间 $M = G/H$ 上的 NODEs 的几何扩展。核心方法论依赖于微分几何，特别是主丛和相伴向量丛理论。

1. 几何公式

• 特征场作为截面：模型不再将特征视为简单的函数 $f: M \to V$，而是将其解释为相伴向量丛 $E = G \times_\rho V$ 的截面，其中 $V$ 是承载稳定子群 $H$ 的表示 $\rho$ 的向量空间。
• 平行移动：这些特征场沿点 $p \in M$ 轨迹的演化由主丛 $G \to G/H$ 上的主联络 $\omega$ 的平行移动控制。
• 耦合系统：该模型定义为两个常微分方程的耦合系统：
  1. 基流（Base Flow）：$M$ 上的标准流形 NODE，由可学习的向量场 $\phi: M \to TM$ 驱动。
     $$\frac{d\Phi_p(t)}{dt} = \phi(\Phi_p(t)), \quad \Phi_p(0) = p$$
  2. 转向方程（Steering Equation）：定义在李群 $H$（或主丛）上的 ODE，用于确定特征向量的旋转/转向。这是利用联络 $\omega$ 从基流的水平提升推导而来的。
     $$\frac{dh_p(t)}{dt} = -(R_{h_p(t)})_* \omega(\sigma^* \phi(\Phi_p(t)))$$
     其中 $h_p(t) \in H$，$\sigma$ 是主丛的局部截面。

可转向 NODE 的最终输出是一个微分同胚 $\Psi: M \times V \to M \times V$，定义为：
$$\Psi(p, v) = (\Phi_p(1), \rho(h_p(1))v)$$
在此，特征向量 $v$ 沿流 $\Phi_p$ 传输，并同时被 $\rho(h_p(1))$ 的作用“转向”。

2. 可学习组件

向量场 $\phi$ 和主联络 $\omega$ 均被视为可学习量。在训练过程中，模型不仅学习数据点的轨迹，还学习诱导特征向量观测变换所需的几何结构（联络）。

主要贡献与结果

1. 定义与构造

本文正式定义了可转向 NODEs（定义 3.8），即一个非线性 ODE 系统，它同时通过平行移动传输齐性空间上的点以及相伴的特征向量。这为向量值特征的连续时间等变动力学提供了严格的几何基础。

2. 等变性条件

作者证明，可转向 NODE 是 $G$-等变的（即尊重空间的全局对称性），当且仅当：

• 生成向量场 $\phi$ 是 $G$-不变的。
• 主联络 $\omega$ 是 $G$-不变的。
  这一结论在定理 4.6中确立。证明表明，联络的不变性确保了平行移动流与全局群作用交换。

3. 通过王定理（Wang's Theorem）的参数化

为了使这些模型具有实用性，作者提供了一种参数化容许不变联络空间的方法。利用王定理（定理 4.11），他们证明了 $G \to G/H$ 上的 $G$-不变联络与满足特定等变性和恒等条件的线性映射 $\Lambda: \mathfrak{g} \to \mathfrak{h}$ 之间存在一一对应关系。这使得能够为特定群（例如作用在 $S^2$ 上的 $SO(3)$）显式构造不变联络。

4. 与现有模型的关系

本文将可转向 NODEs 置于更广泛的几何深度学习格局中：

• CNFs 的推广：当稳定子群 $H$ 为平凡群时，可转向 NODE 退化为李群上的标准连续归一化流（如晶格规范理论中所研究的那样）。
• 推前（Push-forwards）的扩展：该框架将切向量上的推前作用（用于之前的等变 NODE 工作）推广到一般向量丛。
• 局部对称性的纳入：与通过离散层中的诱导表示处理局部对称性的离散时间等变 CNN 不同，可转向 NODEs 通过联络 $\omega$ 探测丛的连续几何结构。

意义与主张

本文声称提供了在齐性空间上学习一般向量值特征连续时间等变动力的几何基础。

• 新颖视角：该构造引入了一种新视角，即学习不仅涉及数据点的流动，还涉及学习决定特征如何变换的内在几何结构（联络）。
• 统一框架：它统一了点传输和特征传输的建模，弥合了标量密度演化（CNFs）与向量值特征动力学之间的差距。
• 理论严谨性：通过将模型建立在主丛和平行移动的基础上，作者确保了生成的动力学天然地与问题的对称性一致，避免了特设（ad-hoc）构造。

作者指出，虽然全局构造是明确定义的，但其局部实现取决于截面（规范）的选择，未来的工作可能会探索规范等变性以及扩展到非齐性流形或离散几何设置（如图）。本文未展示实验结果，而是专注于理论公式的推导以及等变性条件的推导。