技术摘要：基于流匹配（Flow Matching）的等变潜在对齐研究

问题陈述

本文针对几何感知生成模型和新视角合成（NVS）中**等变表示学习（ERL）的一个关键局限性进行了研究。虽然 ERL 旨在构建一个群作用（如 $SO(2)$或$SO(3)$ 中的旋转）在其中可以进行解析且可预测操作的潜在空间，但作者发现了一种被称为潜在失配（latent misalignment）**的现象。

在实践中，即使编码器 $\Phi$ 是通过等变目标训练的，解析变换后的潜在表示 $\rho(g)\Phi(x)$（其中 $\rho(g)$ 是已知的群表示）往往会偏离经过变换图像的经验编码潜在表示 $\Phi(g \circ x)$。这种差异源于以下原因：

1. 优化不完善： 由于压缩物体内容与对称结构具有复杂性，编码器无法学习到完美的等变映射。
2. 混叠（Aliasing）： 标准架构（CNN、Transformer）通过离散采样和非带限滤波器引入了混叠，导致持久的等变误差。
3. 多模态目标： 不完美的编码器可能会将不同的输入映射到相同的潜在表示，从而在应用群作用时产生多模态目标分布，而确定性的点对点映射无法解决这一问题。

这种失配会在变换过程中不断累积，从而降低合成新视角的几何一致性和视觉保真度。

方法论：残差潜在流 (Residual Latent Flow, RLF)

为了在不丢弃有价值的群论先验的前提下纠正这种失配，作者提出了基于**流匹配（Flow Matching）**的 残差潜在流（RLF） 框架。

核心概念

作者并不将解析变换后的潜在表示 $\rho(g)\Phi(x)$ 视为最终的地面真值（ground truth），而是将其视为一个一阶近似。他们学习一个连续流（一个随时间变化的微分同胚），将该近似潜在表示传输到经验上正确的目标潜在表示 $\Phi(g \circ x)$。

问题表述

该任务被表述为一个条件分布传输问题：

• 源端 ($z_0$)： 解析变换后的潜在表示，$z_0 = \rho(g)\Phi(x)$。
• 目标端 ($z_1$)： 变换后图像的真实编码潜在表示，$z_1 = \Phi(g \circ x)$。
• 约束： 与传输独立分布的标准流匹配不同，RLF 必须将 $z_0$ 传输到与其对应的特定 $z_1$（两者均源自同一对象 $(x, g)$）。这需要对条件联合分布 $\pi_{0,1}(z_0, z_1 | x, g)$ 进行建模，而非仅仅是独立的边缘分布。

训练流程

该方法遵循三阶段训练流水线：

1. 基准自编码器训练： 使用标准 ERL 损失（公式 2）训练编码器 $\Phi$ 和解码器 $\Psi$，以最小化等变误差和重构误差。
2. RLF 训练： 冻结编码器。训练一个流模型来学习将 $z_0$ 传输到 $z_1$ 的速度场 $v_\theta$。其目标是最小化学习到的速度与条件速度场（$z_0$ 与 $z_1$ 之间的线性插值）之间的差异：
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   这使得模型能够处理由不完美编码器引起的潜在目标分布的多模态特性。
3. 解码器微调： 在经过流校正后的潜在表示上对解码器 $\Psi$ 进行微调，以适应偏移后的潜在分布，确保高质量的重构。

流模型的架构因群而异：对于 $SO(2)$ 使用基于 Transformer 的架构，对于 $SO(3)$ 则使用基于 U-Net 的架构（利用 Wigner D-矩阵块的方格结构）。

核心贡献

1. 识别潜在失配： 本文正式定义并分析了 ERL 中解析旋转的潜在表示与经验编码的潜在表示之间的差异，证明了这种差异如何破坏几何一致性。
2. 残差潜在流框架： 作者提出了一种利用流匹配进行潜在校正的新颖机制。与传输噪声到数据的标准应用不同，RLF 将群论近似传输到经验目标，在保留群结构的同时纠正了编码器的缺陷。
3. 实验验证： 该方法在包含 $SO(2)$和$SO(3)$ 对称性的多个数据集（包括合成数据集和真实图像基准）上得到了验证。

实验结果

作者在六个数据集上评估了 RLF，包括合成数据集（ABO-Material, ModelNet10-SO(3), ComplexBRDFs）和真实图像（RotatedMNIST, SmallNORB）基准。

• 新视角合成 (NVS)： RLF 在**分布内（in-distribution）和分布外（OOD）**设置下均一致优于基准模型（包括 NFT, Spatial-VAE 和 LGA）。
• 指标：
  • 潜在误差： 显著降低了预测潜在表示与地面真值潜在表示之间的 $L_2$ 距离。
  • 角度误差： 显著降低了预测旋转角与真实旋转角之间的偏差，特别是在 $SO(3)$ 任务中。
  • 视觉保真度： 在 PSNR 和 LPIPS 指标上有所提升，定性结果显示，与经常出现损坏或伪影的基准模型相比，RLF 在旋转过程中能更好地保留背景和精细细节。
• 泛化能力： 该方法在不同旋转角度和未知物体上表现出了鲁棒性，验证了流校正有效地泛化了等变关系。

重要性与主张

论文声称 残差潜在流 为现有等变模型中普遍存在的“潜在失配”问题提供了一个切实可行的解决方案。通过将群作用视为一阶近似并学习残差校正，该方法：

• 恢复了一致性： 它强制潜在空间比仅靠标准 ERL 训练更忠实地遵循底层的群对称性。
• 提升了保真度： 它直接提高了新视角合成的质量，特别是在需要遮挡处理和几何推理的挑战性面外旋转场景中。
• 保留了结构： 它在纠正神经网络架构带来的实际局限性的同时，保留了群对称性的可解释性和理论保证（例如 Wigner D-矩阵）。

作者指出，尽管该方法显著改善了对齐效果，但最终的图像质量仍受限于解码器的容量。他们认为，将该框架扩展到更通用的变换（如 $SE(3)$、关节运动）以及开发稳定的端到端训练策略是重要的未来研究方向。