Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching

技术摘要：漂移变分自编码器 (Drift Variation Autoencoder)

问题陈述
目前的生成管线通常将表示学习与条件生成视为具有不同目标的独立任务。自监督编码器通常优化视图一致性或掩码重建，而扩散模型与流模型则优化去噪分数或传输场。这种分离造成了脱节：生成器可能通过其噪声状态降低损失，却未能暴露出一个可复用的、正确的表示；而编码器学习到的特征也无法保证生成器能够建模真实的后验分布。

当观测值 $C$ 是干净数据 $X$ 的随机增强（例如通过掩码、裁剪或模态移除）时，重建目标并非一个单一的确定性点，而是后验分布 $P(X | C)$。本文认为，对于这两项任务，正确的统计对象都是这个后验分布。生成器应当从 $P(X | C)$ 中采样，而编码器表示 $Z$ 则应精确保留 $C$ 中用于指定 $P(X | C)$ 的所有信息。挑战在于如何通过一个统一的目标函数来刻画并训练其所消耗的表示，从而将这两个目标统一起来。

方法论：漂移变分自编码器
所提出的漂移变分自编码器 (Drift Variation autoencoder) 通过条件流匹配 (Conditional Flow Matching, CFM) 将生成与表示学习统一起来。该框架运行如下：

1. 统计目标： 理想目标是最小化条件 KL 散度 $K(E, Q) = \mathbb{E}_C [\text{KL}(P(X | C) \parallel Q(X | E(C)))]$。该风险可以分解为两项：表示缺陷 $I(X; C | Z)$ 和生成器近似误差。如果 $P(X | Z) = P(X | C)$，则称编码器是“后验充分”的，这对应于表示缺陷为零。
2. 基于样本的公式化： 由于 $P(X | C)$ 是难以计算的，该方法使用 CFM。它构建了一个仿射高斯路径 $X_t = \alpha_t X + \sigma_t X_0$，其中 $X_0$ 是一个独立的高斯源。
3. 架构：
   • 编码器： 一个确定性的掩码编码器 $Z = E_\theta(C)$ 处理随机观测值 $C$。
   • 解码器： 一个条件流解码器 $D_\phi$ 接收噪声状态 $(X_t, t)$ 和表示 $Z$。至关重要的一点是，它并不直接接收原始的干净观测值 $C$，而仅接收编码后的 $Z$。
   • 训练： 模型使用单一的干净预测损失进行训练：$\mathbb{E}[w(t) \| D_\phi(X_t, t, Z) - X\|^2]$。不需要教师模型、对比目标或生成的参考集。
4. 理论等价性： 本文推导了干净预测损失的一个正交风险分解。对于仿射高斯路径，当且仅当 $P(X | Z) = P(X | C)$ 时，依赖于编码器的项（表示差距）消失（$\Delta_{rep} = 0$）。这确立了流匹配风险的零集与理想条件 KL 的零集是相同的，尽管两个目标的数值并不相等。
5. 多模态扩展： 该框架扩展到了连续的多模态元组 $X = (X^{(1)}, \dots, X^{(M)})$。无论观测到哪些模态（即掩码），流目标始终保持为完整的联合元组。这确保了模型学习的是完整的联合后验，包括同时生成的各模态之间残余的依赖关系，而非仅仅是独立的边缘分布。

核心贡献

• 后验原则： 通过条件 $P(X | Z) = P(X | C)$ 定义了生成表示的正确性，并将理想的条件 KL 分解为表示缺陷和生成器近似。
• 流风险与充分性： 证明了对于仿射高斯 CFM，其依赖于编码器的干净预测风险与经过剖析的条件 KL 具有相同的后验充分零集。这建立了实际训练目标与理论上后验充分性要求之间的联系，即使两者在数值上并不相等。
• 端点与多模态保证： 证明了精确的条件场会生成 $P(X | Z)$，且在编码器充分的情况下，该分布等于 $P(X | C)$。该结果扩展到了连续的多模态空间，其中对于任何观测子集，完整的元组仍作为目标。
• 受控验证： 引入了 CrossGeom-4 基准测试，该测试具有已知的共享因子以及欧几里得、球面和双曲视图，用于测试表示的使用情况和联合后验采样。

结果 (CrossGeм-4)
在 CrossGeom-4 基准测试上进行的评估（跨三个几何层级的 18 次运行）显示：

• 表示质量： 可观测因子通过线性探测得到的 $R^2$ 分数为 0.9990–0.9992，证实了编码器暴露了观测因子。
• 条件依赖性： 打乱编码器的条件（同时保持 ODE 源噪声固定）会导致条件误差增加 13.5 倍–15.7 倍，证明了解码器依赖于特定的编码器表示，而非仅从噪声中解决任务。
• 联合耦合： 虽然独立解码器与联合解码器在确定性条件准确度上表现相似，但联合解码器显著降低了两个输出之间共享的未观测因子的不一致性。相比独立解码器，联合目标注意力将这种不一致性降低了 90.1%–92.8%。
• 重建： 可见模态被成功生成并重建，验证了全元组目标。
• 局限性： 无条件模式平衡仍不完美（与参考值的全变分距离 TV distance 为 ~0.086–0.108，而参考值为 ~0.034），表明该经验性结论目前是一个受控的原理验证，而非完全可扩展的解决方案。

意义与主张
本文声称提供了一个理论与实证的证明，即标准的生成目标（干净预测流匹配）可以内在性地训练出一个后验充分的表示。

• 同步性： 它表明生成与表示学习是同步的，因为任一组件的失效都会作为同一个总体风险中的一个独立项出现。
• 无需外部对齐： 不同于需要辅助对齐目标或预训练编码器的方法，本方法直接从生成损失中推导出表示准则。
• 研究范围有限： 作者明确指出，该等价性是一个总体层面的结果，并不保证通过随机梯度下降或有限样本界实现全局优化。其主张仅限于受控的多模态设置 CrossGeom-4；它并不声称在无需架构与规模化发展的情况下，能立即迁移到自然图像、文本或音频领域。这项工作旨在作为一个原理验证，证明可以通过统一的生成目标学习到后验充分的瓶颈。