技术摘要：基于几何潜在子空间的离散数据生成建模

问题陈述

与连续数据相比，离散（分类）数据的生成建模面临独特挑战，特别是在统计依赖关系的表示和底层概率空间的几何结构方面。现有方法通常将离散数据视为环境欧几里得空间中的点，或依赖具有类别间独立性假设的固定大小输入。此外，主成分分析（PCA）等标准降维技术未能尊重离散联合分布的内在流形结构，常导致重构结果不属于离散数据空间（例如，出现非整数值）。本文旨在解决对一种框架的需求，该框架能够准确编码离散数据、压缩高维离散分布，并在尊重统计流形几何属性的同时促进高效的生成建模。

方法论

1. 几何潜在子空间（GPCA）

作者提出了几何主成分分析（GPCA），这是一个将经典 PCA 扩展到分类分布乘积流形的指数参数空间的框架。

• 参数化：离散数据点 $x \in \mathcal{X}^n$ 被建模为完全分解的乘积分布 $s \in \mathcal{S}_c^n$（其中 $\mathcal{S}_c$ 是概率单纯形）。这些分布由指数族中的自然参数 $\theta$ 参数化，其中 $s = \partial \psi(\theta)$，$\psi$ 为对数配分函数。
• 潜在子空间：低维潜在子空间 $\mathcal{U} \subset T_0^n$ 被定义为由基向量 $V$ 张成的空间。自然参数被约束在该子空间内：$\theta = V \odot z$，其中 $z \in \mathbb{R}^d$ 是潜在坐标，且 $d \ll nc$。
• 诱导流形：映射 $\partial \psi$ 充当解码器，将线性潜在子空间 $\mathcal{U}$ 映射到非线性数据流形 $\mathcal{M} = \partial \psi(\mathcal{U}) \subset \mathcal{S}_c^n$。
• 优化：GPCA 参数（$V, Z$）通过最小化基于对数配分函数的凸共轭生成的 Bregman 散度 $D_{\psi^*}$ 的经验目标函数获得。这等同于最小化负对数似然（NLL），或者当数据被平滑到单纯形中时，等同于最小化交叉熵。

2. 黎曼几何与等距映射

本文的核心贡献在于对数据空间施加了特定的几何结构，以实现一致的流匹配。

• e-度量：作者使用e-度量（由指数连接诱导）为单纯形 $\mathcal{S}_c^n$ 赋予度量，而非 Fisher-Rao 度量。在 $\theta$ 坐标系中，该度量对应于标准欧几里得标量积。
• 等距嵌入：当 $\mathcal{M}$ 配备诱导的 e-度量时，映射 $\partial \psi: \mathcal{U} \to \mathcal{M}$ 被证明是等距嵌入。关键在于，这意味着潜在空间 $\mathcal{U}$ 中的测地线（直线）精确地映射为流形 $\mathcal{M}$ 上的 e-测地线。
• 几何正则化：为了确保数据与重构之间的黎曼距离保持较小（这是流匹配理论保证的要求），作者引入了一种正则化损失函数。该损失结合了标准交叉熵（KL 散度）与对平方黎曼距离（$d_e^2$）的显式惩罚，由参数 $\lambda$ 控制。这防止了重构结果接近单纯形边界，因为那里的几何结构会变得奇异。

3. 潜在子空间上的流匹配

生成模型使用限制在 GPCA 潜在子空间上的**流匹配（FM）**进行训练。

• 向量场学习：目标是学习一个时变向量场 $u_t$，将基础分布 $p_0$ 传输到数据分布 $p$。
• 通过拉回的效率：由于等距性质，条件流匹配目标可以完全在低维自然参数空间 $\mathcal{U}$ 中表述。该目标简化为最小化学习到的向量场与自然参数直线插值（$\theta_1 - \theta_0$）之间的平方欧几里得距离。
• 计算优势：这种表述使得训练可以在低维潜在空间 $Z$ 中进行，而不是在高维环境空间中进行，从而显著降低了计算成本和内存占用，同时保持了几何一致性。

主要贡献

1. 几何主成分分析（GPCA）：一种针对离散数据的新型降维方法，它在指数参数空间中运行，诱导出一个尊重分类分布统计结构的非线性流形。
2. 等距流匹配：证明了使用 e-度量可以在潜在子空间与数据流形之间建立等距关系。这使得流匹配可以通过潜在空间中的直线插值来执行，从而极大地提高了离散数据生成模型训练的计算效率。
3. 正则化目标：提出了一种感知几何的损失函数，平衡了重构精度（汉明距离）与几何一致性（黎曼距离），确保了流匹配近似的有效性。
4. 实证验证：广泛的实验表明，低维潜在表示足以准确建模高维离散数据（例如图像、DNA 序列），并且该方法实现了具有竞争力的生成质量。

实验结果

作者在合成数据、MNIST、FashionMNIST、Cityscapes 以及 DNA 序列数据集（PROMOTER, ENHANCER）上评估了 GPCA。

• 重构：GPCA 在图像数据集（MNIST, Cityscapes）上实现了接近零的汉明距离（误标记节点），且潜在维度相对较小（例如，MNIST 为 $d=44$，Cityscapes 为 $d=133$）。
• 权衡：实验突出了最小化交叉熵（NLL）与最小化黎曼距离之间的权衡。虽然最小化 NLL 能产生较低的汉明距离，但不能保证黎曼距离较小。所提出的正则化（$\lambda > 0$）成功控制了这种权衡，在保持低汉明误差的同时降低了黎曼重构误差。
• 生成质量：生成的 MNIST 和 FashionMNIST 样本在视觉上连贯且具有新颖性（并非仅仅是训练数据的复制品）。在 DNA 数据集上，该方法在弗雷歇生物距离（FBD）方面表现出与 Fisher-Flow 等基线相当的竞争力，尽管作者指出压缩性能因数据集而异。
• 效率：在潜在空间 $Z$（例如 $d=64$）中的训练比在完整数据空间中的训练显著更快，且所需内存更少，即使在潜在空间中使用了更大的网络架构也是如此。

意义与主张

本文声称其主要意义在于架起了连续几何建模与离散数据生成之间的桥梁。通过利用指数族的信息几何（特别是 e-连接），作者提供了一个框架，使得：

• 离散数据可以在保留统计依赖关系的流形上进行压缩和表示。
• 潜在空间中测地线的“直线”属性使得流匹配既有效又计算高效，避免了在高维环境空间中黎曼流匹配的复杂性。
• 一旦学习到了几何潜在子空间，该方法就提供了一个统一的、与数据集无关的生成建模框架。

作者谦逊地承认了局限性，具体包括：数据的可压缩性是一个先决条件（在某些 DNA 数据集上观察到较弱的压缩效果），以及正则化参数 $\lambda$ 的选择目前仍依赖于经验调整。他们建议未来的工作包括在 GPCA 子空间内探索一致性模型，并进一步分析潜在域与数据域之间的等距性。