Heavy-Tailed Flow Matching via Random Clocks

技术摘要：基于随机时钟的重尾流匹配 (Heavy-Tailed Flow Matching via Random Clocks)

问题陈述
重尾数据（以具有不成比例影响的罕见事件为特征，例如金融崩盘、极端天气或不平衡的图像类别）对现代生成模型构成了重大挑战。标准的扩散模型和流匹配模型通常依赖于高斯源分布或噪声过程。虽然高斯源提供了易于处理的训练目标，但对于重尾数据而言，其归纳匹配效果较差。当数据分布表现出显著比源分布更重的尾部时，模型必须完全通过学习到的传输映射来学习尾部行为，这往往导致对罕见事件的重现不准确。

目前试图通过将高斯噪声替换为重尾替代方案（如 $\alpha$-稳定莱维过程、Student-t 核）来解决这一问题的尝试面临着局限性。这些方法通常需要非局部分数阶得分机制，或者受限于特定的尾部族（例如具有有限方差正则的 Student-t），亦或是依赖于破坏了高效训练所需的 $L^2$ 投影结构的鲁棒聚合损失。目前缺乏一个统一的框架，既能保持流匹配的低 NFE（函数评估次数）采样效率，又能适应多样化的重尾源律。

方法论：基于随机时钟的重尾流匹配 (HTFM)
作者提出了 HTFM，这是一个将重尾源建模为时钟调节的高斯源混合模型的框架。其核心创新是引入了一个随机时钟 (Random Clock)，即一个非递减的、路径值的潜变量 $T = (T_t)_{t \in [0,1]}$，它控制着源分布的条件协方差。

1. 时钟调节动力学 (Clock-Conditioned Dynamics)：

   • 在给定实现的时钟路径 $T_{[0,1]}$ 的条件下，源分布 $X_0$ 以及源与数据之间的流都是高斯的。
   • 具体而言，$X_0 | T_{[0,1]} \sim \mathcal{N}(0, \Sigma(T_{[0,1]}))$。
   • 该流遵循仿射路径：$X_t^T = \alpha_t^T X_1 + \beta_t^T X_0^T$。
   • 由于条件问题是高斯的，因此端点调节的速度目标 $v_t^T(x | x_1)$ 保留了与标准高斯流匹配相同的可处理代数形式。这允许使用标准的 $L^2$ 回归目标进行路径化处理。

2. 边缘化与重尾 (Marginalization and Heavy Tails)：

   • 重尾性质仅在对随机时钟 $T$ 进行积分（边缘化）后，才体现在边缘源分布中。
   • 通过选择特定的时钟律，该框架可以恢复各种重尾族：
     • 确定性时钟 ($T_t = t$)： 恢复标准高斯流匹配。
     • $\alpha$-稳定子时钟 ($\alpha$-Stable Subordinator Clock)： 产生 $\alpha$-稳定源边缘分布。
     • 逆伽马时钟 (Inverse-Gamma Clock)： 为任何自由度 $\nu > 0$ 产生 Student-t 边缘分布，包括其他方法通常排除的无限方差区域 ($\nu \le 2$)。

3. 基于特征符号 (Signature) 的调节：

   • 由于时钟路径 $T_{[0,1]}$ 是无限维的，直接将它传递给神经网络是不切实际的。
   • 作者使用截断对数特征 (Truncated Logsignature Features) $\ell_m(T)$ 来编码实现的时钟路径，这些特征源自粗糙路径理论 (Rough Path Theory)。这些特征提供了一个有限维的、通用的路径表示。
   • 神经速度场 $u_\theta$ 在与时间 $t$ 和状态 $X_t$ 一起，受这些特征调节。这使得网络能够适应由实现的时钟所定义的特定条件高斯空间，且计算开销极小。

核心贡献

1. 统一的随机时钟框架： HTFM 提供了一个单一的流匹配目标，通过简单地改变时钟律即可生成高斯、$\alpha$-稳定和 Student-t 源。它通过在条件高斯空间内工作，避免了特定家族的得分公式或不可用的密度函数。
2. 基于特征符号的调节： 本文引入了一种使用截断对数特征对时钟调节的速度场进行有效调节的实用接口。这使得速度场能够适应实现的条件空间，而不会产生算子学习的高昂成本。
3. 理论保证： 该框架建立了路径条件-边缘等价性 (Proposition 3.1)，确保只要满足可积性条件，最小化时钟调节目标即最小化边缘重尾目标。

实验结果
作者在三个基准测试上评估了 HTFM：2D 不平衡 $\alpha$-稳定混合分布、CIFAR10-LT（长尾图像数据集）以及 HRRR 天气场（垂直积分液含量）。

• 性能： HTFM 在模式覆盖、样本质量 (FID) 和尾部统计量恢复（峰度比、偏度比、KS 统计量）方面一致优于高斯流匹配 (HTFM-G) 和具有竞争力的重尾基线 (LIM, DLPM, t-Flow)。
• 低 NFE 效率： HTFM 的主要优势在于保留了流匹配的低 NFE 采样效率。在低 NFE（如 20–100 步）情况下，HTFM 显著优于 $\alpha$-稳定扩散基线（如 DLPM），而扩散模型在这些步数下往往难以收敛。
• 尾部校准： 实验表明，可以通过仅改变时钟律或其尾部参数来校准生成的“重度”尾部，而无需改变网络架构。
• 消融研究：
  • 时钟族： 即使在匹配的多项式尾部衰减率下，不同的时钟族（如 $\alpha$-稳定与 Student-t）表现也不同，这表明时钟族是一个除了尾部重度之外的有意义的设计变量。
  • 特征符号调节： 使用 $m \ge 1$ 的特征符号显式调节速度场，比仅使用重尾源而不进行时钟调节 ($m=0$) 效果更好，证实了适应条件空间的价值。

意义与主张
本文声称 HTFM 弥合了高斯流匹配的可处理性与建模现实世界极端事件所需的重尾必要性之间的鸿隙。通过将尾部行为（由随机时钟控制）与条件回归问题（仍为高斯）解耦，该方法避免了以往重尾扩散方法的计算和理论陷阱。

作者强调，HTFM 提供了一个实用的尾部控制接口：用户只需调整时钟律即可跨不同分布族校准生成的样本“重度”。此外，使用对数特征符号的使用，使得模型能够在不承担高昂算子学习成本的情况下，利用时钟的完整路径信息，使其成为高维重尾生成建模的一种可扩展解决方案。