技术摘要：流匹配的功能投影（FP-FM）

问题陈述

生成式建模，特别是通过扩散和流匹配，已在创建高保真合成数据方面展现出成功。然而，在多样本适应方面仍存在重大挑战：即仅利用目标分布的一组样本点，在不进行额外训练或微调的情况下，高效地将生成模型适应到新的、未见过的目标分布的能力。

传统的条件生成通常依赖于显式的条件变量（例如自然语言提示或类别标签）。虽然这些变量对已知类别有效，但当目标分布由特定视觉示例（例如生成特定人物的图像）定义，或由无法用固定词汇表轻松描述的复杂混合体定义时，这些变量便显得不足。此外，标准的微调方法计算成本高昂，需要针对每个新分布进行梯度步长计算，这阻碍了低延迟应用。

作者提出了一种设定：模型必须在训练期间学习一族分布 $\{p^\iota_X\}_{\iota \in \mathcal{I}}$，并在接收到来自新分布 $p^\iota_X$（其中 $\iota$ 在训练期间未见过）的样本时，能够高效地从中生成样本。

方法论：流匹配的功能投影（FP-FM）

FP-FM 的核心见解是在流匹配框架内，利用功能编码器视角重新构建适应问题。FP-FM 不是学习单个速度场或对离散变量进行条件化，而是学习一组基函数，这些基函数张成了由训练分布诱导的速度场空间。

理论基础

1. 流匹配：模型学习一个速度场 $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$，将噪声分布 $X_0 \sim \mathcal{N}(0, I)$ 传输到目标分布 $X_1 \sim p_X$。
2. 函数空间：速度场集合 $\mathcal{V}$ 被视为希尔伯特空间。流匹配中的损失函数（均方误差）对应于该空间中的范数平方。
3. 基学习：FP-FM 学习 $k$ 个基函数 $\{g_i\}_{i=1}^k$（参数化为神经网络），以张成训练分布的速度场。
4. 通过投影进行适应：为了根据样本适应新的目标分布，算法通过最小二乘投影计算系数 $c_\iota$，将目标速度场投影到学习到的基上。该投影所需的内积利用目标分布提供的样本进行近似，从而避免了需要解析地知道真实速度场。

三种变体

本文介绍了 FP-FM 的三种变体，在表达能力和计算成本之间提供权衡：

1. 静态 FP-FM：

   • 机制：对于给定分布，系数 $c_\iota$ 是常数。速度场近似为 $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$。
   • 局限性：假设分布与其速度场之间存在线性关系。由于连续性方程是非线性的，该变体在处理超出训练速度场线性张成的未见分布（混合体或新支撑集）时表现不佳。

2. 时间 FP-FM：

   • 机制：系数变为时间依赖，$c_\iota(t)$。近似为 $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$。
   • 改进：通过允许系数随时间变化，模型能够更好地捕捉连续性方程的非线性动力学，显著改善了对未见分布的泛化能力。

3. 动态 FP-FM：

   • 机制：系数是状态和时间依赖的，$c_\iota(x, t)$。近似为 $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$。
   • 实现：这需要在每个状态 $x$ 和时间 $t$ 求解局部最小二乘问题。作者推导了一个定理（定理 1），利用重要性采样高效计算条件期望 $\mathbb{E}[X_1 - X_0 | X_t = x]$，从而绕过直接访问真实速度场的需求。
   • 性能：提供最高的表达能力，能够以高保真度建模复杂的、未见的支撑集和混合体。

主要贡献

• 算法创新：提出 FP-FM，一种直接基于目标分布样本而非显式条件变量进行条件生成的方法，实现了无需微调即可对未见分布的零样本适应。
• 理论整合：成功将功能编码器与流匹配相结合，利用分布加权的内积将速度场投影到学习到的基上。
• 表达能力 - 计算谱系：引入静态、时间和动态变体，为实践者提供了模型表达能力与推理延迟之间可调节的权衡。
• 高效估计：推导出基于蒙特卡洛的估计器（定理 1），用于动态变体所需的条件期望，使得状态依赖的系数计算成为可能。

实验结果

作者在三个数据集上评估了 FP-FM：2D 弧线（低维可视化）、MNIST（结构化图像）和ImageNet（高规模、高维）。他们与无条件流匹配、条件流匹配、分类器引导、分布引导以及标准微调进行了比较。

• 泛化能力：FP-FM 变体在未见分布（UD）（训练类别的混合体）和未见支撑集（US）（全新的类别或形状）上始终优于基线。
  • 在 2D 弧线数据集上，动态 FP-FM 实现了最高的精度（UD 为 0.976，US 为 0.734），显著优于微调方法和条件基线，后者无法泛化到混合体或新支撑集。
  • 在 MNIST 数据集上，动态 FP-FM 在所有划分（包括未见过的数字'9'）中均取得了最佳的精确率、召回率和 FID。
  • 在 ImageNet 数据集上，动态 FP-FM 为未见类别生成了最高质量的图像，而静态和时间变体由于内存限制和较低的表达能力显示出局限性。
• 效率：
  • FP-FM 显著快于微调（微调需要对每个新分布进行梯度下降）。
  • 由于需要逐个样本计算系数，动态 FP-FM 比静态/时间变体和条件模型计算成本更高，但仍快于完全微调。
• 指标：结果突显了一个清晰的趋势：随着系数计算的表达能力增加（静态 $\to$ 时间 $\to$ 动态），捕捉未见分布的能力也随之提高，特别是在精确率方面（避免对数据流形的过度近似）。

意义与主张

本文主张 FP-FM 代表了现有条件生成方法的实用且有效的替代方案。其主要意义在于：

1. 消除对条件变量的需求：它允许模型适应仅由样本定义的分布，这对于以主体为导向的生成等任务更为直观。
2. 计算效率：它实现了对新分布的快速适应，无需微调所需的昂贵梯度步长。
3. 处理未见支撑集：与依赖固定词汇表或类别标签的标准条件模型不同，FP-FM 能够通过利用函数空间结构，泛化到全新的支撑集（例如螺旋分布或新的数字类别）。

作者总结认为，利用函数空间视角显式地对样本进行条件化，是将生成模型适应到未见分布的可行第一步，提供了一系列在保真度和计算成本之间取得平衡的解决方案。他们承认了局限性，指出性能取决于所提供样本的数量和质量，并且该方法比简单的条件模型成本略高。