🤖 machine learning

Flow Matching with Arbitrary Auxiliary Paths

本文介绍了 AuxPath-FM，这是一个广义流匹配框架，它将来自任意分布的辅助变量融入概率路径中，从而在保持理论一致性的同时，实现多样的几何特性并支持标签引导生成等专用任务。

原作者： Xin Peng, Ang Gao

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Peng, Ang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人画一只猫的图画。在现代人工智能的世界里，这通常是通过一种称为**流匹配（Flow Matching）**的过程来实现的。你可以将其想象成一条河流，从一片泥泞、混乱的沼泽（随机噪声）流向一个清澈、美丽的湖泊（一张完美的猫的图片）。人工智能的任务就是学习水流的精确方向和速度，以便它能完美地引导一滴水从沼泽流向湖泊。

通常，如果你希望机器人画一种特定的猫（比如暹罗猫或波斯猫），你会告诉机器人的大脑（神经网络）你想要什么。但水流所经过的路径——河流本身——保持不变。这就像告诉汽车司机“去海滩”，但这辆车仍然被困在一条只通往山区的道路上。你必须完全依赖司机来掉头。

新想法："AuxPath-FM"
这篇论文介绍了一个名为AuxPath-FM的新框架。这种方法不仅仅是告诉司机去哪里，而是实际上改变了道路本身，使其包含一条通往你确切目的地的特殊“侧路”。

以下是其工作原理，使用简单的类比：

1. 旅程的三种要素

在旧方法中，从噪声到图像的旅程是两点之间的直线：

点 A：随机噪声（沼泽）。
点 B：最终图像（湖泊）。

在AuxPath-FM中，他们添加了第三种要素：“辅助变量”（我们称之为 $\eta$ 或“助手”）。

现在的旅程是点 A、点 B 和这个助手的混合。
路径看起来是这样的：当前位置 = （部分图像）+ （部分噪声）+ （部分助手）。

2. 助手可以是任何东西

在以前的方法中，这个“助手”总是仅仅是高斯噪声（把它想象成旧电视屏幕上的雪花——随机且无结构）。

论文的创新：这种方法说，“为什么要将助手局限于雪花呢？助手可以是任何东西！”
助手可以是：
- 均匀分布：像完美平坦、均匀的分布（就像在吐司上均匀地涂抹黄油）。
- 拉普拉斯分布：像中间的一个尖锐峰值（就像一座山峰）。
- 拉德马赫分布：像抛硬币（正面或反面，中间什么都没有）。
- 标签：这是最关键的一点。助手可以是一个语义标签。如果你想要一辆“红色的车”，助手就是一个特定的信号，表示“红色的车”。

3. 为什么这很重要

论文声称，通过使用这些不同的助手来改变道路的形状（概率路径），你会得到不同的“几何特性”。

类比：想象你从家走到公园。
- 旧方法：你走直线，但必须依赖你的 GPS（人工智能大脑）告诉你在正确时刻左转。
- 新方法（AuxPath-FM）：你建造了一条特殊的 sidewalk，它物理上弯曲通向公园。路径本身引导着你。
因为这条路径是在构建时就嵌入了“红色汽车”信号，所以人工智能不仅仅是猜测汽车是红色的；整个旅程从一开始就偏向于创造一辆红色的汽车。

4. “魔法”捷径（无分类器引导）

论文中最酷的技巧之一是他们如何处理“引导”（使图像更好地匹配你的描述）。

旧方法：为了让图片更好地匹配提示，人工智能通常需要查看提示两次：一次是看你想要什么，另一次是看你不想要什么，然后计算差异。这就像检查地图两次以确保你没有走错路。这需要两倍的时间。
新方法：因为“助手”（标签）被构建在道路本身中，人工智能只需要查看地图一次。它只需稍微调整“方向盘”（助手信号），使汽车更急地转向目的地。
结果：你可以在一半的时间内获得更好、更准确的图像。

5. 他们的测试内容

作者不仅仅是谈论理论；他们在以下数据集上进行了测试：

MNIST：简单的手写数字（0-9）。
CIFAR-10：动物和物体的小型彩色图像。
ImageNet：海量的高分辨率照片集合。

他们发现，通过使用这些不同的“助手”（如抛硬币或标签信号），他们可以生成不仅质量高，而且比之前更好地匹配特定标签（如“狗”或“飞机”）的图像。他们甚至表明，你可以通过在道路上添加这个“助手”，将一个原本训练用于画任何东西（无条件）的人工智能转变为一个画特定事物（有条件）的人工智能，而无需重建整个引擎。

总结

AuxPath-FM就像升级了一个 GPS 系统。它不仅仅是给司机指令，而是重新设计道路，使路径本身自然地通向正确的目的地。它允许人工智能使用各种各样的不同“信号”（而不仅仅是随机噪声）来指导生成过程，使其更快、更灵活，并且更能遵循具体的指令。

技术摘要：基于任意辅助路径的流匹配（AuxPath-FM）

问题陈述

连续时间生成模型，包括基于分数的扩散模型和流匹配（FM）框架，已确立为建模复杂数据分布的强大工具。在条件生成建模中，引入侧边信息（例如类别标签）对于可控合成至关重要。然而，现有方法通常仅通过神经网络的 Conditioning（条件化）引入此类信息，而保持底层概率路径不变。尽管近期的理论工作表明流匹配能够适应内在流形结构，但路径随机分量对轨迹级控制的影响仍未得到充分探索。

此外，先前的基于路径的公式（如随机插值和薛定谔桥方法）通常依赖高斯噪声或布朗动力学进行随机插值。这一限制制约了为结构化引导设计概率路径的灵活性。尽管近期工作探索了非高斯扰动或离散状态空间流，但这些方法往往局限于特定数据类型，或未能将连续和离散先验统一在单一通用框架下。因此，亟需一种原则性方法，使生成轨迹能够直接由多样化的辅助信号塑造，而非仅依赖网络级的调制。

方法论：AuxPath-FM

作者提出了基于任意辅助路径的流匹配（AuxPath-FM），该框架通过将来自任意分布的辅助随机变量 $\eta$ 直接纳入概率路径，从而推广了条件流匹配。

1. 任意辅助概率路径

与将辅助项限制为高斯噪声的标准插值方案不同，AuxPath-FM 构建了如下形式的轨迹：
$X_t = a(t)X_1 + b(t)X_0 + c(t)\eta$
其中：

$X_0 \sim p_0$ （基础分布）且 $X_1 \sim p_1$ （目标数据分布）。
$\eta \sim p_\eta$ 是从任意分布（例如高斯分布、均匀分布、拉普拉斯分布、Rademacher 分布或离散分布）中抽取的辅助变量。
$a(t), b(t), c(t)$ 是满足边界条件的时间相关标量函数（ $a(0)=0, b(0)=1, c(0)=0$ 且 $a(1)=1, b(1)=0, c(1)=0$ ），以确保路径将样本从 $p_0$ 传输至 $p_1$ 。

2. 理论一致性

本文确立了该构造保持了连续性方程。定理 1 证明，如果条件向量场 $u_t(x | x_0, \eta)$ 满足连续性方程，则通过聚合条件场获得的边际向量场 $u_t(x)$ 将生成边际概率路径 $p_t(x)$ 。这为通过辅助变量设计复杂路径提供了原则性依据。

3. 训练目标与等价性

由于涉及 $(X_0, \eta)$ 的积分，直接优化边际流匹配目标是不可行的。相反，作者在可处理的轨迹上优化条件目标：
$L_{\text{AuxPath}} = \mathbb{E}_{t, X_0, X_1, \eta} \left[ \| v_\theta(X_t, t) - \dot{X}_t \|^2 \right]$
其中 $\dot{X}_t = \dot{a}(t)X_1 + \dot{b}(t)X_0 + \dot{c}(t)\eta$ 。定理 2 证明，该条件目标与边际流匹配目标等价，差异仅在于一个与网络参数 $\theta$ 无关的常数。因此，优化条件损失将产生与不可处理的边际目标相同的最佳解。

4. 语义辅助变量与引导

为实现条件生成，该框架定义 $\eta = F_\phi(Y)$ ，其中 $Y$ 是类别标签， $F_\phi$ 是一个通过原型学习训练的轻量级神经网络，用于近似类中心（ $F_\phi(Y) \approx \mathbb{E}[X_1 | Y]$ ）。

该公式实现了轨迹级无分类器引导（CFG）。条件和无条件速度场表示为：
$v(x, t, y) = v_\theta(x, t) + \dot{c}(t)F_\phi(y)$
$v(x, t, \emptyset) = v_\theta(x, t) + \dot{c}(t)F_\phi(\emptyset)$
应用标准 CFG 会产生一个充当全局漂移的引导项。关键在于，该方法将引导与骨干模型解耦：与需要两次评估骨干模型 $v_\theta$ 的传统 CFG 不同，AuxPath-FM 仅需一次对 $v_\theta$ 的评估，并通过轻量级模块 $F_\phi$ 应用引导。

主要贡献

概率路径的推广：本文通过允许概率路径的辅助分量遵循任意分布，推广了流匹配，突破了随机插值和薛定谔桥方法中局限于高斯噪声的限制。
理论基础：提供了严格的理论证明，表明边际流与连续性方程保持一致，且条件训练目标与边际目标等价。
轨迹级控制：该框架使得结构化语义信息（例如类别标签）能够直接编码到生成轨迹本身，而非仅依赖网络条件化。
高效的无分类器引导：作者提出了一种轨迹级的 CFG 公式，通过避免对骨干网络的双重评估，将推理计算成本降低了约一半。
统一视角：该方法在单一框架下统一了各种插值方案（包括离散和重尾先验），为结构化连续时间生成建模提供了灵活的视角。

实验结果

作者在 MNIST、CIFAR-10 和 ImageNet-1k 数据集上评估了 AuxPath-FM。

条件生成性能：在 MNIST 和 CIFAR-10 上，将标准条件流匹配（CFM）与辅助路径引导（使用学习到的语义原型）相结合，与基线 CFM 或单独的辅助引导相比，一致地提高了语义准确性（分类准确率）和生成质量（FID, sFID）。
对分布选择的鲁棒性：在 Ring-64 数据集和 ImageNet-1k 上的实验表明，该框架在多样化的辅助分布（高斯、均匀、拉普拉斯、Rademacher）下保持了稳定的生成性能。标签引导的辅助变量取得了最佳性能，表明其改善了可控的多模态生成。
引导尺度效应：在轨迹级 CFG 中增加引导尺度 $w$ 改善了语义对齐，同时保持了具有竞争力的生成质量。
效率：轨迹级 CFG 公式成功将推理成本（以 GFLOPs 衡量）降低了约 50%，同时保持了引导的有效性。
模型适配：该框架成功地将预训练的无条件流模型转换为条件生成器，仅需极少的额外成本且无需架构更改。

意义与主张

本文声称，AuxPath-FM 为概率路径设计提供了原则性和通用的基础。通过允许辅助变量遵循任意分布，该框架兼具理论通用性和实践灵活性。

作者强调，他们的方法将条件生成的范式从纯粹的网络级调制转变为轨迹级设计。这使得能够将引导信号直接嵌入生成动力学中。这项工作的意义在于其能够：

将现有的插值方案统一为特例。
通过不同的先验为生成流实现多样化的几何属性。
提供一种计算高效的无分类器引导机制。
提供一种简单而有效的方法，将现有的无条件模型升级为条件模型。

本文结论指出，该方法为结构化连续时间生成建模提供了统一的视角，广泛的实验验证表明，语义辅助 CFG 在保持优越生成质量的同时，显著提升了计算效率。