🤖 machine learning

Gradual Fine-Tuning for Flow Matching Models

本文介绍了渐进式微调（Gradual Fine-Tuning, GFT），这是一种具有理论依据、受温度控制的退火框架，它使流匹配模型能够仅利用目标样本实现对目标分布稳定、高效且多样化的适配，在收敛性和生成质量方面均优于现有方法。

原作者： Gudrun Thorkelsdottir, Arindam Banerjee

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Gudrun Thorkelsdottir, Arindam Banerjee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位技艺精湛的艺术家，他花费多年时间学习如何绘制美丽的风景画（这是你的预训练模型）。现在，你想让这位艺术家开始为特定的家庭绘制肖像画（这是你的目标分布）。你有一本该家庭的照片集可以展示给艺术家看，但你不希望他们在学习过程中忘记如何画风景，或者丢失他们独特的风格。

这篇论文介绍了一种名为**渐进式微调（Gradual Fine-Tuning, GFT）**的新方法，旨在帮助这位艺术家平滑地完成这种转变，而不会感到困惑或丢失其神韵。

以下是论文如何通过简单的类比来解释问题及其解决方案的：

问题所在：“突然跳跃”

目前，如果你试图通过仅仅向艺术家展示新照片并告诉他们，“忘掉其他一切，只做这个”，往往会出错。

不稳定性： 艺术家可能会感到困惑，开始手抖，并画出混乱、杂乱无章的作品。
技能丧失： 他们可能会忘记在多年风景画训练中习得的流畅笔触，导致肖像画显得僵硬或不自然。
低效性： 艺术家需要很长时间才能摸索出新风格，并且可能会陷入坏习惯的循环中。

其他方法尝试通过添加“奖励”（比如给画出好肖像的艺术家发一颗金星）来修复这个问题，但论文指出，这些方法通常不稳定，需要艺术家模拟整个绘画过程才能获得反馈，而且速度非常慢。

解决方案：“渐进坡道”（GFT）

作者提出了渐进式微调（GFT）。与其进行突然的跳跃，不如想象一个温度控制的坡道，它会慢慢倾斜艺术家的注意力，从风景转向肖像。

温度旋钮 ( $\beta$ )： 想象一个标有“温度”的旋钮。
- 高温（开始阶段）： 旋钮调得很高。艺术家被告知：“保留大部分风景风格，但只需稍微关注一下这些家庭照片。”艺术家进行微小且安全的调整。他们不会惊慌，因为他们的核心技能仍受到保护。
- 冷却过程（中间阶段）： 随着训练的进行，你慢慢地调低旋钮。艺术家被允许做出更多的改变。他们开始将风景画技能与新的肖像风格融合在一起。
- 零温度（结束阶段）： 旋钮被完全调低。现在，艺术家的注意力完全集中在家庭照片上。因为改变是缓慢进行的，他们并没有丢失原有的技能，整个转变过程非常平滑。
数学魔力： 论文证明，如果你能正确地进行这种“冷却”，在数学上可以保证艺术家最终能画出你想要的家庭肖像，而不会丢失原始质量。这就像是一个 GPS，它通过一条平缓、蜿蜒的道路引导你从 A 点到达 B 点，而不是直接从悬崖边缘跳下。

为什么这种方法更好（结果）

论文在现实任务（如改变医学图像风格或适配卫星照片）上测试了这种方法，发现：

稳定性： 艺术家没有出现“崩溃”。学习过程稳定且可预测，不像其他方法那样剧烈波动。
速度： 艺术家学习新风格的速度更快，效率更高。
多样性： 艺术家并没有以一种枯燥、重复的方式单纯模仿家庭照片。他们在适应新主题的同时，保留了原有风格的多样性和丰富性。
效率： 论文还表明，这种方法在“少步数（few-step）”技术中表现出色。想象一下，艺术家只需一两笔就能完成一幅肖像，而不是二十笔，且不会损失质量。GFT 让这一切成为可能。

“秘密武器”：最优传输

论文提到使用了被称为“最优传输（Optimal Transport）”的耦合。在我们的类比中，这就像是给了艺术家一张特定的地图，将每一棵风景树与某位家庭成员的发丝一一对应。艺术家不再是猜测如何将旧风格转化为新风格，而是遵循一条直接、高效的路径。这使得生成新图像的速度变得非常快。

总结

渐进式微调是一种教 AI 模型适应新数据的新方法。它不是强迫模型进行突然且混乱的改变，而是利用一种“冷却计划”，温柔地引导模型从旧知识过渡到新目标。其结果是一个稳定、快速、多样化且在数学上保证能达到预期目标的模型。这就像是从直接把游泳者扔进深水区，转变为通过在浅水区慢慢涉水来教他们游泳。

技术摘要：流匹配模型的渐进式微调 (Gradual Fine-Tuning, GFT)

问题陈述

对预训练流匹配模型进行微调在面临数据有限、分布演变或计算约束的情景下，面临着显著的挑战。尽管最近在基于奖励的微调（例如，Adjoint Matching、强化学习方法）方面取得了一些进展，但这些方法往往存在理论局限性和实践中的不稳定性。具体而言，现有方法通常无法同时保证理论正确性、训练稳定性、推理效率和多样性保持。

一个关键且尚未得到充分探索的场景是：当可以直接获得目标分布的样本时（例如，在领域自适应或数据集漂移的情况下），无需外部奖励函数。在这种背景下，标准的微调方法通常仅将预训练模型视为初始化，而忽略了其学习到的动力学特性（如短概率路径），这会导致高度的不稳定性并可能引发模式崩塌（mode collapse）。因此，需要一个原则性的框架，在适应新目标分布的同时，保留预训练模型的优良特性。

方法论：渐进式微调 (GFT)

作者提出了渐进式微调 (GFT)，这是一个利用退火正则化来创建一系列受温度控制的中间目标的框架。该方法通过平滑地在预训练动力学与目标动力学之间进行插值来实现。

理论公式化

GFT 是从随机流诱导的路径空间上的优化问题中推导出来的。该目标函数最小化了微调过程 $P_\theta$ 与目标过程 $P_q$ 之间的 Kullback-Leibler (KL) 散度，并由 $P_\theta$ 与预训练过程 $P_{\theta_0}$ 之间的 KL 散度进行正则化：

$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$

其中 $\beta \in \mathbb{R}^+$ 是一个温度参数。

定理 4.1 确立了最小化该目标函数会产生一个闭式最优漂移项 $v^*_\theta$ ，它是目标向量场 $v_q$ 与预训练向量场 $v_{\theta_0}$ 的凸组合：

$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$

退火正则化： 为了实现收敛，GFT 采用了时间相关的冷却计划，其中 $\beta$ 从较高的初始值逐渐退火至 $0^+$ 。

高 $\beta$ 值： 强烈惩罚偏离预训练模型的行为，防止过早崩塌并确保稳定性。
低 $\beta$ 值 ( $\to 0^+$ )： 放宽约束，允许模型渐近地恢复到目标向量场 $v_q$ 。

可处理的重构

由于目标向量场 $v_q$ 是未知的，且目标函数是定义在路径测度上的，作者应用 Girsanov 定理 将目标函数重构为关于漂移项的形式。这产生了一个涉及漂移项平方 $L_2$ 距离的可处理损失函数。

此外，为了实现高效的训练和推理，GFT 利用了条件流匹配 (Conditional Flow Matching, CFM) 原理。通过对任意源-目标耦合（例如，最优传输/Optimal Transport 计划）进行条件化，损失函数变为：

$\mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$

该公式在保留无条件目标函数理论保证的同时，允许使用高效的耦合（如 OT）来加速生成。

向少步推理的扩展

该框架自然地扩展到了 平均流 (Mean Flow, MF) 模型，这类模型能够实现少步推理。作者证明了 MF 模型的平均速度场最优解同样遵循凸组合形式，这使得 GFT 可以在不牺牲理论正确性的情况下，应用于单步或少步生成。

核心贡献

本文概述了四个主要贡献：

理论收敛性： 证明了在标准假设下，GFT 会收敛到目标分布，并具有依赖于温度 $\beta$ 的显式收敛速率。
耦合等价性： 确立了当以任意源-目标耦合进行条件化时，GFT 产生等效的结果，从而能够使用增强推理效率的训练技术（如 OT）。
少步扩展： 展示了 GFT 向少步推理方法（如 Mean Flow）的自然扩展，且不会损害理论保证。
经验优越性： 全面的实验验证表明，GFT 在提供改进的训练稳定性、生成多样性和一致更短的概率路径的同时，实现了与其它方法相当或更优的生成质量。

实验结果

作者在多个设置下评估了 GFT，包括在 WILDS 基准数据集（Camelyon17, RxRx1, FMoW）上的跨领域和域内自适应以及 2D 模拟数据。

稳定性与收敛性： 与标准 CFM 微调和基于奖励的方法（如 Adjoint Matching）相比，GFT 展示了显著更高的稳定性。瞬时方差以及 epoch 与 FID 之间的 Spearman 相关系数指标表明了单调且稳定的收敛。
生成质量： 在跨领域自适应中，GFT 取得了与标准微调相当的 FID 分数，但具有更短的平均路径长度，表明推理效率更高。在域内自适应中，GFT 在保持较低路径长度的同时，达到了与全量微调相当的准确率。
多样性： 在 2D 双峰高斯目标上，GFT 和标准 CFM 都能成功覆盖两个模态并保持高多样性。相比之下，基于奖励的方法（如 Adjoint Matching）出现了模式崩塌，生成的样本紧密聚集在单个模态内。
效率： GFT 保留了 CFM 的无模拟训练效率。虽然 Adjoint Matching 在每一步都需要昂贵的 ODE 模拟（导致训练时间高出一个数量级），但 GFT 依然保持了高效性。
少步推理： 当应用于 Mean Flow 模型时，GFT 达到了与迭代模型相当的 FID，但在推理过程中的模型评估次数 (NFEs) 减少了 50-100 倍。
正则化控制： 通过改变最小温度 $\beta$ 进行的实验揭示了最终 FID 与平均路径长度之间可控的权衡，允许用户显式调节生成准确性与推理速度之间的平衡。

意义与主张

本文将 GFT 定位为一种简单、具有理论依据且在实践中有效的替代方案，用于流匹配模型在分布偏移下的可扩展适配。

作者声称 GFT 解决了现有文献中的关键空白，满足了理想微调方法的所有关键要素：

理论正确： 它能证明收敛到正确的目标分布，并具有可控的速率。
稳定： 它表现出高度的单调收敛，避免了标准微调中常见的振荡和不稳定现象。
高效： 它保持了 CFM 的无模拟训练特性，并通过 OT 耦合支持高效推理及少步方法。
多样： 它保留了预训练模型的多样性，避免了基于奖励的方法中出现的模式崩塌。

通过弥合高质量预训练与微调之间的差距，GFT 为将生成模型适配到复杂的、数据驱动的领域提供了一个鲁棒的解决方案，在这些领域中需要对微调结果进行细致的控制。这项工作为流式生成模型的可扩展适配奠定了基础。