💻 computer science

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

FullFlow 是一种参数高效的方法，通过仅训练轻量级适配器，将预训练的整流流文本到图像模型升级为双向视觉语言生成器，在图像和文本生成方面均实现了最先进的性能，同时与现有方法相比显著降低了计算成本。

原作者： Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位名厨，他因一项绝活而举世闻名：将书面食谱（文本）转化为美味完美的菜肴（图像）。这位厨师花费数年光阴，精准掌握“辛辣”、“金黄”、“酥脆”等词汇如何转化为风味与质感。

然而，这位厨师有一个局限：他只能单向工作。如果你给他一张菜肴的照片，他无法告诉你食谱。他被困在“文本到图像”的单向车道上。

FullFlow 是一种新颖巧妙的训练方法，它教导同一位厨师在双向工作，而无需解雇他或让他从头开始。它将厨师转变为真正的“美食评论家兼创作者”，既能审视菜肴并描述食谱，也能依据食谱烹饪菜肴，同时保持其原有的烹饪技艺完好无损。

以下是其实现方式的简化概念分解：

1. “双轨”系统

通常，当人工智能试图同时处理文本和图像时，它会试图将两者强行纳入同一种“语言”。这就像试图教导厨师同时说“图像语”和“词语语”，这往往会令其困惑并破坏其原有的烹饪技能。

FullFlow 采取了不同的方法。它将两条轨道保持分离但相互连接：

图像轨道：厨师继续使用其原有的、高质量的图像“连续”流。此处没有任何改变；厨师的烹饪能力依然完美。
文本轨道：对于文本，他们添加了一个新的、轻量级的“插入”工具。模型不再从头猜测词语，而是学习填补句子中的缺失词汇，就像玩“疯狂填词”（Mad Libs）游戏：从空白页开始，逐步填入词语，直到完整的句子出现。

2. “交通灯”类比

想象人工智能正驾驶一辆汽车穿过一座时间即交通灯的城市。

旧方式：汽车必须在每个红灯处停下，以在“图像模式”和“文本模式”之间切换。
FullFlow 方式：现在汽车拥有两个独立的交通灯：一个用于图像（ $t$ $t$ ），一个用于文本（ $\tau$ $τ$ ）。
- 如果你想将文本转化为图像，你保持文本灯为绿灯（已完成），让图像灯从红灯变为绿灯。
- 如果你想将图像转化为文本，你保持图像灯为绿灯，让文本灯进行变换。
- 如果你想同时生成两者，你让两个灯同时变换。

这赋予了人工智能选择路径的完全自由，而不会陷入停滞。

3. “微小升级”（LoRA）

教导巨型人工智能学习新技能的最大问题在于，这通常需要大规模且昂贵的彻底改造。这就像为了教厨师如何烤面包而重建整个厨房。

FullFlow 是一种“经济实惠”的升级。他们并非重建厨房，而是仅仅添加了一些小型、可拆卸的工具（称为 LoRA 适配器）以及一本新的记事本给厨师。

他们仅训练了模型约**5%**的“大脑”。
厨师其余的知识（“预训练图像先验”）保持冻结且未受触动。
结果：厨师学会了描述图像和回答问题，同时没有忘记如何烹饪。

4. “教师”技巧

在教导厨师描述图像时，存在一种风险：他们可能会开始忘记如何烹饪（图像质量会变得模糊）。

为了解决这个问题，研究人员使用了一种“教师”技巧。想象厨师正在练习一项新技能，而一位大师级厨师（其原始、冻结的版本）在一旁观察。学生厨师被告知：“确保你的图像看起来与大师厨师的图像完全一致，即使你正在撰写描述。”
这确保了新技能不会破坏旧技能。

它能做什么？

得益于这次升级，该模型现在可以：

文本 $\to$ 图像：“画一只在杯子里的龙。”（原有技能）。
图像 $\to$ 文本：展示一张猫的照片，它会写道：“一只黑猫坐在地毯上。”
联合生成：同时生成图片和描述，完美匹配。
视觉问答：展示一张戴帽子的孩子的照片，并问：“帽子是什么颜色的？”模型仅填充答案（“黑色”），而无需重写整个句子。

核心结论

该论文表明，你无需从头训练一个全新的巨型人工智能来使其同时理解图片和文字。你可以取一个强大的图像生成器，赋予它一些小巧智能的工具，它瞬间就能成为双向对话伙伴。

在他们的测试中，该方法比之前的方法快 8 倍，使用的计算机内存少于一半，同时产生了更好的结果。它证明，“图像大脑”已经比我们想象的更了解语言和含义；它只是需要正确的钥匙来解锁它。

技术摘要：FullFlow

问题陈述

现代文本到图像（T2I）扩散和整流流模型拥有丰富的视觉先验和强大的生成能力，但严格以单向方式运行：输入文本，输出图像。虽然统一的视觉 - 语言模型（VLM）已经存在，但它们通常通过将预训练语言模型与视觉编码器结合，或从头开始进行昂贵的联合预训练来构建。这些方法往往会丢弃已编码在 T2I 骨干网络中的强大图像先验，或者需要计算上不可行的大量重新训练。本研究解决的核心问题是：是否可以在不进行全模态预训练或不牺牲原始图像先验的情况下，将预训练的 T2I 流模型升级为双向视觉 - 语言生成器。

方法论

作者提出了FullFlow，这是一种参数高效的方案，可将预训练的整流流 T2I 模型（具体为 Stable Diffusion 3 和 FLUX.1-dev）升级为双向生成器。其核心创新在于在单个共享骨干网络中不对称但兼容地处理两种模态。

1. 原生空间多模态扩展

图像模态：图像保持在其原生的连续整流流潜在空间中。模型保留了预训练的连续图像过程。
文本模态：文本通过基于编辑流（Edit Flows）的离散插入过程进行处理。与引入与冻结编码器不兼容的未登录词（out-of-vocabulary）的基于掩码的离散扩散不同，FullFlow 使用基于删除的前向过程。这确保了在任何噪声水平下，被破坏的文本状态都是有效的词元子序列，可以被解码并重新分词以供辅助编码器（如 CLIP）使用。
架构：单个共享骨干网络（MM-DiT）处理两种模态。模型基于两个解耦的时间步进行条件控制： $t$ $t$ 用于图像时间， $\tau$ $τ$ 用于文本时间。
- 冻结组件：骨干网络权重和所有辅助文本编码器（T5、CLIP）保持冻结。
- 可训练组件：仅训练 LoRA 适配器（应用于 Transformer 线性层）、轻量级文本头（用于插入计数和词元身份）以及新的时间步条件路径。这相当于仅训练 SD3 约 5% 的参数和 FLUX.1 约 2.5% 的参数。

2. 双时间步训练目标

训练目标涉及基于时间步对 $(t, \tau)$ 联合预测图像速度和缺失的文本插入。

破坏调度：作者比较了“交替清洁”调度（仅在端点条件任务上训练）与“混合破坏”调度，其中 $(t, \tau) \sim \text{Unif}([0, 1]^2)$ 。他们发现，一种混合方法效果最佳：先通过混合破坏进行预训练以学习跨模态对应关系，随后通过交替清洁进行微调。
稳定化：
- 自适应梯度平衡：为了解决基于 MSE 的图像损失与基于交叉熵/计数的文本损失之间的尺度不匹配问题，作者使用梯度比的指数移动平均（EMA）动态调整文本损失权重 $\lambda_{txt}$ 。
- 教师匹配：为了防止在针对新数据分布微调时退化预训练的图像先验，图像速度回归被替换为“相同噪声教师匹配”目标。教师是同一个骨干网络，但 LoRA 层被禁用，无需额外内存。

3. 推理模式

解耦 $t$ 和 $\tau$ 将推理转化为 2D 生成空间中的轨迹选择：

文本 $\to$ 图像：固定 $\tau=1$ （清洁文本），将 $t$ 从 0 演化到 1。
图像 $\to$ 文本：固定 $t=1$ （清洁图像），将 $\tau$ 从 0 演化到 1。
联合采样：同时演化 $t$ 和 $\tau$ 。
部分文本生成（视觉问答）：固定图像和问题词元，将插入过程限制在答案范围内。这使得无需单独的解码器即可实现视觉问答。

主要贡献

C1：仅通过训练 LoRA 适配器和轻量级文本头，将预训练的 T2I 整流流模型转换为双向生成器，成功保留了预训练的图像先验。
C2：引入双时间步框架，其中图像保持在连续流中，而文本使用离散插入过程，从而在统一的 $(t, \tau)$ 空间中实现条件生成、联合生成和部分文本生成。
C3：证明了在 SD3 和 FLUX.1-dev 上，FullFlow 在文本到图像保留和图像到文本质量方面均优于匹配的双扩散-LoRA 基线，同时以极少的计算资源支持下游视觉问答任务。

实验结果

作者在 SD3 和 FLUX.1-dev 上评估了 FullFlow，使用匹配的参数量数和 LoRA 秩，与重新实现的**双扩散（Dual Diffusion）**基线进行对比。

效率：FullFlow 在两块 RTX A5000 GPU 上于 24 小时内完成训练，将峰值显存从约 84 GB（双扩散）降低至约 38 GB，并将吞吐量提高了约 8 倍。
文本到图像（SD3）：在匹配的实际运行时间下，FullFlow 将 FID 从 62.7 提升至 31.6（在匹配步数下为 29.3），将 CMMD 从 0.870 提升至 0.121，证明了强大的图像先验保留能力。
图像到文本（SD3）：在匹配的实际运行时间下，FullFlow 的 CIDEr 得分为 99.4（基线为 2.0），在匹配步数下为 13.4。
下游任务：在视觉问答基准测试（VQAv2、VizWiz、OKVQA）上，FullFlow（仅 1.3 亿可训练参数）取得了具有竞争力的准确率，特别是在 VizWiz 上显著优于双扩散基线（50.7 对比 29.9）。
可迁移性：该方案成功迁移至 FLUX.1-dev，在 36 小时训练后实现了 73.6 的 CIDEr 得分。

意义与主张

该论文主张，FullFlow证明了无需全模态预训练即可从预训练的 T2I 流模型中解锁强大的双向视觉 - 语言能力。结果表明，预训练的 T2I 先验编码了比通常假设更丰富的视觉 - 语义结构，能够通过轻量级适应支持逆向任务（图像到文本）和联合生成。

作者将这项工作定位为“计算可行的概念验证”，而非端到端性能达到峰值的主张。他们强调，其方法通过仅需商用 GPU 和统一模型通常所需参数的一小部分，使双向整流流模型对更广泛的研究社区变得可及。他们承认了局限性，包括目前专注于 256 $\times$ 256 分辨率，以及尚未扩展到更大数据集或针对复杂对话的指令微调，并指出这些是未来的方向。