💻 computer science

CrossFlow: One-Step Generation Across Latent and Pixel Spaces

CrossFlow 引入了一种新颖的跨空间流公式，通过将噪声潜变量输入直接映射到像素空间输出，实现了单步图像生成，从而结合了潜变量表示的高效性与直接的像素空间监督，消除了推理时对独立解码器的需求。

原作者： Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图创作一幅杰作，但你有一个非常特殊且棘手的流程。

旧方法：“翻译官”问题

目前大多数 AI 图像生成器都采用两步翻译的过程。

草图（潜空间）： 首先，AI 在一种秘密的、抽象的语言（称为“潜空间”）中绘制出一幅粗略的、压缩的图像草图。这种方式非常高效，因为它就像是用宽阔、简单的笔触进行绘画，而不是绘制每一个像素。
翻译（解码器）： 然后，一个单独的工具（称为“解码器”）必须将那幅粗略的草图翻译回高清晰度的照片。

问题所在： 绘制草图的 AI 被训练于说“草图语言”，而翻译工具被训练于阅读“整洁的草图”。但当 AI 绘制草图时，它往往是有些混乱或不完美的。翻译工具会被这些混乱的草图搞糊涂，导致最终生成的图像模糊或失真。这就像是一个翻译官只会说完美的法语，但一旦说话者使用了俚语或出现了拼写错误，他就会感到困惑。

新方法：CrossFlow（“直觉艺术家”）

这篇论文介绍了一种名为 CrossFlow 的新方法，它跳过了整个翻译过程。

CrossFlow 不再是先画草图再进行翻译，而是一位单一的艺术家，它直接将一个混乱、抽象的想法（嘈杂的草图）直接绘制成最终的照片。

以下是它的工作原理，使用简单的比喻：

1. “无需翻译”的桥梁
通常，AI 模型就像只能说一种语言的人。如果你想从语言 A（草图）过渡到语言 B（照片），你需要一本字典。CrossFlow 则像是一位天才的多语者，他能听到语言 A 中一段含糊不清的话，并立即用完美的语言 B 表达出来，而无需中间的字典。

2. “一步到位”的魔力
大多数图像生成器需要许多细小的步骤来完善图像，就像慢慢让一张模糊的照片变清晰。CrossFlow 是一个“一步式”生成器。它观察混乱的输入，并瞬间输出最终清晰的照片。这就像是在暗房里缓慢冲洗照片与使用现代智能手机瞬间拍出完美照片之间的区别。

3. 用“真实”的错误进行训练
在旧方法中，“翻译”工具是在完美的、整洁的草图上进行训练的。但在现实世界中，它接收到的草图是混乱的。CrossFlow 通过让艺术家在观察混乱草图的同时进行训练来解决这个问题。它学会了忽略噪声并专注于最终的图像。因为在训练期间它能看到最终图像，所以它还可以通过“感知”（看起来是否真实？）和“对抗”（是否能骗过评论家？）检查来进行学习，而旧的两步法无法轻松做到这一点。

结果

研究人员在海量图像数据集（ImageNet）上对它进行了测试。

速度： 它通过单个步骤（一次“函数求值”）即可生成图像。
质量： 它生成的图像与最优秀的步进式方法一样清晰、逼真，但速度更快。
通用性： 它可以充当主要艺术家（从零开始生成图像），也可以充当超级强化的翻译官（修复其他 AI 系统产生的混乱草图）。

核心结论

CrossFlow 通过意识到你不需要说同一种语言也能创造杰作，从而解决了“不匹配”问题。你可以从一个粗略的、压缩的想法开始，直接输出一张令人惊叹的高清图像，跳过了通常会导致错误的中间环节。它结合了处理简单草图的速度与直接处理最终照片的高质量。

技术摘要：CrossFlow：跨越潜空间与像素空间的单步生成

1. 问题陈述

当前最先进的图像生成系统，特别是潜在扩散模型（LDMs）和流匹配（flow-matching）方法，其运作方式是在单一表示空间内定义先验、概率路径和预测目标。虽然 LDMs 通过在压缩的自编码器潜空间中执行生成轨迹来提高计算效率，但它们依赖于一个两阶段流水线：在潜空间中进行迭代去噪，随后是一个独立的解码步骤，将潜变量映射回像素。

这种架构引入了根本性的不匹配：

优化不匹配： 生成器被优化用于预测潜变量位移，而最终的图像质量取决于一个单独训练的解码器。
分布偏移： 在推理阶段，解码器接收到的生成的潜变量可能在分布上不同于训练期间由编码器产生的干净潜变量。这种偏移可能会放大误差。
监督限制： 除非生成器的输出通过其独立的解码器，否则生成器无法直接使用图像级的感知或对抗损失进行训练，这削弱了直接的像素空间监督。

本文探讨了噪声空间与输出空间是否必须是同一空间，并提出了一个既能保留潜表示的效率，又能直接预测图像本身的框架。

2. 方法论：CrossFlow

CrossFlow 是一种跨空间流公式化方法，它将带噪声的潜输入直接映射为像素空间图像，且仅需单次函数评估。它通过推导出使潜空间速度项被消除的优化目标，解决了空间不匹配问题。

核心技术公式：

统一框架： 作者为单步生成范式定义了一个统一的目标函数 $Z$ 。标准方法依赖于潜空间速度场，这阻碍了跨空间生成。
设计准则： 为了实现跨空间监督，作者确立了两个准则：
1. 消除对潜变量速度的依赖： 目标必须在结构上与潜空间速度解耦。网络输出不应是一个潜变量位移向量。
2. 端点边界条件： 框架必须在目的地边界（ $r=0$ ）产生有效的图像。
CrossFlow 目标函数： 通过满足这些准则，作者推导出了一个通用的损失函数（公式 10），其中网络 $F_\theta$ $F_{θ}$ 预测的是像素空间图像 $x_0$ $x_{0}$ ，而非潜变量速度。
- 潜变量轨迹（由 $\alpha(t)$ 和 $\beta(t)$ 定义）仍然决定了如何破坏干净的潜变量以创建输入。
- 监督目标是干净的像素图像。
- 实验中使用的特定目标（公式 11）涉及通过沿潜变量轨迹计算雅可比向量积（JVP）得到的时导数项，从而确保模型学习正确的流动力学，而无需预测潜变量速度。

实现细节：

架构： 该模型使用固定的预训练图像编码器（VA-VAE）将图像映射到潜变量，并使用视觉 Transformer（ViT）生成器（ $F_\theta$ ）将带噪声的潜变量直接映射到像素。
训练流水线： 使用两阶段方法以确保稳定性：
1. 使用标准的自编码器目标（重构 + 对抗）训练编码器 $E$ 。
2. 固定 $E$ 并使用 CrossFlow 目标从头开始训练生成器 $F_\theta$ 。
损失函数： 总目标结合了来自像素空间的辅助损失与解析 CrossFlow 损失：
- L1 重构损失： 像素级对齐。
- 感知损失： 结构相似性。
- 对抗（GAN）损失： 高频保真度。
- 注：在计算感知损失时，省略了来自流目标的解析权重因子，以防止训练不稳定。

3. 核心贡献

跨空间框架： 引入了 CrossFlow，这是一个单步生成框架，其输入先验（潜变量）与输出图像（像素）处于不同的表示空间。
无速度单步目标： 一种新颖的推导方式，允许模型同时充当单步潜到像素生成器和解码器替代品，消除了推理时对独立解码器的需求。
直接像素空间监督： 能够直接在生成的图像上使用感知和对抗损失来训练生成器，绕过了中间的解码阶段。
实证验证： 证明了单个模型可以在单次函数评估（1-NFE）下，在 ImageNet-1k（256×256）上实现具有竞争力的 FID 分数，同时优于标准的单步潜方法并匹配多步潜扩散基线。

4. 实验结果

实验在 ImageNet-1k 256×256 分辨率下进行类条件生成任务。

主要性能：
- CrossFlow-XL（461M 参数）在 1-NFE 下实现了 1.62 的 FID。
- 这与 DiT-XL/2（250 步，2.27 FID）和 SiT-XL/2（250 步，2.06 FID）等多步潜扩散基线相比具有竞争力。
- 它显著优于其他单步潜方法（例如 iMF-XL/2，1.72 FID），并且无需单独的解码器。
- CrossFlow-B（95M）和 CrossFlow-L（315M）分别实现了 2.54 和 1.69 的 FID，展示了其可扩展性。
消融研究：
- 编码器选择： VA-VAE 编码器（32 通道）取得了最佳结果（2.54 FID），优于 SD-VAE（4.08 FID）和 FLUX.2（3.81 FID），这表明潜表示结构至关重要。
- 损失组件： 去除感知损失会导致 FID 严重下降至 30.21，而去除 GAN 损失则会导致下降至 8.86。CrossFlow 流目标提供了结构信号，而感知和对抗损失对于高频保真度至关重要。
- 解码器替代： 当用作 LightningDiT-B/1 生成的潜变量的解码器时，CrossFlow 在整个训练过程中始终优于标准的 VA-VAE 解码器。

5. 重要性与主张

本文主张 CrossFlow 成功弥合了潜表示的效率与直接像素空间监督的保真度之间的鸿沟。通过将生成器和解码器统一为一个在带噪声潜输入和像素空间目标上训练的单一模型，CrossFlow：

在推理阶段移除了显式的解码器阶段。
使模型在训练期间能够接触到生成过程中出现的噪声/不完美潜变量，而非仅仅是干净的编码器输出。
证明了跨空间流目标可以将潜扩散的计算优势与直接像素级对抗及感知训练的质量提升相结合。

作者保持了谦逊的语气，指出虽然潜表示和辅助损失很重要，但核心贡献在于实现了单步、跨空间生成且无需独立解码器模块的架构与目标函数的转变。