💻 computer science

SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

SeFi-Image 是一种利用语义优先扩散范式的创新文本生成图像基础模型，该模型在多个基准测试中实现了最先进的性能，且与之前的模型相比，其训练计算量显著降低（12.5 万 A800 GPU 小时），同时还提供了可扩展的变体和用于多样化部署需求的蒸馏少步版本。

原作者： SeFi-Team

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： SeFi-Team

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 SeFi-Image 论文的解释，通过简单的概念和富有创意的类比进行了拆解。

核心理念：在粉刷墙壁之前先盖好房子

想象一下，你正试图教一个机器人根据你的描述去创作一幅杰作。

旧的方法（传统 AI）：
通常，这些机器人试图一次性学习所有东西。它们必须在同一瞬间搞清楚树在哪里、天空是什么颜色、叶子长什么样，以及树皮的手感如何。这就像是试图在盖房子的同时，把墙刷好并安装好水管。这需要耗费大量的时间、能量和资金（计算能力）才能做对。

SeFi-Image 的方法（语义优先扩散）：
SeFi-Image 团队意识到，人类并不是这样绘画的。我们通常先画出轮廓，然后再填充细节。

第一步：蓝图（语义）： 首先，AI 确定“大局”。太阳在哪里？那里有一只猫吗？猫是在屋顶上吗？它会创建一个清晰的、结构性的图像骨架。
第二步：细节（纹理）： 一旦骨架稳固，AI 就会填充猫的毛发、天空中的云朵以及屋顶的纹理。

这篇论文引入了一种称为**语义优先扩散（Semantic-First Diffusion）**的新方法。它强制要求 AI 在开始担心“油漆”之前，先解决“蓝图”部分。因为蓝图已经清晰了，所以添加细节的部分工作就会变得更容易。

为什么这意义重大

1. 它是“性价比极高”的明星
通常，为了让 AI 画得非常好，你需要一台运行数月的超级计算机。

对比： 论文提到了一个著名的模型 Z-Image，其训练成本极其昂贵（使用了 314,000 个 GPU 小时）。
SeFi-Image 的结果： 他们的最大模型（50 亿参数）仅使用 125,000 个 GPU 小时 就达到了相似甚至更好的效果。这就像是用仅 10–20% 的电费完成了同样的工作量。他们证明了，如果你能更好地组织学习过程，你不需要消耗那么多资金就能获得高质量的结果。

2. “三种尺寸”策略
团队不仅制造了一个巨大的机器人，还制造了三个：

小个子（1B）： 体型小、速度快，而且出奇地聪明。尽管规模较小，它也能很好地遵循指令。
中等个子（2B）： 一个平衡的选择。
大个子（5B）： 重型选手，能够处理最复杂的请求。
这非常棒，因为不同的人拥有不同的电脑。如果你有强大的服务器，你就用“大个子”；如果你只有一台笔记本电脑，你可能会用“小个子”。

3. 它擅长阅读和书写文本
对于 AI 来说，在图像中绘制文本（比如商店的招牌或书的封面）是最难的事情之一。

问题： 大多数 AI 会把字母弄乱或拼错。
SeFi-Image 的解决方法： 他们给 AI 喂了一种特殊的“合成数据”饮食。想象一下一台机器，它可以生成数百万张带有文本的图像，这些图像背景简单或布局复杂，从而教会 AI 字母的具体样子以及它们应该如何摆放。因此，Se

SeFi-Image 在准确渲染文本方面表现出色，即使是长句子也能够精准呈现。

他们是如何训练它的（“课程表”）

论文描述了一个聪明的训练计划，就像学生从小学升到大学一样：

小学阶段（预训练）： 他们向 AI 展示了数百万张带有简单描述的图像，让它学习基础的形状和物体。
高中阶段（持续训练）： 他们切换到了更高质量的图像，教它如何遵循更具体的指令。
大学阶段（微调）： 他们使用了一个非常严格的过滤器，只给 AI 展示那些最好的图像，教它成为一名艺术家，而不仅仅是一个素描员。

他们还为模型制作了一个“加速版”。你可以把它看作是一个“快进”按钮。通常 AI 需要 50 步来画出一张图，他们使用了一种叫做**蒸馏（distillation）**的技术，教会模型只需 4 步 即可完成，使其在不损失太多质量的情况下，实现更快的实时使用。

他们的发现（结果）

它奏效了： 该模型通过了许多测试（基准测试），这些测试要求它遵循复杂的指令（例如“在蓝色的椅子旁边的一棵树旁放一只红色的猫”）。
它具有可扩展性： 尽管“大个子”（5B）表现最好，但“小个子”（1B）的表现几乎可以媲美其他公司规模更大的模型。这证明了“蓝图优先”的方法是非常高效的。
它是双语的： 它在英语和中文方面都能很好地工作。

局限性（他们尚未做到的事情）

作者诚实地说明了他们的模型目前还不能做什么：

尺寸上限： 他们的最大模型是 50 亿参数。他们希望能做得更大，但由于计算能力有限（具体来说，受限于 NVIDIA A800 GPU），他们无法继续扩大规模。
风格多样性： 由于他们专注于自然图像和文本，该模型在处理非常特定的艺术风格（如复杂的平面设计或信息图表）方面，不如处理通用图片那样出色。
视频与编辑： 他们是为通过文本生成新图像而构建的。他们还没有在编辑现有照片或制作视频方面对其进行测试。

总结

SeFi-Image 是一种教 AI 绘画的新方法。与其尝试一次性学习所有内容，不如先教 AI 画出“骨架”，然后再画“皮肤”。这个简单的改变使得他们能够构建出一个**训练成本更低、运行速度更快、且效果与目前市面上最昂贵的模型相当（甚至更好）**的模型。他们已经发布了代码和模型，任何人都可以尝试使用。

技术摘要：SEFI-Image

问题陈述

训练基础文本生成图像（T2I）模型已变得日益耗费资源，最先进的模型需要数十万个 GPU 小时。尽管此前的方法尝试利用语义引导来加速训练，但这些方法主要仅在简单的低分辨率数据集（如 ImageNet 256×256）和小型模型（<1B 参数）上进行了验证。一个关键的开放性问题仍然存在：语义引导机制在更大规模的模型、更高的分辨率以及复杂的实际 T2I 环境中是否依然有效。此外，现有方法往往难以处理潜在扩散模型中的基本权衡：高重建保真度需要复杂的潜在分布（难以建模），而简化的潜在空间则会牺牲图像质量。

方法论：语义优先扩散（Semantic-First Diffusion, SFD）

本文提出了 SEFI-Image，这是一个基于 语义优先扩散（SFD） 的 T2I 基础模型，这是一种新型的潜在扩散范式。其核心创新在于将去噪过程解耦为异步的语义流和纹理流。

1. 核心机制

与在单一时间步调度下对所有信息进行去噪的传统潜在扩散模型不同，SFD 将语义因子（全局结构、物体布局）与纹理因子（高频细节）分离。

异步时间步： 模型分配了不同的时间步 $t_s$ （语义）和 $t_z$ （纹理）。语义潜在变量的去噪过程略领先于纹理潜在变量（ $t_s \ge t_z$ ），从而确保纹理生成始终以一个“更清晰”的结构锚点为条件。
三阶段推理：
1. 语义初始化： 仅对语义潜在变量进行去噪，以建立全局结构。
2. 异步生成： 两个流同时进行去噪，但语义流领先以引导纹理细化。
3. 纹理完成： 语义完全去噪；纹理潜在变量进一步细化细粒度细节。
双时间步调节： Diffusion Transformer (DiT) 主干网络接收两个流的独立时间步嵌入，使模型能够感知每一步骤中异步的噪声水平。

2. 架构组件

复合潜在构造：
- 语义潜在变量 ( $s_1$ )： 通过冻结的视觉基础模型（DINOv2-Large）提取，并由 语义 VAE (SemVAE) 进行压缩。它捕捉物体身份和场景结构。
- 纹理潜在变量 ( $z_1$ )： 由 纹理 VAE（经过微调的 FLUX.2 VAE）直接从图像编码而成。它捕捉低层级的重建细节。
文本编码器： 利用 Qwen3-VL 的 LLM 主干（根据生成模型大小使用 2B 或 4B 版本）来处理复杂、长文本及双语（中/英）提示词。
DiT 主干： 采用类 FLUX.2 架构，结合了双流 MMDiT 模块和单流模块，并经过适配以接收复合潜在变量和双时间步。

3. 训练流水线

训练过程包含三个阶段：

预训练： 使用 450M 内部图文对和 28M 合成文本渲染数据。课程学习过程从 256px 推进到 1024px。合成数据侧重于严格的字符级对齐，以实现文本渲染。
持续训练： 在 9M 高质量混合数据集（自然风景、UI、动漫等）上进行 1024px 训练，以提升指令遵循能力。
有监督微调 (SFT)： 使用约 650K 高质量图像，基于美学、技术质量和可描述性进行严格过滤。此阶段强调困难提示词和准确的文本渲染。
蒸馏与强化学习 (RL)：
- 少步数蒸馏： 使用 DMD2 将 SFT 模型蒸馏为 4 步“Turbo”变体，同时保留语义优先的偏移量。
- RL 后训练： 应用 DiffusionNFT 来增强提示词遵循、视觉质量并抑制伪影。

核心贡献

可扩展的语义优先扩散： 本文证明了 SFD 并不局限于小型模型或玩具数据集。它成功扩展到了 1B、2B 和 5B 参数模型，并在高分辨率 T2I 生成中保持了有效性。
资源高效性： 最大的 5B 模型仅使用了 125K A800 GPU 小时 进行训练，约为 Z-Image 计算量的 10–20%，却实现了相当或更优的性能。
解决重建-生成权衡： 通过分离语义和纹理，SFD 允许对纹ory VAE 进行激进的微调以提高重建保真度（将 Kodak 上的 PSNR 从 33.18 提升至 36.40），而不会牺牲复杂潜在空间通常伴随的收敛速度。
全面的模型家族： 发布了三种规模的模型（1B, 2B, 5B）及其对应的 Turbo 版本，为不同的硬件预算提供了灵活的部署选择。

性能结果

SEFI-Image 在多个基准测试中针对强基线模型（Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image）进行了评估：

GenEval & DPG： 5B 模型实现了 0.88 的整体 GenEval 得分，与 Qwen-Image 持平，并超越了 FLUX.2-Klein-9B (0.85) 和 Z-Image (0.84)。值得注意的是，1B 版本也达到了 0.87，展示了即使在小规模下也具有强大的组合推理能力。
长文本渲染 (LongTextBench)： 5B 模型实现了最高平均分 (0.978)，优于 Qwen-Image 和 JoyAI-Image。
视觉文本生成 (CVTG-2K)： 5B 模型实现了 0.8947 的单词准确率 (Word Accuracy) 和 0.9434 的 NED，优于最强的基线模型。
双语指令 (OneIG)： 5B 模型在英文 (0.5606) 和中文 (0.5379) 基准测试中均取得了最佳综合得分。
缩放行为： 实验表明，2B 的 SFD 模型可以超越 4B 的非 SFD 模型，表明其参数效率得到了提升。

重要性与主张

作者声称，SEFI-Image 为构建 T2I 基础模型提供了一种原则性且资源高效的范式。这项工作挑战了“语义引导仅适用于小规模或类别条件任务”的观点。通过将语义布局与纹理合成解耦，该模型实现了卓越的重建-生成权衡，从而以显著降低的计算成本实现了快速收敛和高质量生成。

本文将 SEFI-Image 定位为一个实用的、可即时部署的解决方案，并提供了关于语义引导扩散建模的有用见解。作者明确指出，虽然目前的模型表现强劲，但受限于 5B 参数的上限（由于硬件限制）以及训练数据的规模，在模型规模、数据多样性以及向视频生成和图像编辑领域的应用方面仍留有提升空间。