NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers

本文提出了名为 NAMI 的桥接渐进式整流流 Transformer，通过跨时空维度的多分辨率级联生成策略与 BridgeFlow 模块，在确保图像质量的同时将 1024 分辨率图像的推理时间减少了 64%。

要点

这篇论文介绍了一种名为 NAMI 的新图像生成技术。简单来说，它让 AI 画图的速度更快、成本更低，同时还能保持画得好看、指令跟得准。

为了让你更容易理解，我们可以把 AI 画图的过程想象成**“盖一栋摩天大楼”**。

1. 传统方法：笨重且低效的“平地起高楼”

以前的 AI 画图模型（比如 FLUX 或 SD3），就像是一个只有 100 层楼高的建筑队，却非要一开始就按 100 层的标准去盖地基。

• 问题：无论你要盖的是一个小茅屋（低分辨率小图）还是摩天大楼（高分辨率大图），他们都要动用所有 100 层楼的工人和重型机械。
• 后果：这导致计算量巨大，画图很慢，而且很费电（算力成本高）。这就好比为了画一张小邮票，却动用了整个造船厂的资源。

2. NAMI 的创意：分阶段、搭桥的“精兵简政”

NAMI 提出了一种**“分阶段、搭桥”的新策略，就像是一个聪明的建筑总工**，他根据大楼的高度，灵活调配人手：

第一步：分阶段施工（时空分离）

NAMI 把画图过程分成了三个清晰的阶段，就像盖楼分三步走：

1. 打地基（低分辨率阶段）：
   • 任务：只确定大楼的大致轮廓、位置和风格（比如：这是一座红色的城堡，在山上）。
   • 人手：只派少数几个熟练的“小工”（较少的 Transformer 层数）来快速勾勒草图。
   • 比喻：就像用铅笔在纸上轻轻画个草图，不需要精细的笔触，只要大概形状对就行。
2. 搭骨架（中分辨率阶段）：
   • 任务：把草图放大，增加细节，比如窗户、门的位置。
   • 人手：增加一些“中级技工”（更多的层数）。
3. 精装修（高分辨率阶段）：
   • 任务：最后进行精细打磨，加上光影、纹理、毛发等细节。
   • 人手：这时候才动用所有的“顶级大师”（完整的模型层数）来精雕细琢。

核心优势：以前是“全程满负荷”，现在是“低负荷起步，逐步加码”。这就省下了大量不必要的计算资源。

第二步：神奇的“桥”（BridgeFlow 模块）

这是 NAMI 最巧妙的地方。

• 问题：如果第一阶段画完草图，直接放大给第二阶段，画面可能会变形、断裂，或者风格不统一（就像把一张模糊的草图直接放大，边缘全是锯齿）。
• 解决方案：NAMI 在两个阶段之间架了一座**“智能桥梁”（BridgeFlow）**。
• 比喻：这座桥就像一个**“翻译官”兼“平滑师”。它能把第一阶段粗糙的草图，完美地“翻译”并“平滑”成第二阶段能听懂的指令，确保从草图到精修图的过渡丝滑自然**，不会出现断层或扭曲。

3. 训练方式：像“学画画”一样循序渐进

传统的训练方法往往是先学画小图，再单独学画大图，容易“学了大的忘了小的”。
NAMI 采用**“多分辨率联合训练”**：

• 比喻：就像教学生画画，不是先让他只练素描，再只练油画。而是让他同时练习画小速写、中幅画和大幅画。
• 好处：模型在画大图时，能随时调用画小图学到的“构图逻辑”；在画小图时，也能参考大图的“细节质感”。这让模型学得更快、更扎实。

4. 成果如何？

• 速度快：画一张 1024x1024 的高清图，NAMI 比同体量的传统模型快了 64%。这相当于以前画一张图要等 10 分钟，现在只要 3 分半。
• 质量好：虽然省了资源，但画出来的图依然精美，能听懂复杂的指令（比如“一只穿着宇航服的猫在月球上吃披萨”）。
• 新标准：作者还发现以前的测试题太简单或太单一，于是自己造了一套**“NAMI-1K"**测试题，包含各种长短不一、风格各异的描述，用来更真实地考验 AI 的能力。

总结

NAMI 就像是一个懂得“因材施教”和“灵活用工”的超级画师。
它不再死板地用全套装备去画每一笔，而是：

1. 先画草图（用小模型快速定调）；
2. 搭座桥（用 BridgeFlow 平滑过渡）；
3. 再精修（用大模型完善细节）。

这种方法让 AI 画图变得既快又省，让高质量图像生成不再是昂贵的奢侈品，而是触手可及的日常工具。

技术摘要

NAMI：基于桥接渐进整流流 Transformer 的高效图像生成技术总结

1. 研究背景与问题 (Problem)

基于 Transformer 的流模型（Flow-based Transformer）和扩散模型（Diffusion Models）在图像生成领域取得了最先进的性能（如 FLUX、SD3）。然而，这些模型面临以下核心挑战：

• 高推理延迟与计算成本：随着参数量的增加，推理速度显著变慢，难以满足商业化应用需求。
• 生成过程的冗余性：现有的扩散/流模型通常在所有采样阶段使用统一的全量模型进行去噪。然而，图像生成的早期阶段主要涉及粗略的概念布局和轮廓（低分辨率即可表达），而后期阶段才涉及细节增强。目前的统一架构未能利用这一特性，导致在低分辨率阶段使用了过多的计算资源。
• 现有优化方法的局限性：
  • 现有的多分辨率方法（如 MatryoshkaDM、Pyramid Flow）虽然尝试分阶段生成，但往往缺乏参数间的自适应对齐，或者未能有效解决 DiT 架构中的参数冗余问题。
  • 现有的基准测试（如 GenEval, DPG-Benchmark）存在提示词多样性不足和分布偏差的问题，难以全面评估模型在真实场景下的表现。

2. 方法论 (Methodology)

论文提出了 NAMI (Bridged Progressive Rectified Flow Transformers)，一种通过时空分离和渐进式架构来加速图像生成的框架。其核心思想是将整流流（Rectified Flow）分解为不同分辨率的阶段，并动态分配模型容量。

2.1 核心架构设计

• 多分辨率阶段划分 (Progressive Stages)：
  • 将图像生成过程划分为 $K$ 个分辨率阶段（例如：256 -> 512 -> 1024）。
  • 将整个流过程划分为对应的时间窗口 $\{[t_{k-1}, t_k]\}$。
  • 渐进式层数分配：在低分辨率阶段，仅使用较少的 Transformer 层来生成图像布局和概念轮廓；随着分辨率增加，逐步叠加更多的 Transformer 层以增强细节。这种设计显著减少了低分辨率阶段的计算量。
• BridgeFlow 模块 (桥接流模块)：
  • 问题：不同分辨率阶段之间的跳跃（Jump points）需要概率分布的平滑过渡。传统的 Pyramid Flow 使用非参数的重加噪（Renoising）和缩放，效率低且缺乏适应性。
  • 解决方案：NAMI 引入了可学习的 BridgeFlow 模块。它通过线性变换（$W \cdot \text{Up}(\hat{x}) + B$）将上一阶段的输出分布对齐到下一阶段的输入分布。这是一种数据驱动的参数化方法，比非参数方法更鲁棒且高效。
• 多分辨率联合训练 (Multi-Resolution Training)：
  • 不同于传统的“先低分辨率训练再高分辨率微调”的两阶段策略，NAMI 采用多分辨率同时训练。
  • 在训练过程中，模型同时处理不同分辨率的数据，通过动态调整损失权重，促进知识共享，防止高分辨率微调时的灾难性遗忘，加速模型收敛。

2.2 推理流程

1. 从最低分辨率的噪声开始。
2. 在第一个时间窗口使用轻量级子模型生成低分辨率布局。
3. 通过 Upsampling 和 BridgeFlow 模块将结果转换到下一阶段的起始点。
4. 在后续阶段逐步增加模型层数，处理更高分辨率的细节，直到完成最终图像。

3. 主要贡献 (Key Contributions)

1. Bridged Progressive Rectified Flow Transformers 架构：
   • 首次提出将整流流在时间（采样步骤）和空间（模型层数/分辨率）上进行解耦。
   • 实现了多分辨率训练，加速了模型收敛，同时保证了生成质量。
2. 显著的推理加速：
   • 通过分片流（Piecewise Flow）和空间级联（Spatial Cascading），在保持同等模型规模（2B 参数）的情况下，将 1024×1024 分辨率图像的生成时间减少了 64%。
3. BridgeFlow 对齐模块：
   • 提出了一种可学习的线性变换模块，有效解决了多阶段生成中的分布对齐问题，替代了低效的非参数重加噪过程。
4. NAMI-1K 基准测试：
   • 针对现有基准的局限性，构建了包含 1000 个提示词的 NAMI-1K 数据集。
   • 该数据集融合了开源基准、AI 生成提示和人工创作提示，覆盖了更广泛的长度分布和主题，旨在更公平、全面地评估模型的提示遵循能力和人类偏好。

4. 实验结果 (Results)

4.1 推理效率

• 速度提升：在 A100 GPU 上，NAMI-2B 生成 1024 分辨率图像仅需 2.98 秒，而同等规模的 FLUX 基线模型需要 8.47 秒，速度提升 64.82%。
• 加速来源：流分片设计减少了 53% 的计算时间，模型分区设计进一步减少了 11% 的时间。

4.2 生成质量与对齐能力

• 基准测试：在 GenEval 和 DPG-Benchmark 上，NAMI-2B（2B 参数）的表现优于或持平于其他同量级模型（如 SD3-medium, Hunyuan-DiT），并在某些维度上接近 12B 参数的 FLUX-dev。
• 人类偏好评估 (NAMI-1K)：
  • 在相关性、连贯性、美学质量和真实感四个维度上，NAMI-2B 在参数量相当的模型中表现最佳（总体得分 70.69），显著优于 SD3-medium (69.97) 和 Infinity (69.77)。
  • 虽然略低于 12B 参数的 FLUX-dev，但在 2B 参数规模下展现了极强的竞争力。

4.3 消融实验

• 组件有效性：证明了“流分片”和“模型分区”两者结合能带来最快的收敛速度和最佳的 FID/CLIP 分数。
• BridgeFlow 对比：BridgeFlow 在推理时间和生成质量之间取得了最佳平衡，优于 MLP、CNN 或 Pyramid Flow 的重加噪方法。
• 层数分配：低分辨率阶段需要足够的层数来保证布局质量，但过多层数会导致冗余。

5. 意义与影响 (Significance)

• 打破效率与质量的权衡：NAMI 证明了通过合理的架构设计（时空分离），可以在不牺牲生成质量的前提下，大幅降低大模型的计算成本和推理延迟，为流模型的商业化落地提供了可行路径。
• 重新定义多阶段生成：BridgeFlow 模块为多尺度生成任务中的分布对齐提供了新的参数化解决方案，具有推广到其他生成任务（如视频生成、图像编辑）的潜力。
• 推动评估标准进步：NAMI-1K 基准的提出指出了当前开源基准在提示词多样性和分布偏差上的不足，为未来更全面的模型评估树立了新标准。
• 应用前景：论文展示了 NAMI 在无需额外训练的情况下即可应用于图像编辑（通过修改后续阶段的指令），表明该架构具有良好的灵活性和扩展性。

总结：NAMI 通过创新的“桥接渐进”策略，成功解决了流模型推理慢的痛点，实现了“快且好”的图像生成，是高效生成式 AI 领域的一项重要进展。