💻 computer science

One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers

本文提出了弹性潜在接口 Transformer（ELIT），一种兼容扩散 Transformer 的轻量级机制，通过引入可学习长度的潜在令牌序列和跨注意力层，实现了计算量与图像分辨率的解耦，从而在推理阶段可根据延迟约束动态调整计算资源，显著提升了生成质量与效率。

原作者： Moayed Haji-Ali, Willi Menapace, Ivan Skorokhodov, Dogyun Park, Anil Kag, Michael Vasilkovsky, Sergey Tulyakov, Vicente Ordonez, Aliaksandr Siarohin

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Moayed Haji-Ali, Willi Menapace, Ivan Skorokhodov, Dogyun Park, Anil Kag, Michael Vasilkovsky, Sergey Tulyakov, Vicente Ordonez, Aliaksandr Siarohin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ELIT（弹性潜在接口 Transformer）的新技术，它旨在解决当前 AI 绘画和视频生成模型（特别是基于 Diffusion Transformer 的模型）面临的一个核心痛点：“要么算得快但画质差，要么画质好但算得慢，而且很难在中间找到平衡点。”

为了让你更容易理解，我们可以把生成一张高质量图片的过程想象成**“装修一栋房子”**。

1. 传统方法的痛点：笨重的“平均主义”装修队

想象一下，传统的 AI 模型（DiT）就像是一个死板的装修队。

固定预算：无论你要装修的是一个小单间（低分辨率）还是一个大别墅（高分辨率），装修队都规定必须派同样数量的工人，按照固定的节奏，把房子的每一块砖都仔细打磨一遍。
浪费资源：实际上，房子的某些部分（比如墙壁的角落、天花板）可能很简单，随便刷刷就行；但有些部分（比如精美的雕花、复杂的家具）需要大师级工匠花大量时间精雕细琢。
结果：传统模型把大量算力（工人和时间）浪费在简单的角落上，导致处理复杂细节时资源不足，或者为了画质好，不得不把整个房子的装修时间拉得很长，非常低效。

2. ELIT 的核心创新：聪明的“弹性指挥部”

ELIT 给这个装修队加了一个**“弹性指挥部”（Latent Interface）和两个“智能调度员”**（Read 和 Write 层）。

核心机制：

建立指挥部（Latent Interface）：
在正式动工前，先建立一个临时的“指挥部”。这个指挥部的大小是可以弹性伸缩的。
- 简单模式：如果预算少，指挥部就小一点，只派几个核心骨干。
- 高配模式：如果预算足，指挥部就大一点，派更多专家。
智能调度员 Read（读）：
这个调度员负责从房子的各个角落（图像的空间 Token）收集信息，但它很聪明。
- 它不会平均分配精力。它会发现：“哦，这个雕花很难搞，需要多派点人；那个墙角很简单，随便看看就行。”
- 它把最重要的信息（难点）优先汇报给“指挥部”里的核心骨干去处理。
智能调度员 Write（写）：
指挥部里的骨干们处理完信息后，Write 调度员再把结果广播回房子的各个角落，把细节补充上去。
动态调整（弹性预算）：
这是最厉害的地方。在生成图片的过程中，用户可以像调节音量旋钮一样，随时决定指挥部里留多少人。
- 想快？ 把指挥部里“不重要”的骨干（通常是处理细节的尾部 Token）直接裁掉，只保留处理大结构的骨干。
- 想好？ 把所有人都叫回来，精雕细琢。
- 关键点：这种裁减是在**推理阶段（生成时）**实时发生的，不需要重新训练模型。

3. 生活中的类比：点餐与上菜

传统模型：就像去一家大排档，不管你是一个人吃还是十个人吃，厨师都按“满汉全席”的标准，把每道菜都切得一样细，摆盘一样精致。结果就是：人少时浪费，人多时上菜慢。
ELIT 模型：就像一家智能餐厅。
- 你点菜时，系统会分析你的需求。
- 如果是“快餐模式”，它只保留主菜的核心部分，快速上菜，味道依然不错（结构完整）。
- 如果是“宴请模式”，它会把配菜、摆盘、酱汁都做得非常精细。
- 最神奇的是：这是一家**“一店多能”**的餐厅，不需要为了快餐和宴请分别开两家店（不需要训练两个模型），只需要在厨房（模型内部）灵活调配人手即可。

4. 这项技术带来了什么好处？

省钱省力（计算效率）：
论文显示，通过减少不必要的“指挥部”人员，可以在保持画质几乎不变的情况下，将计算量（FLOPs）减少 30% 到 60%。这意味着生成图片的速度更快，或者在同样的硬件上能生成更高分辨率的图片。
画质更好（质量提升）：
因为把算力集中在了“难搞”的地方（比如人脸、复杂纹理），而不是浪费在空白背景上，所以即使算得少，画出来的图反而比传统模型更清晰、细节更丰富。
灵活多变（多预算支持）：
同一个模型，既能做“秒出图”的快餐，也能做“精雕细琢”的大作。用户可以根据手机电量、网络速度或时间紧迫程度，随时调整生成质量。
自带“辅助驾驶”（自动引导）：
它还能利用这种弹性，自动调用一个“简化版”的自己来辅助生成，进一步提升了生成质量，就像开车时既有主驾驶又有副驾驶的辅助，但成本却很低。

总结

ELIT 就像给 AI 画家装上了一个“智能大脑”和“灵活双手”。

以前的 AI 画家是“死脑筋”，不管画什么，都花同样的力气，导致要么累死（慢），要么画不好（糊）。
现在的 ELIT 让 AI 学会了**“好钢用在刀刃上”**：哪里难画就多花力气，哪里简单就快速带过。而且，它还能根据你给的时间（预算），灵活调整自己的工作量，既快又好。

这项技术让未来的 AI 生成内容更加高效、灵活且普及，让普通用户也能在手机上快速生成高质量的视频和图片。

论文技术总结：One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers (ELIT)

1. 研究背景与问题 (Problem)

扩散变换器（Diffusion Transformers, DiTs）在图像和视频生成领域取得了卓越的性能，但其存在两个主要的效率瓶颈：

计算与分辨率的刚性绑定：DiT 的计算量（FLOPs）通常与输入图像的分辨率（即 Token 数量）呈固定函数关系。这导致无法在推理阶段根据延迟或算力约束灵活地调整计算预算，难以实现原则性的“延迟 - 质量”权衡。
计算分配的不均匀性：DiT 将计算资源均匀地分配给所有空间 Token（图像块）。然而，图像中的信息分布是不均匀的（某些区域简单，某些区域复杂）。实验表明，DiT 无法利用额外的计算资源（例如通过填充零值 Token 增加 Token 数量）来提升生成质量，因为它会将计算浪费在不重要的区域，而不是集中在高难度的区域。

现有的自适应生成方法（如 Super-networks、Token Dropping 等）要么在推理时无法动态调整预算，要么需要复杂的辅助损失或导致信息丢失，难以在保持 DiT 架构简单性的同时实现灵活的推理预算控制。

2. 核心方法论 (Methodology)

作者提出了 弹性潜在接口变换器 (Elastic Latent Interface Transformer, ELIT)，这是一种即插即用（drop-in）的机制，旨在解耦输入图像尺寸与计算量，并实现计算资源的动态重分配。

2.1 核心架构

ELIT 在标准 DiT 架构中引入了两个轻量级的交叉注意力层和一个可变的潜在接口：

潜在接口 (Latent Interface)：引入一组可学习的、可变长度的潜在 Token 序列（Latent Tokens）。这些 Token 构成了一个紧凑的“潜在域”，大部分 Transformer 块在此域内运行，而非直接在原始的高维空间 Token 上运行。
Read 层 (读取层)：一个轻量级的交叉注意力层，负责将空间 Token（Spatial Tokens，即图像块）的信息“拉取”到潜在接口中。该层能够根据图像区域的难度（Loss 大小）优先关注重要区域，从而过滤掉不重要的区域。
Write 层 (写入层)：另一个轻量级的交叉注意力层，负责将更新后的潜在状态“广播”回空间 Token，以便模型将预测结果写回原始空间位置，保留细节。
分组交叉注意力 (Grouped Cross-Attention)：为了降低计算成本，空间 Token 和潜在 Token 被划分为对应的组（Groups）。交叉注意力仅在组内进行，将计算复杂度从 $O(NK) $降低到$ O(NK/G)$。

2.2 训练策略：多预算与重要性排序

尾部丢弃 (Tail Dropping)：在训练过程中，随机丢弃每个组中潜在 Token 序列的尾部（Tail）。这意味着模型被强制学习一种重要性排序的表示：前面的 Token 捕获全局结构和关键信息，后面的 Token 用于细化细节。
多预算训练：通过随机采样保留的 Token 数量（ $\tilde{J}$ ），模型可以在单次训练中适应多种计算预算。这不需要修改训练目标（仍使用标准的 Rectified Flow 损失），仅需在训练迭代中动态调整保留的 Token 数量。

2.3 推理与引导机制

动态预算控制：在推理阶段，用户可以直接控制保留的潜在 Token 数量，从而平滑地调节计算量（FLOPs）和生成质量之间的权衡。
自动引导 (Autoguidance) 与 CCFG：由于 ELIT 天然支持不同预算的模型版本（即同一组权重，不同 Token 数量），作者提出了一种廉价分类器自由引导 (Cheap Classifier-Free Guidance, CCFG) 策略。
- 利用预算较小的模型版本（弱模型）作为引导项，替代传统的无条件模型。
- 公式： $\hat{v}_{CCFG} = (\lambda+1)G(X_t|c; \tilde{J}) - \lambda G(X_t|\emptyset; \tilde{J}_w)$ ，其中 $\tilde{J}_w < \tilde{J}$ 。
- 这种方法在无需额外训练或模型损坏的情况下，实现了约 33% 的推理成本降低，同时提升了生成质量。

3. 关键贡献 (Key Contributions)

解耦计算与分辨率：提出了 ELIT 机制，通过引入可变长度的潜在接口，打破了 DiT 计算量与输入分辨率的刚性绑定，实现了真正的弹性计算。
非均匀计算重分配：通过 Read/Write 机制，模型能够自动将计算资源集中在图像中信息丰富或生成难度高的区域，解决了 DiT 均匀分配计算导致的资源浪费问题。
单一模型支持多预算：通过尾部丢弃训练策略，单个模型权重即可覆盖从低预算到高预算的广泛推理场景，无需训练多个子网络。
即插即用与广泛兼容性：ELIT 设计极简，仅增加两个交叉注意力层，不改变 DiT 的核心堆叠和 Rectified Flow 目标。实验证明其兼容 DiT、U-ViT、HDiT 以及大规模多模态 DiT（如 Qwen-Image）。
高效的引导策略：利用多预算特性提出的 CCFG，显著降低了引导采样（Guidance Sampling）的推理成本。

4. 实验结果 (Results)

ImageNet-1K 图像生成：
- 在 512px 分辨率下，相比基线 DiT，ELIT 在 FID 上平均提升了 35.3%，在 FDD（基于 DINOv2 特征的 Fréchet 距离）上提升了 39.6%。
- 在 U-ViT 和 HDiT 架构上，ELIT 同样取得了显著的性能提升（FDD 提升幅度分别为 34.0% 和 37.4%）。
- 在 512px 分辨率下，多预算版本（ELIT-MB）相比基线 DiT 的 FID 降低了 53%。
计算 - 质量权衡：
- ELIT 在调整推理预算（减少 Token 数量）时，其质量下降速度远慢于直接减少采样步数（Sampling Steps）或增加 Patch Size 的方法。
- 在保持相同 FLOPs 的情况下，ELIT 能够匹配甚至超越更高 Token 数量的基线模型性能。
大规模模型应用 (Qwen-Image)：
- 将 ELIT 应用于 20B 参数的 Qwen-Image (MM-DiT) 后，在保持结构细节的同时，成功实现了高达 63% 的采样 FLOPs 削减（约 2.7 倍加速），且在 DPG-Bench 基准测试中保持了稳健的性能。
视频生成：在 Kinetics-700 数据集上，ELIT-DiT 在所有指标（FID, FDD, FVD）上均优于基线 DiT。

5. 意义与影响 (Significance)

理论突破：证明了在扩散模型中，通过引入可学习的潜在接口和重要性排序机制，可以打破“计算量=分辨率”的传统范式，实现计算资源的智能分配。
工程价值：为边缘设备或高延迟敏感场景提供了灵活的解决方案。用户可以根据硬件限制动态调整生成质量，而无需重新训练模型或牺牲过多性能。
未来方向：该方法为构建“自适应计算”的生成式 AI 奠定了基础，未来的工作可以进一步探索基于噪声水平的预算调度（Budget Scheduling），即在生成过程的不同阶段动态分配不同的计算预算，以进一步优化效率。

总结：ELIT 通过极简的架构修改，赋予了扩散变换器“弹性”能力，使其能够根据需求动态调整计算量，同时通过智能重分配计算资源显著提升了生成质量，是扩散模型高效化方向的重要进展。