💻 computer science

Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

本文提出了 Drift-AR 框架，利用生成过程中的预测熵信号统一加速自回归与扩散解码两个阶段，通过熵感知的推测解码和基于反对称漂移场的单步解码，在无需额外计算成本的情况下实现了 3.8 至 5.5 倍的推理加速，同时保持了与原始模型相当甚至更优的生成质量。

原作者： Zhen Zou, Xiaoxiao Ma, Mingde Yao, Jie Huang, LinJiang Huang, Feng Zhao

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhen Zou, Xiaoxiao Ma, Mingde Yao, Jie Huang, LinJiang Huang, Feng Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Drift-AR 的新方法，它的目标是让 AI 画图的速度变得极快（快 3.8 到 5.5 倍），同时还能保持甚至提升画质。

为了让你轻松理解，我们可以把 AI 画图的过程想象成**“一位严谨的总设计师（AR 模型）”和“一位负责落地的施工队（扩散模型）”之间的合作**。

1. 以前的痛点：慢得像蜗牛

在 Drift-AR 出现之前，这种混合模式的 AI 画图有两个主要瓶颈，导致速度很慢：

瓶颈一：总设计师太啰嗦（AR 阶段慢）
总设计师（AR 模型）是按顺序画图的，画完左边画右边，画完上面画下面。他必须一步一步来，不能跳步。这就像写文章，必须一个字一个字地敲，不能一次性把整段话“变”出来。
瓶颈二：施工队太磨蹭（扩散阶段慢）
总设计师画完草图后，施工队（扩散模型）需要把草图变成高清大图。但以前的施工队有个坏习惯：他们喜欢反复修改。比如画一只猫，他们可能先画个模糊的轮廓，然后改 20 次，每次去掉一点噪点，最后才变成清晰的猫。这个过程叫“迭代去噪”，非常耗时。

以前的加速方法：要么让总设计师猜得快一点（投机解码），要么让施工队少改几次（蒸馏）。但这两种方法通常是各管各的，没有统一指挥，效果有限。

2. Drift-AR 的核心发现：利用“不确定性”作为指挥棒

作者发现了一个关键线索：总设计师在画图时，心里其实是有“把握程度”的。

低熵（高把握）：比如画一片蓝天或白墙，总设计师心里非常有数，几乎不需要思考。
高熵（低把握）：比如画复杂的猫胡须或衣服纹理，总设计师心里会犯嘀咕：“这里该怎么画呢？可能有多种画法。”

以前的方法忽略了这种“心里犯嘀咕”的感觉，而 Drift-AR 把它变成了核心指挥信号。

3. Drift-AR 是怎么做的？（两大绝招）

Drift-AR 利用这个“把握程度”（熵）信号，同时解决了上面两个慢的问题：

第一招：让总设计师猜得更准（熵感知的投机解码）

比喻：以前，总设计师让助手（小模型）先猜一下草图。但助手往往太自信了，觉得自己猜得对，结果总设计师一看：“不对，你太武断了，重画！”导致助手白忙活，效率低。
Drift-AR 的做法：它告诉助手：“别太自信！如果你发现总设计师对某块区域很纠结（高熵），你也要表现出纠结；如果总设计师很笃定（低熵），你也要笃定。”
效果：助手和总设计师的“脑回路”对齐了，助手猜对的概率大增，总设计师不用反复否决，画图速度直接起飞。

第二招：让施工队“一步到位”（反称漂移场）

这是最精彩的部分。

以前的施工队：不管画什么，都先扔出一个模糊的球，然后像推雪球一样，推 20 次才推到目标位置。
Drift-AR 的做法：它把总设计师的“把握程度”变成了物理上的“初始位置”。
- 如果总设计师很笃定（低熵）：施工队直接就把球放在离目标很近的地方，几乎不用推，“嗖”的一下就到位了。
- 如果总设计师很纠结（高熵）：施工队就把球放在离目标较远的地方，并且用力推一把（利用“反称漂移场”），让球快速滑向正确位置。
效果：因为初始位置是根据“难度”动态调整的，施工队不需要反复修改，只需要推一次（1-NFE），就能直接画出完美的大图。这就好比以前要修 20 次路才能通车，现在直接修一条最顺的直达路，一步到位。

4. 总结：为什么它这么牛？

一石二鸟：它发现“不确定性”这个信号，既能帮总设计师猜得准，又能帮施工队推得对。用一个信号解决了两个慢的问题。
不用反复修改：它彻底抛弃了传统的“反复去噪”过程，实现了真正的**“一步生成”**。
质量不降反升：实验证明，不仅速度快了 3-5 倍，画出来的图甚至比原来的更清晰、更逼真。

一句话总结：
Drift-AR 就像给 AI 画家装了一个**“智能导航仪”。它知道哪里路平（简单区域）可以直冲，哪里路陡（复杂区域）需要给足动力，从而让 AI 在不牺牲画质的前提下，把原本需要跑 20 圈的路程，变成了一次性冲刺完成**。

1. 研究背景与问题 (Problem)

背景：
自回归（AR）模型与扩散（Diffusion）模型的混合范式（AR-Diffusion Hybrid）结合了 AR 的结构化语义建模能力和扩散模型的高保真合成能力，避免了离散 Token 化带来的信息损失。这类模型通常包含两个阶段：

AR 阶段：在连续潜在空间（Continuous Latent Space）中自回归生成特征。
视觉解码阶段：利用扩散解码器通过多步去噪将 AR 特征还原为图像。

核心痛点（双重速度瓶颈）：
现有的混合模型面临两个独立的加速瓶颈，且现有方法通常孤立地解决它们，缺乏统一的设计原则：

AR 阶段：由于是序列生成，推理速度慢。现有的投机采样（Speculative Decoding）在视觉 AR 模型中效果不佳，因为小模型（Draft）往往产生过度自信（低熵）的特征，与大模型（Target）的熵分布不匹配，导致大量拒绝。
解码阶段：扩散解码器需要多步迭代去噪（Multi-step Denoising）。现有的加速方法（如蒸馏 DMD/CD）虽然减少了步数，但仍需多步推理，且依赖多步教师模型，存在蒸馏不稳定的问题。

关键观察：
作者发现，连续空间 AR 模型中每个位置的预测熵（Per-position Prediction Entropy） 天然地编码了空间上的生成不确定性：

冗余区域（如天空、墙壁）熵低，生成确定。
复杂区域（纹理、物体边界）熵高，生成不确定。
这种熵信号具有双重含义：既反映了 AR 阶段投机采样的可靠性，也编码了视觉解码阶段所需的“修正力度”。

2. 方法论 (Methodology)

作者提出了 Drift-AR 框架，利用熵信号作为统一线索，同时加速 AR 生成和视觉解码，实现真正的单步（1-NFE）生成。

2.1 熵感知的投机采样 (Entropy-Informed Speculative Decoding)

针对 AR 阶段的加速，改进了现有的 EAGLE 方法，使其适应连续空间：

连续特征回归损失：移除了离散分类损失，采用连续特征回归损失，使小模型直接预测大模型的连续特征。
因果归一化熵损失 (Causal-Normalized Entropy Loss)：
- 由于注意力掩码的因果性，早期位置的熵天然较低。作者提出对熵进行归一化（除以 $\log(r)$ ），使训练和推理使用相同的尺度。
- 作用：强制小模型（Draft）的熵分布与大模型（Target）对齐，解决因过度自信导致的拒绝率过高问题，同时该熵值直接用于后续解码阶段。

2.2 基于熵参数化的反对称漂移场 (Entropy-Parameterized Anti-Symmetric Drifting Field)

针对视觉解码阶段的加速，摒弃了传统的迭代扩散，引入反对称漂移场（Anti-Symmetric Drifting Field）：

物理重新解释：将 AR 预测的熵 $E^{(r)}$ $E^{(r)}$ 重新解释为漂移过程初始分布的物理方差。
- 低熵区域（AR 预测准确）：初始状态方差小，分布集中，漂移场几乎为零（无需修正）。
- 高熵区域（AR 预测不确定）：初始状态方差大，分布弥散，漂移场产生更强的“漂移力”将其拉向数据流形。
熵参数化先验 (Entropy-Parameterized Prior)：
- 构建高斯先验 $q$ ，均值由 AR 特征决定，方差由熵映射得到（通过指数温度映射）。
- 公式： $x_0 \sim \mathcal{N}(z_{AR}, \sigma^2(E_{entropy})I)$ 。
单步生成 (1-NFE)：
- 训练一个视觉解码器 $f_\theta$ ，学习从先验 $q$ 到数据分布 $p$ 的漂移场 $V_{p,q}$ 。
- 利用反对称性 ( $V_{p,q} = -V_{q,p}$ )：当 $q=p$ 时，漂移场 $V=0$ 。这意味着在平衡态下，只需一次前向传播即可从初始状态到达目标分布，无需迭代去噪。

2.3 统一训练流程 (Unified Training)

为了解决“移动先验”（Moving Prior）问题（即 AR 模型更新导致先验分布 $q$ 变化，破坏漂移场的平衡假设），设计了两阶段退火训练策略：

阶段 I (联合优化)：AR 模块和解码器同时训练。AR 模块优化回归和熵损失，解码器学习修正不断变化的 $q$ 。
阶段 II (纯漂移优化)：冻结 AR 模块（固定先验 $q$ ），仅优化漂移场损失。确保源分布 $q$ 静止，满足漂移动力学平衡条件，实现稳定的 1-NFE 生成。

3. 主要贡献 (Key Contributions)

理论发现：揭示了连续空间 AR 模型中预测熵的双重角色（控制投机采样的草稿质量 + 编码视觉解码的局部难度），并以此作为统一加速信号。
方法创新 (Drift-AR)：
- 提出了熵感知的投机采样，解决了视觉 AR 中草稿模型熵分布不匹配的问题。
- 提出了熵参数化的反对称漂移场，将熵转化为物理方差，实现了无需蒸馏、无需多步迭代的真正单步 (1-NFE) 视觉解码。
性能突破：在 MAR、TransDiff 和 NextStep-1 等多个主流模型上，实现了 3.8 倍至 5.5 倍 的加速，同时保持或超越了原始模型的质量（FID/IS）。

4. 实验结果 (Results)

实验在 ImageNet 256x256 (类条件生成) 和 MJHQ-30K (文生图) 上进行：

速度提升：
- MAR：加速 5.53 倍 (MAR-L) 和 5.16 倍 (MAR-H)。
- TransDiff：加速 4.96 倍 (L) 和 5.06 倍 (H)。
- NextStep-1：加速 3.81 倍。
质量保持：
- 在大幅加速的同时，FID 和 IS 指标均优于或持平于基线模型。
- 例如，在 MAR-L 上，FID 从 1.78 降至 1.76，IS 从 296.0 升至 297.4。
- 相比之下，传统的蒸馏方法（DMD）虽然加速了，但往往导致质量下降（FID 升高）。
消融实验：
- 移除“熵参数化”（使用固定方差）导致性能下降最严重，验证了熵作为物理方差的核心作用。
- 移除“两阶段训练”或“反对称核”均导致生成质量显著下降，证明了训练策略和物理原理的重要性。
单步有效性：
- 传统扩散模型在 1 步时 FID 会崩溃（如 14.72），而 Drift-AR 在 1 步下 FID 仅为 1.57，与 20 步扩散基线持平。

5. 意义与价值 (Significance)

统一加速范式：打破了 AR 和 Diffusion 加速各自为政的局面，提出了一种基于“不确定性（熵）”的统一加速原理。
真正的单步生成：不同于依赖多步教师模型进行蒸馏的方法，Drift-AR 基于物理漂移场的平衡原理，从第一性原理实现了单步生成，避免了蒸馏带来的分布偏移和不稳定性。
高效推理：通过一次前向传播完成从 AR 特征到图像的生成，极大地降低了推理延迟，为实时高保真图像生成提供了新的技术路径。
可解释性：将抽象的“生成难度”量化为物理“方差”，建立了生成模型不确定性与其修正机制之间的物理联系。

总结：Drift-AR 通过巧妙利用 AR 模型内部的熵信号，不仅解决了 AR 阶段的投机采样难题，更通过反对称漂移场理论彻底消除了扩散解码的迭代开销，实现了速度与质量的双重突破。