Autoregressive Image Generation with Randomized Parallel Decoding

本文提出了 ARPG 模型，通过解耦位置引导与内容表示并引入随机并行解码机制，在保持因果注意力结构的同时实现了高效的零样本泛化与并行推理，显著提升了图像生成的速度与内存效率。

要点

这篇论文介绍了一种名为 ARPG 的新图像生成技术。为了让你轻松理解，我们可以把传统的图像生成模型想象成一位**“按部就班的画家”，而 ARPG 则像是一位“拥有超能力的自由派大师”**。

1. 传统画家遇到的麻烦（旧方法的局限）

想象一下，传统的 AI 画师（比如以前的自回归模型）在画一幅画时，必须严格遵守一个死板的规则：从左到右，从上到下，像扫雷一样，一个像素一个像素地画。

• 慢： 画一幅大图需要画几千笔，非常耗时。
• 死板： 如果画到一半，你想修改中间的一朵花，或者想从画布边缘向外延伸（画外画），这位画师就懵了。因为他只能按顺序画，无法“回头”或者“跳跃”去填补空白。这就像你写文章只能从第一个字写到最后一个字，不能直接跳到中间改句子一样。

2. ARPG 的超能力：随机并行解码

ARPG 的核心创新在于它打破了“从左到右”的规矩。它允许画家随机地、同时地处理画布上的多个位置。

• 创意比喻：点菜与上菜
  • 旧方法：就像去一家老式餐厅，你必须按菜单顺序，等前一道菜吃完，服务员才端下一道。
  • ARPG：就像你走进一家高科技餐厅，你直接告诉厨师：“我要中间的牛排、左边的沙拉、右边的汤，同时做出来！”厨师不再按顺序，而是根据你点的菜，一次性把几道菜同时端上来。

3. 它是如何做到的？（核心机制：双通道解码）

为了让这种“乱序”画画变得可行，ARPG 设计了一个巧妙的**“双通道”工作流程**，就像一位**“总指挥”和一位“执行画家”**的配合：

1. 第一通道（总指挥/内容库）：

   • 这位“总指挥”先把画布上已经画好的部分（已知的信息）全部看一遍，整理成一份详细的“记忆库”（Key-Value 缓存）。
   • 关键点：它只负责理解已有的内容，不负责预测新内容。这就像把画好的部分拍下来，存进大脑里。

2. 第二通道（执行画家/位置向导）：

   • 这位“执行画家”手里拿着一张**“任务清单”**。清单上写着：“现在我要画第 5 行第 3 列的花”、“现在我要画第 2 行第 8 列的鸟”。
   • 这些“任务清单”就是论文里说的**[MASK] 令牌**（带位置信息的占位符）。
   • 画家看着“任务清单”，直接去“总指挥”的“记忆库”里找灵感，然后同时把清单上要求的几个地方画出来。

为什么这样厉害？

• 快：因为可以一次画好几个地方（并行），速度比旧方法快了30 倍！
• 省内存：它不需要把整个画布的所有信息都反复计算，只保留必要的“记忆库”，内存占用减少了75%。
• 灵活（零样本泛化）：这是最酷的一点。因为画家是看“位置清单”来画的，而不是死记硬背顺序。
  • 修图（Inpainting）：如果你把画中间挖个洞，给画家一张“补全中间”的清单，他就能补上。
  • 扩图（Outpainting）：如果你把画布变大，给画家一张“画右边空白”的清单，他就能画出来。
  • 以前这些任务需要专门训练，现在 ARPG 不需要额外训练，直接就能做！

4. 实际效果怎么样？

论文里的实验数据非常漂亮：

• 质量高：画出来的图非常逼真，清晰度（FID 分数）超过了之前的很多顶尖模型。
• 速度快：以前画一张图可能要等很久，现在几秒钟就能搞定。
• 功能多：不仅能画图，还能根据文字描述画图（文生图），还能根据草图、深度图控制画面风格。

总结

简单来说，ARPG 就像给 AI 画家装上了**“多线程处理”的大脑和“位置导航”系统。它不再死板地按顺序画画，而是能同时**处理画布上的多个任务。

• 以前：像蜗牛爬，只能一步一步走，走错了很难回头。
• 现在：像蜘蛛侠，可以在画布的任意位置跳跃，同时处理多个任务，既快又准，还能随时修补或扩展画面。

这项技术让 AI 生成图像变得更高效、更灵活，未来我们可能能瞬间生成超高清的复杂图像，或者像玩拼图一样随意修改和扩展任何图片。

技术摘要

1. 研究背景与问题 (Problem)

现有的自回归（Autoregressive, AR）图像生成模型（如 LlamaGen, VQGAN 等）通常采用光栅扫描顺序（Raster-order）进行逐 Token 预测。这种方法存在两个主要瓶颈：

• 推理效率低：由于必须严格遵循预定义的顺序（如从左到右、从上到下），无法并行生成，导致高分辨率图像生成速度极慢。
• 零样本泛化能力差：严格的因果依赖限制了模型处理非因果任务的能力，例如图像修复（Inpainting）、图像扩展（Outpainting）和分辨率扩展，这些任务通常需要模型根据上下文随机预测缺失部分，而传统 AR 模型难以在不微调的情况下完成。

虽然已有尝试（如 MaskGIT 使用双向注意力，RandAR 使用位置指令 Token）来引入随机顺序，但它们要么牺牲了 KV Cache 导致显存和计算开销巨大，要么因为序列长度加倍而增加了计算负担。

2. 核心方法论 (Methodology)

ARPG 的核心创新在于提出了一种解耦的解码框架（Decoupled Decoding Framework），实现了随机并行解码（Randomized Parallel Decoding）。

2.1 核心洞察 (Key Insights)

作者通过观察发现：

1. 位置引导的必要性：打破 AR 模型的顺序限制需要显式的位置引导。
2. 掩码建模的低效性：传统的掩码建模（Masked Modeling）仅在 Mask Token 上计算损失，导致未掩码 Token 的查询向量（Query）无法获得直接梯度，训练效率低。
3. 注意力冗余：在随机顺序生成中，Mask Token 之间的相互注意力是冗余的，它们主要应关注未掩码的内容 Token。

2.2 两阶段解码架构 (Two-Pass Decoder Architecture)

ARPG 将预测过程解耦为两个独立的阶段，利用因果注意力机制实现随机顺序生成：

• 第一阶段：内容表征学习 (Content Representation Learning)

  • 使用标准的因果自注意力（Causal Self-Attention）。
  • 输入是已知内容的 Token 序列（顺序可以是随机的）。
  • 目的：不直接预测 Token，而是生成丰富、上下文感知的内容表征（Key-Value 对）。这些 KV 对作为历史信息的完整摘要。
  • 优势：内容表征可以独立学习，且避免了 Mask Token 对内容表示的干扰。

• 第二阶段：位置引导解码 (Position-Guided Decoding)

  • 使用因果交叉注意力（Causal Cross-Attention）。
  • Query：由与数据无关的 [MASK] Token 生成，但注入了目标位置信息（通过右移输入序列的位置嵌入实现）。这些 Query 充当“目标感知”的探针。
  • Key/Value：来自第一阶段输出的内容表征。
  • 过程：多个 Query（对应多个待预测位置）可以同时并行地关注同一个 KV Cache，从而在一个步骤中预测多个 Token。

2.3 训练与推理策略

• 训练：在打乱顺序的序列上进行因果自回归训练。位置信息被右移并嵌入到 [MASK] Token 中作为 Query。
• 推理：
  1. 先通过 Pass-1 计算已知 Token 的 KV Cache。
  2. 在 Pass-2 中，并行输入多个目标位置的 Query，利用交叉注意力一次性预测多个 Token。
  3. 注意力模式泛化：训练时使用因果注意力，推理时可泛化为块状注意力（Block-wise Attention），允许局部双向感知，进一步提升生成质量和鲁棒性。

3. 主要贡献 (Key Contributions)

1. 提出 ARPG 框架：首个支持完全随机 Token 顺序并行生成的视觉自回归模型，通过解耦内容表示与位置引导，克服了传统逐 Token 预测的效率和泛化瓶颈。
2. 高效的零样本泛化：无需针对特定任务微调，即可直接支持图像修复、扩展、分辨率提升等零样本任务，因为模型本质上是基于位置引导的随机生成。
3. 显著的性能提升：
   • 速度：相比光栅顺序 AR 模型（如 LlamaGen）快 30 倍，相比其他并行 AR 模型快 3 倍。
   • 显存：在同等规模下，显存占用减少 75%（相比 VAR 等模型）。
   • 质量：在 ImageNet-1K 256x256 基准上，32 步采样即可达到 FID 1.83，优于现有 SOTA 方法。

4. 实验结果 (Results)

• ImageNet-1K 生成：
  • ARPG-XXL (1.3B 参数)：在 32 步采样下达到 FID 1.83，吞吐量高达 55.28 img/s，显存仅 7.22 GB。
  • 对比 LlamaGen-XXL：速度提升 30 倍，FID 更优（1.83 vs 2.62）。
  • 对比 VAR-d24：速度更快，显存减少 75%。
• 文本到图像生成 (Text-to-Image)：
  • 在 512x512 分辨率下，仅使用 4M 数据微调 50 个 epoch，ARPG-XL 的吞吐量达到 30.11 img/s，远超 LlamaGen-XL (0.83 img/s) 和 SD-v1.5 (4.32 img/s)，且生成质量相当。
• 可控生成与零样本任务：
  • 在 Canny 边缘和深度图控制生成任务中，ARPG 显著优于 ControlVAR 和 ControlAR。
  • 在零样本图像修复、扩展和分辨率提升任务中，表现出极高的语义一致性和图像保真度。

5. 意义与影响 (Significance)

• 打破效率与质量的权衡：ARPG 证明了在保持甚至提升生成质量（FID）的同时，可以大幅降低推理延迟和显存消耗，为高分辨率实时图像生成提供了新的范式。
• 统一生成范式：该方法统一了自回归生成的灵活性与并行计算的高效性，使得自回归模型能够像扩散模型或掩码模型一样灵活处理非因果任务（如修复、编辑），同时保留了自回归模型在序列建模上的优势。
• 架构创新：提出的“内容 - 位置解耦”和“两阶段解码”机制为未来的 Transformer 架构设计提供了新思路，特别是在处理长序列和随机顺序依赖任务方面。

总结：ARPG 通过巧妙的架构设计，成功解决了自回归图像生成中“顺序依赖导致效率低”和“难以泛化”的两大难题，在速度、显存和生成质量上均设立了新的基准，是迈向高效、通用视觉生成模型的重要一步。