🤖 AI

Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation

本文介绍了并行展开近似（Parallel Rollout Approximation, PRA），这是一个可扩展的框架，通过生成低维中间状态来近似推理时的条件，从而弥合了像素空间自回归图像生成中的训练与推理差距，进而以显著少于以往十亿级参数模型的参数量，在 ImageNet-1K 上实现了最先进的 FID 分数。

原作者： Jiayi Xu, Di He, Guolin Ke

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiayi Xu, Di He, Guolin Ke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何一小块一小块地涂抹颜色，从而创作出一幅杰作。这正是像素空间自回归（Autoregressive, AR）图像生成所做的事情。这种方法不是使用预制的“印章”或“代码”来构建图像，而是让机器人观察原始像素（即实际的颜色），并尝试根据已经画好的部分来预测下一个色块。

论文介绍了一种名为**并行展开近似（Parallel Rollout Approximation, PRA）**的新方法，旨在解决让这个机器人感到吃力的两个主要问题。

两个大问题

1. “重体力活”问题（输出端）
想象一下，要求机器人预测下一个色块。如果这个色块只是一个微小的、简单的点，那很容易。但在这种方法中，机器人必须一次性预测一整块包含数百个颜色值的图像块（patch）。这就像是要求一名学生在一次呼吸之间写完一整篇论文。

结果： 由于任务过于艰巨，机器人在每一步都会犯大错。

2. “练习与实战”问题（输入端）
在训练期间，老师（计算机）会给机器人提供完美的、完美的先前色块作为参考。这就像是一个学生在考试时，老师会在旁边低声告诉他前几道题的正确答案。

现实情况： 当机器人真正独立绘画（推理）时，它必须观察自己之前做出的预测，而这些预测可能略有偏差。
结果： 因为机器人在练习时使用的是完美的数据，而在实战中面对的是不完美的数据，所以它的微小错误会不断堆积。一个错误的颜色会导致对下一个色块的错误预测，进而导致对下一个色块的预测也出错，最终毁掉整幅画作。

解决方案：PRA（“素描与翻译”法）

作者提出了 PRA，它通过一个巧妙的两步走策略同时解决了这两个问题。

第一步：“素描”（解决重体力活问题）
与其要求机器人直接预测高清晰度的全彩图像块，PRA 要求它先画一个微小的、简单的素描（低维的中介状态）。

类比： 与其要求机器人画一张精细的人脸，不如让它先画一个简单的火柴人轮廓。
神奇之处： 一旦机器人画出了这个简单的素描，一个特殊的“翻译官”（称为像素解码器 Pixel Decoder）会瞬间将这个素描还原成完整的、细节丰富的彩色图像块。
为什么有效： 预测一个简单的素描比预测一张复杂的图像要容易得多，因此机器人在每一步犯错的次数会减少。

第二步：“排练”（解决练习与实战的差距）
为了弥补练习与实战之间的不匹配，PRA 改变了机器人的训练方式。

旧方法： 机器人练习观察由老师提供的完美图像。
PRA 方法： 在训练期间，机器人看到的图像会被它在实战中使用的那个“翻译官”进行“污染”（即加入误差）。
类比： 想象一位音乐家在练习。他不是在完美的、寂静的舞台上演奏，而是在戴着降噪耳机练习，耳机里播放着他在上一小节中弹奏出的略微跑调的音符。这迫使他学会如何在实时表演中从自己的错误中恢复过来。
“并行”技巧： 通常为了模拟这种过程，你必须让机器人在训练时一步步地画出整幅画，这非常缓慢。PRA 非常聪明：它在同时为每一个步骤创建这些“不完美的练习图像”。这就像是有 100 个演员在同时排练台词，而不是等待一个演员说完后才开始下一个。

实验结果

论文在著名的图像数据集（ImageNet）上测试了该方法。

胜出者： 他们的新模型 PRA 创建的图像比以往那些尝试直接用像素绘画的方法更加清晰、更加逼真。
规模： 即使是他们规模较小的版本（拥有 1.35 亿个“脑细胞”），也击败了其他研究人员开发的更大规模（十亿级）的模型。
加分项： 由于该模型学会了如此深刻地理解原始像素，它在图像识别（分类）方面也表现得非常出色，这表明它不仅学会了如何复制图像，还学会了对图像进行深层的理解。

总结

PRA 就像是给了艺术家一条捷径：与其费力地试图一次性完美地画出每一个细节，不如先画一个快速素描，然后让机器来填充细节。同时，他们通过观察自己不完美的素描来进行练习，这样在独自绘画时就不会感到困惑。其结果是一种更快、更聪明且更准确的从零开始生成图像的计算机方法。

技术摘要：用于像素空间自回归图像生成的并行展开近似 (Parallel Rollout Approximation)

1. 问题陈述

像素空间自回归 (Autoregressive, AR) 图像生成旨在将图像建模为原始像素块的序列，而不依赖于离散化分词器 (tokenization) 或单独预训练的分词器。虽然这一概念直观易懂，但该方法面临两个耦合的挑战，这些挑战在历史上限制了其性能与潜空间 AR 或扩散模型相比的表现：

输出侧挑战（高维预测）： 在单个 AR 步骤中预测高维原始像素块（例如 16×16 像素块对应的 768 维向量）非常困难，这会导致巨大的单步生成误差。
输入侧挑战（训练-推理不匹配）： 标准的教师强制 (teacher-forcing) 训练将模型置于干净的地面真值 (ground-truth) 前缀条件下。然而在推理过程中，模型必须以其自身先前生成的（可能存在误差的）像素块为条件。这种不匹配导致误差在多个 AR 步骤中累积并传播，即所谓的曝光偏差 (exposure bias) 现象。

现有的缓解策略，如 $x$ -预测（在扩散模型中有效）或输入噪声注入，仅能部分解决这些问题。精确的展开训练 (Exact rollout training) 虽然可以让模型在训练期间接触到其生成的序列前缀，但对于连续标记 (continuous-token) 的 AR 而言，由于需要为每个标记进行顺序采样，其计算成本极高。

2. 方法论：并行展开近似 (Parallel Rollout Approximation, PRA)

作者提出了 并行展开近似 (PRA)，这是一个可扩展的框架，旨在同时解决输出和输入方面的挑战，同时保持“像素输入、像素输出”的接口特性。

2.1 输出侧：端到端中间目标

为了降低单步生成的难度，PRA 不直接预测高维像素块。相反，它生成低维中间状态（ $z_i \in \mathbb{R}^{d_z}$ ，其中 $d_z \ll d$ ）。

目标构建： 在训练期间，通过轻量级投影网络 $g_\psi$ ，将地面真值像素标记 $x_i$ 和因果前缀表示 $h_{i-1}$ 映射为目标中间状态 $z_i$ 。该目标是上下文感知的，整合了来自前缀的信息。
解码： 因果像素解码器 $D_\phi$ 将生成的中间状态 $\hat{z}_i$ （以及之前的状态 $\hat{z}_{<i}$ ）映射回像素空间，从而产生输出标记 $\hat{x}_i$ 。
训练： AR 模型使用标记级扩散头（整流流/rectified-flow 目标）来预测 $z_i$ ，同时解码器被训练为从 $z_i$ 重构 $x_i$ 。这使得 AR 主干网络可以在较低维度的空间内运行，而外部接口仍保持在像素空间。

2.2 输入侧：并行推理式输入

为了在不进行顺序展开的情况下弥合训练与推理之间的差距，PRA 并行地构建了类推理像素输入。

机制： PRA 不直接在干净的地面真值像素上进行训练，而是通过扰动目标中间状态 $z_i$ （使用整流流插值）来创建噪声状态 $\tilde{z}_t$ 。这些状态通过与推理时相同的像素解码器，生成重构的像素标记 $\bar{x}_i$ 。
并行性： 由于每个 $\bar{x}_i$ 是根据其对应的目标状态独立构建的（而非来自顺序的自回归轨迹），因此该过程可以实现完全并行化。
训练循环： 随后，AR 模型被训练为在以这些重构的、类推理像素 $\bar{x}_{<i}$ 为条件的预测目标 $z_i$ 。这近似模拟了推理时展开的误差结构，同时保留了教师强制训练的高效性。

3. 核心贡献

统一框架： PRA 是首个可扩展的框架，它在不使用单独预训练分词器的情况下，共同解决了高维输出误差和训练-推理不匹配的问题。
中间状态学习： 该论文引入了一种端到端学习的中间目标空间，该空间是专门为因果 AR 模型优化的，而不是依赖于来自 VAE 的冻结潜空间。
并行展开近似： 该方法通过一种并行的、非顺序的解码像素输入构建方式，成功近似了展开训练（使模型接触生成上下文）的优势。
像素输入、像素输出接口： 与潜空间 AR 模型不同，PRA 保持了与原始像素块的直接接口，便于在统一图像生成与理解任务中的应用。

4. 实验结果

作者在 256×256 分辨率下的 ImageNet-1K 类条件生成任务上评估了 PRA。

达到最先进性能 (SOTA)：
- PRA-S (135M 参数)： 实现了 2.58 的 FID，超越了之前的十亿级参数像素空间 AR 模型（例如 FARMER-1.9B，FID 为 3.60）。
- PRA-L (511M 参数)： 实现了 1.94 的 FID，树立了像素空间 AR 模型的新标杆。
消融实验：
- 中间目标： 上下文感知目标（整合了前缀表示）的表现优于仅局部目标或冻结的 LDM 编码器。研究发现中间维度 $d_z=16$ 是最优选择。
- 输入构建： 使用解码后的像素输入 (PRA) 的表现显著优于在干净的地面真值像素、地面真值中间状态或简单噪声注入上进行训练，证实了匹配推理时像素反馈循环的必要性。
图像理解：
- 在应用于 ImageNet 线性探测时，PRA-L 达到了 68.80% 的 Top-1 准确率，超越了潜空间 AR 基准（SphereAR-L: 52.19%）和像素空间扩散基准（JiT-L: 42.76%）。这表明该模型学习到了可迁移的视觉表示。

5. 意义与主张

本文声称 PRA 解决了阻碍像素空间 AR 与扩散模型及潜空间 AR 竞争的基本瓶颈。通过利用低维中间状态降低单步生成难度，并通过并行展开近似减轻误差累积，PRA 实现了直接从原始像素进行高质量图像生成。

作者强调，PRA 的“像素输入、像素输出”特性，结合其在线性探测上的强劲表现，暗示了其作为统一像素空间模型的潜力，这类模型能够同时具备高保真图像生成能力和鲁棒的视觉理解能力，从而消除了对独立分词器或自动编码器的需求。

局限性： 作者指出，PRA 引入了额外的组件（中间状态编码器、像素解码器以及训练期间额外的并行 AR 前向传递过程）。尽管这些组件是端到端训练的，但仍需进一步研究来验证该框架在更广泛数据领域和生成任务中的有效性。