🤖 AI

Frequency Autoregressive Image Generation with Continuous Tokens

本文提出了频率自回归（FAR）范式，通过利用连续令牌并采用从低频到高频的渐进式回归方向，有效解决了传统图像自回归模型在分词格式和回归方向上的局限性，从而实现了更高效的图像生成。

原作者： Hu Yu, Hao Luo, Hangjie Yuan, Yu Rong, Jie Huang, Feng Zhao

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hu Yu, Hao Luo, Hangjie Yuan, Yu Rong, Jie Huang, Feng Zhao

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FAR（频率自回归）的新方法，用来让 AI 画图片。

为了让你轻松理解，我们可以把“让 AI 画画”想象成**“教一个盲人画家如何创作一幅画”**。

1. 以前的方法：像“读报纸”一样画画

以前的 AI 画师（比如 LlamaGen, VQGAN 等）是这么学的：

离散化（把画变成乐高积木）： 它们先把图片切成无数个小方块，每个方块只能选一种固定的颜色（就像乐高积木，只有红、黄、蓝几种，没有中间色）。这会导致细节丢失，就像用乐高拼人脸，很难拼出细腻的皮肤纹理。
按顺序画（像读报纸）： 它们必须从左上角开始，一个格子一个格子地往后画（像读报纸一样，从左到右，从上到下）。
问题： 想象一下，如果你要画一个人，你必须先画完左边的头发，再画右边的脸，最后画中间的鼻子。如果左边画歪了，后面全得跟着歪。而且，为了画一张高清图，它得画几千个格子，速度非常慢，就像要读完一整本字典才能画完一幅画。

2. 这篇论文的新方法（FAR）：像“画家起稿”一样画画

FAR 的核心思想是：不要按格子画，要按“清晰度”画。

核心概念：频谱依赖（Spectral Dependency）

想象一位老画家在画布上作画：

第一步（低频）： 他先用大笔刷，轻轻勾勒出整体的轮廓、大致的颜色和构图。这时候画面是模糊的，但你能看出画的是山还是海，是猫还是狗。
第二步（中频）： 在轮廓的基础上，他加上主要的细节，比如树叶的簇、衣服的褶皱。
第三步（高频）： 最后，他加上最精细的纹理，比如叶脉的纹路、皮肤上的毛孔、水面的波光。

FAR 就是模仿这个过程：

它不关心“左上角那个像素是什么”，它关心的是“现在画面到了哪个清晰度级别”。
它先预测模糊的“草图”（低频），然后基于草图，一步步把画面变清晰（高频）。
比喻： 就像你用手机看照片，先看到模糊的全景，然后慢慢放大，细节一点点浮现出来。FAR 就是按这个顺序“生成”细节。

3. 为什么这个方法很厉害？

A. 连续令牌（Continuous Tokens）：不用乐高，用颜料

以前的方法像乐高（只有固定的几种颜色块），这篇论文的方法像水粉颜料（颜色是连续的，可以无限细腻）。

优势： 画出来的东西更自然，没有那种“马赛克”感，细节更丰富。

B. 只要 10 步就能画完（超快！）

以前的方法画一张图可能需要走几百步甚至上千步（每画一个像素算一步）。

FAR 的做法： 它只需要走10 步！
- 第 1 步：画出模糊的轮廓。
- 第 2-9 步：一步步增加细节。
- 第 10 步：完成高清大图。
比喻： 以前是“一笔一划”地写文章，FAR 是“先写大纲，再填内容，最后润色”，效率极高。

C. 解决了“因果”难题

AI 画图片有个难点：图片是二维的，没有绝对的先后顺序（不像文字，必须先写“我”再写“爱”）。

FAR 的解法： 它利用“先有轮廓，后有细节”这个自然规律。因为细节必须依赖轮廓存在，所以这就天然符合了 AI 的“因果逻辑”，让 AI 画得更稳，结构更合理。

4. 论文里提到的几个“黑科技”技巧

为了让这个“按清晰度画画”的过程更顺畅，作者还加了一些小技巧：

加权训练（Frequency-aware Loss）：
- 问题： AI 很容易学会画模糊的轮廓（低频），但很难学会画复杂的细节（高频）。就像学生容易背公式，但很难解难题。
- 解决： 老师（训练算法）故意给“难题”（高频细节）打更高的分。如果 AI 画不好细节，惩罚就重；画好了，奖励就多。这样 AI 就会努力攻克细节。
遮罩机制（Mask Mechanism）：
- 问题： 在画模糊轮廓时，不需要把所有像素都看一遍，那样太浪费精力。
- 解决： 就像做阅读理解题时，先把不重要的词遮住，只关注核心词。这样 AI 学起来更快，而且因为“遮住”带来了一些随机性，画出来的画风格更多样，不会千篇一律。
动态采样：
- 问题： 画模糊轮廓不需要太多时间，画细节才需要时间。
- 解决： 给模糊阶段分配很少的“计算时间”，给细节阶段分配更多时间。就像开车，在空旷的高速上（低频）可以快开，在复杂的市区（高频）要慢点开。

5. 总结：FAR 到底好在哪？

画得快： 以前要几百步，现在只要 10 步。
画得细： 不用乐高积木，直接用连续颜料，细节更逼真。
画得准： 符合人类“先整体后局部”的绘画逻辑，结构不乱。
省资源： 用更小的模型、更少的数据，就能画出和那些“巨无霸”模型一样好的图。

一句话总结：
这篇论文教 AI 像人类画家一样思考：先画草图，再填细节，最后精修。它抛弃了笨拙的“像素点按顺序堆砌”的老路，找到了一条更自然、更高效的“从模糊到清晰”的绘画新路径。

1. 研究背景与问题 (Problem)

现有的自回归（Autoregressive, AR）图像生成模型通常模仿大语言模型（LLM）的成功范式，采用两阶段流程：

离散化 Tokenizer：通过矢量量化（Vector Quantization, VQ）将连续图像数据转换为有限的离散词汇表。
光栅扫描预测：将二维图像展平为一维序列，按“下一个 Token 预测”（Next-Token Prediction）的方式进行生成。

然而，这种直接迁移存在两个核心问题：

模态差异导致的 Tokenizer 局限：图像是连续、非因果且二维分布的，而文本是离散、因果且一维的。VQ 量化过程会引入显著的信息丢失（Information Loss），限制了生成质量的上限。
回归方向（Regression Direction）的不合理：传统的“光栅扫描”（从左到右，从上到下）或“随机掩码”顺序破坏了图像固有的空间局部性（Spatial Locality）。例如，下一行的第一个像素不应依赖于上一行的最后一个像素，这种人为的因果顺序不符合图像数据的内在规律。

核心挑战：如何设计一种既符合自回归模型的因果性要求，又能保留图像空间局部性，且能利用连续 Token 减少信息损失的图像生成范式？

2. 方法论 (Methodology)

作者提出了 频率渐进自回归（Frequency Progressive Autoregressive, FAR） 范式，并结合连续 Tokenizer 进行实现。

2.1 核心思想：频谱依赖 (Spectral Dependency)

原理：图像由低频分量（整体结构、亮度、颜色）和高频分量（边缘、细节、纹理）组成。高频信息的生成天然依赖于低频基础（即“先有轮廓，后有细节”）。
因果性：这种从低频到高频的构建过程天然满足自回归模型的因果性要求（低频是高频的条件）。
空间局部性：在每一个频率层级内，模型同时预测该层级所有 Token 的分布，从而保留了图像的空间局部性，避免了光栅扫描带来的长距离依赖问题。

2.2 FAR 架构设计

频率分解：利用傅里叶变换（Fourier Transform）将图像分解为 $F$ $F$ 个频率层级。
- $i=1$ ：仅保留最低频（整体平均）。
- $i=F$ ：保留所有频率（原始图像）。
- 生成过程：从 $x_1$ 开始，逐步预测 $x_2, ..., x_F$ ，最终合成完整图像。
连续 Tokenizer 集成：
- 摒弃 VQ，采用连续 Token（Continuous Tokens）。
- 利用扩散模型（Diffusion Model）作为损失函数和采样器，解决连续 Token 概率分布建模的难题。

2.3 关键技术优化

为了克服连续 Token 在多级频率建模中的优化困难和方差问题，作者提出了以下技术：

分布建模简化 (Distribution Modeling Simplification)：
- 问题：直接建模 $p(x_{i+1} | x_i)$ 对 MLP 网络压力过大。
- 方案：简化为直接建模 $p(x | x_i)$ （即从当前低频直接预测完整图像分布），然后通过频谱滤波器提取出下一级频率 $x_{i+1}$ 。这降低了优化复杂度。
频率感知训练损失 (Frequency-Aware Training Loss)：
- 问题：高频部分容易预测，低频部分难，导致优化过程被低频主导，高频细节学习不足。
- 方案：引入正弦曲线权重的损失函数，随着频率层级 $i$ 的增加，赋予更高的损失权重，平衡各级别的学习。
掩码机制 (Mask Mechanism)：
- 目的：提高训练效率并增加生成多样性。
- 方案：在低频阶段（信息稀疏），随机掩码部分输入 Token（Mask Ratio 从 0.7 线性降至 0），减少计算量并引入随机性。
频率感知扩散采样 (Frequency-Aware Diffusion Sampling)：
- 目的：加速推理。
- 方案：低频信息简单，只需少量扩散采样步数；高频信息复杂，需要更多步数。动态分配采样步数，显著降低推理成本。

3. 主要贡献 (Key Contributions)

提出 FAR 范式：首次将“频谱依赖”作为自回归图像生成的回归方向，完美契合 AR 的因果性要求，同时保留了图像的空间局部性。
连续 Token 与 AR 的深度融合：系统性地解决了连续 Token 在自回归框架下的优化和方差挑战，提出了一系列高效训练和推理技术（简化建模、加权损失、动态采样）。
高效性与可扩展性：证明了 FAR 在大幅减少推理步数（仅需 10 步）的同时，仍能保持高质量的生成效果，且模型规模和数据需求远小于现有 SOTA 模型。

4. 实验结果 (Results)

实验在 ImageNet（分类条件生成）和 JourneyDB（文生图）数据集上进行。

4.1 分类条件生成 (ImageNet 256x256)

性能对比：FAR-H (791M 参数) 在 FID (3.21)、IS (300.6) 等指标上与 SOTA 方法（如 VAR, LlamaGen, MAR）相当甚至更优。
推理效率：仅需 10 步 推理（VAR 需 10 步但依赖离散 Token，MAR 需 256 步）。FAR 在保持高质量的同时，推理步数极少。
模型规模：FAR-H (812M) 远小于 LlamaGen (3.1B) 和 VQGAN 系列，但性能更优。

4.2 文生图生成 (Text-to-Image)

资源效率：FAR 使用更小的模型（564M）、更少的训练数据（7.8M 对数对）和更少的 GPU 算力，在 MS-COCO 和 GenEval 基准上取得了具有竞争力的结果。
生成质量：能够生成结构连贯、细节丰富且符合提示词（Prompt）的高质量图像。

4.3 消融实验

验证了分布建模简化、掩码机制和频率感知损失对提升 FID（多样性）和训练效率的关键作用。
证明了 VAR 范式与连续 Token 结合效果不佳（存在误差累积和分布建模困难），反衬了 FAR 设计的优越性。

5. 意义与影响 (Significance)

范式转变：打破了图像自回归生成必须依赖“离散量化 + 光栅扫描”的传统思维，证明了基于频谱依赖和连续 Token 的自回归路径是可行且高效的。
AGI 统一路径：为视觉与语言模型的统一（Vision-Language Unification）提供了新思路。连续 Token 更接近自然图像的物理属性，可能比离散 Token 更适合构建通用的多模态大模型。
效率革命：将自回归生成的推理步数从数百步降低到个位数（10 步），同时保持了与扩散模型相当甚至更好的生成质量，极大地降低了计算成本和部署门槛。
理论价值：揭示了神经网络对频谱的内在偏好（先学习低频后学习高频），并将其显式地应用于生成模型架构设计中，具有深刻的理论指导意义。

总结：FAR 通过利用图像的频谱特性，成功地将自回归模型从“离散、光栅化”的束缚中解放出来，实现了连续、高效、高质量的图像生成，是图像生成领域的一次重要突破。