🤖 AI

RaPD: Resolution-Agnostic Pixel Diffusion via Semantics-Enriched Implicit Representations

RaPD 引入了一种分辨率无关的像素扩散框架，该框架在连续的神经图像场潜在空间内运行，利用语义引导和坐标查询注意力机制，以固定的计算成本实现任意分辨率下的高质量图像生成。

原作者： Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你想画一幅画。大多数现代 AI 艺术生成器的工作原理就像是一个像素网格。它们决定在一个已经划分为微小方块（像素）的画布上进行绘画。如果你要求一张小图，它们会填充一个小网格；如果你要求一张巨大的 8K 图片，它们就必须构建一个巨大的网格，这需要大量的时间和计算能力。这就像试图通过拼接数百万个预先制作好的小方块瓷砖来绘制一幅壁画；壁画越大，你需要制作的瓷砖就越多。

一些较旧的方法试图通过使用神经图像场（NIFs）来解决这个问题。不要把这些方法想象成瓷砖网格，而要想象成一种连续、平滑的液体。你可以在任何一点将画笔浸入这种液体中，它会告诉你该处应该涂什么颜色。这非常棒，因为你可以画一个小点或一面巨大的墙，而无需改变液体本身。

问题所在：
论文指出，迄今为止这些“液体”方法的使用存在一个主要缺陷。它们被训练成了复印机，而不是创造者。

复印机问题：如果你拿一张低分辨率的照片，并要求 AI“想象”出缺失的细节以将其变为高分辨率，这种液体方法效果很好。它擅长插值（填补空白）。
创造者问题：但是，如果你要求 AI 根据文本提示（例如“一只毛茸茸的狐狸在滑雪”）从头发明一张新图像，这种液体方法就会失败。它无法充分理解图像的故事或语义，从而无法创造出连贯的内容。这就像拥有一桶油漆，它知道如何完美地匹配颜色，却完全不知道狐狸长什么样。

解决方案：RaPD
作者提出了RaPD（分辨率无关的像素扩散）。他们建立了一个新系统，将这种“复印机液体”转变为“创造者液体”。以下是他们是如何做到的，使用了简单的类比：

1. “智能液体”（语义表示引导）

想象 AI 的“液体”（潜在空间）就像一本空白笔记本。

旧方法：这本笔记本只被教导如何完美地复制文本。
RaPD 的方法：在 AI 开始创作之前，他们使用一位聪明的老师（一个名为 DINOv2 的强大视觉模型）来教导这本笔记本。他们向笔记本展示图片并说：“不要只是复制像素；要理解这个形状是‘狐狸’，这种颜色是‘复古服装’。”
结果：AI 学会了将图像的意义存储在连续的液体中，而不仅仅是视觉纹理。这弥合了“重建”与“生成”之间的差距。

2. “通用画笔”（坐标查询注意力渲染器）

一旦 AI 创建了它的“智能液体”（去噪后的潜在表示），就需要将其转化为图像。

旧方法：画笔是一个简单的局部工具。它观察一滴微小的液体，并决定一个像素的颜色。它无法与邻居交流。
RaPD 的方法：他们构建了一个超级画笔，称为坐标查询注意力渲染器（CQAR）。这支画笔很特别，因为：
- 它确切地知道自己在画哪里（坐标）。
- 它在画一个点时，可以观察整幅画面。它会问：“我在这里画狐狸的耳朵；液体的其余部分是否表明身体在那里？”
- 这使得它能够对整个图像进行推理，确保狐狸的尾巴不会出现在错误的位置，即使图像非常巨大。

3. “魔法画布”（分辨率无关）

这是最酷的部分。

旧网格：要生成一张 4K 图像，AI 必须运行一个繁重、缓慢的过程来生成相当于 4K 的数据量。要生成一张 8K 图像，它必须再次运行该过程以生成更多的数据。
RaPD 的魔法：AI 只需生成一次“智能液体”。无论最终图片有多大，这都需要固定的时间。
- 想要一张 512x512 的图像？你在液体中蘸取 512 个点。
- 想要一张 4096x4096 的图像？你在同一液体中蘸取 4096 个点。
- 成本：昂贵的部分（制作液体）保持不变。唯一变化的是你蘸取画笔的次数。这意味着 RaPD 可以几乎以生成小图的速度生成巨大的高分辨率图像，而其他方法则会随着图像变大而呈指数级变慢。

结果总结
论文表明，RaPD 能够：

根据文本提示生成图像，其效果优于以前的基于像素的方法，错误更少（例如形状破碎）。
扩展到任意分辨率（从小缩略图到巨大的 4K+ 墙面），而无需重新训练模型。
在保持“创作”部分的计算成本固定的同时做到这一点，仅随着图像变大，为“绘画”部分支付少量额外成本。

简而言之，RaPD 教会 AI 理解连续图像的意义，并赋予它一支画笔，可以随时随地以任意尺寸绘制这种意义，无需每次画布变大时都重建整个工厂。

技术摘要：RaPD（分辨率无关的像素扩散）

1. 问题陈述

自然图像本质上是连续的，然而现代生成模型主要在离散的空间网格上运行（无论是在 VAE 潜在空间还是像素空间）。这种离散化施加了一个根本性的限制：在任意、未见过的分辨率下生成图像需要增加 token 数量和计算成本，使得原生高分辨率生成变得具有挑战性。

现有的任意分辨率生成方法通常仅在解码阶段引入连续性。

GAN 使用坐标查询的多层感知机（MLP），但生成能力有限。
潜在扩散模型（LDMs） 采用灵活的解码器，但扩散过程本身仍局限于离散的、压缩的潜在空间，继承了 VAE 的瓶颈，并将语义与离散内容绑定。
像素扩散模型 直接在像素上操作，但仍需在固定的离散网格上生成。
神经图像场（NIFs） 如 LIIF 和 CLIF 能够实现无分辨率渲染，但主要训练用于插值和重建。它们的潜在空间针对局部外观线索进行了优化，缺乏高质量生成建模所需的语义结构。

所解决的核心问题是重建与生成之间的差距：现有的连续表示在超分辨率重建方面表现出色，但在直接用于文本到图像生成时却失效。本文探讨是否可以将图像生成构建在“连续像素”之上，而非离散网格或压缩代理之上。

2. 方法论

作者提出了RaPD（分辨率无关的像素扩散），这是一个直接在连续神经图像场（NIF）潜在空间中执行扩散的框架。该框架包含两个主要阶段和三个关键技术组件。

2.1 基本框架

RaPD 采用两阶段设计：

阶段 1（NIF 学习）： 编码器 $E_\phi$ 将输入图像映射为密集的高分辨率 NIF 潜在变量 $z$ ，无需空间下采样。坐标查询注意力渲染器（CQAR）在任意目标坐标处渲染该潜在变量。
阶段 2（扩散训练）： 编码器和渲染器被冻结。一个 DiT 风格的去噪器被训练用于在归一化的 NIF 潜在变量上预测流匹配速度，并以文本嵌入为条件。

在推理过程中，单个去噪后的潜在变量仅通过更改查询坐标网格即可在任意目标分辨率下渲染，无论输出尺寸如何，扩散成本保持固定。

2.2 语义表示引导（SRG）

为了弥合面向重建的 NIF 与生成建模之间的差距，RaPD 引入了 SRG，该机制在表示和扩散训练两个层面运作：

语义蒸馏： 由于标准 NIF 潜在变量缺乏语义结构，RaPD 在阶段 1 期间将来自冻结的视觉基础模型（DINOv2 ViT-B/14）的语义注入到密集的 NIF 潜在变量中。
- NIF 潜在变量 $z$ 被投影以匹配 DINOv2 的 patch 网格。
- 优化包含余弦损失（强制逐位置语义一致）和距离矩阵相似性损失（保留成对关系几何）的组合对齐损失。
- 这起到了形成性监督的作用，将潜在变量塑造成生成感知的表示，同时不牺牲坐标渲染能力。
潜在密度感知的时间步偏移： 标准的流匹配调度是为压缩的 VAE 潜在变量设计的。RaPD 的 NIF 潜在变量是密集且高分辨率的。为了补偿这种增加的信息密度，作者在流匹配调度中引入了更大的时间步偏移因子（ $s=32$ ）。这优先考虑了重噪声阶段（小 $t$ ），这对于在密集潜在空间中生成连贯内容至关重要。

2.3 坐标查询注意力渲染器（CQAR）

现有的隐式解码器（如 LIIF、CLIF）使用逐点 MLP 或浅层 CNN，独立处理局部特征。这些方法无法利用由 SRG 注入的全局语义结构。

RaPD 用CQAR取代了这些方法，该渲染器在查询的输出坐标上执行注意力机制，而非输入潜在网格。

Token 构建： 对于每个目标坐标，构建一个 token，包含最近邻潜在特征、绝对坐标、相对偏移和单元格大小。
窗口化注意力： 这些 token 由 Swin 风格的窗口化自注意力块处理。这使得像素间语义推理成为可能，允许渲染器在查询的像素之间进行全局推理，同时保持可扩展的计算成本。

3. 主要贡献

RaPD 框架： 一个分辨率无关的像素扩散框架，直接在 NIF 潜在空间中生成连续图像信号，将扩散成本与输出分辨率解耦。
语义表示引导（SRG）： 一种策略，通过语义蒸馏和适配的流匹配调度，将面向重建的连续潜在变量转化为生成感知的表示。
坐标查询注意力渲染器（CQAR）： 一种新颖的解码器，用坐标条件化、尺度感知的注意力机制取代局部隐式算子，实现了空间连贯的任意分辨率渲染。

4. 实验结果

本文评估了 RaPD 与最先进的潜在扩散模型（如 SD3、FLUX.1-dev）和像素扩散模型（如 PixelGen、DeCo、PixNerd）。

生成质量： 在 GenEval 上，RaPD 取得了 0.85 的总分，优于 PixelGen (0.79) 和 DeCo (0.83)，在组合类别（双物体、计数、颜色）方面有显著提升。在 DPG-Bench 上，RaPD 得分为 81.6，超过了像素扩散基线。
任意分辨率生成： 尽管训练监督仅高达 $512^2$ ，RaPD 展示了对外部分布分辨率（高达 $4096^2$ ）的强泛化能力。生成的图像在高分辨率下保持了连贯的全局结构和精细细节。
效率： 关键优势在于计算可扩展性。虽然固定网格像素扩散模型（PixelGen、DeCo）的推理时间随分辨率呈二次增长，但 RaPD 的去噪成本几乎保持固定。
- 在 $4096^2$ 分辨率下，PixelGen 和 DeCo 耗时超过 61 秒。
- RaPD 在相同分辨率下仅需 2.13 秒，因为扩散成本独立于输出尺寸。

5. 意义与局限性

意义：
本文声称，RaPD 通过将过程构建在“连续像素”之上，从根本上改变了图像生成的范式。它成功证明了无需 VAE 的信息瓶颈或离散像素扩散的二次成本扩展，即可实现高质量、分辨率无关的生成。通过将潜在空间视为连续信号而非离散网格，RaPD 在高分辨率下实现了生成质量与推理效率的独特结合。

局限性：
作者承认了几个限制：

数据规模： 该模型在约 3600 万张图像（BLIP3o）上训练，远少于商业规模模型（如 SD3、FLUX），这可能限制了绝对生成质量。
文本编码器： 使用冻结的、相对紧凑的 Qwen3-1.7B 文本编码器，与使用更大语言模型的系统相比，可能会限制对复杂提示的理解。
推理优化： 当前实现尚未利用 FlashAttention、融合内核或 FP8 量化等高级优化，这意味着报告的延迟是保守的上限。

本文结论指出，未来的工作可以集中在扩展数据集/模型、将框架扩展到可控生成/编辑，以及实施硬件感知的推理加速。