💻 computer science

PixSDS: Why Latent SDS Makes Noisy Pixels

本文指出潜在分数蒸馏采样（SDS）中的结构化伪影源于 VAE 引起的像素漂移，并提出了 PixSDS，这是一种通过使用解码图像方向来抑制噪声同时保留语义内容的轻量级方法，用以修复梯度。

原作者： Vsevolod Skorokhodov

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Vsevolod Skorokhodov

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人仅凭一张模糊、低分辨率的草图来绘制杰作。这就是 AI 艺术生成的世界，特别是被称为“文本生成 3D”（text-to-3D）的技术，即计算机能将像“一条金龙”这样简单的文字描述转化为你可以绕行观察的三维物体。为了实现这一点，AI 使用了一个强大的工具，叫做分数蒸馏采样（Score Distillation Sampling, SDS）。把 SDS 想象成一位见过数百万张图片的严厉艺术老师。当机器人尝试绘画时，老师会观察结果并说：“不对，这不正确；请把像素移动到更接近真实龙的样子的地方。”于是机器人调整它的画作，并再次尝试。

然而，这里有一个问题。这位 AI 老师并不直接观察实际的像素（构成图像的微小色彩点），而是通过一个名为 VAE（变分自编码器） 的特殊翻译器，观察图像经过压缩后的隐藏“代码”版本。这就像老师只能看到绘画的摘要，而不是绘画本身。长期以来，艺术家和科学家们注意到，尽管 AI 的“摘要”看起来完美无瑕，但它生成的实际绘画却往往布满了奇怪的、类似静电噪声的纹理和奇异的色彩模式。核心问题在于：为什么老师完美的摘要会导致一幅混乱的画作？

这篇题为**《PixSDS：为什么潜空间 SDS 会导致嘈杂像素》（PixSDS: Why Latent SDS Makes Noisy Pixels）**的论文，深入探讨了这个谜团。作者 Vsevolod Skorokhodov 发现，问题不在于老师，也不在于机器人的绘画技巧，而在于翻译器的故障。他们发现，翻译器（VAE）并不能捕捉到每一个细微的错误。机器人可以通过某种方式移动像素，使其在人类眼中看起来像是静电噪声，但在翻译器看来，其“摘要代码”依然保持得完美无缺。作者指出，这种“像素漂移”（pixel drift）是导致混乱纹理的主要元凶。他们通过剥离所有复杂的 3D 部分，仅对简单的 2D 图片使用翻译器（VAE）进行了测试。实验表明，即使没有 3D 渲染器或高级扩散模型，仅仅为了匹配翻译器的代码，就足以产生这种嘈杂的混乱。这表明，这种噪声并非源于 3D 世界或特定的 AI 模型，而是翻译器工作方式的一个基本特性。

幽灵静电之谜

让我们来拆解这个故障是如何发生的。想象你在走钢丝，但你戴着眼罩，只能听到远处朋友传来的指引。你的朋友只能听到你大致的位置（你的“潜码”），而无法感知你精确的落脚点。如果你迈出一步，导致身体轻微晃动，你的朋友可能察觉不到，因为你仍处于同一大致区域内。你可以不断地左右摇晃，积累出一条颤抖、多噪的路径，而你的朋友却认为你走得非常笔直。

在 AI 世界中，“朋友”是扩散模型（老师），而“摇晃”则是像素中的噪声。论文显示，当 AI 优化图像时，它经常会滑入这些“摇动”的方向。数学证明了图像可以累积高频噪声——即那些看起来像电视静电般的颗粒状、结构化模式——而隐藏的代码却依然纯净。作者通过剥离所有复杂的 3D 部分，仅使用翻译器（VAE）处理简单的 2D 图片进行了测试。结果显示，即使没有 3D 渲染器或高级扩散模型，仅仅尝试匹配翻译器的代码，就足以创造出这种嘈杂的混乱。这表明，噪声不是 3D 世界或特定 AI 模型的漏洞，而是翻译器运作方式的一个根本性特征。

“PixSDS”修复方案：第二双眼睛

那么，如何阻止机器人摇晃呢？作者提出了 PixSDS，这是一个聪明且轻量级的修复方法，它不需要重新训练 AI，也不需要改变老师。PixSDS 不仅仅是盲目地遵循老师的指令，它还增加了一道安全检查。

这里有一个类比：想象机器人正准备根据老师的耳语迈出一步。在它行动之前，PixSDS 会说：“等一下。让我们假设我们迈出了这一步，然后通过翻译器的眼睛来看结果。如果我们把这一步解码回真实的图片，它看起来干净吗？”

如果这一步会导致产生混乱、多噪的图片，PixsDS 就会调整机器人的动作。它本质上是在说：“我们想往那个大方向走，但我们要走在干净的路径上，而不是摇晃的路径上。”它通过解码下一步并将其作为修复像素更新的指南，来计算出一个“干净的方向”。这就像拥有一个时刻检查地图的副驾驶，确保你不会开下悬崖，即使 GPS 显示一切正常。

实验结果展示

团队通过两种方式测试了这个想法。首先，他们在简单的 2D 图像生成上运行了该方法。他们将新方法与几种流行的技术进行了对比。结果很明确：虽然其他方法产生的图像带有明显的颗粒感和奇异的色彩模式，但 PixSDS 生成的图像更加平滑、干净，看起来更像是直接由 AI 生成的高质量图像。我们使用标准的图像质量和“噪声度”指标进行了测量，PixSDS 脱颖而出，在显著减少噪声的同时，保持了物体应有的外观（如狗或汽车）。

随后，他们将其应用于 3D 生成，集成在 DreamGaussian 和 LucidDreamer 等现有系统中。差异是惊人的。在这些 3D 模型中，“噪声”通常表现为物体表面漂浮的颗粒状斑点或奇怪的纹理。使用 PixSDS 后，这些伪影消失了。3D 物体看起来更加洁净，纹理更平滑，且几乎没有漂浮的静电斑点。

论文谨慎地指出，这并不意味着问题已被“永久解决”，但它有力地证明了翻译器（VAE）在处理从代码到像素的跳转时，是造成这些伪影的一个重要且此前被忽视的原因。通过修正像素更新的方向，使其与翻译器的干净代码保持一致，作者表明我们可以在无需从头重建整个 AI 系统的情况下，获得更好的效果。这是一个简单而优雅的修复方案，它让机器人不再摇晃，确保它所绘制的杰作能像老师的指令一样纯净。

技术摘要：PixSDS：为什么潜空间 SDS 会产生噪声像素

1. 问题陈述

分数蒸馏采样（Score Distillation Sampling, SDS）已成为文本生成 3D 的标准技术，它利用预训练的 2D 扩散模型作为先验，在缺乏配对文本-3D 数据的情况下优化 3D 表示。然而，基于潜空间扩散（latent-diffusion-based）的 SDS 流水线经常产生视觉上令人分心的伪影，包括结构化颜色模式、高频纹理噪声以及噪声浮动几何体。

尽管之前的研究提出了诸如修改 SDS 目标函数、改变优化过程或裁剪梯度等补救措施，但这些伪影的根本原因仍不明确。本文识别了潜空间 SDS 中的一种特定失效模式：即像素空间优化与潜空间扩散模型所使用的变分自编码器（VAE）表示之间的不匹配。

核心问题在于 VAE 引起的像素漂移（VAE-induced pixel drift）。在潜空间 SDS 中，扩散损失仅通过其编码的潜表示来约束优化的图像。由于从潜空间回到像素空间的逆映射是欠约束的（许多视觉上不同的图像会映射到相似的潜码），优化的图像可能会沿着 VAE 编码器难以察觉的像素空间方向发生漂移。因此，潜码保持干净且语义有效，而直接优化的像素图像却积累了结构化的高频噪声和伪影。

2. 方法论：PixSDS

为了解决这个问题，作者提出了 PixSDS，一种轻量级、保持 VAE 一致性的梯度修复方法。该方法不需要重新训练扩散模型、修改渲染器或替换 SDS 目标函数。相反，它在每个优化步骤中修复像素空间的更新方向。

核心机制

潜空间前瞻（Latent Look-Ahead）： 在每次迭代中，PixSDS 计算标准的潜空间 SDS 更新（ $g_{sds}^{latent}$ ）。
解码以获取干净方向： 该方法并非直接应用带噪声的图像空间梯度，而是将更新后的潜表示进行解码，以生成一个“干净”的目标图像 ( $\widehat{Z}$ ):
$\widehat{Z} = \text{dec}(\text{enc}(Z) - \beta g_{sds}^{latent})$
其中 $Z$ 是当前图像， $\beta$ 控制步长。这个 $\widehat{Z}$ 代表了图像应该移动的方向的一个与 VAE 一致的近似值。
梯度修复： 定义一个干净的方向向量 $g_{clean} = \widehat{Z} - Z$ 。该向量与原始的 SDS 图像空间梯度 ( $g_{sds}$ ) 相结合。
逐像素归一化： 为了平衡 SDS 的语义引导作用与 VAE 的降噪作用，该方法将干净方向的幅度归一化，使其与原始 SDS 梯度的逐像素通道范数相匹配：
$\widetilde{g}_{sds} = g_{sds} + \frac{g_{clean}}{\|g_{clean}\|} \odot \|g_{sds}\|$
这确保了更新在保留原始 SDS 信号的空间尺度的同时，用与 VAE 潜空间一致的方向替换了噪声像素空间运动。

3. 诊断与证据

作者通过隔离 VAE 映射作为伪影生成充分机制的受控实验，验证了“VAE 引起的像素漂移”这一假设：

张量形状： 使用低分辨率潜空间扩散模型（128 $\times$ 128）仍然会产生结构化伪影，从而排除了张量形状本身作为原因的可能性。
像素空间优化： 使用小型像素空间扩散模型（不使用 VAE）直接在像素上运行 SDS，可以生成真实的图像且没有特定的结构化伪影，从而排除了 SDS 优化本身是唯一原因的可能性。
仅使用 VAE 优化： 使用仅针对 VAE 编码器的目标（最小化 $\|\text{enc}(Z) - x\|_2^2$ ）来优化图像，会导致优化后的图像产生与潜空间 SDS 类似的结构化噪声模式，而解码后的潜码保持干净。这证实了 VAE 欠约束的逆映射足以导致干净的潜码与噪声图像之间的不匹配。

4. 核心贡献

识别失效模式： 本文识别出 VAE 引起的像素漂移是潜空间 SDS 中结构化伪影的主要来源，即像素空间参数在积累噪声的同时，其 VAE 潜码仍保持语义有效。
理论与实证诊断： 作者提供了受控的 2D 实验和简化的理论分析，证明了当逆向映射到像素的过程是欠约束时，类似编码器的潜目标会放大图像空间的噪声。
PixSDS 算法： 引入了一种轻量级的梯度修复方法，通过解码潜空间 SDS 前瞻步骤来构建干净的像素空间更新方向。
实证验证： 证明了 PixSDS 在受控 2D 优化和文本生成 3D 流水线（特别是 DreamGaussian 和 LucidDreamer）中，能显著减少结构化伪影，同时保留语义内容。

5. 结果

实验是在使用 NVIDIA V100 GPU 的 2D 图像生成和文本生成 3D 任务上进行的。

2D 生成： 在针对文本提示优化图像的受控设置中，PixSDS 在 FID、BRISQUE（图像质量）和 CLIP-IQA Noisiness 指标上取得了 SDS 类方法中的最佳表现。定性结果显示，与 SDS、SDS-Bridge、HiFA 和 NFSD 等基准相比，PixSDS 显著减少了结构化噪声和颜色伪影，同时比 2-step-SDS 更好地保留了局部细节（例如物体结构）。
3D 生成： 当集成到 DreamGaussian 和 LucidDreamer 流水线中时，与标准 SDS 相比，PixSDS 生成了更干净的纹理和更少的噪声浮动高斯体。该方法减少了诸如头盔上的噪声纹理以及资产周围的浮动伪影，且无需进行大量的超参数调优。

6. 重要性与主张

论文声称，VAE 潜空间到像素映射的几何特性是潜空间 SDS 优化中一个关键的、此前被低估的因素。PixSDS 的意义在于它能够将扩散先验的语义引导与由 VAE 欠约束逆映射引起的噪声放大现象解耦。

作者强调，其方法是适度且互补的：它并没有提出新的分数蒸馏目标或新的 3D 表示，而是提供了一种轻量级的修复机制，可以与现有的 SDS 类目标相结合。结果表明，未来的分数蒸馏方法应当考虑 VAE 映射的几何特性，以防止像素空间漂移，而不仅仅是抑制过大的梯度。