🤖 machine learning

JLT: Clean-Latent Prediction in Latent Diffusion Transformers

本文介绍了 JLT，一种潜在扩散 Transformer，其表明在潜在空间中，通过更好地处理低方差方向并实现更优的 ImageNet 256x256 生成质量（FID 2.50），干净潜在预测优于速度预测，这表明预测目标是依赖于表示的几何选择，而非可互换的代数参数化。

原作者： Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人画出一幅完美的猫的图片。你不是给它看最终的照片，而是给它看一张模糊、充满噪点的猫的变体，然后问：“在所有这些杂讯之下，那只干净的猫看起来是什么样子的？”

长期以来，人工智能研究人员一直在争论如何提出这个问题。机器人应该猜测需要去除的“噪点”吗？应该猜测图像变化的“速度”吗？还是应该直接尝试猜测最终、干净的图片？

这篇题为JLT的论文认为，即使机器人是在处理图像的压缩、简化版本（称为“潜在空间”）时，直接猜测最终干净的图片也是最佳方案。

以下是他们发现的分解，使用了简单的类比：

1. 设置：“压缩”画板

通常，人工智能模型处理的是原始像素（数百万个微小的彩色点）。这就像试图在巨大的高分辨率画布上绘制杰作。这既缓慢又混乱。

为了加快速度，研究人员使用一个“压缩器”（VAE），将图像转换为更小、简化的代码——一个“画板”。人工智能学习在这个画板上作画，然后解码器将草图还原为完整的照片。

作者提出的大问题是：一旦我们在这个简化的画板上工作，我们要求人工智能预测什么仍然重要吗？

2. 竞争者：噪点与干净图像

作者为两种类型的人工智能模型设置了一场公平的比赛。他们使用了完全相同的“画板”、完全相同的“大脑”规模（Transformer 架构）以及完全相同的训练时间。唯一的区别是它们被赋予的目标：

“速度”选手（DiT）： 该模型被告知：“别担心最终的图片。只要告诉我图像为了到达那里正在移动的方向和速度。”这就像问司机：“你的加速度是多少？”
“干净”选手（JLT）： 该模型被告知：“忽略速度。只要告诉我最终、干净的图片现在看起来是什么样子的。”这就像问司机：“目的地是哪里？”

3. 比赛结果

结果很明确：“干净”选手（JLT）以巨大优势获胜。

当“干净”模型尝试画一只猫时，结果清晰且逼真（得分为 2.50）。
当“速度”模型尝试时，结果更模糊且不太准确（得分为 6.56）。

这种情况发生的原因是，虽然在数学上你可以将“速度”答案转换为“干净图片”答案，但作者发现，人工智能学习回答问题的方式会改变最终绘图的质量。

4. 为什么“干净”选手赢了？（类比）

这篇论文使用了一个涉及“噪点”和“信号”的巧妙数学解释。

想象一下，“画板”上有一些非常重要的方向（比如猫耳朵的形状），还有一些方向只是随机的杂讯（比如一粒微小的灰尘）。

“速度”方法以相同的方式对待每个方向。它为所有方向添加了一个恒定的“底噪”噪音。它意外地放大了微小的随机灰尘颗粒，使它们变得响亮且令人分心。这就像是一个调大了所有音量的麦克风，包括背景嘶嘶声。
“干净”方法更聪明。它意识到某些方向（那些随机灰尘）在实际数据中没有多少“信号”。因此，它自然地调低了这些弱方向的音量。它将精力集中在重要部分（耳朵、眼睛）上，而忽略杂讯。

简而言之：“干净”模型学会忽略噪点，而“速度”模型意外地让噪点变得更响。

5. 结论

作者得出结论，在人工智能图像生成的世界里，你如何构建问题与你用来回答问题的“大脑”同样重要。

即使你正在处理图像的压缩、简化版本，要求人工智能“预测干净的结果”在几何上也优于要求它“预测变化的速度”。这不仅仅是用不同的方式书写相同的数学公式；它是一种根本不同的学习方式，能带来更好的图片。

总结： 如果你想要最好的人工智能艺术，不要仅仅让人工智能变得更聪明；确保你要求它猜测最终图片，而不是到达那里的过程。

技术摘要：JLT：潜在扩散 Transformer 中的干净潜在预测

问题陈述

去噪扩散模型传统上通过逆转一个破坏过程来工作，但神经网络被训练去预测的具体目标因架构而异。常见的目标包括噪声（ $\epsilon$ ）、速度（ $v = x - \epsilon$ ）或干净数据（ $x$ ）。虽然这些目标在固定的破坏时间下在代数上是可转换的，但最近的研究（例如 JiT）表明，在有限的网络容量和有限数据条件下，预测目标的选择会显著改变回归问题的难度。具体而言，预测干净数据允许模型专注于结构化、低维流形变化，而不是重建环境中的、流形之外的噪声。

本文解决的核心问题是：当模型在压缩的潜在空间而非原始像素空间中运行时，这种“干净预测”的优势是否依然存在。在潜在扩散中，变分自编码器（VAE）已经去除了大部分原始像素的变异性。作者研究了即使表示空间被固定并压缩，预测目标（ $x$ 与 $v$ ）的几何属性是否仍然是一个关键因素。

方法论

作者引入了JLT（联合潜在 Transformer），这是一个受控的实验框架，旨在隔离固定潜在空间内预测目标的影响。

架构与设置：
- 骨干网络：一个基础规模的 Transformer（1.3 亿参数），包含 12 个块，隐藏层维度为 768，12 个注意力头，与 JiT-B/16 的配置镜像对应。
- 表示：模型在冻结的FLUX.2 VAE潜在代码上运行。这确保了所有比较变体之间的表示空间完全相同。
- 训练：模型在 ImageNet 256 $\times$ 256 上训练 25 万步（200 个 epoch）。
- 控制变量：研究严格保持表示（FLUX.2 VAE）、架构规模、优化器设置、批量大小和采样协议不变。
实验比较：
作者在相同设置下比较了两个主要变体：
- JLT（干净潜在预测）：网络被直接监督以预测干净潜在向量 $x$ 。
- DiT（速度预测）：一个匹配的基线，网络被监督以预测速度向量 $v = x - \epsilon$ 。
- 变体：实验在两个 VAE 网格补丁大小下进行，记为 /1 和 /2（例如 JLT-B/1 与 DiT-B/1）。
理论分析：
论文提供了局部高斯分析来解释经验差距。假设潜在数据分布的局部线性高斯近似（ $x \sim \mathcal{N}(0, \Sigma)$ ）和独立噪声（ $\epsilon \sim \mathcal{N}(0, I)$ ）：
- 协方差结构：速度目标的协方差为 $Cov(y_v) = \Sigma + I$ ，而干净目标的协方差为 $Cov(y_x) = \Sigma$ 。这意味着速度预测在每个方向上都增加了一个各向同性的单位基底。在干净数据方差较低的方向（流形支持较弱），速度预测迫使模型学习一个单位方差的目标，实际上放大了这些方向上的噪声。
- 条件模糊性：分析表明，相对于干净预测，速度预测的贝叶斯残差方差被放大了 $1/(1-t)^2$ 倍。随着数据协方差的特征值 $\lambda_i$ 趋近于零，干净预测的系数趋向于 0（衰减该方向），而速度系数趋向于 $-1/(1-t)$ （放大该方向）。

关键结果

ImageNet 256 $\times$ 256 上的实验表明，存在一致且显著的有利于干净潜在预测的性能差距：

定量性能：
- JLT-B/1（干净）在 classifier-free guidance 下实现了 2.50 的 FID-50K，而匹配的 DiT-B/1（速度）为 6.56。
- JLT-B/2（干净）实现了 14.81 的 FID-50K，而 DiT-B/2 为 28.71。
- 初始分类器得分（IS）也显示出显著改善（例如 /1 变体为 232.51 对比 132.12）。
训练动态：训练曲线表明，干净潜在模型更早（约 10 万步）进入低 FID 区域，并在整个训练过程中保持相对于速度模型的明显优势。
鲁棒性：该优势在不同的分词粒度（/1 和 /2）下均成立，表明这种益处并非特定补丁大小的产物。

意义与主张

本文主张，潜在扩散中预测目标的选择是一个几何建模选择，而不仅仅是一个代数参数化问题。

目标几何优于压缩：结果反驳了仅靠潜在压缩就能解释潜在扩散效率的观点。性能差距存在于同一固定潜在空间内，证明了“目标几何”（监督信号的分布）是与“表示几何”（VAE 分词器）不同的因素。
改进机制：作者认为，干净预测之所以更优，是因为它抑制了低方差潜在方向（这些方向通常是噪声或流形特征支持较弱），而速度预测通过继承各向同性的协方差基底放大了这些方向。
主张范围：作者对其理论主张持谨慎态度。他们并不断言干净预测对所有分词器、噪声调度或采样器都是全局最优的。相反，他们提供了一个与测量到的经验差距一致的局部高斯机制。该研究被呈现为一种受控的消融实验，以隔离目标效应，而不是提出一种新的骨干架构或普遍替代所有扩散目标。

总之，本文确立了一个事实：即使在压缩的潜在空间中，直接预测干净潜在状态也比速度预测具有几何优势，从而在 ImageNet 上实现了显著更高的生成质量。