🤖 machine learning

x-Prediction Is All You Need:Training-Free Accelerated Generation via Endpoint Decodability

本文介绍了一种名为截断跳跃采样（Truncated Jump Sampling, TJS）的无需训练的加速生成方法，该方法利用标准概率路径中固有的 $x_0$ 信息，在 ODE 采样过程中提前解码清晰样本，从而在无需重新训练或更改架构的情况下，在各种扩散和流匹配模型中减少 20%–70% 的神经函数评估。

原作者： Xin Peng, Ang Gao

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xin Peng, Ang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《x-Prediction Is All You Need》的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：漫长而缓慢的步行

想象一下，你正试图用一块大理石雕刻出一尊美丽的塑像。目前，生成图像的 AI 模型（如 Stable Diffusion）就像是一个非常谨慎、动作缓慢的雕刻家。

为了得到一张清晰的图像，AI 从一团纯粹的静态噪声（就像电视机的雪花点）开始，通过一步步地剔除噪声，逐渐显现出底下的图像。

旧的方法： 为了得到一座高质量的塑像，这位雕刻家需要进行 30 到 100 次细小且谨慎的凿击（步骤）才能完成。
代价： 每一次凿击都需要 AI 进行一次沉重的脑力计算。做 100 次这样的计算既耗时又耗费计算资源。

新的想法：“水晶球”捷径

这篇论文的作者们发现了隐藏在 AI 自身训练中的一个秘密技巧。他们意识到，AI 不仅仅知道如何一点点剔除噪声；它实际上在过程中的几乎每一个阶段，都知道最终的塑像长什么样。

可以这样理解：

标准流程： 你正在沿着一条黑暗、蜿蜒的山路向上爬，目标是到达山顶。你必须走 100 个小步才能到达顶峰。
论文的发现： 在第 20 步、第 40 步甚至第 10 步时，AI 实际上手里握着一个水晶球，里面展示着一个完美、清晰的山顶景象。只是标准的指令要求 AI 忽略这个水晶球，继续坚持走到物理意义上的顶峰。

解决方案：“截断跳跃采样”（Truncated Jump Sampling, TJS）

作者提出了一种名为**截断跳跃采样（TJS）**的新策略。

与其强迫 AI 走完 100 步到达山顶，TJS 建议：

让 AI 只走几步（比如 20 步）。
停下来。
查看 AI 手里的那个“水晶球”（端点解码器/endpoint decoder）。
直接跳转到水晶球中显示的图像。

结果： 你只需用 20 步就能得到一张近乎完美的图像，而不是 100 步。你节省了 80% 的时间和能量，而且图像看起来几乎一模一样。

为什么这行得通（神奇的数学原理）

论文证明了使这一切成为可能的两个主要观点：

地图早已绘制完成： AI 在训练时就被要求在每一个时刻都预测最终的图像。即使在图像还非常模糊的早期阶段，AI 内部的数学逻辑也包含了足以“解码”出清晰图像的信息。这就像拥有一个 GPS，在你刚开始开车时就已知晓目的地，即便你还堵在车流中。
不需要笔直的道路： 之前的方法试图让山路变得完全笔直，以便让 AI 能迈出更大的步子。但这篇论文表明，你并不需要一条笔直的道路。即使路径是蜿蜒曲折的，那个“水晶球”（解码器）依然有效。无论路径多么弯曲，你都可以提前停止并直接跳向终点。

这对你意味着什么

无需重新训练： 这不是一个需要从零开始学习的新 AI 模型。它适用于人们现有的模型（如 SDXL 或 SD3.5）。这就像是给一位你已经熟悉的司机一套新的驾驶指令，而不是买一辆新车。
免费的速度提升： 它不需要额外的训练，不需要额外的资金，也不需要改变 AI 的架构。在 AI 世界里，这属于“免费的午餐”。
黄金分割点： 对于大多数图像，你可以在完成度达到 30% 到 70% 时停止处理，并获得一个与完整过程无异的结果。

关于“过早停止”的提示

论文也警告说，如果你停止得太早（比如在第 1 步或第 2 步时），水晶球里的景象仍然太模糊，无法看清。图像可能会看起来像一团模糊的混沌。但一旦你过了某个阈值（对于复杂图像，通常在第 10 到 15 步左右），质量会迅速提升，届时你可以安全地跳向终点。

总结

这篇论文的核心观点是：“别再走完整个路程了。AI 早就知道目的地在哪。直接问它，它就会告诉你。”

通过意识到 AI 在每一步中都将最终图像的答案揣在兜里，我们可以跳过那段枯燥、缓慢的旅程，直接获取结果。

技术总结：x-Prediction Is All You Need

问题陈述

扩散模型（Diffusion）和流匹配模型（Flow Matching）在生成任务中建立了最先进的性能，但面临着高昂的推理成本，通常每个样本需要数十到数百次神经函数评估（NFE）。现有的加速策略——如轨迹整流（Rectified Flow）、蒸馏（包括渐进式、一致性基础和自助式蒸馏）以及高级 ODE 解算器——通常需要对训练方案、模型架构或轨迹本身进行修改。因此，这些方法往往与现有的庞大预训练权重库（例如 SDXL, SD3.5M, FLUX）不兼容，因为它们会产生重新训练的成本。该领域缺乏一种能够对“原样”模型进行工作的无需训练的加速策略。

方法论：截断跳跃采样 (Truncated Jump Sampling, TJS)

本文提出了 截断跳跃采样 (TJS)，这是一种基于 端点可解码性 (endpoint decodability) 概念的无需训练的推理策略。

核心洞察：端点可解码性

作者形式化地指出，对于任何非退化的仿射概率路径（这是扩散和流匹配模型中定义的标准结构 $x_t = \alpha_t x_0 + \sigma_t \epsilon$ ），可以通过闭式解码器从任何中间状态 $x_t$ 及其路径速度 $u_t$ 唯一地恢复出干净样本 $x_0$ 。

代数恢复： 给定位置与速度的耦合线性系统， $x_0$ 可通过 $x_0 = (\sigma_t u_t - \dot{\sigma}_t x_t) / \Delta_t$ 进行恢复，其中 $\Delta_t$ 是路径行列式。
最优性： 在标准的 $\ell_2$ 训练目标下，该代数解码器对应于最小均方误差（MMSE）估计器 $E[x_0 | x_t]$ 。这意味着标准的预训练模型即使是在预测噪声或速度，也会在每个时间步隐式地学习预测端点 $x_0$ 。
曲率无关性： 至关重要的是，这种端点预测的误差仅取决于模型的估计精度和状态 $x_t$ 的不可约不确定性，而与轨迹的曲率 ( $\|\ddot{x}_t\|$ ) 无关。这挑战了普遍的假设，即直轨迹（如 Rectified Flow 中的轨迹）对于准确的少步生成是必要的。

算法流程

TJS 通过在时间 $t^*$ 提前停止 ODE 积分并立即输出解码后的 $x_0$ ，而非继续积分至 $t=0$ ，使这一洞察得以实现。

部分积分： 模型对总步数的比例 $\gamma$ 进行 ODE 积分（共 $k^* = \lceil \gamma K \rceil$ 步）。
提前退出： 在第 $k^*$ 步，算法使用学习到的速度场和闭式解码器计算端点估计值 $\hat{x}_0$ 。
终止： 过程停止，返回 $\hat{x}_0$ 作为最终样本。

该方法无需重新训练、无需蒸馏，也无需更改架构。它兼容任何 ODE 解算器、噪声调度、分类器自由引导（CFG）缩放或现有的检查点。

核心贡献

理论形式化： 本文将 端点可解码性（定理 5）确立为仿射路径的一个普遍属性。证明了所诱导的解码器是 MMSE 最优估计器（定理 6），并且误差分解与轨迹曲率无关（定理 9）。
对轨迹整流的挑战： 作者证明了直轨迹对于准确的端点预测是充分而非必要的（命题 12）。这实现了推理加速与轨迹整流需求之间的解耦，为为什么 TJS 在 Euler 积分会失效的弯曲路径上依然有效提供了理论依据。
无需训练的算法 (TJS)： 一个实用的采样器，可以在不修改模型或训练数据的情况下，在不同模型族中减少 20–70% 的 NFE。
全面的经验验证： 在六个模型族（SDXL, SD3.5M, Z-Image-Turbo, ImageNet-256, CIFAR-10, MNIST）上的广泛实验表明，TJS 在保持近乎匹配的质量方面，其表现优于或等同于完整的 ODE 轨迹。

实验结果

作者在类别条件和文本生成图像基准测试中评估了 TJS：

NFE 减少： TJS 在保持近乎匹配质量的同时，减少了 20–70% 的 NFE。
- SDXL/SD3.5M： 在大约节省 37–40% NFE 的情况下（在 30 步中停在 $k^* \approx 18$ ），达到了完整 ODE 质量（以 ImageReward 衡量）的 95%。
- Z-Image-Turbo： 在一个经过蒸馏的 10 步模型上，TJS 在实现 70% 额外节省 的同时（停在 $k^*=2$ ，即总共 3 个 NFE），实现了 95% 的质量保留，证明了端点可解码性在蒸馏轨迹中依然存在。
- 类别条件： 在 MNIST 和 CIFAR-10 上，TJS 有时甚至优于完整 ODE（即“过冲”现象），因为它避免了 Euler 积分最后几步中累积的离散化误差。
指标层级： 实验揭示了一个收敛层级：语义内容（CLIP, PickScore）较早解决（通常在 $k^* \approx 12$ 时），而细粒度的美学细节（ImageReward, AES）则需要更深的积分。
鲁棒性： TJS 的性能对于 ODE 解算器（DDIM, DPM++, UniPC 等）、噪声调度（Beta, Karras 等）以及 CFG 缩放的选择具有不变性，证实了其与现有推理组件的正交性。

意义与主张

本文声称，适度的少步加速并不需要轨迹整流、蒸馏或训练重新设计。 其意义在于认识到 端点可解码性 是生成模型在仿射路径上的一个内在结构属性。

实际影响： TJS 为社区现有的微调检查点提供了一条即时的、零成本的加速路径，而这些模型往往难以重新训练或蒸馏。
理论转向： 通过证明直轨迹对于端点预测并非必要，这项工作挑战了 Rectified Flow 和一致性模型（Consistency Models）关于推理加速的基础动机。
互补性质： 作者将 TJS 定位为与蒸馏正交。虽然蒸馏压缩了总轨迹长度，但 TJS 消除了剩余轨迹中的冗余尾部，从而实现了加性加速（例如，将 TJS 应用于像 Z-Image-Turbo 这样的蒸馏模型）。

论文总结道，识别这一属性“无需任何代价”，而忽视它则意味着损失了性能潜力；它提供了一种原则性的方法，可以在不牺牲生成样本质量的前提下，通过权衡积分深度来换取推理速度。