🤖 machine learning

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms

本文认为，自回归模型与扩散模型之间的传统二分法具有误导性，转而提出生成式预训练应当在选择训练目标以克服根本算法限制之前，优先设计用于序列扩展和状态细化的高效推理程序。

原作者： Jiaming Song, Linqi Zhou

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaming Song, Linqi Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，AI 图像与文本生成的世界就像一个巨大的建筑工地。多年来，业界一直纠结于争论两种完全不同的施工队伍，认为它们是完全不同的物种：

“逐砖累进”型队伍（自回归模型/Autoregressive Models）： 这些工人一次铺一块砖，再铺一块，再铺一块，从左向右砌成一面墙。他们擅长建造长墙（比如写长篇故事），但如果中间出了错，如果不拆掉整面墙，他们就无法修复中间的错误。
“雕塑家”型队伍（扩散模型/Diffusion Models）： 这些工人从一块充满噪声的大理石块开始，通过不断地凿刻和精炼，直到塑造出一个雕像。他们擅长制作高质量的形状，但通常是同时处理整个雕像，而不是添加新的部分。

论文的核心观点：
作者们说：“别再争论哪种队伍更好了，那是场毫无意义的争论。”

他们认为，真正的区别不在于“谁在建造”（模型类型），而在于“如何建造”（推理过程）。他们提议我们应该从两个不同的维度来扩展 AI 的效率：

维度 1：序列扩张（增加内容）： 让墙变得更长，或者让故事变得更大。
维度 2：状态精炼（优化现有内容）： 打磨雕像，或者修复墙中间的错误。

论文声称，未来的顶级 AI 不应该只是选择一种队伍，而应该在“雇佣工人”（训练）之前，先设计好**“施工计划”（推理）**。如果你的计划本身有缺陷，再多的训练也无法弥补。

以下是论文的三个主要教训，通过日常类比进行了说明：

1. “缺失指令”问题（DDIM 的修正）

场景： 想象你正在使用一个 GPS 导航应用。你告诉 GPS：“带我从 A 点到 B 点。”但 GPS 只知道你现在在哪里（A 点）以及当前的时间。它不知道你最终想去哪里（B 点），也不知道你打算什么时候到达。它只是根据你当前的位置来猜测一个方向。

论文的观点：
目前的 AI 模型（特别是“DDIM”采样器）通常试图通过一个巨大的跨步，从充满噪声的图像直接跳跃到清晰的图像。但它们使用的数学逻辑就像那个 GPS：它不知道“目标时间”（目的地）。它试图在不知道终点在哪的情况下，盲目猜测这一大步该怎么跳。
修正方案： 论文说：“直接把目的地告诉 GPS！”通过简单地将“目标时间”作为输入加入到 AI 的大脑中，模型突然就具备了实现完美“一步到位”跳转到最终图像的能力。这仅仅是指令上的一个小改变，却让整个过程变得行之有效。

2. “扑克牌手”问题（多 Token 预测）

场景： 想象你正在尝试预测句子中的下两个单词：“这手扑克牌是……”
如果你独立地去猜测第一个词和第二个词，你可能会猜出“高（High）”和“房子（House）”。单独看，这两个词都有意义。但组合在一起，“高房子（High House）”并不是一种真实的扑克牌。你需要理解“高”和“房子”之间是有联系的。

论文的观点：
许多现代 AI 模型为了提高速度，会尝试同时预测多个单词。但它们往往是独立地进行预测，就像同时掷两颗互不相关的骰子。这破坏了单词之间的关联性。
修正方案： 论文指出，如果你想同时预测多个单词，你的 AI 需要经过训练，以理解它们之间的关系（联合分布）。如果你没有在预测过程中构建这种关系，AI 就会一直产生奇怪的组合，无论你用多少训练数据，都无法解决这种底层的预测缺陷。

3. “长距离跳跃” vs. “小碎步”（流映射/Flow Maps）

场景： 想象你需要从山脚走到山顶。

旧方法： 你迈出细小的、试探性的碎步，每走一步都要检查一下平衡。这很慢，而且需要很多步。
新方法： 你学会了直接向山顶发起一次自信的纵身长跳。

论文的观点：
目前大多数 AI 模型都是通过“小碎步”（局部更新）进行训练的。它们学习如何移动一小步，然后再移动一小步。论文认为，为了让 AI 变快，它需要学习**“流映射”（Flow Maps）**。
把“流映射”想象成一份“传送指南”。与其学习如何迈出一小步，不如让 AI 学习一条直接路径（地图），从而实现从混乱状态到清晰状态的单次或两次大规模跨越。近期的研究方法正开始转向这一点，因为它们不再进行小碎步式的挪动，而是开始进行长距离的跨越，因此速度更快。

总结

论文得出结论：我们不应该过度痴迷于一个模型是“自回归”还是“扩散”模型。相反，我们应该问：

这个计划是否允许 AI 高效地增加更多内容？（序列扩张）
这个计划是否允许 AI 高效地精炼其作品？（状态精炼）

如果 AI 的“施工计划”（推理）缺失了关键变量（如目标时间），或者基于错误的假设（如假设单词是独立的），那么训练永远不会达到完美。先设计好动作，再去训练选手。

技术总结：推理侧缩放中的思想如何使生成式预训练算法受益

问题陈述

生成式预训练领域目前正受到一个概念性“虚假二分法”的阻碍，该方法将模型严格划分为自回归（针对离散信号）或扩散（针对连续信号）。作者认为这种区分具有误导性，因为它混淆了模型族、数据表示、训练目标和推理程序。

论文识别出的核心问题是，当前的算法进展处于停滞状态，因为研究人员往往在确保推理程序具备高效缩放能力之前，就优先考虑训练目标（例如，交叉熵与去噪分数匹配）。具体而言，论文指出：

推理能力通常受限： 训练目标无法补偿那些遗漏了必要参数（如目标时间步）或强加了错误分解假设（如多 Token 预测中的朴素独立性）的推理映射。
缩放失配： 该领域缺乏一个统一的“推理侧缩放”框架，而推理侧缩放应当被视为两个不同的维度：序列扩展（增加输出内容）和状态细化（修正当前状态）。

方法论与框架

论文提出了一个新的分析框架，该框架优先考虑在设计训练目标之前设计推理程序。它定义了推理侧缩放的两个主要维度：

序列扩展： 增加生成的 Token 数量、位置或推理步骤。这是自回归模型（如 LLM）的主要缩放机制，其中计算量随生成长度而缩放。
状态细化： 在不一定增加长度的情况下，重复更新一个现有对象。这是扩散模型的主要缩放机制，其中计算量随去噪或求解器步数（以减少离散化误差）而缩放。

作者认为这些维度并非特定模型族所独有。相反，有意义的对比在于使用交叉熵学习的离散 Token 与使用扩散式目标学习的连续 Token，以及用于采样它们的特定推理算法。

关键技术分析

论文通过将这种“推理优先”的视角应用于三个特定领域，以展示当前方法如何基于其推理参数化实现成功或失败：

1. DDIM 的局限性与目标时间参数

问题： 标准的 DDIM 式采样器（在整流流 Formulation 下）定义了一个单步更新 $x_s = x_t + (s-t)v_\theta(x_t, t)$ 。速度网络 $v_\theta$ 通常仅接收当前状态 $x_t$ 和源时间 $t$ 。
缺陷： 网络缺乏目标时间 $s$ 作为输入。从数学上讲，偏导数 $\frac{\partial DDIM}{\partial s} = v_\theta(x_t, t)$ 与 $s$ 无关。这意味着模型缺乏学习将 $x_t$ 映射到特定 $s$ 的单步函数的能力，无论使用何种训练目标（即使是一致性训练也是如此）。
修复方案： 将目标时间 $s$ 注入网络输入中，使模型能够近似直接跳转到解。这种简单的修改结合诱导矩匹配（Inductive Moment Matching, IMM），能够实现比扩散模型质量更高且效率高出一个数量级的稳定单阶段算法。

2. 多 Token 预测 (MTP) 与联合分布

问题： MTP 旨在通过并行预测多个 Token 来降低延迟。然而，目前的实现通常独立地采样这些 Token（朴素贝叶斯假设），未能表示这些 Token 的联合分布。
缺陷： 独立采样忽略了 Token 之间的相关性（例如，在扑克牌牌组列表中，“高牌”和“两对”是有效的，但“高牌高房”则不是）。这造成了容量限制，使得即使边缘概率是正确的，模型也无法生成有效的组合。
目前的权宜之计： 诸如自推测解码（self-speculative decoding）或在推理时丢弃 MTP 头的方法，试图通过启发式手段来“纠正”这种容量限制。
启示： 真正的效率需要一种能够考虑 Token 依赖关系的推理算法，可能通过软性的自我修正或直接预测 Token 依赖关系来实现，而不是依赖于拒绝采样或事后纠正。

3. 流映射 (Flow Maps) 与长程推理

转变： 最近的文献（例如 Boffi 等人的 Flow Map Matching）表明，高效的少步生成应该学习一个双时间传输映射（从 $t$ 到 $s$ ），而不仅仅是一个瞬时速度场。
洞察： 模型不应仅仅数值积分一个局部向量场，而应直接参数化长程推理移动。这包括快捷模型（Shortcut Models）、平均流（Mean Flows）和轨迹分布匹配（TDM）等方法。
原则： 这些方法共享一个共同的推理形状：它们直接学习由局部动力学引起的有限传输，使得长距离跳跃在模型类中变得可行。

核心贡献

重构二分法： 论文确立了生成式 AI 的根本对比不在于“自回归 vs 扩散”，而在于数据表示（离散/连续）、学习目标（交叉熵/扩散）与推理程序（扩展/细化）之间的相互作用。
推理优先的设计原则： 论文认为训练方法无法修复推理映射中的根本缺陷。如果采样器遗漏了必要的参数（如目标时间变量）或强加了错误的分解，任何训练目标都无法完全解决由此产生的容量限制。
统一的缩放轴： 引入“序列扩展”和“状态细化”作为评估生成式预训练算法的通用指标，并适用于离散和连续领域。
技术诊断： 提供了具体的数学诊断，解释了为什么标准的 DDIM 采样器在缺乏目标时间调节的情况下无法实现少步生成，以及为什么朴素的多 Token 预测无法捕捉联合分布。

结果与证据

本文并未呈现作者产生的新实验结果，而是综合了近期文献中的证据来支持其观点：

诱导矩匹配 (IMM)： 引用 [ZES25] 指出，通过将目标时间 $s$ 添加到输入并使用矩匹配，可以创建一个单阶段算法，其推理效率比标准扩散模型高出 10 倍以上，同时保持样本质量。
流映射文献： 引用 Boffi, Albergo, 和 Vanden-Eĳnden [BAVE24, BAVE25] 等人的工作，证明学习双时间传输映射（流映射）对于少步生成而言，比积分局部速度场更为自然。
并行解码的局限性： 引用 [KGO+25, ZGZ+26] 表明，由于采用了因子化近似，扩散 LLM 中的并行解码在依赖性较强的案例中往往会降低质量，从而验证了需要尊重 Token 依赖关系的推理算法。

意义与主张

论文声称，领域必须将重心从孤立地优化训练目标转向设计可缩放且具表达力的推理程序。

适度的主张： 作者并未声称已经解决了所有生成问题。相反，他们认为“算法进展应当优先考虑推理侧的效率，即沿着序列扩展和状态细化这两个轴线”。
设计指令： 核心结论是，生成式预训练算法应当首先根据推理程序进行设计。 如果推理映射在结构上无法表示目标分布（例如缺少目标时间变量或假设不存在的独立性），那么训练也无法弥补。
未来方向： 论文倡导未来的生成式预训练算法应根据其在序列扩展和状态细化轴线上的缩放效率，以及其推理参数化是否能在其选定的状态空间内表示稳定、高效的长程移动来进行评判。

总而言之，论文认为，下一代生成式模型的突破将不仅来自于单纯扩大当前的扩散或自回归架构的规模，而将来自于重构推理机制，以实现高效、长程的状态转换和序列扩展。