🤖 machine learning

Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

本文引入了“探索式建模”（Explorative Modeling），这是一种通过对训练循环进行因子化以探索多个生成候选并从中选择最优解的新范式，从而将探索确立为提升跨领域效率与性能的可扩展第三预训练轴，并实现真正的端到端生成式建模。

原作者： Alexi Gladstone, Heng Ji, Yilun Du

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexi Gladstone, Heng Ji, Yilun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画画。在机器学习的旧时代，工程师们会构建一条流水线：一台机器负责画轮廓，另一台负责填颜色，第三台负责画眼睛。这种方法虽然可行，但既混乱又缓慢。随后，一场革命发生了（由一个名为 AlexNet 的著名模型引发），它教会了我们一种更好的方法：直接把整幅画交给机器人，让它从头到尾一次性学会所有东西。这种“端到端”（end-to-end）的方法成为了几乎所有领域——从人脸识别到语言翻译——的金标准。

但有一个顽固的问题拒绝遵循这些新规则：生成式人工智能（Generative AI），即那些创造新图像、视频或故事的技术。虽然这些模型才华横溢，但它们仍然依赖于那种老式的流水线模式。它们将创作过程分解成极小、极小的步骤。例如，为了画一只狗，它们可能会先猜出一个模糊的形状，然后进行细化，接着添加毛发，最后加上眼睛，如此反复数百次。问题在于，每当它们采取一个步骤时，都可能产生微小的误差。到第一百步结束时，这些微小的误差已经堆积起来，导致那只狗看起来可能有些奇怪或模糊。科学家们多年来一直在尝试解决这个问题，他们问道：“为什么我们不能直接训练机器人一次性画出整只狗，而不把它拆分成步骤呢？”

根据 Alexi Gladstone、Heng Ji 和 Yilun Du 的一篇新论文，答案在于“画什么”的世界是混乱的。“画一只狗”这样的请求并不只有一个正确答案；世界上有数十亿种不同的狗。如果你试图在没有策略的情况下同时教机器人画出所有这些狗，它会感到困惑，最后只画出一只模糊、平庸且看起来不像真实存在的狗。现有的模型通过将绘画分解为步骤来解决这个问题，但这打破了“端到端”的规则。这篇论文引入了一个聪明的技巧，叫做探索性建模（Explorative Modeling），它能让模型在不需要拆分步骤的情况下处理这种混乱性。

新策略：“尝试、尝试、再尝试”

作者提出了一个简单但强大的想法：不要强迫模型在第一次尝试时就猜中正确答案，而是让它尝试多次并从中挑选最好的一个。他们称之为探索性建模。

想象你在玩一个游戏，你需要猜一个 1 到 100 之间的秘密数字。

旧方法（标准模型）： 你猜一个数字。如果你猜错了，你会得到一个提示，然后再次尝试。你会这样重复数百次，越来越接近目标。但每次你猜测时，你对提示的理解都可能产生微小的偏差，到最后，你可能会偏离目标一点点。
新方法（探索性建模）： 你被允许同时喊出 50 个不同的数字。然后，你观察那个秘密数字并说：“好吧，在我的 50 个猜测中，数字 42 是最接近的！”你只从这个获胜者身上学习。你忽略了其他 49 个错误的猜测。

在论文的语言中，这被称为探索 K 个候选对象（K candidates）。模型生成 K 种不同的可能性（比如 50 种不同的狗），并且只在那个看起来最像真实数据的一个上进行训练。通过这样做，模型学会了致力于捕捉特定的、清晰的细节（比如某种特定的犬种），而不是将它们全部模糊地混合成一个通用的、模糊的团块。

为什么这改变了一切

论文发现，这种“多试几次，选最好的”方法在三个主要方面成为了游戏规则的改变者：

1. 它成为了规模化的新超能力
通常，为了让 AI 变得更好，你只需让大脑变得更大（更多参数）或喂给它更多数据。作者发现了一个第三种方法：你可以通过增加训练期间进行的猜测次数来让模型“更努力地尝试”。他们称之为探索（exploration）。

当他们在图像、视频和语言模型上进行测试时，仅仅增加探索次数就显著提升了模型的表现。
随着他们扩大数据和模型规模，这种技巧带来的帮助也随之增长。例如，随着数据的增加，探索带来的性能增益从 7% 一路攀升到了 36%。随着模型变大，增益从 13% 跳升到了 23%。
它还提高了模型的效率。他们发现，使用探索技术使计算机工作的效率（FLOPs）提升了 4.1 倍，数据的利用效率提升了 6.2 倍，模型大小的效率提升了 47%。

2. 它让模型重新回归“端到端”
因为模型是通过从自己的猜测中挑选最佳匹配来进行学习的，所以它不再需要将任务分解成微小的步骤。它可以一次性学习整个过程。

论文显示，通过足够的探索，模型可以在单步内生成一整幅图像或视频，就像它接受训练时那样。
在机器人任务（教机器人手臂移动）的测试中，这种新方法达到了现有最佳方法的性能，但使用的计算机步骤减少了 16 到 256 倍。与其用 100 步来移动机械臂，新模型仅用 1 步就完成了。

3. 它帮助模型更好地学习
作者认为，这种方法有助于模型更好地泛化，这意味着它们不仅仅是死记硬背训练数据，而是真正学习了规则。当他们在视频生成上进行测试时，具有更多探索能力的模型过拟合（死记硬背）的情况较少，并且在处理新的、未见过的数据时表现更好。看起来，拥有“挑选最佳匹配”的选项让学习过程变得更加平滑且不易产生困惑。

核心结论

这篇论文表明，十多年来，我们一直试图通过让 AI 变得更大或喂给它更多的书籍来使其变得更聪明。但这项研究表明，我们一直忽略了第三个要素：探索。通过让 AI 生成许多可能性并从中学习最好的一个，我们可以解锁更高水平的性能。

作者谨慎地指出，这是一个仍在探索中的新范式。他们发现，虽然这种方法在图像、视频和某些语言任务上表现得非常出色，但对于其他类型的模型可能还需要进一步调整。然而，结果令人振奋：他们成功让一个图像生成器在不需要任何特殊“引导”技巧的情况下，产生了近乎完美的生成结果（在 ImageNet 上达到 1.43 FID 的得分），而且是在提高训练效率的同时实现的。

简而言之，论文认为，AI 的未来可能不仅在于更大的大脑，还在于更聪明的猜测方式。通过给 AI 一个尝试多条路径并选出赢家的机会，我们终于可以教它一次性完成整幅画作，就像过去几十年深度学习领域一直在做的那样。

技术摘要：探索性建模 (Explorative Modeling)

1. 问题陈述

深度学习革命确立了端到端训练（直接从数据中学习任务，而非通过人工设计的中间阶段）优于分解式、阶段式流水线的地位。然而，生成式建模仍然是一个显著的例外。尽管现代模型（如扩散模型和自回归网络）功能强大，但它们并非进行端到端训练。

核心问题在于，生成式建模涉及处理多模态概率分布（具有许多不同峰值或模态的分布）。现有的可扩展方法（如扩散模型、自回归模型）通过分解生成过程来避免“模式模糊”（mode blurring）问题——即模型预测多个有效模态的平均值，导致生成的样本不符合任何真实数据点。它们将生成过程分解为许多微小的、近乎单模态的步骤（例如去噪步骤或逐 Token 预测）。虽然这种方法有效，但它造成了训练与推理之间的不匹配：

训练： 模型基于特定的轨迹或部分数据预测单个步骤。
推理： 模型在数百或数千个步骤上进行展开。
这种不匹配导致了曝光偏差（exposure bias），即误差会随着模型偏离训练分布而不断累积，从而阻碍了真正的端到端生成。

当前的缩放法则（Scaling Laws）侧重于两个维度：参数（模型容量）和数据（训练量）。本文认为这些维度忽略了第三个关键容量：生成表达力（Generative Expressivity，即模型训练目标允许其捕获的不同模态数量）。在标准的重构模型中，生成表达力由训练目标固定（通常对于直接回归而言，实际上 $E=1$ ），这导致无论模型和数据如何规模化，性能都会遭遇瓶颈。

拟定方法：探索性建模 (Explorative Modeling, XMs)

作者引入了探索性建模 (XMs)，这是一种通过对训练循环进行分解的新范式，而非对生成过程进行分解。

核心机制

XMs 不再强迫单次生成去匹配一个目标（这会导致平均化现象），而是在训练期间引入了一个探索步骤：

候选生成： 在每个训练步骤中，模型从相同的潜在输入（例如噪声）中生成 $K$ 个候选样本 ( $\hat{y}_1, \dots, \hat{y}_K$ )。
选择： 模型利用重构损失 $J$ ，识别出与地面真值数据 $x$ 最接近的那个候选样本。
优化： 模型仅针对选出的最佳匹配进行更新，最小化所选候选样本的损失。

形式上，对于数据样本 $x$ ，目标函数为：
$L(\theta) = \min_{i \in \{1, \dots, K\}} J(\hat{y}_i, x)$

变体

论文定义了两种探索方向：

前向 XM (Forward XM)： 固定数据目标 $x$ ，并探索 $K$ 个生成的候选样本。这属于“覆盖质量”（mass-covering，优先考虑召回率），但在计算上较为昂贵，因为每个步骤需要进行 $K$ 次前向传播。
后向 XM (Reverse XM)： 固定单个生成的样本 $\hat{y}$ ，并从数据集中探索 $K$ 个数据目标。这属于“寻找模式”（mode-seeking，优先考虑精确度），且计算成本较低（一次前向传播），但如果不施加熵约束，则存在模式崩溃的风险。

理论意义

生成表达力： 探索将模型的生成表达力从 1 提升到了至少 $K$ 。通过在 $K$ 个候选样本中选择最佳匹配，损失最小化器从数据的模糊均值转向了实际的数据模态。
可替代性： 论文指出，通过探索（分解训练循环）可以替代分解生成过程。随着探索量（ $K$ ）的增加，最优生成步数（跳跃次数）会减少，从而使模型能够实现更趋向于端到端的生成。

2. 核心贡献

新范式： 引入了探索性建模，通过分解训练循环来处理多模态分布，实现端到端生成。
第三个预训练轴： 证明了探索是与参数和数据并列的可扩展维度。与其他两个维度不同，它直接扩展了生成表达力。
端到端重构： 证明了 XMs 可以作为独立的端到端生成模型运行，在控制任务上以显著更少的推理步骤达到了扩散模型的性能。
计算-泛化权衡： 证据表明，在探索上投入额外的计算量可以直接通过减少过拟合和曝光偏差来提高泛化能力。

3. 实验结果

作者在连续型（图像、视频）和离散型（语言）领域评估了 XMs，并将探索机制添加到现有基线模型（扩散模型、流匹配、Jumpy 模型、掩码扩散语言模型）中。

效率提升

FLOP 效率： 提升了 4.1 倍（RAE 基线）以及高达 52%（SiT 基线）。
样本效率： 提升了 6.2 倍（达到基线性能所需的训练数据量减少了 6.2 倍）。
参数效率： 一个拥有 5 个模态探索能力的 Large 模型，其表现优于一个拥有 47% 更多参数但没有探索能力的 XLarge 模型。
缩放趋势： 效率提升随规模增加。当计算量增加三倍（从 SiT 转向 RAE 设置）时，效率提升幅度也随之增加了一倍以上。

性能改进

图像生成： XRAE（探索性 RAE）在 ImageNet (256x256) 上实现了接近最先进水平的 1.43 FID，且无需引导，超越了以往 SOTA 配方中的有引导基线。
视频生成： 增加探索量单调地改善了 FVD 分数。
语言： 将探索应用于掩码扩散语言模型 (XMDLM)，在全线范围内提升了“困惑度-熵”（Perplexity-Entropy）的前沿曲线。
泛化能力： 在视频生成任务中，增加探索减少了过拟合，实现了更好的最小 FVD（30.0 对比无探索时的 37.5）。

端到端能力

机器人技术（行为克隆）： 探索性策略在 Robomimic 任务上达到了与扩散策略 (Diffusion Policy) 相当的水平，但使用的推理计算量减少了 100 倍（1 次前向传播对比 100 步）。
世界模型： 探索性世界模型在 Maze2D 任务上达到了与 Diffuser 相当的水平，同时减少了 16–256 倍的推理计算量。

缩放法则

数据缩放： 随着数据规模增加，探索带来的性能增益从 7% 升至 36%。
模型缩放： 随着模型规模增加，增益从 13% 升至 23%。
端到端转变： 随着探索量的增加，使用较少生成步数（更趋向端到端）的模型表现更好，证实了探索可以替代生成过程的分解。

4. 重要性与主张

论文声称，探索性建模解决了生成式 AI 中的一个根本瓶颈：无法扩展生成表达力。

超越似然： 作者认为，如果模型的表达力被限制在 1（预测均值），那么仅优化似然是不够的。XMs 旨在优化捕获不同模态的能力。
真正的端到端学习： 通过分解训练循环，XMs 使模型在推理时的采样方式与训练时完全一致，消除了困扰当前扩散模型和自回归模型的曝光偏差及训练-推理不匹配问题。
可扩展性： 结果表明，目前未经探索训练的基础模型正日益偏离计算最优性能。论文指出，随着模型规模扩大，瓶颈将从参数/数据转向生成表达力，这使得探索成为未来缩放的必要组成部分。
适度的局限性声明： 作者承认了局限性，特别是对于高度多模态的数据（如原始图像），前向 XM 的计算成本较高；此外，由于潜在变量注入的挑战，自回归 LLM 难以与探索结合。他们指出，未来对于高多模态任务，后向 XM 可能是更具扩展性的解决方案。

总之，该论文确立了扩展模型生成能力（通过探索）与扩展其表示能力（参数）或学习能力（数据）同样重要，并为实现完全端到端的生成式建模提供了一条路径。