🤖 machine learning

Next-Latent Prediction Transformers Learn Compact World Models

本文介绍了 Next-Latent Prediction（NextLat），这是一种简单的辅助训练目标，通过在潜空间内实施自监督预测，迫使 Transformer 学习紧凑且具备预测性的潜世界模型，从而在不改变模型架构的前提下提升泛化能力、表征压缩效率及推理速度。

原作者： Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Next-Latent Prediction Transformers Learn Compact World Models》的解释。

核心问题：“图书馆”与“日记”

想象你正在学习一门新语言。你有两种学习方法：

图书馆法（标准 Transformer）： 你保存了所有读过的书的庞大图书馆。当你需要写下一句话时，你会在整本图书馆中运行搜索引擎，根据你刚写的最后几个词来寻找完美的单词。这种方法很强大，但随着你阅读越多，你的图书馆会无限膨胀。你从未真正“总结”所学内容；你只是在不断查阅资料。
日记法（循环模型）： 你保存一本小日记。每天，你阅读新闻，在日记中写下发生之事的简短总结，然后仅根据这本日记来撰写第二天的条目。无论你的生活持续多少年，你的日记大小保持不变。

问题所在： 现代人工智能（Transformer）使用的是“图书馆法”。它极其快速且聪明，但因为它不必将所有内容总结进一本小日记中，所以它经常学会“捷径”。它可能会死记硬背训练数据中的特定模式，而实际上并未理解世界的底层规则。这导致它在提前规划或处理未见过的情况时表现不佳。

解决方案：Next-Latent Prediction（NextLat）

研究人员引入了一种名为**Next-Latent Prediction（NextLat）**的新训练方法。这相当于强迫“图书馆”AI 开始写“日记”，而无需改变它阅读书籍的方式。

其工作原理如下：

标准任务： AI 仍然尝试猜测句子中的下一个词（像往常一样）。
新技巧： AI 还被强迫在甚至看到下一个词之前，就猜测它自己的“内部思想”（其隐藏状态）在下一步会是什么。

类比： 想象你在玩电子游戏。

普通 AI： 你看屏幕，看到怪物，按下按钮攻击。然后你再次看屏幕以进行下一步操作。
NextLat AI： 你看屏幕，在游戏实际更新之前，就准确预测你的角色内部状态栏（生命值、能量、位置）将如何变化。你正在学习游戏世界的“物理法则”，而不仅仅是死记硬背该按哪个按钮。

通过强迫 AI 预测其未来的“思想”，它被迫将其看到的所有历史压缩成一个紧凑、一致的总结（即信念状态）。它学习的是一个“世界模型”——即事物如何运作的心理地图，而不仅仅是一份单词关联列表。

他们发现了什么？

该论文声称，这个简单的技巧使 AI 在以下四个具体领域变得更加聪明：

1. 更好的地图（世界建模）

测试： 他们在曼哈顿的出租车行程上训练了 AI。
结果： 普通 AI 可以完美预测下一个街道名称，但其地图是“幻觉”般的，道路穿过建筑物或环路毫无逻辑。NextLat AI 学习了一张看起来确实像曼哈顿的地图。它理解了如果你左转，你就在另一条街上，并且它在逻辑上跟踪了自己的位置。

2. 更好的数学和逻辑（推理）

测试： 一个名为"Countdown"的谜题，你需要使用数学运算达到目标数字。
结果： 普通 AI 经常陷入困境，并在最后时刻犯错，试图强行让错误的答案匹配目标。NextLat AI 更好地提前规划，避免了那些“令人遗憾的妥协”，更准确地解决了谜题。

3. 更好的导航（规划）

测试： 在复杂迷宫（Path-Star 图）中寻找路径。
结果： 普通 AI 经常采取看似一步到位但会导致死胡同的捷径。NextLat AI 看得更远，理解了整个迷宫的结构，几乎 100% 地解决了它。

4. 更快的阅读（语言建模）

测试： 生成文本。
结果： 因为 NextLat AI 对未来拥有良好的“心理模型”，它可以高置信度地提前猜测几个词。这允许它进行“推测”，从而更快地阅读/写作。论文声称，与标准模型相比，这可以使 AI 生成文本的速度提高3.3 倍。

为什么这很特别？

通常，为了让 AI 在规划方面更聪明，你必须改变其架构（使其变慢或更复杂），或者在海量数据上训练它。

NextLat 之所以特别，是因为：

它是一个“插件”： 你无需重建 AI。你只需在训练期间添加一个简单的小型“辅助”任务。
它保持速度： AI 的训练和运行速度仍与以前一样快。
它在理论上是可靠的： 数学证明该方法迫使 AI 创建一个“充分统计量”——即预测未来所需的完美、紧凑的过去总结。

总结

该论文认为，通过教导 Transformer 预测其未来的“思想”（潜在状态），我们迫使它们构建一个紧凑、逻辑严密的世界地图。这使它们在规划、推理和理解复杂结构方面表现更佳，同时还能提高运行速度。这就像教导学生不仅要死记硬背教科书，还要理解底层原理，从而能够解决他们从未见过的问题。

技术摘要：下一潜在预测 Transformer 学习紧凑的世界模型

问题陈述

标准 Transformer 架构用自注意力机制和随序列长度扩展的内存机制取代了循环结构。虽然这实现了卓越的并行化和预测能力，但也移除了将历史压缩为具有一致转换规则的紧凑潜在状态的固有归纳偏置。因此，Transformer 往往学习到复杂的、特定于任务的捷径，这些捷径虽能很好地拟合训练数据，但泛化能力较差，无法形成长程规划和推理所需的连贯“世界模型”或信念状态。标准的下一词元预测目标并不能保证模型的内部隐藏状态演化为过去历史的充分统计量，也不能确保这些状态能够递归地预测未来的观测值。

方法论：下一潜在预测（NextLat）

作者提出了下一潜在预测（NextLat），这是一个在标准下一词元训练基础上增加潜在空间自监督预测的框架。其核心思想是训练 Transformer 学习潜在表示（具体而言是最终层的隐藏状态 $h_t$ ），使其能够根据下一个词元预测下一个潜在状态。

理论基础

论文证明，如果模型同时优化下一词元一致性（从 $h_t$ 预测 $X_{t+1}$ ）和转换一致性（从 $h_t$ 和 $X_{t+1}$ 预测 $h_{t+1}$ ），则隐藏状态 $h_t$ 在理论上保证会收敛为信念状态。信念状态被定义为用于预测未来 $X_{t+1:T}$ 的历史 $X_{1:t}$ 的充分统计量。与允许对过去词元进行临时查找而不压缩信息的标准自回归训练不同，NextLat 强制施加一种循环归纳偏置，即潜在状态必须包含过渡到下一状态和预测下一词元所需的所有信息。

实现

NextLat 通过在标准 Transformer 训练循环中添加一个轻量级的辅助目标来运行：

潜在动力学模型（ $p_\psi$ ）： 一个简单的多层感知机（MLP）被训练为根据当前隐藏状态 $h_t$ 和下一个词元 $X_{t+1}$ 来预测下一个隐藏状态 $\hat{h}_{t+1}$ 。
损失函数： 总损失结合了：
- 下一词元损失（ $L_{next-token}$ ）： 用于词元预测的标准交叉熵。
- 下一隐藏状态损失（ $L_{next-h}$ ）： 平滑 L1 损失，将预测状态 $\hat{h}_{t+1}$ 回归到真实下一状态 $h_{t+1}$ （对目标应用停止梯度以防止表示崩溃）。
- KL 散度损失（ $L_{KL}$ ）： 一个互补目标，确保从预测的潜在状态预测的词元分布与从真实的潜在状态预测的分布相匹配，起到软监督信号的作用。
多步监督： 模型可以被训练以递归展开潜在动力学 $d$ 步，为长程依赖提供更丰富的梯度信号。

至关重要的是，NextLat 保持 Transformer 的架构、推理过程和并行训练效率不变。潜在动力学模型仅在训练期间用于塑造表示；在推理期间，模型像往常一样进行自回归解码。

主要贡献

理论保证： 论文证明，优化下一词元和下一潜在的一致性，可证明将 Transformer 的表示塑造为信念状态，这是仅靠下一词元预测无法保证的特性。
实用框架： NextLat 引入了一种计算高效的辅助目标，在不改变 Transformer 并行训练或推理结构的情况下注入循环归纳偏置。
可变长度自推测解码： 通过学习连贯的潜在动力学，NextLat 实现了潜在空间中的递归预测。这使得可变长度自推测解码成为可能，模型可以起草超出固定训练范围的词元，从而显著加速推理。

实验结果

作者在四个领域评估了 NextLat：世界建模、推理、规划和语言建模。

世界建模（曼哈顿出租车行程）： 与标准 GPT、MTP 和 JTP 基线相比，NextLat 学习到的内部地图与真实世界模型（街道拓扑）的一致性显著更高。它实现了更高的序列压缩率（GPT 为 0.65，NextLat 为 0.71）和更低的潜在有效秩（GPT 为 160.1，NextLat 为 52.7），表明其表示更加紧凑和高效。
推理（Countdown）： 在数学推理任务上，NextLat 大幅优于基线（ $d=1$ 时准确率为 54.8%，而 GPT 为 33.1%）。它展现了更优越的前瞻规划能力，减少了“遗憾性妥协”，即模型为了匹配目标而强行生成无效的最终方程的情况。
规划（Path-Star 图）： NextLat 在各种图拓扑结构中保持了接近 100% 的求解率，而 BST 和 JTP 等基线在较大的图（ $G_{7,7}$ ）上则失败了。这表明 NextLat 避免了词元空间预测中常见的“聪明汉斯”捷径学习。
语言建模（FineWeb-Edu）：
- 下游准确率： NextLat 比 MTP 和 JTP 更好地保持了下一词元的困惑度，同时在下游零样本准确率上取得了适度提升（平均 59.21%，而 GPT 为 58.82%）。
- 推理速度： 利用可变长度自推测解码，NextLat 实现了比标准自回归采样快3.3 倍的推理速度。即使起草超出训练范围，这种加速依然持续，而 MTP 和 JTP 由于其固定的词元空间范围缺乏这种能力。

意义与主张

论文将 NextLat 定位为一种简单而有效的范式，用于在 Transformer 中学习紧凑、可预测且可泛化的表示。其主要意义在于统一了紧凑世界模型的循环归纳偏置与 Transformer 的可扩展性和并行性。

作者声称，NextLat 提供了解决下一词元预测“短视”性质的方案，鼓励模型形成结构化、可预测的内部状态，而不是依赖浅层的词元相关性。通过在不改变架构的情况下实现可变长度推测解码，NextLat 为更快的推理和更好的长程规划提供了一条实用路径。论文总结道，NextLat 是迈向训练目标的一步，这些目标将使自回归模型具备更简单、更紧凑、因此更具泛化能力的复杂系统表示。

作者对未来方向保持谦逊，指出他们没有探索复杂的潜在动力学架构（仅使用了简单的 MLP），并且目标的最佳设计（例如在更大规模下 KL 损失的必要性）需要进一步的系统研究。他们还承认，虽然 NextLat 改善了表示，但固定深度 Transformer 的底层电路复杂度仍受限于 TC0 类，尽管共同训练的潜在动力学模型（RNN）似乎有能力超越这些限制进行泛化。