💬 NLP

Hierarchical Latent Prediction for Language Models

本文介绍了分层潜在预测（Hierarchical Latent Prediction, HiLP），这是一种利用高层抽象潜在变量来减轻潜在空间展开中误差累积的新型辅助目标，从而提升语言模型的长程推理、编程性能以及投机采样效率。

原作者： Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人写故事。教它的标准方法叫做“下一标记预测”（Next-Token Prediction）。这就像是在玩“填词游戏”（Mad Libs），机器人观察你写的最后一个词，然后猜下一个词是什么。如果你说“猫坐在……”，机器人猜“垫子上”。接着，你输入“猫坐在垫子上”，它猜“柔软的”。这种方法已经造就了一些极其聪明的机器人，但它有一个缺陷。因为机器人只看前一步，它在长篇故事中会迷失方向。如果它在早期犯了一个微小的错误，这个错误会随着它不断进行猜测而变得越来越大，就像滚下山坡的雪球一样。这被称为“曝光偏差”（exposure bias）。

为了解决这个问题，科学家们尝试教机器人向前看几步，或者去猜测接下来几个词的“氛围”（vibe），而不只是仅仅猜测下一个字母。但这些方法往往各有各的问题：它们要么看不够远，要么在试图规划太远的未来时会被自己的错误搞糊涂。大问题在于：我们能否教机器人同时在多个层面上理解故事的结构——比如既知道一个章节的情节，又知道下一句的内容——同时又不让机器人变得太慢或太复杂到难以使用？

这正是微软研究院（Microsoft Research）和德克萨斯大学奥斯汀分校的研究人员在他们的新论文《语言模型的层次化潜在预测》（Hierarchical Latent Prediction for Language Models）中所解决的问题。他们引入了一种聪明的新训练方法，叫做 HiLP（层次化潜在预测）。把机器人的大脑想象成有两个思考层。第一层是“街道视角”，专注于紧接着的下一个词，就像旧方法那样。第二层是“直升机视角”，它一次观察一组词，以理解更大的图景，比如一个段落或一个场景。

在实验中，研究人员教机器人将这种“直升机视角”作为一种秘密训练工具。他们创建了一个特殊的“抽象”层，将最后几个词总结为一个高层级的概念。然后，他们要求机器人预测这个高层级概念在未来几步之后会是什么样子。这迫使机器人学习故事应该如何在更长的距离内流动，而不仅仅是从一个词到下一个词。至关重要的一点是，这个“直升机视角”仅在训练期间使用。当机器人完成学习后，研究人员会丢弃这些额外的层。当机器人实际为你写故事时，它只使用简单的、快速的“街道视角”。这意味着机器人在不变得更慢或更臃肿的情况下，学会了更长期的规划。

结果表明，这种方法效果很好。当研究人员在编程任务和多步推理谜题上测试这个新机器人时，它的表现优于其他尝试“向前看”的方法。例如，在一个名为 HumanEval 的编程基准测试中，新方法取得了 11.33 的分数，击败了标准方法（得分为 8.77）以及最近的其他尝试，如 NextLat（得分为 10.58）。研究人员还发现，这种方法让“投机采样解码”（speculative decoding）变得更高效。这是一种机器人一次猜测多个词以提高速度的技术；有了 HiLP，机器人的猜测更加准确，意味着它在纠正自己方面浪费的时间更少。

该论文认为，虽然只看一步对于局部细节很有好处，但它无法捕捉语言的长期结构。通过在训练中加入这种层次化的“直升机视角”，机器人学会了将长期目标记在心中，从而减少了“雪球效应”式的错误。作者指出，这种方法提供了一种在不牺牲速度或复杂度的前提下，获得长程规划益处的方法，尽管他们也提到，他们使用的特定“前瞻”距离是一个手动设置，未来的工作可以使其更加灵活。最终，HiLP 表明，教语言模型在练习时既看“森林”又看“树木”，可以帮助它写出更好的故事，即使在表演时它只使用“树木”。

技术摘要：语言模型的层次化潜变量预测 (Hierarchical Latent Prediction)

问题陈述

标准的下一标记预测（Next-Token Prediction, NTP）结合教师强制训练（teacher-forced training）已经推动了高性能 Transformer 语言模型的发展。然而，这种范式引入了一种被称为**曝光偏差（exposure bias）**的训练-推理不匹配问题。在推理过程中，自回归生成依赖于模型自身的先前输出而非地面真值（ground truth），这会导致误差累积，从而降低长程生成的质量。

近期旨在缓解这一问题的尝试，如多标记预测（Multi-Token Prediction, MTP）和下一潜变量预测（Next-Latent Prediction, NextLat），引入了辅助目标来预测未来的标记或潜变量状态。然而，这些方法面临着局限性：

MTP 在多步展开（multi-step rollouts）过程中往往会受到误差累积的影响。
NextLat 在潜变量空间中强制执行自我预测，但通常仅预测一步。虽然这对于局部转移一致性有效，但它对捕捉更长时标结构的间接梯度压力较弱，导致长程依赖被序列动力学的展开所削弱。

核心挑战在于：如何在预训练期间，在不增加架构开销或推理延迟的情况下，塑造语言模型的表示，使其能够编码多尺度预测结构。

方法论：层次化潜变量预测 (HiLP)

作者提出了层次化潜变量预测（Hierarchical Latent Prediction, HiLP），这是一种在潜变量空间自我预测目标中引入时间层次结构的训练方法。该架构由四个联合学习的参数化映射组成：输出头 ( $p_\theta$ )、低层动力学 ( $p_\psi$ )、高层动力学 ( $p_\phi$ ) 以及组合 NTP 头 ( $p_\rho$ )。

架构组件

低层潜变量 ( $h_t$ )： 主干 Transformer $G_\theta$ 根据标记前缀 $X_{1:t}$ 生成低层潜变量 $h_t$ 。
高层抽象潜变量 ( $u_t$ )： 一个窗口大小为 $k$ 的滑动窗口注意力（Sliding-Window Attention, SWA）模块将最近 $k$ 个低层状态聚合为一个高层抽象潜变量： $u_t = \text{SWA}(h_{t-k+1:t})$ 。
高层动力学： 模型 $p_\phi$ 在抽象空间中预测 $k$ 步之后的状态 ( $\hat{u}_{t+k}$ )，无需标记输入，从而鼓励超越单步转移的向前规划（lookahead planning）。
组合 NTP 头： 下一个标记的预测同时以低层潜变量 $h_t$ 和高层潜变量 $\tilde{u}_t$ 为条件（其中 $\tilde{u}_t$ 包含一个停止梯度操作，以防止组合头通过 SWA 窗口更新低层潜变量）。

训练目标

总损失是五个项的加权和：

标准 NTP 损失 ( $L_{ntp}$ )： 用于下一标记预测的标准交叉熵。
低层转移一致性 ( $L_h$ )： 使用 SmoothL1 损失，确保低层动力学模型 $p_\psi$ 能够准确预测下一个低层潜变量状态。
KL 散度 ( $L_{KL}$ )： 确保预测的低层潜变量分布与目标分布相匹配。
高层转移一致性 ( $L_u$ )： 使用 SmoothL1 损失，确保高层动力学模型 $p_\phi$ 能够准确预测 $k$ 步之后的高层抽象潜变量。
组合 NTP 损失 ( $L_{cntp}$ )： 结合 $h_t$ 和 $\tilde{u}_t$ 的交叉熵，利用组合头进行预测。

推理策略： HiLP 的一个关键设计特征是，整个层次化装置（SWA 模块、动力学模型和组合头）在推理阶段会被丢弃。仅使用标准的 NTP 头，从而确保零架构开销且不会增加推理延迟。

核心贡献

层次化表示训练： 引入了 HiLP，它通过对潜变量进行滑动窗口注意力处理、引入高层动力学模型以及组合 NTP 头，将多尺度自我预测学习集成到 Transformer 预训练中。
评估： 在下游准确率（编程和多步推理）及投机采样（speculative decoding）效率方面对所得模型进行了全面的基准测试，并将 HiLP 与 MTP 和 NextLat 进行了对比。
纯训练时干预： 证明了复杂的层次化结构纯粹作为一种辅助训练信号，使得模型在部署时能够保留标准自回归解码的效率。

实验结果

作者使用 8× NVIDIA B200 GPU 在 100B token 上训练了 1B 参数规模的模型。

基准测试表现

编程 (HumanEval)： HiLP 实现了 11.33 的 pass@1 分数，优于标准 NTP (8.77)、MTP (9.21) 和 NextLat (10.58)。
多步推理： 在符号及多步基准测试（LLM 的 DataComp）上，HiLP 展示了性能提升，这归功于其多尺度潜变量预测能力。

投机采样效率

HiLP 在投机采样任务中表现出卓越的效率：

代码数据： HiLP 在每个草拟步骤（drafting step）平均实现了 3.41 个接受的标记，而 MTP 为 2.57，NextLat 为 3.26。
Nemotron-ClimbMix 数据： HiLP 实现了 2.59 个接受的标记，略微超过了 NextLat (2.57) 和 MTP (2.11)。
潜变量展开稳定性： 对潜变量交叉熵曲线的分析显示，虽然 HiLP 保持了与 NextLat 相当的短期预测损失，但它显著降低了长程（高达 8 步）的误差，表明其多步潜变量展开更加稳定。

效率

虽然 HiLP 增加了辅助参数（总计约 1.27B，而主干模型为 1.06B），但其推理路径与基线完全一致。HiLP 的训练吞吐量约为 NTP 基线的 65%，这高于 MTP (~~49%) 但低于 NextLat (~~83%)，反映了额外层次化损失图带来的计算成本。

意义与主张

本文声称 HiLP 通过将时间层次结构直接引入潜变量空间的自我预测目标，成功解决了下一标记预测中的“近视差距（myopic gap）”。与以往在推理时消耗复杂度的层次化模型（如 Large Concept Models 或 Byte Latent Transformers）不同，HiLP 是在预训练期间塑造表示，使其编码多尺度预测结构，随后在推理时将其完全移除。

作者认为，这种方法允许模型学习更丰富的潜变量转移动力学，并更好地捕捉长程依赖，同时不会牺牲标准标记级自回归解码的速度或简洁性。这项工作处于超越 NTP 的预训练目标、潜变量语言建模以及层次化模型的交汇点，为提升语言模型的长程推理与规划能力提供了一种新颖的方法。