💬 NLP

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

本文介绍了 LenVM，这是一个可扩展且无需标注的框架，它将剩余生成长度建模为 token 级价值信号，显著提升了精确长度匹配能力，并使得自回归模型能够持续调控性能与效率之间的权衡。

原作者： Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位说书人讲述故事。有时他们在几句之后便停住；有时则滔滔不绝地讲上几个小时。在人工智能（AI）的世界里，这种“说书”过程就是逐词（token）生成文本的过程。

问题在于，当前的 AI 模型就像那些不知道何时该停下的说书人。它们可能过早停止（导致故事未完成），也可能讲得太久（浪费时间和金钱）。现有的控制方法就像在故事一开始就给说书人一个生硬的指令：“讲一个 5 分钟的故事。”说书人必须在说出第一个字之前猜出整个故事的长度，这往往会导致错误。

本文介绍了一种名为LenVM（长度值模型）的新工具。你可以将 LenVM 想象成 AI 在说话过程中随身携带的一枚智能内部指南针。

核心理念：“距离终点”指南针

LenVM 不再试图猜测故事的总长度，而是在每一步回答一个简单的问题：“我还需要走多远？”

以下是其工作原理，通过几个类比来说明：

1. “收费公路”类比
想象 AI 正行驶在高速公路上。每生成一个词（一个“token”），它就必须支付微小的过路费。

目标：AI 希望尽可能高效地抵达目的地（句子的结尾）。
计算：LenVM 计算 AI 从此刻起直到旅程结束所预期的“总过路费”。
结果：如果 AI 刚刚开始一段长篇解释，“总过路费”很高（一个较大的负数）。如果 AI 即将结束，“总过路费”则非常低（接近零）。

2. “恒温器”类比
通常，AI 的生成就像一台加热器，一直吹出热风，直到你手动将其关闭。LenVM 则像一个智能恒温器。它不断感知房间距离目标温度（目标长度）还有多远。

如果 AI 需要很快停止，LenVM 会发出信号：“我们快到了！选择那些能导向快速结束的词语。”
如果 AI 需要继续，LenVM 会发出信号：“我们还远着呢！选择那些能允许更多细节的词语。”

LenVM 实际能做什么（论文的声明）

研究人员通过一个巧妙的技巧训练了这枚“指南针”：他们不需要人工标注数据。他们只需让 AI 生成故事，统计字数，并教导 LenVM 预测完成这些故事所需的“剩余成本”。由于这在每一个词发生时都在进行，因此训练数据是海量且自动生成的。

以下是论文证明 LenVM 能够做到的事情：

1. 精确长度控制（“完美合身”的裁缝）
如果你要求 AI 恰好写 500 个词，标准模型往往会严重偏离目标。LenVM 则像一位拿着卷尺的裁缝。

结果：在一项名为 LIFEBench 的测试中，使用 LenVM 的标准 70 亿参数模型，其达到精确字数统计的能力得分从30.9 提升至 64.8。
对比：这款带有 LenVM 的开源模型，在达到精确长度方面的表现，实际上优于一些依赖简单提示的最先进的闭源“黑盒”模型（如 GPT-4o 或 Claude）。

2. “效率旋钮”（性能与速度的权衡）
有时你想要一个完美、详尽的答案；有时你只需要一个快速、足够好的答案。

结果：LenVM 允许你滑动一个旋钮。你可以告诉 AI：“给我你能找到的最佳答案，但请尽量将其控制在 200 个词以内。”
神奇之处：如果没有 LenVM，如果你强制 AI 在 200 个词处停止，其在数学问题上的准确率会降至6%。而在 LenVM 指导词语选择的情况下，准确率保持在**63%**的高位。它找到了 AI 已经知道但通常忽略的“捷径”。

3. “水晶球”（预测未来）
LenVM 可以审视最初的提示（在 AI 说出第一个词之前），并预测答案的长度。

结果：它能以高精度猜测数学题解答或代码片段的长度。这有助于计算机在开始工作之前就规划好内存和预算。

4. “X 光视力”（理解 AI 的思维）
由于 LenVM 在每一步都检查“距离终点的距离”，它揭示了 AI 决定停止或继续的位置。

发现：论文发现，像“啊”、“等等”或“让我们思考”这样的词，通常标志着 AI 即将开启一段更长的旅程（一个“正长度 token"）。而像“因此”、“完美”或像对勾（✓）这样的表情符号，则标志着 AI 正在收尾（一个“负长度 token"）。这为我们打开了一扇观察 AI 推理过程的窗口。

总结

LenVM 是一种教导 AI 理解其自身“距离终点线”的新方法。它将模糊的“长度”概念转化为一种精确的、数学化的信号，供 AI 实时使用。

无需标注：它从 AI 自身的输出中自动学习。
可扩展：随着 AI 变得更大，它的效果会更好。
实用：它让我们能够控制 AI 说话的时长，而无需改变 AI 的“大脑”，只需逐词引导其选择即可。

论文得出结论，这种“词级价值信号”是使 AI 更高效、可预测且可控的强大新工具。

以下是论文《长度值模型：用于令牌级长度建模的可扩展值预训练》（LenVM）的详细技术总结。

1. 问题陈述

在现代自回归模型（LLM 和 VLM）中，生成长度是计算的基本单元，直接影响推理成本（计算、内存、延迟）和推理性能。尽管现有方法试图控制或预测生成长度，但它们存在显著局限性：

粗粒度控制：大多数方法在序列级别运行（例如，训练期间的序列级惩罚或推理时的基于提示的指令），而不是在令牌级别对生成动态进行建模。
缺乏细粒度信号：缺少一种机制来在每一步解码时估计剩余的生成范围。
标注瓶颈：传统的长度奖励建模通常需要人工标注或复杂的奖励模型，难以扩展。
权衡僵化：硬约束（例如，“在 200 个令牌处停止”）往往会降低性能，而现有方法缺乏在推理质量和令牌预算之间进行平滑权衡的机制。

2. 方法论：长度值模型（LenVM）

作者提出了LenVM，这是一个令牌级框架，将剩余生成长度建模为标准强化学习（RL）值函数框架内的值估计问题。

核心公式

LenVM 不直接预测原始令牌计数，而是将长度建模公式化为折扣回报问题：

奖励结构：为每个生成的令牌分配一个恒定的负奖励： $r_t = -(1 - \gamma)$ ，其中 $\gamma \in (0, 1)$ 是折扣因子。终止状态（EOS）的奖励为 0。
折扣回报：对于总长度为 $L$ 的轨迹，步骤 $t$ 的目标值 $G_t$ 定义为未来折扣奖励之和：
$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$
性质：
- 有界： $G_t \in (-1, 0)$ ，避免了原始长度的无界动态范围。
- 单调：较短的剩余范围产生的值更接近 0；较长的范围产生的值更接近 -1。
- 贝尔曼一致性：满足递归关系 $G_t = r_t + \gamma G_{t+1}$ 。

架构与训练

头部：LenVM 将一个标量值头部（带有 SiLU 激活函数的 2 层 MLP）附加到基础 LLM 或 VLM 的最终层隐藏状态上。
输出：该头部输出一个值 $V_\theta(s_t) = -\sigma(z_t)$ ，确保输出保持在 $(-1, 0)$ 范围内。
训练目标：模型通过无标注、稠密、令牌级回归进行训练。
- 数据生成：对于给定的提示，从固定的 rollout 策略中采样多个完成结果。
- 监督：根据采样的完成长度确定性计算实现的回报 $G_t$ 。
- 损失：预测值与实现回报之间的令牌平均均方误差（MSE）。
- 可扩展性：监督信号是稠密的（每个令牌都是目标）、无偏的（固定策略下的蒙特卡洛采样），并且随着模型大小、提示数量和每个提示的采样完成数量的增加而自然扩展。

3. 主要贡献

令牌级长度建模：LenVM 是首个将剩余生成长度建模为连续、令牌级值信号的框架，实现了细粒度的控制和预测。
无标注可扩展性：训练信号完全源自采样的完成结果，无需人工标注或外部奖励模型，使其在不同模型大小和数据集上具有高度可扩展性。
推理时控制：LenVM 提供了一种在不修改基础模型权重的情况下控制生成长度的机制，支持硬约束和连续权衡。
可解释性：令牌级值揭示了“长度令牌”，这些令牌标志着推理模式的转变（例如，像"wait"或"ah"这样的令牌表示转向更长的推理，而"therefore"表示结束）。

4. 实验结果

作者在数学、代码和指令遵循领域的 LLM（Qwen2.5、Qwen3）和 VLM 上评估了 LenVM。

长度控制生成（LIFEBench）：
- 在精确长度匹配方面，LenVM 显著优于前沿的闭源模型（GPT-4o、Claude、Gemini）。
- 在 7B 模型上，“等于”约束下的长度得分从30.9 提升至 64.8，同时长度偏差从 71% 降低至 44%。
性能 - 效率权衡：
- 利用基于 LenVM 预测值的指数倾斜，模型可以连续平衡准确性和令牌预算。
- 在 200 个令牌预算下的 GSM8K 任务中，LenVM 保持了63% 的准确率，而硬令牌预算基线仅达到6%。这表明基础模型包含更短的成功推理路径，而 LenVM 能够发现这些路径。
生成长度预测：
- LenVM 可以从提示边界（在任何令牌生成之前）预测预期的生成范围。
- 在 32B 规模下，其在数学任务上的平均相对误差（MRE）为9.8%，代码任务为14.9%，指令遵循任务为17.1%。
可扩展性：
- 随着模型大小、训练提示数量以及每个提示的采样完成数量的增加，验证损失一致下降。
案例研究（长度令牌）：
- 对时序差分残差的分析揭示了作为长度变化标记的特定令牌（例如，"ah"、"but"用于扩展推理；"therefore"、"perfect"用于终止）。

5. 意义与未来影响

通用框架：LenVM 确立了生成长度可以作为一种令牌级值信号进行有效建模，为粗粒度惩罚提供了一种原则性的替代方案。
RL 基础：该论文强调，LenVM 可作为 PPO 风格 RL 的自然、特定于长度的值基线。它既可以作为直接目标组件（用于优化效率），也可以作为基于势能的奖励塑形信号（用于在不改变任务目标的情况下改善信用分配）。
实用价值：预测长度并动态控制生成的能力，为生产环境 LLM 系统中的推理调度、内存管理和成本降低提供了立竿见影的好处。
可解释性：通过可视化特定令牌如何改变预测范围，LenVM 为推理模型的内部动态提供了新的视角。

总之，LenVM 将长度控制问题从序列级约束转化为稠密、可扩展的令牌级值估计任务，实现了精确控制、高效推理以及对自回归生成的更深入可解释性。