🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

本文介绍了 ESTP，这是一个通过结合 Token 熵与基于注意力的语义重要性评分来改进大语言模型输出长度预测的轻量级框架，旨在实现更高效的长度感知调度并降低计算开销。

原作者： Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型充当着强大的引擎，通过预测句子中的下一个词来生成文本、回答问题并解决问题。为了在计算机硬件上高效运行这些引擎，工程师通常会将许多请求组合在一起，就像一辆载有多名乘客的巴士。然而，一个持久的低效问题在于，硬件必须将组内的每一个请求都视为最长的一个来处理，从而用空白空间为较短的响应进行填充以使其适配。这种浪费的空间减慢了整个系统的速度，特别是当模型被要求执行复杂的推理或生成冗长详细的答案时。为了解决这个问题，研究人员长期以来一直在寻求一种方法，能够在答案完全写完之前精确预测其长度，从而使系统能够精准地分配资源。一段时间以来，用于进行此类预测的领先方法主要依赖于测量模型的确定性，即一种被称为“熵”的概念，它本质上衡量了模型对下一个词的不确定程度。

一项新的研究挑战了“仅凭不确定性是完成此项任务的最佳指南”这一假设。研究人员发现，虽然不确定性很有用，但它忽略了一个至关重要的意义层面。在生成文本的过程中，模型会产生大量的信号，其中一些信号表示困惑或犹豫，而另一些则强调最重要的事实、数字或指令。以往的方法过度关注不确定性，往往将那些不确定的、过渡性的词汇视为最关键的部分，却在无意中忽视了那些决定了响应长度和结构的稳固、事实性的标记（tokens）。这就像是试图通过只关注雾气弥漫的交叉路口，而忽略清晰的路标来导航城市；其结果是预测经常出错，因为它错过了核心内容。

为了解决这个问题，该团队引入了一个名为 ESTP 的新框架，它将不确定性度量与对每个词重要性的直接观察相结合。该方法不再仅仅询问模型有多么不确定，还询问模型对特定词汇投入了多少注意力。在这些模型的架构中，注意力就像是一个聚光灯，展示了哪些词正在驱动当前的思考过程。研究人员发现，承载着最重语义权重的词汇——例如关键实体、特定数字和核心指令——即使在模型对它们非常自信时，也往往会获得很高的注意力。通过将这种基于注意力的重要性与传统的确定性信号相结合，新系统创造了一个平衡的视角。它学会了既重视定义答案长度的关键信息，又承认那些预示着需要进一步阐述的不确定部分。

研究人员在包括复杂数学推理和动态采样场景在内的多种挑战性任务上，使用几种不同的语言大模型测试了这种方法。他们发现，与之前的最佳技术相比，这种结合方法能更准确地预测输出长度。在许多情况下，误差率显著下降，特别是在以往方法表现挣扎最严重的复杂推理任务中。研究表明，旧系统中被高估的大部分标记实际上是低价值的填充词，而许多被低估的标记正是决定最终长度的事实本身。通过纠正这种错位，新系统为计算机硬件提供了更清晰的信号。

当集成到旨在管理这些人工智能请求的完整系统中时，这种改进转化为了切实的现实世界收益。该系统能够更高效地调度任务，减少了必须由填充物填补的无效空白空间。这使得硬件处理请求的速度明显提升，并缩短了完成任务所需的时间。该方法在实现这些增益时，无需额外的内存或降低模型的运行速度，因为它复用了模型本身已经在生成的内部信号。研究结果表明，对于人工智能系统要实现真正的效率，它们必须超越简单的确定性度量，学会识别所处理词汇的语义重要性。这种转变使得技术能够以以往难以企及的精度处理复杂的长篇推理，为更快、更可靠的人工智能服务铺平了道路。

技术摘要：当熵不足以奏效时：夺回 LLM 输出长度预测中丢失的语义

问题陈述

高效的大语言模型（LLM）推理服务经常受到“桶效应”（barrel effect）的瓶颈限制，即批处理中的短序列会被填充（padding）以匹配最长序列，从而浪费计算资源并降低吞吐量。虽然长度感知调度可以通过提前预测输出长度来缓解这一问题，但现有的预测方法面临着显著的局限性。

目前的先进方法（如熵引导的标记池化，EGTP）主要依赖于逐标记（token-wise）的熵来确定重要性。然而，本文指出该方法存在一个系统性的盲点：熵衡量的是生成的不确定性，而非语义重要性。因此，具有高语义价值的标记（例如关键实体、约束条件和指令）往往表现出低熵（高置信度），从而被低估；相反，具有高熵的过渡词或填充词则会被过度放大。这种失配导致了关键语义信号的丢失，降低了长度预测的可靠性，尤其是在复杂的推理和动态强化学习（RL）场景中。

方法论：ESTP 框架

作者提出了 ESTP（熵与语义标记池化），这是一个轻量级框架，旨在不引入显著计算开销的情况下恢复丢失的语义。该方法分为三个主要阶段：

基于注意力的语义重要性建模：
ESTP 不仅仅依赖熵，而是通过计算 LLM 最后一层中所有有效标记接收到的注意力值的平均值，来计算每个标记 $j$ 的语义权重 ( $S_j$ )。这利用了“高注意力标记通常与语义重要性相关”这一观察结果。
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
其中 $A_{ij}$ 是从标记 $i$ 到标记 $j$ 的注意力权重。
语义-熵联合权重融合：
该框架将语义得分 ( $S_i$ ) 与标记的熵 ( $H_i$ ) 相结合，生成统一的重要性得分 ( $T_i$ )：
$T_i = \lambda_1 S_i + \lambda_2 H_i$
这些得分通过 softmax 函数进行归一化，以生成最终的池化权重 ( $e_i$ )，并引入温度系数 $\alpha$ 来调节分布的集中程度：
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
这种融合允许模型平衡不确定性信号与语义内容。
软标签分布回归：
为了处理输出长度分布的长尾特性，ESTP 采用了一个将长度预测视为分布问题的预测头。目标长度被离散化为若干分箱（bins），并生成软概率分布。模型使用结合了交叉熵（用于分类稳定性）和均方误差（用于精确回归）的组合损失函数进行优化，使其能够同时学习分布形状和精确的长度期望。

至关重要的是，ESTP 复用了在标准 LLM Prefill 阶段生成的隐藏状态和注意力权重，增加了极小的 VRAM 开销和推理延迟。

核心贡献

误配现象的实证验证： 本文提供了定量证据，证明熵与语义重要性往往是失配的。在一项诊断研究中，发现前 40% 高熵组中的标记有超过 20% 具有低语义重要性，而同样比例的低熵标记则携带高语义价值。
ESTP 框架： 一种新型轻量级池化机制，融合了熵与基于注意力的语义得分。它恢复了仅靠熵的方法所遗漏的语义信号，并通过复用 LLM 内部激活，以极低的额外成本实现了这一目标。
全面评估： 在 ForeLen 基准测试上，针对四种 LLM 主干网络（Qwen2.5-3B/7B, Llama3.2-1B/3B）和三种挑战性场景（长序列、复杂推理、动态 RL 采样）进行了广泛实验。

实验结果

预测准确度： 在 ForeLen 基准测试中，ESTP 一致优于包括 EGTP、TRAIL 及外部辅助模型（SSJF-Reg/MC）在内的基准方法。它实现了最低的平均绝对误差（MAE），与 EGTP 相比，平均 MAE 降低了 9 个点以上，在 RL 场景中的提升甚至超过 20 个点。
鲁棒性： ESTP 展示了更低的均方根误差（RMSE），表明其能更好地处理大幅度的预测偏差。
系统效率： 在与长度感知调度器集成进行端到端系统测试（使用 vLLM）时，ESTP 显著提高了吞吐量并降低了填充率。例如，在推理（Reasoning）场景中，填充率从 1.18 (EGTP) 降至 0.37 (ESTP)，且平均作业完成时间（JCT）有所减少。
消融实验： 实验证实，熵和语义特征对于结果都是必不可少的；单独使用其中之一的效果都逊于联合使用的方法。

意义与局限性

本文将 ESTP 定位为长度感知 LLM 服务系统中一个实用且有效的构建模块。通过解决仅靠熵的方法存在的语义盲点，它实现了更精确的资源分配和调度，直接提升了硬件利用率和吞吐量。

作者也承认了特定的局限性：

基于注意力的语义重要性代理是一种相关性而非因果性的度量。
该方法依赖于内部激活，限制了其在无法获取这些状态的闭源模型上的直接适用性。
未来的工作建议探索因果归因、黑盒适配以及多特征融合，以增强在更广泛场景下的鲁棒性。