💬 NLP

Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation

本文介绍了进度比率嵌入（PRE），这是一种连续三角信号，它克服了离散倒计时方法的不稳定性，在不牺牲准确性的前提下，实现了神经文本生成中稳健且可泛化的长度控制。

原作者： Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在聘请一位说书人（一个 AI），让它根据一个冗长复杂的书章来讲故事。你希望这个故事恰好是 300 字长。

问题：“倒计时”时钟
此前，研究人员试图通过给 AI 一个“倒计时时钟”来解决这个问题。他们会告诉 AI：“你还剩 300 个字，然后是 299，接着是 298……"一直倒数到零。

这篇论文将这种方法称为反向位置嵌入（RPE）。如果要求 AI 撰写的故事长度与其训练期间练习过的长度（例如 200 或 300 字）相近，这种方法尚能奏效。但如果你突然要求它写一个 1000 字的故事，AI 就会感到困惑。这就像一名只在 5 英里跑道上训练过的跑步者；如果你让他跑 20 英里，他不知道如何调整配速，因为他从未见过这样的距离。“倒计时”变成了一个僵化且失效的信号，导致 AI 要么过早停止，要么写得过长。

解决方案：“不耐烦”信号
本文作者提出了一种名为**进度比率嵌入（PRE）**的新方法。

他们不再使用僵硬的倒计时，而是给 AI 一个连续的“不耐烦计”。

工作原理：想象 AI 是一位等待歌曲结束的听众。
- 在刚开始时（完成 0%），听众平静且耐心。
- 随着歌曲推进（完成 50%），听众开始稍快地轻敲脚掌。
- 当歌曲接近尾声时（完成 90%），听众轻敲脚掌的速度极快，几乎因渴望听到最后一个音符而“不耐烦”地颤抖。

在 AI 的世界里，这种“不耐烦”不是一个像“还剩 299 个字”这样的数字。它是一种平滑、连续的波，随着故事越接近终点，其频率和强度就越高。AI 学会识别这种关于旅程完成程度的“感觉”，而不是计算具体的步数。

为何这更好
因为这种“不耐烦”信号是平滑且连续的，AI 可以处理任何长度，甚至是它从未见过的长度。

如果你要求一个简短的摘要，“不耐烦”会迅速升级。
如果你要求一篇长文章，“不耐烦”则会缓慢而稳定地升级。

该论文在新闻摘要（将长文章转化为简短摘要）和问题生成任务中测试了这种方法。他们发现：

精确度：与旧的“倒计时”方法相比，AI 能更准确地达到你要求的字数。
质量：就语法和含义而言，摘要和问题的质量同样好（甚至更好）。
灵活性：当被要求撰写非常长的内容（超出“正常”范围）时，新方法不会失效，而旧方法则彻底失败。

一言以蔽之
旧的方法就像给 AI 一把只适用于特定长度的坏尺子。而新方法（PRE）则是赋予 AI 一种“我们在路径上走了多远”的感知，使其无论路径长短，都能在你希望的地方精准停止。

技术摘要：用于鲁棒长度控制的进度比率嵌入

1. 问题陈述

尽管现代神经语言模型（LMs）在文本生成方面取得了高精度，但对生成长度的精确控制仍处于欠发达状态。当前的大语言模型（LLMs）依赖随机停止标准（采样 <EOS> 令牌），这提供了有限的透明度和显式控制。虽然遵循指令的 LLMs 可以通过提示表达长度偏好，但这种方法仅限于在大规模通用数据上训练的大型模型。

对于在受限的领域特定数据集上训练的小语言模型（SMLs），长度控制必须通过架构设计来实现。最近的方法，如反向位置嵌入（RPE），试图通过向解码器提供代表剩余令牌数量的离散倒计时信号来解决这一问题。然而，作者证明 RPE 存在一个关键局限：它依赖于与绝对剩余令牌数量绑定的离散计数，导致当请求的目标长度超出训练分布（分布外长度）时，出现不稳定性和泛化能力差的问题。

2. 方法论：进度比率嵌入（PRE）

为了克服离散信号的局限性，作者引入了进度比率嵌入（PRE），这是一种与三角“不耐烦”信号相关的连续嵌入策略。

核心概念

与使用剩余令牌离散索引的 RPE 不同，PRE 定义了一个连续进度比率 $r \in [0, 1]$ ，其中 $r = t/l$ （ $t$ 为当前步数， $l$ 为目标长度）。该比率量化了解码过程的进展。

三角“不耐烦”信号

作者将生成进展建模为一种类似于听众等待消息结束的“不耐烦信号”。借鉴数字信号处理和奈奎斯特 - 香农定理，他们设计了一个嵌入函数 $\xi(r)$ ，利用正弦分量对进展进行编码，随着比率接近 1，频率逐渐增加。

嵌入构建如下：
$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{如果 } j \text{ 为偶数} \\ \cos(\omega_r \cdot x_j) & \text{如果 } j \text{ 为奇数} \end{cases}$
其中：

$\omega_r = r \times M$ 是脉动（频率），随进度比率 $r$ 线性缩放。
$M$ 是一个超参数（实践中设为 $d_{model}/2$ ），用于缩放频率的增加。
$x_j$ 是源自维度索引的独立变量。

这种设计确保了嵌入空间是连续且平滑的，允许模型在训练期间看到的比率与推理时遇到的比率之间进行插值。

集成与训练

架构：PRE 与令牌嵌入和位置嵌入一起注入到标准 Transformer 解码器输入中： $X_t = E_t + P_t + \xi(r_t)$ 。
训练目标：模型使用最大似然估计（MLE）和标准交叉熵损失进行微调。
正则化：为了增强泛化能力，在训练期间向进度比率 $r$ 注入高斯噪声（ $r = \text{Clip}(r + \delta; 0, 1)$ ），使模型暴露于连续的值谱中，而非离散目标。
饱和：一旦生成的序列达到或超过目标长度，比率被截断为 1，导致“不耐烦”信号饱和并抑制进一步生成。

3. 主要贡献

本文提出了三项主要贡献：

新颖策略：提出进度比率嵌入（PRE），这是一种基于连续“不耐烦”信号的长度控制机制，根据完成进度调节解码过程。
RPE 分析：在经典编码器 - 解码器架构上复现并改编了反向位置嵌入（RPE）方法，详细分析了其优势（在训练分布内有效）和劣势（无法泛化到分布外长度）。
实证验证：证明了 PRE 能够将长度控制泛化到未见过的目标长度，同时不降低文本质量，并在摘要生成和问答生成任务中得到了验证。

4. 实验结果

作者在 BART-L（4 亿参数）编码器 - 解码器模型上评估了 PRE，使用了三个数据集：CNN/DailyMail、XSum（新闻摘要）和 SQuAD（问答生成）。

长度控制性能

平均绝对误差（MAE）：PRE 显著优于基线（无控制）和 RPE 方法。
- 在 CNN/DailyMail 上，PRE 的 MAE 为 0.5 ± 0.3，而 RPE 为 1.6，基线为 19.2。
- 在 XSum 上，PRE 的 MAE 为 0.1 ± 0.2，而 RPE 为 0.7。
- 在 SQuAD 上，PRE 的 MAE 为 0.0 ± 0.1，而 RPE 为 0.8。
分布外泛化：当目标长度超过 300 个令牌时，RPE 的性能显著下降（对于 550-600 个令牌的长度，异常值率上升至 >50%），而 PRE 保持了鲁棒的控制。例如，在 CNN/DailyMail 的 550-600 个令牌区间内，RPE 的异常值率为 50.1%，而 PRE 仅为 5.4%。

文本质量

ROUGE 和 BERTScore：与基线相比，PRE 保持或略微提高了文本质量指标。
- 在 CNN/DailyMail 上，PRE 的 ROUGE-1 得分为 45.3，BERTScore 为 69.8，优于 RPE（44.5, 69.4）和基线（44.2, 69.7）。
- 在 SQuAD 上，PRE 的 BLEU 得分为 18.6，优于 RPE（16.4）和基线（16.7）。

5. 意义与主张

本文声称 PRE 提供了一种鲁棒的、长度不变的机制，用于控制神经文本生成。其主要意义在于能够：

超越训练进行泛化：与绑定于训练长度离散分布的 RPE 不同，PRE 的连续表示使其能够有效处理任意未见过的目标长度。
保持质量：它在实现精确长度控制的同时，不牺牲生成文本的相关性、信息量或流畅度。
适用性：该方法被证明在标准的编码器 - 解码器架构上，对抽象摘要和问答生成任务均有效。

作者总结道，PRE 为对生成过程进行细粒度控制开辟了新的方向，实现了更渐进的摘要，并可能提高可解释性，同时指出未来的工作可以探索其在仅解码器模型和思维链推理中的应用。