📊 statistics

Adaptive Nucleus Truncation for Long-Form Reasoning

本文介绍了自适应核截断采样（Adaptive Nucleus Truncation Sampling, ANTS），这是一种基于熵条件的机制，通过动态调整 Token 截断阈值，以稳定并显著提升长文本推理模型在不同任务和生成预算下的性能。

原作者： Ousmane Amadou Dia

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Ousmane Amadou Dia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位非常聪明但有点心不在焉的学生如何解决一个复杂的问题。你给出一个提示（问题），并要求他写出完整的、一步步的思考过程。

问题在于，随着学生写的内容越来越多，他开始走神。他可能会被无关的细节分心，或者重复自己，或者走入一条导致死路的歧路。在 AI 的世界里，这被称为“漂移”（drifting）或“不稳定”（instability）。

一篇论文介绍了一个名为 ANTS（自适应核截断采样，Adaptive Nucleus Truncation Sampling）的新工具，旨在帮助 AI 保持专注，尤其是在它需要撰写非常长的回答时。

以下是该工具的工作原理，通过简单的概念进行拆解：

1. 问题所在：“固定过滤器” vs. “智能过滤器”

想象一下，AI 正站在一个拥有数千条可能路径（词汇）的十字路口。

旧方法： 传统的工具充当的是一个固定的守门人。它们说：“无论情况如何，我们只允许前 50% 的路径通过。”
- 缺陷： 有时学生需要非常专注（比如做数学题），而宽阔的大门会让过多的噪音进入；有时学生需要发挥创意（比如写故事），而狭窄的大门会切断好的想法。固定的门无法根据情况改变主意。
ANTS 的解决方案： ANTS 充当的是一个智能且具有自适应能力的向导。它不是一个固定的门，而是观察当前的情况并询问：“这个学生现在有多困惑？”
- 如果学生对答案非常确定（低困惑度），向导会收窄大门以保持其专注。
- 如果学生感到困惑（高困惑度），向导会放宽大门，让其探索更多选项。

2. 核心秘诀：“Logits”与“熵”

为了做出这些决策，ANTS 使用了两个特殊的工具：

Logits（原始得分）： 大多数 AI 工具查看的是最终的“概率”（比如百分比机会）。但论文认为这就像是在看一张经过滤镜处理和缩放后的照片。ANTS 查看的是在任何过滤发生之前的原始得分（logits）。这就像是在看烹饪前的原始食材；它能提供更清晰的画面，展示 AI 究竟在“想”哪个词。
熵（困惑度计）： ANTS 通过测量“熵”来判断——这本质上是衡量 AI 在特定时刻有多困惑或多么不确定。它利用这个计数值来决定大门开启的宽度。

3. 安全网：“回退臂”（Fallback Arm）

这是这项发明中最关键的部分。
想象一下，智能向导（ANTS）试图变得过于“热心”。它开始过于激进地切断路径，以至于学生陷入困境或开始产生胡言乱语（幻觉）。

回退机制： ANTS 有一个特殊的“紧急按钮”（称为回退臂）。如果向导意识到切断路径正在让情况变得更糟，它可以立即按下按钮，完全停止切断路径。它会恢复到最初的、未经过滤的方法。
为什么重要： 在过去，如果过滤器过于严格，AI 只会变得越来越糟。有了 ANTS，系统可以“学习”何时停止严苛，何时回归自由，从而保持训练过程的稳定性。

4. 结果：越聊越好

研究人员在不同的“预算”（即 AI 生成词汇的限制）下，在一个大型 AI 模型上测试了该工具。

短预算（8K 词）： 结果褒贬不一。对于某些任务（如编写代码），使用 ANTS 的 AI 表现反而变差了。这似乎表明，当你可用的空间非常有限时，对允许哪些词汇过于挑剔会损害最终结果。
长预算（16K 和 32K 词）： 这是 ANTS 发光发热的地方。随着允许长度的增加，ANTS 的表现显著提升。
- 指令遵循： 当被要求长时间遵循复杂规则时，ANTS 防止了 AI 忘记规则或变得喋喋不休。
- 数学与逻辑： 在困难的数学问题上，ANTS 帮助 AI 避免了在推导步骤中产生“幻觉”，从而提高了得分。
- “Codeforces”式的转折： 有趣的是，对于编程任务，ANTS 在短长度时表现不佳，但在长长度时却表现得极其出色。这表明对于复杂的编程，你需要自由地探索许多想法，然后才能定下正确的方案，但前提是你必须有足够的空间来操作。

核心总结

该论文认为，我们不应该把“采样”方法（即 AI 如何选择下一个词）仅仅视为一个简单的开关设置。相反，它应该是一个动态控制器，其行为会根据以下因素发生变化：

回答需要多长。
AI 在那一刻有多困惑。
当前策略是否奏效，或者是否需要按下“紧急按钮”进行重置。

简而言之，ANTS 是一个系统，它教会 AI 何时该专注，何时该富有创意，以及何时该停止试图表现得“聪明”而直接让思维自然流淌，从而确保它在漫长的对话中不会迷失方向。

技术摘要：面向长文本推理的自适应核截断技术

问题陈述

在长文本语言模型推理中，生成预算通常足够大，足以支持多步推理、自我修正和工具使用。在这些场景下，解码采样器不仅仅是一个后处理细节，更是一个关键的控制机制，决定了可达到的推理路径以及训练轨迹的稳定性。现有的截断方法——如 top- $p$ 、min- $p$ 和固定 top- $n_\sigma$ 采样——虽然优于无限制采样，但存在显著局限性：

固定阈值： top- $p$ 和 min- $p$ 等方法依赖于固定的概率阈值，无法根据熵的变化、任务难度、训练阶段或生成预算进行自适应调整。
概率空间失真： 基于概率的方法在 softmax 和温度缩放之后运行，继承了概率归一化带来的失真。因此，即使底层 logit 几何结构相同，随着温度的变化，也会产生不同的候选集。
缺乏自适应性： 单一的固定截断参数（例如 top- $n_\sigma$ 中的固定 $n$ ）无法同时满足需要锐利剪枝的决策性上下文，以及需要更宽支持的模糊性上下文。此外，在不稳定的强化学习（RL）阶段，过度的截断会导致训练不稳定（导致熵、KL 散度和梯度范数出现过冲）。

方法论：自适应核截断采样 (ANTS)

作者提出了自适应核截断采样 (Adaptive Nucleus Truncation Sampling, ANTS)，它将 top- $n_\sigma$ 采样从一种固定的解码启发式方法扩展为一种自适应的、具备预算感知能力的展开控制机制。ANTS 分为三个阶段运行：

1. Logit 空间支持度估计

与基于概率的方法不同，ANTS 在预温度的 logit 空间中选择候选集。它根据词表维度的标准差 $\sigma(\ell_t)$ ，在最大 logit $\ell_{t, \text{max}}$ 周围定义一个邻域 $N_t(n)$ ：
$N_t(n) = \{ v \in V \mid \ell_{t,v} > \max_{u \in V} \ell_{t,u} - n \cdot \sigma(\ell_t) \}$
这种选择对于正向 logit 缩放（温度缩放）具有不变性，确保了无论温度如何变化，候选集都能保持一致。

2. 熵调节阈值

截断邻域的宽度 $n_t$ 不是固定的，而是根据模型的局部不确定性进行自适应调整。其计算方式为：
$n_t = n_0 + \gamma \cdot H(p^{(0)}_t)$
其中 $H(p^{(0)}_t)$ 是单位温度分布的熵。高熵上下文（模糊性）会保留更多备选方案（较大的 $n_t$ ），而低熵上下文（决策性）则会被更锐利地剪枝。

3. 在线汤普森采样控制器

为了动态确定最优的截断强度 $\gamma$ ，ANTS 采用了一个针对有限臂集合的汤普森采样（Thompson-sampling）多臂老虎机控制器：

有限臂： 一组具有对数间隔 $\gamma$ 值的 $K$ 个臂（ $\gamma_k = 10^{\eta_k}$ ）。
回退臂： 一个关键的第 $K+1$ 个臂，其 $\gamma_{K+1} = +\infty$ ，这实际上禁用了截断（ $N_t = V$ ），从而恢复基准采样器。
奖励信号： 控制器使用基于每个臂所诱导分布的熵的内在奖励。保留了足够支持（高于平均熵）的臂会获得更大的后验更新。
稳定性机制： 回退臂充当了“安全逃生口”。如果在 RL 展开过程中，截断变得不安全（导致 KL 散度或梯度范数等指标发生漂移），控制器可以学习选择回退臂以稳定训练。

核心贡献

自适应 Logit 空间采样器： 将 ANTS 形式化为一种温度不变的采样器，实现了候选集选择与集合内随机性的分离。
熵驱动控制： 引入了熵调节的汤普森控制器，该控制器能在线自适应截断强度，并包含一个无截断的回退臂以防止训练不稳定。
生成预算缩放评估： 在 8K、16K 和 32K 生成预算下进行了全面的评估，证明性能增益通常随预算规模扩大而增长。
预算感知截 fact 截断： 表征了短预算代码生成中的特定失效模式，从而论证了需要与生成预算及任务类型共同学习截断策略的必要性。

实验结果

该方法在 33B 总参数 / 4B 激活参数的稀疏混合专家（MoE）推理模型上进行了评估。

随预算缩放： 在基于百分比的基准测试中，平均性能在 8K 时提升了 +1.9 点，16K 时提升了 +3.8 点，32K 时提升了 +5.2 点。
指令遵循 (IFBench)： 表现出最强的增益，在 32K 预算下分别提升了 +10.5（松散）和 +10.8（严格）点。ANTS 防止了模型漂移到违反约束的冗长或离题的续写中。
数学推理 (AIME 2025)： 在 32K 预算下提升了 +7.0 点，且增益从 8K 到 32K 几乎翻倍。
代码生成 (Codeforces)： 揭示了关键的预算交互作用。在 8K 预算下，尽管生成的解题 token 更多，但 ANTS 仍落后于基准模型 -59 ELO。然而，在 16K 和 32K 预算下，它扭转了这一差距，分别实现了 +230 和 +212 ELO 的增益。这表明截断在受限的代码场景中是有害的，但在可行程序空间较大的场景中是有益的。
科学问答 (GPQA) 与知识 (MMLU Pro)： 显示出接近持平或小幅提升，表明与长文本生成相比，Logit 空间截断对于需要精确单答案选择的任务提供的杠杆作用较小。
Token 分配： ANTS 改变了 token 使用模式。在中等预算下，它增加了“思考”token（审视过程）。在 32K 预算下，它减少了思考 token 但保持了高准确率，这表明它是在抑制不必要的延续，而非仅仅是生成更长的链条。

意义与主张

论文认为，采样器设计不应仅仅被视为一个固定的解码超参数，而应被视为推理侧缩放和展开控制的一个组成部分。

稳定性： 回退臂的引入是该方法在 RL 中取得成功的核心，它允许系统从无法通过固定方法逃脱的不稳定截断状态中恢复。
上下文敏感性： 结果表明，最优采样策略是依赖于上下文的，随生成预算、任务类型（如代码 vs 数学）以及训练阶段而变化。
效率： ANTS 通常比基准模型更早达到性能高点，通过减少低质量或不稳定的展开频率，提高了 RL 设置下的有效计算效率。

作者总结道，虽然 ANTS 并非在所有任务中都能普遍压倒现有采样器，但它展现出了鲁棒的生成预算缩放模式，特别是在长文本推理和指令遵循领域，在这些领域中，在不移除有用推理路径的前提下抑制噪声尾部至关重要。