💬 NLP

Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

本文介绍了“Catch Your Breath"（CYB），这是一种被构建为序列决策问题的监督损失函数，它使基础模型能够在推理过程中自主且自适应地插入停顿标记，从而动态分配计算步骤，进而不增加计算或内存成本的情况下提升困惑度及下游任务的准确性。

原作者： Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在参加一场节奏极快的问答竞赛。在标准的人工智能模型中，规则很简单：一旦问题出现，你必须立即大声喊出答案。如果你犹豫，就会扣分。即使问题很棘手，需要片刻思考，系统也会迫使你瞬间做出猜测。

现在，想象一下为这场竞赛制定一条名为“喘口气”（Catch Your Breath，简称 CYB）的新规则。

旧方法：“先思后言”（Think Before You Speak，简称 TBYS）

在这篇新论文出现之前，研究人员曾尝试通过在文本中插入不可见的停顿来赋予人工智能模型“思考时间”。他们将此称为“先思后言”（TBYS）。

这就像一位老师说：“好的，大家注意，在我说的每一个字之后，你们必须静坐整整两秒钟，然后才能回答下一个字。”

问题所在：模型无法选择何时思考。它每次都必须等待完整的两秒钟，即使那个词很简单（比如“的”或“和”）。
结果：这就像被迫在不必要时也憋气两秒钟。它浪费了时间，实际上也未能帮助模型更好地思考，因为它无法自行决定何时感到困惑。

新方法：“喘口气”（Catch Your Breath，简称 CYB）

这篇论文的作者提出了一种更聪明的系统。与其强制停顿，不如给模型一个标有“我不知道”的特殊按钮。

其工作原理如下：

选择：当模型看到一个词时，它可以选择立即回答，或者按下“我不知道”按钮。
停顿：如果按下按钮，问答竞赛就会暂停。模型在必须回答该特定词之前，可以获得额外的一秒（或两秒、三秒）来思考。
决策：模型学会仅在感到不确定时才按下按钮。如果词很简单，它就立即回答。如果词很难（比如复杂的数学问题或棘手的习语），它就按下按钮，深吸一口气，利用这段额外时间将其弄懂。

为什么这很重要？

该论文通过两项主要测试，将这种新方法与旧的“强制停顿”方法进行了比较：

1. “困惑度”测试（模型有多困惑？）
将“困惑度”想象为衡量模型迷失程度的指标。数值越低越好。

研究人员在谷歌的 Gemma 人工智能模型上测试了这一点。
结果：“喘口气”模型的困惑程度远低于“强制停顿”模型。事实上，仅使用一次停顿的 CYB 模型，其表现优于使用旧方法且带有三次停顿的模型。这就像一位知道何时该刻苦学习的学生，比一位无论科目如何都被迫每天学习三小时的学生获得更好的成绩。

2. “下游”测试（它真的能解决问题吗？）
他们在现实世界的任务中测试了这些模型，例如回答多项选择题（MMLU）和解决数学问题（GSM8K）。

结果：CYB 模型答对了更多问题。它们在推理和理解上下文方面表现更佳。

秘诀：自我调节

这篇论文最重要的部分是模型学会了自我调节。

它不需要人类告诉它：“停下，这是个难词。”
它学会了，如果说“我不知道”，就能获得更多思考时间；如果明智地利用这段时间，就能获得更高的分数。
论文发现，模型自然会在难词（如“挑战”或“应用”）上停顿更多，而在易词（如“是”或“不”）上跳过停顿。这就像人类读者在读复杂句子时会放慢速度，而在简单句子上则快速浏览。

论文未声称的内容

重要的是要坚持作者实际发现的内容：

这不是关于节省时间：论文并未声称这能让 AI 更快。事实上，因为模型可以花费额外时间，它有时可能会花更久。目标是准确性，而非速度。
这不是万能的魔法修复：论文具体关注如何训练模型更好地使用这些“停顿”标记。它并未声称这能解决所有 AI 问题，或将其用于医疗诊断或自动驾驶汽车（文中未提及这些应用）。
这不是人类意义上的“思考”：论文将模型的行为与人类的阅读习惯（我们在难词上停顿）进行了比较，但这严格来说是计算机处理数据方式的数学和工程改进。

总结

这篇论文介绍了一种名为“喘口气”的新训练方法。与其强制 AI 等待固定时长来思考，不如让 AI 自行决定何时需要片刻思考。通过按下“我不知道”按钮，AI 获得额外时间来处理难词。结果表明，这种自我控制使 AI 比之前的强制等待方法更聪明、更少困惑，且在回答问题方面表现更佳。

技术摘要： Catch Your Breath：面向自定速序列生成的自适应计算

问题陈述

虽然基础模型的推理时扩展主要集中于增加模型深度（例如层递归）或采用思维链（Chain-of-Thought）等推理策略，但一种有前景的替代方案涉及基于宽度的扩展。该方法在输入流中插入特殊的 <PAUSE> 令牌，赋予模型额外的前向传递次数以在处理上下文后再生成响应。

然而，现有的利用暂停令牌的方法，特别是“先思考后发言”（Think Before You Speak, TBYS）框架，存在一个关键局限：计算步数由数据加载器外部决定。在 TBYS 中，固定数量的 <PAUSE> 令牌被插入，直到最后一个暂停步骤之前，模型的输出均被忽略。这迫使模型在每一个中间步骤都采取贪婪策略，无法预判未来的暂停或调节自身的处理过程。因此，模型无法发出准备响应的信号，也无法根据当前令牌的复杂性自适应地分配计算资源，而是将额外步骤视为静态障碍而非动态资源。

方法论：Catch Your Breath (CYB)

作者提出了 Catch Your Breath (CYB)，这是一种被表述为序列决策问题的监督损失函数，使模型能够自主确定每个输入令牌所需的计算步数。

核心机制

CYB 允许模型在每一步 $i$ 决定是：

响应：生成序列中的下一个令牌。
弃权：发出特殊的 <DON'T KNOW> 令牌，请求额外的 <PAUSE> 步骤以继续处理。

这创建了一个可变延迟系统，模型可以连续多次弃权，从而根据内部不确定性按令牌缩放其计算深度。

损失函数

CYB 损失源自模型决策过程的预期折扣准确率。设 $d_i$ 为模型在步骤 $i$ 弃权的概率， $t_i$ 为在步骤 $i$ 选择正确目标令牌的概率。模型在步骤 $S$ 生成输出（要么是通过弃权自我诱导，要么是通过强制停止由世界诱导）。

损失定义为预期折扣准确率的负对数似然：
$\ell_{CYB}(t, d; \omega, \gamma) = -\log \mathbb{E}_{S \sim \text{Pr}(S|d, \omega)} [\gamma_S t_S]$
其中：

$\omega$ 代表世界诱导停止时间的分布（允许强制终止）。
$\gamma$ 代表逐步折扣因子，允许模型因延迟响应而受到惩罚，除非准确率有所提升。
期望值通过对所有可能的停止步骤求和计算得出，并以在该步骤停止的概率作为权重。

训练实现

为确保效率，作者提出了一种并行训练程序。在训练期间，在每个真实输入令牌后插入 $W_{max} - 1$ 个暂停令牌。Transformer 在因果掩码下并行处理这些步骤。损失函数的计算方式使得：如果模型选择早期响应（低 $d_i$ ）或世界强制停止，则后续暂停步骤不会对该特定令牌的损失产生贡献。这种方法保持了与具有固定暂停的标准交叉熵训练相同的计算和内存占用。

主要贡献

原则性损失函数：引入 CYB，这是一种训练 Transformer 自主确定计算步数的损失函数，与 TBYS 的静态、外部强加延迟形成对比。
高效并行训练：一种训练程序，在实现自适应计算的同时，保持了与标准交叉熵训练相当的计算和内存效率。
假设验证：论文验证了四个假设：
- H1：CYB 优于 TBYS，因为它能自主确定读取时机。
- H2：CYB 产生了一个校准良好的模型，其中 <DON'T KNOW> 概率与通过延迟可能获得的准确率提升潜力相关。
- H3：移除模型对停止时间的控制（通过强制早期停止）会降低性能，证实了自主性的价值。
- H4：可以通过折扣因子（ $\gamma_0$ ）操纵速度与准确率的权衡，使模型以牺牲部分准确率为代价更快地响应。
实证优越性：证明 CYB 在预训练和微调场景中均能降低困惑度并提高下游准确率，且与 TBYS 相比没有额外的计算成本。

结果

实验使用 Gemma1-2B 和 Gemma3-4B 模型在 C4 数据集及 various 下游基准（HellaSwag, MMLU, GSM8K）上进行。

困惑度降低：CYB 始终优于 TBYS。值得注意的是，仅使用一个暂停令牌的 CYB 模型实现的困惑度低于使用三个暂停令牌的 TBYS 模型。在预训练中，使用 3 个暂停的 CYB 相比 TBYS 显示出 3.6% 的相对困惑度提升，而微调中为 2.7%。
数据效率：CYB 仅需 33% 的数据即可达到基线性能，且仅需少于 66% 的数据即可击败 3 暂停的 TBYS 模型，表明学习效率的真正提升而非数据饱和伪影。
下游准确率：与基线和 TBYS 相比，CYB 训练的模型在 HellaSwag、MMLU 和 GSM8K 上实现了更高的 top-1 准确率。
校准与行为：分析显示，<DON'T KNOW> 概率与额外步骤可能带来的准确率增益之间存在统计学上显著的正相关。定性分析揭示，暂停时长对上下文敏感；例如，模型在复杂令牌（如"traditional"）上暂停时间更长，而在可预测序列（如数字）上则不然。

意义与主张

论文主张，计算分配的自主性是 CYB 与现有基于宽度的扩展方法之间的关键区别。通过允许模型决定何时准备好响应，CYB 将暂停令牌从静态障碍转变为整合信息的动态资源。

作者强调，CYB 的主要动机并非原始推理时计算节省，而是为架构提供灵活、上下文相关的控制以管理其计算。这模仿了人类的阅读行为，其中注视持续时间根据处理需求而变化。论文将 CYB 定位为基于深度的自适应方法（如循环 Transformer）在结构上更优越的替代方案，因其具备可并行性、简洁性和形式表达能力，提供了一种新的推理时扩展范式，在不增加计算开销的情况下提升模型性能。