💬 NLP

Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning

本文介绍了自适应 GoGI-Skip，这是一个将目标梯度重要性与基于动态不确定性的跳过机制相结合的框架，能够在不牺牲准确性的前提下，将思维链推理中的令牌数量减少 45% 以上，并将推理速度提升高达 2.0 倍。

原作者： Ren Zhuang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ren Zhuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在请一位非常聪明但有点话痨的朋友解决一道难题。他们知道答案，但在告诉你之前，会写出一长串逐步的解释。有时，这种解释既精彩又必要；但有时，它却充满了重复的短语、不必要的停顿和“嗯”之类的填充词，拖慢了他们的速度，却毫无价值。

本文介绍了一种新方法，用于教导这些 AI“朋友”如何在保持智力的同时思考得更快。作者将这种方法称为自适应 GoGI-Skip。

以下是其工作原理的分解，辅以简单的类比：

问题所在：“过度思考者”

当前的 AI 模型使用一种称为“思维链”（Chain-of-Thought, CoT）的技术。这就像 AI 在自言自语以解开谜题。虽然这让它们变得更聪明，但也极其缓慢且昂贵，因为它们需要生成数千个词（token）才能得到答案。

现有的加速方法就像使用一把钝刀：

静态裁剪器：它们不管某个词是关键的数学符号还是无聊的填充词，一律每隔 5 个词就切掉一个。这会破坏逻辑。
困惑检测器：它们只保留 AI 似乎“不确定”的词。但有时，AI 对某个无关最终答案的微小细节感到不确定，或者因为它感到自信而跳过了关键步骤。

解决方案：一位聪明且自适应的编辑

作者创建了一个系统，它像一位超级聪明的编辑，能同时理解两件事：目标和不确定性。

1. “目标梯度”（GoGI）：“为什么”计量器

想象你在看电影。有些场景只是人物在四处走动（低重要性），而另一些则是英雄力挽狂澜的情节转折（高重要性）。

工作原理：系统审视 AI 生成的每一个词，并问：“如果我们删掉这个词，最终答案会改变吗？”
类比：这就像检查一座桥。如果你移除某块特定的砖，桥就塌了，那么这块砖就是“高梯度”（至关重要）的。如果你移除一块砖而桥依然稳固，那它只是装饰。
结果：系统识别出真正支撑逻辑的“砖块”并予以保留，同时删除那些装饰性的部分。

2. “动态不确定性”（ADS）：“紧张度”计量器

有时，即使某个词看起来不重要，AI 也可能处于推理中容易出错的棘手环节。

工作原理：系统检查 AI 在任意时刻有多“紧张”。如果 AI 不确定（高不确定性），系统就会说：“停！这里什么都别删。我们需要稳妥。”
类比：想象开车。在笔直空旷的高速公路上（低不确定性），你可以加速，甚至可能跳过几个弯道。但当你遇到尖锐且多雾的弯道（高不确定性）时，你会减速并小心地过每一个弯。
结果：当 AI 困惑时，系统会自动减缓其“裁剪”速度，确保它不会仅仅因为某一步看起来简单就跳过关键步骤。

结合两者：“自适应 GoGI-Skip"

当结合这两个计量器时，奇迹就会发生。

场景 A（高速公路）：AI 很自信，且“目标计量器”显示某个词只是填充物。行动：删掉它！（节省时间）。
场景 B（多雾弯道）：AI 感到困惑。即使“目标计量器”显示某个词看起来不重要，“紧张度计量器”也会说：“留着它，以防万一。”行动：保留它！（防止错误）。
场景 C（关键桥梁）：AI 很自信，但“目标计量器”显示这个词是支撑逻辑的唯一要素。行动：保留它！（保持准确性）。

结果：更快，而非更笨

研究人员在困难的数学和逻辑谜题（如 AIME 数学竞赛和 GPQA 科学问题）上测试了这种方法。

主张：他们成功将 AI 撰写的文本量减少了45% 以上。
速度：这使得 AI 的思考速度提高了多达 2 倍。
准确性：关键在于，AI 得到的答案与之前一样正确。事实上，在某些测试中，它的表现甚至略好，因为它不再被自己冗长的废话所干扰。

为何这很重要（根据论文观点）

论文认为，我们无需强迫 AI 变慢才能保持聪明。通过教导 AI 区分“深度思考”和“只是喋喋不休”，我们可以在不削弱其推理能力的情况下提高其效率。

他们在约 7,500 道数学问题上训练了这位“编辑”，它学会了一条通用规则，适用于任何新问题，甚至是它从未见过的题目。这就像教学生如何高效学习，而不仅仅是死记硬背答案。

简而言之：这篇论文赋予 AI 一把剪刀，它能确切知道该剪掉什么以加快思考过程，而不会误伤大脑。

技术摘要：自适应 GoGI-Skip

问题陈述

思维链（CoT）提示显著增强了大型语言模型（LLM）的推理能力，但由于生成了冗长且冗余的推理轨迹，也引入了不可接受的推理延迟和内存成本。现有的压缩策略面临一个根本性的权衡：

静态梯度/重要性方法：如 TokenSkip 或依赖语义相似度的方法将 token 视为独立个体。它们往往通过移除结构关键但语义简单的 token（例如逻辑连接词）而切断序列逻辑，或者无法区分功能性冗余与必要的阐述。
基于不确定性的剪枝：仅依赖预测熵或困惑度的方法捕捉局部歧义，却忽略了答案正确性这一最终目标。它们可能会保留那些令人惊讶但对最终解决方案功能上无关的 token。
静态压缩率：固定的压缩比例无法适应推理步骤的异构难度，导致在复杂任务上准确性过度损失，或在简单任务上效率提升不足。

核心挑战在于实现一种“思维最优”的平衡，即模型仅进行严格必要的推理，这需要一种既目标感知（与答案正确性一致）又动态自适应（响应局部推理复杂度）的压缩范式。

方法论：自适应 GoGI-Skip

作者提出了自适应 GoGI-Skip，这是一个将**目标梯度重要性（GoGI）与自适应动态跳过（ADS）**相结合的框架，用于在不牺牲推理准确性的情况下剪枝 CoT 轨迹。该方法通过对压缩轨迹进行监督微调（SFT）来实现。

1. 目标梯度重要性（GoGI）

与通用重要性指标不同，GoGI 通过梯度敏感性量化 token 对最终答案正确性的功能贡献。

定义：对于目标层 $l^*$ 处的 token $x_t$ ，GoGI 分数 $G_t$ 是答案预测损失（ $L_{ans}$ ）相对于隐藏状态 $h_t^{l^*}$ 的梯度的 $L_1$ 范数：
$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$
层选择：实证分析表明，峰值敏感性出现在中后层（例如 Gemma3-4B 的第 23 层）。该方法选择一个具有代表性的层，在此层下游性能对具体选择不敏感，从而平衡局部与全局信号。
洞察：GoGI 识别出对最终答案功能上关键的 token，即使它们在语义上很简单，从而将它们与那些仅仅令人惊讶（高熵）但无关的 token 区分开来。

2. 自适应动态跳过（ADS）

ADS 根据运行时上下文动态调节剪枝策略，将 GoGI 与两种调节机制相结合：

熵驱动率（EDR）调节：
- 使用预测熵 $H_t$ 作为信息密度和分支点的信号。
- 将 $H_t$ 映射到局部保留率 $\gamma_t$ 。高熵（不确定性）触发保守剪枝（更高保留率），而低熵允许激进剪枝。
- 这根据局部不确定性调整动态 GoGI 阈值 $\tau_t$ （保留所需的 GoGI 分数百分位）。
自适应 N 约束（ANC）：
- 为了保持结构连贯性，ANC 限制连续被剪枝 token 的数量（ $N_t$ ）。
- $N_t$ 由局部窗口熵调节。在高熵区域（过渡区）， $N_t$ 被减小以执行更严格的连贯性，防止模型跳过至关重要的逻辑连接词（例如“因此”），即使它们的单个 GoGI 分数较低。
- 这充当了防止推理链碎片化的“安全网”。

3. 剪枝算法

该算法遍历 CoT 序列。如果满足以下条件之一，则保留一个 token：

其加权 GoGI 分数超过动态阈值（ $G'_t \geq \tau_t$ ），或者
剪枝它将违反连续跳过约束（ $C_{t-1} + 1 \geq N_t$ ）。

生成的压缩序列构成了用于 SFT 的数据集，将压缩策略直接蒸馏到模型权重中。这使得在推理期间具有零运行时开销，因为模型只需生成更短、更密集的序列。

主要贡献

框架设计：提出了自适应 GoGI-Skip，这是首个将目的论目标对齐（GoGI）与认识论不确定性（ADS）非线性耦合用于 CoT 压缩的框架。
零样本通用性：证明了仅在 7,472 条 MATH 轨迹上训练的单一切换策略，无需特定任务微调即可有效迁移到多样化的基准测试（AIME、GPQA、GSM8K）和模型家族（Gemma、Qwen）。
效率 - 准确性前沿：在保持或提高严格基准测试原始准确性的同时，实现了显著的效率提升（>45% token 减少，最高 2.0 倍加速），打破了静态基线中看到的僵化权衡。

实验结果

在 Gemma3 和 Qwen2.5 模型上，针对 AIME 2024/2025、GPQA Diamond 和 GSM8K 进行了评估：

性能：自适应 GoGI-Skip 始终优于静态基线（TokenSkip、Spiritft）和外部蒸馏器（C3oT）。
- 在 GSM8K 上，它实现了 89.9% 的准确率（比原始模型提高 0.3%），同时实现了 1.9 倍加速和 45% 的 token 减少。
- 在 AIME 2024 上，它保持了 14.1% 的准确率（原始为 14.5%），同时实现了 1.7 倍加速。
- 在 GPQA Diamond 上，它实现了 29.3% 的准确率（原始为 29.6%），同时实现了 1.8 倍加速。
泛化性：该方法随模型规模（1B 到 12B）呈正相关扩展，表明更大的模型在推理信号与噪声之间表现出更明显的分离。
消融研究：移除动态调节（ADS）或 N 约束（ANC）会导致准确率显著下降，证实了静态压缩无法处理可变的推理复杂度。将 GoGI 替换为基于困惑度的指标（LLMLingua）也会降低性能，验证了基于梯度的目标对齐的优越性。

意义与主张

该论文声称，推理中的结构冗余是一种可学习的、与语义无关的任务无关属性。通过将重要性锚定在答案损失梯度而非表面层面的困惑度或静态启发式方法上，该方法将核心演绎信号与多余内容分离开来。

作者认为，思维最优的压缩需要目的论目标与认识论不确定性之间的协同。所提出的方法提供了一种稳定、直接的优化路径（通过 SFT），避免了与强化学习（RL）方法相关的训练不稳定性和奖励黑客行为。此外，它可作为 RL 优化推理器（如 DeepSeek-R1）的互补后处理器，这些推理器生成的轨迹日益冗长，从而能够在固定的基础设施约束下高效部署高能力模型，并通过减少能耗支持绿色 AI 倡议。