💬 NLP

Training Large Reasoning Models Efficiently via Progressive Thought Encoding

本文提出了一种名为“渐进式思维编码”的参数高效微调方法，通过中间推理过程的固定大小向量化表示，在显著降低大推理模型强化学习训练内存开销的同时，有效克服了传统滑动窗口缓存导致的性能下降问题，从而在严格内存约束下实现了推理准确率的大幅提升。

原作者： Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文解决了一个让超级聪明的 AI 模型（我们叫它“大推理模型”）变笨、变慢、变贵的核心问题。

想象一下，你正在训练一个天才数学家（AI 模型）去解世界上最难的数学题。

1. 遇到的难题：大脑内存不够用

这个数学家解题时，习惯在草稿纸上一步步推导（这叫“思维链”）。

传统方法（RL 训练）：为了让他学会解题，我们需要让他反复尝试，每次尝试都要把整张草稿纸从头到尾读一遍，才能知道最后答案对不对。
问题出在哪？：如果题目太难，草稿纸写得像一本字典那么长，AI 的“工作内存”（GPU 显存）根本装不下。
- 方案 A（硬撑）：强行把整本字典塞进内存。结果：电脑直接死机，或者训练速度慢到像蜗牛爬，成本极高。
- 方案 B（粗暴丢弃）：为了省内存，只保留最近写的几行字，把前面的草稿纸撕掉扔掉。结果：数学家忘了前面的关键步骤，解题逻辑断了，越做越错。

这就陷入了一个死循环：要么内存爆炸，要么变笨。

2. 论文的创新解法：“渐进式思维编码”

这篇论文提出了一种叫**“渐进式思维编码”（Progressive Thought Encoding）**的新方法。

我们可以用一个生动的比喻来理解：

想象这位数学家有一个神奇的“记忆胶囊”和一本“随身笔记”。

以前的做法：草稿纸写满了，就把旧纸撕了扔掉。数学家忘了前面写了什么，只能瞎猜。
论文的做法：
1. 不扔掉，而是“压缩”：当草稿纸（KV Cache）写满时，数学家不会把旧内容直接扔掉。相反，他会把刚才写过的关键思路，提炼成几个**“记忆胶囊”**（固定大小的向量）。
2. 注入“超能力”：这些“记忆胶囊”会被注入到数学家的大脑核心（模型参数/LoRA 适配器）里。
3. 继续解题：虽然眼前的草稿纸变短了（只保留最近的），但因为关键信息已经变成了他大脑里的“本能”，他依然能记得前面的逻辑，继续流畅地解题。

简单来说： 以前是“记不住就忘”，现在是“记不住就把它刻在脑子里”。

3. 这个方法好在哪里？

省内存（省钱）：因为不需要把整本“字典”都塞进显存，只需要保留一小块“当前草稿”加上几个“记忆胶囊”，所以电脑内存占用直接减半。
不降智（变强）：因为关键信息没有丢，只是换了一种存储方式，所以 AI 的解题能力不仅没下降，反而因为训练更顺畅（可以跑更长的推理过程）而变强了。
速度快：训练和推理都更快了，因为不用处理海量的历史数据。

4. 实验结果：真的有用吗？

作者在几个著名的数学竞赛题目（像 AIME、AMC 这种很难的题）上测试了三种 AI 模型（Qwen 和 DeepSeek 系列）：

对比对象：
- 普通 AI：没经过特殊训练。
- 普通微调 AI：用了传统的省钱方法（直接丢弃旧内容）。
- 我们的 AI：用了“记忆胶囊”法。
成绩：
- 在同样的内存限制下，用新方法训练的 AI，在最难数学题上的准确率比传统方法提高了近 20% 到 30%。
- 特别是在 AIME2024/2025 这种顶级难题上，准确率提升了23.4%。
- 同时，它让训练所需的内存减少了约 50%。

总结

这篇论文就像给 AI 工程师发了一套**“压缩饼干”食谱**。

以前，为了让 AI 记住长故事，必须给它一个巨大的冰箱（大内存）。现在，他们发明了一种方法，把故事里的精华提炼成几块高营养的“压缩饼干”（记忆胶囊），让 AI 吃进肚子里（变成参数）。这样，哪怕冰箱很小，AI 也能记住整个故事，并且跑得更快、更聪明。

这对于未来让 AI 在普通电脑上也能处理复杂的推理任务（比如写代码、做科研、解数学题）具有非常重要的意义。

这是一份关于论文《Training Large Reasoning Models Efficiently via Progressive Thought Encoding》（通过渐进式思维编码高效训练大型推理模型）的详细技术总结。

1. 研究背景与核心问题 (Problem)

背景：
大型推理模型（Large Reasoning Models, LRMs）在数学、科学和编程等复杂任务上表现出色，通常依赖于强化学习（RL，如 GRPO、PPO）进行后训练。这些模型通过生成较长的思维链（Chain-of-Thought, CoT）来解决问题。

核心痛点：

显存与计算瓶颈： RL 训练需要长序列的 rollout（推演过程），这导致自回归解码过程消耗巨大的显存和计算资源。KV Cache（键值缓存）随着序列长度线性增长，成为主要瓶颈。
现有方案的局限性：
- 全量缓存： 显存占用过高，难以在有限硬件上训练长序列。
- 滑动窗口缓存（Sliding-window Cache）： 虽然能限制显存，但会丢弃早期的思维 token。这破坏了长上下文理解能力，导致推理质量显著下降（如论文表 1 所示，简单的滑动窗口会导致性能大幅下跌）。
关键问题： 如何在严格的显存预算（固定大小的 KV Cache）下，既保持训练的高效性，又不牺牲模型的长程推理能力？

2. 方法论 (Methodology)

作者提出了一种名为 渐进式思维编码（Progressive Thought Encoding, PTE） 的参数高效微调（PEFT）方法。其核心思想是：不直接丢弃被挤出的（evicted）思维 token，而是将其信息编码并压缩到模型参数中。

核心机制：

被挤出 token 的学习与编码：
- 在 RL 的 rollout 阶段，当 KV Cache 填满时，早期的思维 token 会被策略 $D$ 挤出。
- 传统方法直接丢弃这些 token，而 PTE 利用这些被挤出的 token 来更新一个紧凑的潜在表示（Latent Representation）。
- 引入一个可学习的全局查询向量（Global Query Vector, $q_g$ ），作为所有被挤出上下文的摘要。
动态更新 LoRA 适配器：
- 利用被挤出的 Key ( $K_e$ ) 和 Value ( $V_e$ ) 以及全局查询 $q_g$ ，计算一个上下文状态 $S_e$ 。
- 通过低秩适应（LoRA）机制，将 $S_e$ 的信息动态注入到模型的权重更新中（ $\Delta W$ ）。
- 公式核心逻辑： $\Delta W = A \cdot S_e \cdot B$ ，其中 $S_e$ 是由被挤出 token 聚合而成的状态。
- 每次 Cache 填满时，计算新的 $S'_e$ 并归一化累加到 $S_e$ ，然后重新计算 $\Delta W$ 。这使得模型在推理过程中能“记住”被挤出的历史信息，而无需将其保留在显存中。
训练策略设计：
- 保留问题 token： 始终将输入的问题（Prompt）保留在 Cache 中（类似 Sink Token 机制），确保模型有稳定的上下文锚点。
- 滑动窗口仅针对思维 token： 仅对生成的思维 token 应用滑动窗口挤出策略，但配合 PTE 进行信息编码。
- 目标函数： 修改了标准的 GRPO 目标函数，使其在部分 Cache 策略 $D$ 下生成轨迹，同时通过 KL 散度约束使其逼近全 Cache 策略下的表现。

3. 主要贡献 (Key Contributions)

问题形式化： 首次将 LRM 在长 rollout 下的 RL 训练低效问题形式化为“受 Cache 约束的优化问题”，指出了简单丢弃 token 对推理能力的破坏。
提出 PTE 方法： 设计了一种参数高效的微调技术，通过将被挤出的思维 token 编码进 LoRA 权重，实现了在固定大小 Cache 下保留长程推理能力。
显著的性能与效率提升： 在多个模型和基准测试上证明了该方法不仅能大幅降低显存占用，还能在受限资源下超越全量缓存训练的效果。

4. 实验结果 (Results)

实验在三个模型（Qwen2.5-3B/7B-Instruct, DeepSeek-R1-Distill-Llama-8B）和六个数学基准（Math500, Olympiad, Minerva, AMC, AIME2024/2025）上进行。

推理准确率提升：
- 相比未微调的 LRM，平均提升 +29.9%。
- 相比基于 LoRA 的微调，平均提升 +19.3%。
- 在极具挑战性的 AIME2024/2025 数据集上，在相同的严格 Cache 预算下，准确率最高提升了 +23.4%（例如 DeepSeek-R1-8B 在 AIME2024 上从 20.0% 提升至 56.7%）。
显存与计算效率：
- 峰值显存降低： 相比全量 LoRA 训练，峰值显存使用量降低了约 50%（例如 Qwen-7B 从 85.8% 降至 67.2%）。
- 计算量减少： 注意力机制所需的最大 TFLOPs 显著降低（Qwen-7B 从 5.7 降至 3.6）。
长序列推理能力：
- 在固定 1K 上下文窗口下，随着生成长度从 3K 扩展到 64K，PTE 方法表现出最强的扩展性（Scaling Law），准确率持续上升，而基线方法在长序列下性能迅速饱和或下降。
消融实验：
- 证明了全局 Token（Global Tokens）的引入对性能至关重要。
- 证明了在训练阶段使用简单的滑动窗口（而非复杂的基于重要性的 Token 丢弃）是高效且有效的，复杂的丢弃策略虽然能微调提升，但会增加训练开销。

5. 意义与影响 (Significance)

打破显存墙： 该方法使得在消费级或有限显存的硬件上训练和部署具有长思维链能力的 LRM 成为可能，无需依赖昂贵的全量 KV Cache。
推理鲁棒性： 证明了“缓存感知”的训练不仅能节省资源，还能通过显式地学习被丢弃的信息，增强模型在受限资源下的推理鲁棒性。
可扩展性： 为未来的 RL 训练提供了新的范式，即通过参数更新来“记忆”历史，而非单纯依赖显存存储历史，这对于未来处理超长上下文和复杂多步推理任务具有指导意义。
实用价值： 在保持推理精度的同时大幅降低了训练成本（显存和计算），使得大规模推理模型的迭代和部署更加经济可行。

总结：
这篇论文提出了一种巧妙的“以参数换显存”的策略。通过渐进式思维编码，模型学会了在被挤出的 token 消失前，将其核心逻辑压缩进 LoRA 权重中。这不仅解决了 RL 训练中的显存瓶颈，还意外地提升了模型在受限条件下的推理表现，为高效训练大型推理模型开辟了新路径。