💬 NLP

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning

InftyThink+ 是一个端到端的强化学习框架，它通过策略性摘要和模型控制的迭代边界来优化迭代推理，与传统的长思维链方法相比，显著提高了准确性、效率和泛化能力。

原作者： Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个巨大的、极其困难的谜题。你有一个非常聪明的助手（AI），但他记性很差，如果试图在脑子里同时处理太多碎片，他就会感到疲劳。

以下是这篇论文所针对的问题：

旧方法（原生推理/Vanilla Reasoning）： 你要求助手一次性解决整个谜题。他开始思考，“步骤 1，步骤 2，步骤 3……”并一直进行下去。但由于他的记忆力有限，当他在处理步骤 100 时，他最终会忘记自己在步骤 1 时做了什么。此外，他思考得越久，计算机处理他的想法就变得越慢、越昂贵。他可能会在完成之前耗尽内存，或者被自己冗长的思绪搞糊涂。
新方法 (InftyThink+)： 与其进行一段漫长且不间断的思考，不如将谜题分解成一个个小章节。每隔几步，他就会停下来，写下一个关于目前为止他已经弄清楚了什么的摘要（summary），然后扔掉那些杂乱、详细的笔记。接着，他仅凭这个摘要和原始谜题开始下一个章节。这能保持他的记忆新鲜，并让计算机运行得更快。

核心创新：教会助手何时停止

之前的这种“章节”尝试就像是一个强制要求老师每写 500 个字就必须停下来的老师。有时助手正处于一个精彩想法的中途却被切断了；有时他们停得太早了。而且他们不知道如何写好一个摘要。

InftyThink+ 使用强化学习 (RL) 来通过试错法教导助手三项关键技能，就像用零食训练狗一样：

何时总结： 我现在应该停下来写摘要，还是继续下去？AI 学习在它捕捉到最重要信息的最精确时刻停止，而不是仅仅依靠定时器。
保留什么： 哪些细节对下一步很重要？AI 学习编写一个既能保留关键线索又能丢弃废话的摘要。
如何继续： 我如何从摘要中接续故事？AI 学习阅读自己的摘要，并无缝地延续逻辑而不迷失方向。

它是如何运作的（训练过程）

论文描述了一个两步走的训练配方：

“冷启动”（学习格式）： 首先，他们教 AI 游戏的基本规则。他们展示如何编写一个谜题、停止、写摘要以及重新开始的例子。这就像是在要求学生写杰作之前，先教他们如何写一篇论文的格式。
“强化学习”（学习策略）： 一旦 AI 掌握了格式，就让他们自由发挥。
- 如果 AI 正确解决了谜题，它会得到一个“奖励”（treat）。
- 如果它解决得又快又高效，它会得到一个“额外奖励”。
- 如果它写了一个糟糕的摘要或停止的时机不对，它就拿不到奖励。
- 通过数千次的尝试，AI 摸索出了完美的策略：“我应该在这里停止，像这样写摘要，然后那样继续下去，以获得最多的奖励。”

结果：更聪明、更快、更强

论文在难题（如 AIME 竞赛题）上测试了这一点。以下是他们的发现：

更聪明： AI 解决问题的能力显著提高。在一项高难度测试中，准确率比旧方法提升了 21%。它解决了旧方法无法完成的问题。
更快： 因为 AI 不再试图记住一段 100 页的历史，它解决问题的速度更快。在某些情况下，它比标准方法快了 30% 到 40%。
更高效： 训练过程本身也更快了。计算机不需要做那么多繁重的计算工作来教导 AI，这意味着研究人员可以用更少的能量和时间训练出更好的模型。

总结

把 InftyThink+ 看作是教会 AI 成为一名更好的项目经理。与其试图将项目的整个历史都装进脑子里（这会导致崩溃或遗忘），不如让它学会停顿、写一份清晰的“进度报告”（摘要），然后基于这份报告向前推进。通过学习何时编写这份报告以及在其中放入什么内容，AI 既成为了天才的问题解决者，也成为了高效的工作者。

技术摘要：InftyThink+

1. 问题陈述

大型推理模型（LRMs）通过扩展推理时思维链（CoT）推理，展示了卓越的性能。然而，当推理轨迹变得异常长时，这种范式面临三个根本性的障碍：

二次方成本： Transformer 中的自注意力机制具有 $O(L^2)$ 的计算复杂度，使得极长的推理轨迹在计算上变得极其昂贵。
上下文限制： 推理受限于模型的最大上下文窗口。如果一个问题要求的思维链超过了这个限制，生成过程会提前终止，导致复杂问题无法解决。
迷失在中部（Lost-in-the-Middle）： 随着推理轨迹的增长，模型会出现性能退化现象，即关键的早期信息变得难以获取，即使未超过上下文限制也是如此。

现有的解决方案（如通过定期总结进行的迭代推理）试图缓解这些问题。然而，当前的方法依赖于监督微调（SFT）或固定启发式方法来决定何时进行总结、保留什么以及如何恢复推理。这些方法无法优化这些具有长程后果的序列决策。一个糟糕的总结可能会毁掉后续的推理，而不必要的迭代则会浪费计算资源。本文认为，这些权衡需要 SFT 无法提供的轨迹级优化。

2. 方法论：InftyThink+

作者提出了 InftyThink+，这是一个端到端的强化学习（RL）框架，旨在优化整个迭代推理轨迹。该方法建立在 InftyThink 范式之上，该范式通过由模型生成的显式总结将推理分解为多个迭代轮次，从而实现推理深度与上下文长度的解耦。

2.1. InftyThink 范式

与模型生成单一连续长 CoT 的“普通（Vanilla）”范式不同，InftyThink 以轮次进行操作：

迭代 $i$ ： 模型以原始查询 $q$ 和前一次迭代的总结 $s_{i-1}$ 作为条件进行推理。
生成： 它生成一个推理片段 $r_i$ 和一个更新后的总结 $s_i$ 。
终止： 该过程重复进行，直到模型自主决定生成最终结论 $c$ 而不是总结。
有界上下文： 每次迭代都在有界的上下文窗口（查询 + 最新总结）内运行，防止上下文溢出并降低每步的计算成本。

2.2. 两阶段训练方案

InftyThink+ 采用两阶段训练过程，将格式获取与策略优化分离：

冷启动（监督微调）：
- 目标： 教会模型基础的 InftyThink 格式（生成推理片段和总结）。
- 数据转换： 现有的普通推理数据 $(q, r, c)$ 被转换为迭代实例。基于 Token 限制 $\eta$ ，推理轨迹 $r$ 被划分为片段 $\{r_1, \dots, r_n\}$ 。一个通用大语言模型根据当前片段和之前的总结生成总结 $\{s_1, \dots, s_{n-1}\}$ 。
- 训练： 模型在这些转换后的实例上进行微调，以产生语法有效的迭代输出。此阶段并不优化何时进行总结或保留什么；它仅建立程序化的格式。
强化学习（轨迹级优化）：
- 目标： 通过轨迹级反馈优化策略决策（压缩的时机、总结的内容、持续策略）。
- 展开（Rollout）： 对于查询 $q$ ，模型生成一个由多个推理轮次组成的轨迹 $O_i = \{o_1, \dots, o_{n_i}\}$ 。如果模型输出结论、未能产生有效格式或达到最大迭代上限 $\phi$ ，则展开终止。
- 奖励设计：
  - 任务奖励 ( $R_{task}$ )： 基于最终答案正确性的二元奖励。
  - 效率奖励 ( $R_{eff}$ )： 一个二次衰减函数 $1 - (\frac{n_i-1}{\phi})^2$ ，用于惩罚过度的迭代，鼓励模型尽可能在更少的步骤内解决问题。
  - 总奖励： $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$ 。这种乘法公式确保只有在得到正确解时才会奖励效率。
- 策略优化： 作者使用了组相对策略优化（GRPO）。至关重要的是，优势（advantages）是在轨迹层面计算的，并在整个轨迹的所有 Token 之间共享。这确保了如果早期迭代（例如，高质量的第一步总结）对最终正确答案有贡献，即使总结本身不包含答案，也会获得正向梯度信号。
- 稳定性： 框架采用了 IcePop（一种 Token 级梯度掩码技术），以减轻由于推理引擎与训练引擎不匹配导致的训练不稳定问题。

3. 核心贡献

用于迭代推理的端到端 RL： 本文引入了第一个直接将强化学习应用于迭代推理范式的框架，使模型能够学习最优的总结和持续策略，而不是依赖固定启发式方法或模仿。
InftyThink+ 框架： 一个完整的训练方案，包括：
- 用于建立迭代格式的冷启动阶段。
- 通过共享优势实现轨迹级优化，以对早期决策进行信用分配。
- 具备效率感知能力的奖励塑造，以平衡准确性和推理成本。
实验验证： 广泛的实验表明，InftyThink+ 的表现优于基于 SFT 的迭代推理和标准的长上下文 RL 基线。

4. 实验结果

实验在 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen3-4B-Base 上进行。

准确率提升：
- 在 AIME24 上，InftyThink+ 相比基线提高了 21%，并明显优于传统的长 CoT RL（比标准 RL 多出 9% 的增益）。
- 在 GPQA Diamond 等分布外基准测试中，它比基线实现了 5% 的准确率提升，比 vanilla 方法提升了 4%。
效率提升：
- 推理延迟： 在 AIME25 上，与 vanilla 方法相比，InftyThink+ 降低了 32.8% 的推理延迟。
- 训练速度： 由于减少了每步的计算开销，该框架使 RL 训练时间缩短了 18.2%。
泛化能力： 该方法在更大的模型（Qwen3-4B）和包括代码及科学推理在内的分布外任务上表现出良好的泛化能力。

5. 重要性与主张

论文声称，InftyThink+ 证明了轨迹级优化对于有效的迭代推理至关重要。其核心见解是，迭代推理的有效性并非源于格式本身，而是源于模型在每一步做出最优策略决策（何时压缩、保留什么、如何继续）的能力。

通过将格式学习（通过 SFT）与策略优化分离，InftyThink+ 使模型能够学习适应性行为，从而：

将推理深度与上下文长度解耦： 实现无限推理的同时保持有界的计算成本。
优化准确性与效率的权衡： 通过效率感知奖励，模型学会如何在不牺牲准确性的情况下更早地结束推理。
提高训练稳定性和速度： 通过减少训练展开过程中的二次方注意力复杂度。

作者将 InftyThink+ 定位为迈向大型语言模型高效、有效且可扩展的长程推理的重要一步，超越了静态上下文窗口和基于启发式压缩的局限性。