💬 NLP

Test-time Recursive Thinking: Self-Improvement without External Feedback

该论文提出了测试时递归思维（Test-time Recursive Thinking, TRT），这是一种迭代式自我改进框架，通过利用多样化的候选生成与自我验证，使大语言模型能够在无需外部反馈或额外训练的情况下，显著提升其在挑战性基准测试上的推理与编程能力。

原作者： Yufan Zhuang, Chandan Singh, Liyuan Liu, Yelong Shen, Dinghuai Zhang, Jingbo Shang, Jianfeng Gao, Weizhu Chen

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yufan Zhuang, Chandan Singh, Liyuan Liu, Yelong Shen, Dinghuai Zhang, Jingbo Shang, Jianfeng Gao, Weizhu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解决一个非常困难的谜题，比如一道复杂的数学题，或者编写一段棘手的计算机代码。通常情况下，你可能会向老师索要答案，或者向教练请教你在哪里犯了错。但如果此时你独自一人在一个房间里，没有任何人可以帮助你，你必须完全靠自己去解决它，那会是什么样子？

这篇论文介绍了一种被称为**测试时递归思维（Test-time Recursive Thinking, TRT）**的新方法。你可以把它理解为教给一个聪明的 AI 如何在不需要任何外部帮助的情况下，同时成为自己最好的教练、老师和学生。

以下是它的工作原理，通过一个简单的故事进行拆解：

问题所在：“猜与试”的陷阱

通常，当 AI 尝试解决一个难题时，它可能会只是尝试猜测一个答案。如果错了，它会再试一次。但如果没有老师，它往往会重复同样的错误，或者只是在随机猜测。这就像是在黑暗的房间里寻找一把特定的钥匙，通过盲目摸索来寻找；你最终可能会找到，但过程会极其漫长，而且你会不断地被同样的家具绊倒。

解决方案：“递归思维”循环

作者创建了一个系统，让 AI 不仅仅是猜测，而是在一个持续的循环中玩一场“尝试、评判与学习”的游戏。想象一下，AI 就像一名正在侦破案件的侦探。

第一步：侦探生成嫌疑人（生成 Generation）
AI 不仅仅是猜测一个答案，而是同时创建几个不同的“嫌疑人”（即解决方案）。但这里的诀窍在于：它不是随机猜测。它会查看一本记录了从之前尝试中学习到的知识的笔记本（例如：“不要使用那个特定的数学技巧”或“不要忘记检查边界情况”）。它利用这个笔记本来创造全新且不同的嫌疑人，从而避开过去的错误。

第二步：侦探充当法官（选择 Selection）
现在 AI 有了一份嫌疑人名单。由于没有老师来告诉它“哪一个是正确的”，AI 必须自己进行评判。

对于数学： 它寻找脱颖而出的答案。如果 10 个猜测中的数字各不相同，但其中 9 个根据逻辑显然是错误的，那么剩下的那个数字很可能就是赢家。
对于编程： AI 会根据它对题目要求的理解，编写自己的“测试用例”（就像一场小型考试）。它运行代码并针对这些测试进行验证。通过最多测试的代码会获得一颗金星。

第三步：侦探更新笔记本（反思 Reflection）
这是最关键的部分。AI 会将“获胜”的嫌疑人与“失败”的嫌疑人进行对比。它会自问：“为什么这个失败了？”

是漏掉了边界条件吗？
是逻辑有缺陷吗？
是使用了效率低下的算法吗？

然后，AI 会在它的知识笔记本中写下一条简短、清晰的笔记（例如：“下次记得检查差一错误/off-by-one errors”）。它会丢弃失败尝试中的琐碎细节，只保留高层级的教训。

结果：实时变得更聪明

论文在两类挑战上测试了该方法：

难题（AIME 数学竞赛）： 使用该方法的开源 AI 模型达到了 100% 的准确率。它们通过从自身的尝试中学习，解决了每一个问题。
难题（LiveCodeBench 编程竞赛）： 顶尖的闭源 AI 模型（如 o3 和 o4-mini）仅通过使用这种方法，其得分就提升了 10% 到 15%。它们不需要新的训练或外部老师；它们只是通过递归思考变得更强了。

为什么这很重要

把它想象成一款电子游戏，游戏中没有“游戏结束”界面。相反，每当你失败时，游戏会立即在你的日志中写下一行字，例如：“别再从那个悬崖跳下去了”，然后让你带着这个新知识重新开始关卡。

这篇论文表明，大语言模型（LLM）不需要通过人类进行重新训练就能在特定任务上变得更好。只要你给它们一种方法来生成多样化的想法、自我批判并记住教训，它们就能在被要求解决问题时，在实际测试过程中自行解决极其困难的问题。

简而言之： 这篇论文证明了 AI 可以通过循环执行“尝试、评判和更新自己的‘避坑指南’”这一过程，在实际测试期间实现自我进化，从而变得更聪明。

技术摘要：测试时递归思维 (Test-time Recursive Thinking, TRT)

问题陈述

虽然大语言模型（LLMs）在推理能力方面表现出了快速提升，这主要由具有可验证奖励的强化学习（RL）所驱动，但这些范式通常依赖于外部监督和昂贵的权重更新。一个关键的开放性问题仍然是：模型能否在没有获取真实值奖励或外部反馈的情况下，在测试时实现自我改进？

现有方法面临两个主要局限：

元强化学习（Meta-RL）方法需要复杂的奖励校准和昂贵的权重更新。
推理时自我改进方法往往缺乏一种递归机制来将学到的改进向前传递到多次尝试中，从而导致冗余的探索或停滞。

作者确定了试图在没有真实值的情况下进行测试时自我改进的系统所面临的两个核心挑战：

高效生成： 生成多样化、高质量候选解，而不重复已知的失败模式。
可靠选择： 在缺乏真实值监督的情况下，准确地选择正确答案。

方法论：测试时递归思维 (TRT)

本文提出了测试时递归思维 (TRT)，这是一个在单个问题实例内运行 $T$ 轮的迭代自我改进框架。TRT 的生成过程受三个因素的约束：特定于展开过程（rollout）的策略、累积知识以及自生成的验证信号。

该框架在每一轮中分为三个截然不同的阶段：

1. 生成 (战略性探索)

给定一个问题 $P$ ，模型生成 $K$ 个展开过程 ( $r_k$ )。至关重要的是，这些并非独立的样本。每个展开过程都受以下因素约束：

累积知识 ( $K_t$ )： 从前几轮中提炼出的洞察列表，主要侧重于“负向约束”（例如，“不要做”的行为、失败模式、错误模式），以限制搜索空间。
特定于展开过程的策略 ( $s_k$ )： 由模型自身生成的独特提示词，以确保互补性的探索。策略根据领域而变化（例如，针对代码领域的动态规划与贪心算法等算法范式；针对数学领域的证明技术）。

2. 选择 (自我引导验证)

模型评估 $K$ 个展开过程，以在没有真实值的情况下识别出最佳解 ( $r^*$ )。选择机制具有领域特定性：

数学推理： 利用互斥性 (Mutual Exclusivity)。由于存在且仅存在一个正确的整数答案，模型会追踪被自我拒绝的答案。正确的推理者会收敛于同一个答案，而错误的推理者则会分散。
代码生成： 采用基于执行的自我验证 (Execution-Based Self-Verification)。模型根据其对问题规范的理解生成单元测试。候选方案在这些测试中执行；通过测试更多的候选方案排名更高。如果多个方案均通过，则应用次要标准（逻辑清晰度、边缘情况处理）。

3. 反思 (知识提炼)

模型进行成对分析，将非选中的展开过程与最佳解 ( $r^*$ ) 进行比较。

它提取可操作的失败洞察（例如，特定的逻辑错误、遗漏的边缘情况）。
这些洞察被提炼为下一轮的知识列表 ( $K_{t+1}$ )。
模型合成新的策略，以避免之前失败的方法并探索新的方向。

为了管理上下文窗口的限制，系统会修剪过时的知识条目，确保知识列表保持紧凑（通常小于上下文窗口的 1.5%）。

核心贡献

框架设计： 引入了 TRT，它明确地将战略性探索（通过受知识约束的策略）与自我引导验证区分开来，解决了探索与选择这两个互补的挑战。
自我验证机制： 开发了领域特定的选择策略，包括用于数学的互斥性和用于代码的自生成测试执行，从而在没有外部标签的情况下实现有效的候选方案选择。
知识累积策略： 侧重于存储高层级的、提炼后的“负向约束”（即什么不应该做），而非冗长的解题轨迹，从而实现了在多轮迭代中的可持续扩展性。

实验结果

作者在数学推理（AIME-25/24）和代码生成（LiveCodeBench v6）上评估了 TRT。

数学推理 (AIME-25/24)

模型： 开源模型 (gpt-oss-120b, Qwen3-235B)。
结果： TRT 在两个模型的所有 30 个问题上均达到了 100% 的准确率。
对比： 优于 64 个独立轨迹的多数投票基准。性能随轮数单调提升，并在接近 100% 时趋于稳定。

代码生成 (LiveCodeBench v6)

模型： 闭源模型 (o4-mini-High, o3-High)。
结果：
- o4-mini-High： 在 8 轮后从 63.5%（基准）提升至 73.9%（+10.4 pp）。
- o3-High： 在 8 轮后从 57.1%（基准）提升至 71.9%（+14.8 pp）。
对比： 两个模型都超越了递归自我聚合 (RSA)，这是一个通过迭代优化候选群体集的强力基准。
消融研究：
- 深度 vs. 广度： 增加轮数 ( $T$ ) 比在每一轮内增加并行展开数量 ( $K$ ) 带来的效果更好，证实了迭代优化比并行采样广度更有效。
- 组件分析： 战略规划贡献了约 3.0 pp 的提升，而自生成测试执行贡献了约 7.4 pp，凸显了探索与验证两者对于提升性能的重要性。

意义与主张

论文声称，LLM 可以通过递归地从自身的尝试中学习，在无需依赖外部反馈的情况下，在测试时实现自我改进。

效率： TRT 证明了战略规划和知识累积允许模型在与并行采样方法相当的计算预算下，达到更高的解质量。
泛化性： 该框架成功桥接了开放式代码生成（其中多数投票失效）与数学推理之间的鸿阱，通过适配领域的结构特性来调整选择机制。
可扩展性： 通过将知识提炼为紧凑的高层级约束，TRT 避免了上下文耗尽问题，从而支持长程推理任务。

作者总结道，高效探索（由累积知识引导）与有效自我引导选择（通过领域特定验证）的结合，是实现测试时自我改进的关键。他们也指出了局限性，例如对代码执行环境的依赖，以及计算开销随轮数线性增长的问题，但将 TRT 定位为迈向自主、无反馈推理的重要一步。