技术摘要：HEAVYSKILL——智能体框架中的“深度思考”作为内在技能

问题陈述

近期，智能体框架（agentic harnesses）通过协调具备记忆、技能和工具使用能力的多个智能体，在复杂推理任务中取得了成功。然而，驱动这一性能的底层机制仍被复杂的系统设计所掩盖。当前的方法通常依赖外部协调循环，以并行方式激活子智能体并汇总结果，或采用专门的架构修改和训练后策略来激发并行推理。本文认为，对推理能力的追求过度集中于测试时扩展（TTS）策略，即通过放大计算资源来提升性能，而“深度思考”（heavy thinking）作为模型参数内可内化的技能，其具体贡献仍未得到充分探索。此外，现有方法往往缺乏一个统一、可移植的框架，该框架能够与特定基础设施解耦，作为大语言模型（LLM）的原生能力发挥作用。

方法论

作者提出了HEAVYSKILL，这是一种将“深度思考”视为模型内部内在技能而非仅仅是协调框架中执行单元的观点和框架。该技能被定义为一个两阶段流程：并行推理 followed by 顺序审议。

1. 深度思考框架

推理流程被分解为两个截然不同的阶段：

• 并行推理：给定问题 $q$，模型生成 $K$ 条独立的推理轨迹（$T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$）。这些轨迹的生成过程互不访问彼此输出，以确保多样性。
• 顺序审议：第二个模型（或同一模型）聚合生成的轨迹。此阶段涉及一个“总结”过程，模型在此过程中批判性地评估推理路径，识别错误，并综合得出最终答案。
• 序列化内存缓存：为了连接这两个阶段，框架引入了一种内存缓存机制。由于完整轨迹通常超出上下文限制，它们会被修剪、打乱以防止位置偏差，并序列化为上下文（$C(x_c)$），供审议阶段使用。
• 迭代审议（可选）：该框架支持迭代优化，将审议阶段的输出反馈到内存缓存中，作为后续轮次分析的新输入。

2. 作为可读技能的 HEAVYSKILL

一项关键创新是将此工作流程提炼为可读技能文件（例如 HeavySkill.md）。与依赖外部 Python 管道来管理 API 调用和状态的传统工作流不同，HEAVYSKILL 是一份人类可读、模型可解释的文档。

• 结构：技能文件包含四个组件：
  1. 激活条件：声明式规则，规定何时触发深度思考（例如，复杂推理与简单查询的区别）。
  2. 并行推理协议：指导生成 $K$ 个具有不同策略的独立智能体。
  3. 审议提示：一个核心模板，指导模型批判性地评估轨迹，而不仅仅是投票。它明确禁止表面的拼接，要求真正的综合。
  4. 输出约束：规定最终答案格式的规则（例如，数学题使用 \boxed{}）。
• 可移植性：由于它是纯文本文档，可以注入到任何支持技能加载的智能体框架（例如 Claude Code、CodeX、Hermes）中，使协调器能够在不修改代码的情况下自主执行该协议。

3. 通过 RLVR 进行优化

本文探讨了利用可验证奖励强化学习（RLVR）来优化深度思考。假设是，RLVR 可以同时提高推理的广度（通过并行生成）和深度（通过审议），从而可能推动模型超越其固有的单轨迹限制。

主要贡献

1. 框架提出：提出了一种简单、无需训练的框架，通过并行推理和顺序审议来复现深度思考。
2. 全面的实证研究：首次在不同模型规模（从 7B 到前沿模型）和任务领域（STEM、编程、通用推理）中对深度思考进行了系统性评估。
3. 技能提炼：将深度思考概念化为一种可移植、可读的“内在技能”，使推理能力与特定的协调基础设施解耦。
4. 系统性分析：深入分析了框架组件之间的相互作用，包括轨迹多样性的作用、审议阶段的模型选择以及迭代优化的效果。

实验结果

STEM 任务表现

在包括 AIME25、BeyondAIME、HMMT25-Feb 和 GPQA-Diamond 在内的基准测试中进行了评估：

• 持续超越：深度思考（通过 Heavy-Mean@4 或 HM@4 衡量）始终优于单轨迹尝试（Mean@K）和传统的 Best-of-N 策略（如多数投票 Vote@K）。
• 扩展定律：增加并行轨迹数量（$K$）并采用顺序审议，能带来持续的性能提升，验证了深度思考作为测试时扩展的实际实现。
• 逼近理论极限：在深度思考下，更强的模型（如 DeepSeek V3.2、GPT-5 Thinking）逼近了理论上的 Pass@K 上限。在某些情况下，审议过程（Heavy-Pass@K）超过了原始 Pass@K，表明模型能够综合出任何单条原始轨迹中都不存在的正确解决方案。
• 层级关系：观察到一致的性能层级：Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K。

通用推理任务表现

• 客观与主观：该框架在客观、可验证的任务（如 LiveCodeBench、IFEval）上显示出显著增益。然而，在主观、基于偏好的任务（如 Arena-Hard）上，增益微乎其微，甚至偶尔为负，这表明顺序审议擅长“正确性导向”的任务，但在处理“偏好导向”的细微差别时可能表现不佳。
• 模型选择：审议阶段并不严格要求具有更强内在推理能力的模型。即使作为独立解题能力较弱的更大规模指令遵循模型（如 Qwen2.5-32B）用作审议者，也能显著提升性能，这突显了在第二阶段综合能力的重要性超过了原始推理能力。

迭代审议与工具使用

• 迭代：虽然增加迭代次数通常会提高准确率，但也引入了权衡，即由于早期阶段的累积噪声或偏差，Heavy-Pass@K 可能会下降。
• 工具集成：该框架成功集成了外部工具（如 Python 解释器）。在工具交错场景中，深度思考优于投票基线，有效地利用执行反馈来优化轨迹。

RLVR 适配

初步的 RLVR 实验表明，将强化学习应用于深度思考轨迹可以进一步将 Heavy-Mean@4 提高约 10%。然而，由于序列长度限制，在较大的轨迹数量（$K=16$）下观察到了稳定性问题，这表明需要仔细配置。

意义与主张

本文主张，HEAVYSKILL 提供了一条通往自我进化 LLM 的有前景的道路，使复杂推理内化而无需依赖脆弱的协调层。通过将智能体框架抽象为固有的“深度思考”能力，作者证明了：

1. 推理是一种内在技能：复杂推理可以被提炼为一种可转移的技能，在任何智能体框架之下运行。
2. 审议是关键：从多条推理路径中综合出正确答案时，顺序审议比简单的统计共识（投票）更有效。
3. 可扩展性：深度思考的深度和广度是可学习且可通过强化学习扩展的，提供了一种将 LLM 推向当前推理边界之外的机制。

作者保持谦逊的态度，指出虽然深度思考显著优于传统策略，但它并非所有任务类型（特别是主观偏好任务）的万能药，且在此背景下 RLVR 的动态机制仍需进一步探索。这项工作主要确立了深度思考作为下一代智能体系统基础组件的有效性和局限性。