Select-then-Solve: Paradigm Routing as Inference-Time Optimization for LLM Agents

1. 研究背景与问题 (Problem)

在大语言模型（LLM）智能体（Agent）的设计中，存在多种推理范式（Reasoning Paradigms），如直接回答（Direct）、思维链（CoT）、ReAct、计划 - 执行（Plan-Execute）、反思（Reflection）和代码递归（ReCode）等。

• 核心问题：当智能体在特定任务上表现提升时，这种增益是源于模型本身的能力，还是源于包裹在模型周围的推理范式？
• 现有局限：
  • 缺乏受控的大规模对比研究。现有工作通常针对特定范式设计任务，导致无法公平比较不同范式在不同任务上的优劣。
  • 没有单一范式能通吃所有任务。某些范式在某些任务上表现极佳，但在其他任务上甚至不如直接回答（Direct）。
  • 缺乏一种机制来根据具体任务动态选择最合适的推理范式。

2. 方法论 (Methodology)

作者提出了一个名为 PARADIGM 的统一评估框架，并设计了一种 "先选择后求解" (Select-then-Solve) 的架构。

2.1 统一评估框架 (PARADIGM)

• 实验设置：
  • 模型：4 个前沿 LLM（GPT-5, Gemini-3-Flash, Qwen3-Max, Qwen3-30B）。
  • 基准：10 个涵盖代码生成、数学、问答、知识推理及工具使用任务的基准测试（如 HumanEval, MATH500, GAIA, MMLU 等）。
  • 规模：约 18,000 次运行。
  • 控制变量：所有范式共享相同的模型接口、评估代码和核心工具（Web 搜索、Python 代码执行），仅改变推理的组织方式。
• 六大推理范式：
  1. Direct: 自由回答，无额外结构。
  2. CoT: 逐步推理。
  3. ReAct: 思考 - 行动循环（结合工具）。
  4. Plan-Execute: 先制定计划，再执行。
  5. Reflection: 生成答案 -> 批判 -> 修正。
  6. ReCode: 通过递归代码生成和解决问题。

2.2 Select-then-Solve 路由机制

基于“不同任务适合不同范式”的假设，作者提出在回答每个任务前，先通过一个轻量级路由器选择最佳范式。

• 路由器架构：
  • 基于 Embedding（文本嵌入）的轻量级分类器。
  • 输入：任务文本（可选结合人工特征）。
  • 输出：从 6 种范式中选择一种（包括 Direct）。
• 训练策略：
  • 标签定义：对于每个任务，选择能成功解决且 Token 消耗最低的范式作为标签。
  • 训练集：70% 数据训练，30% 数据测试。
• 对比基线：
  • Fixed Paradigm：固定使用某一种范式。
  • Oracle：理想情况下的“上帝视角”，为每个任务选择最佳范式。
  • Zero-shot Self-Routing：模型自己决定使用哪种范式（无需训练）。

3. 关键发现与结果 (Key Findings & Results)

3.1 推理结构的任务依赖性 (Task-Dependent Value)

• 互补性显著：没有一种范式在所有任务上都是最优的。
  • ReAct 在需要信息检索的任务（如 GAIA）上比 Direct 高出 44%。
  • CoT 在代码生成任务（HumanEval）上比 Direct 低 15%（因为逐步推理干扰了代码生成的流畅性）。
  • ReCode 在数学任务（MATH500）上表现优异。
• Oracle Gap（神谕差距）：
  • 如果能为每个任务选择最佳范式（Oracle），平均准确率比固定使用最佳单一范式高出 17.1%。
  • 这证明了范式之间存在巨大的互补空间。

3.2 模型能力与结构补偿

• 能力补偿假说：推理结构主要用于弥补模型能力的不足。
  • 在较弱模型（如 Qwen3-30B）上，CoT 在 HumanEval 上将准确率从 18% 提升至 64%（+46pp）。
  • 在强模型（GPT-5）上，CoT 反而导致性能下降。
  • 随着模型能力增强，对结构化推理的依赖降低，但在需要外部信息的任务上，工具类范式依然至关重要。

3.3 路由效果 (Routing Performance)

• Embedding Router 表现：
  • 在 4 个模型上的平均准确率从 Direct 的 47.6% 提升至 53.1%。
  • 比固定使用最佳范式（50.3%）高出 2.8%。
  • 恢复了 37% 的 Oracle 差距（在 Gemini 模型上）。
• 成本效益：
  • 路由器倾向于在不需要复杂推理时选择 Direct，从而大幅降低 Token 消耗。
  • 路由器的平均 Token 成本约为 ReAct 的一半，但准确率更高。
• 自路由 (Self-Routing) 的失败：
  • 零样本自路由仅在 GPT-5 上有效（67.1%），但在较弱模型上表现极差（甚至低于 Direct 基线）。
  • 较弱模型倾向于过度使用工具类范式（如 ReAct），即使任务不需要，表明“选择范式”本身是一种独立的元推理能力。

4. 主要贡献 (Contributions)

1. 大规模受控对比：在 4 个模型和 10 个基准上，对 6 种推理范式进行了公平、统一的对比，揭示了推理结构在不同任务上的巨大差异（增益可达 44pp，损失可达 15pp）。
2. 范式互补性证据：证明了不同范式解决的是不同类型的子问题，且存在显著的低重叠度（Jaccard 相似度低），支持了动态选择的必要性。
3. Select-then-Solve 框架：提出了一种基于 Embedding 的轻量级路由方法，以极低的计算成本（单次 Embedding 调用）实现了显著的性能提升，并恢复了大部分 Oracle 差距。
4. 元推理能力的发现：指出“何时使用何种推理范式”是一种独立的元推理能力，当前较弱模型难以通过零样本提示掌握，而学习到的路由器能有效解决这一问题。

5. 意义与启示 (Significance)

• 范式选择应动态化：未来的智能体设计不应固守某一种复杂的推理架构（如总是使用 ReAct 或 CoT），而应根据任务特性动态调整。
• 效率与效果的平衡：通过路由机制，可以在保持高准确率的同时，显著降低计算成本（Token 消耗），避免在简单任务上浪费资源。
• 元推理的重要性：模型不仅需要“解决问题”的能力，还需要“决定如何解决问题”的能力。这种元推理能力目前尚未被充分开发，是提升 LLM Agent 鲁棒性的关键方向。
• 对未来的指导：最强大的智能体可能不是拥有最复杂脚手架的模型，而是那些知道“何时使用脚手架，何时放手直接回答”的模型。

总结

该论文通过严谨的实验证明了推理范式的选择是任务相关的，且存在巨大的优化空间。提出的 Select-then-Solve 方法利用轻量级路由器实现了范式动态切换，不仅提升了整体准确率，还优化了推理成本，为构建更高效、自适应的 LLM 智能体提供了新的范式。