Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

这篇论文题为《数学推理中的策略可执行性：利用人机差异进行有效引导》（Strategy Executability in Mathematical Reasoning: Leveraging Human–Model Differences for Effective Guidance），由 Weida Liang 等人撰写。论文深入探讨了在推理阶段（inference time）利用示例引导（example-based guidance）提升大语言模型（LLM）数学推理能力时存在的稳定性问题，并提出了基于“策略可执行性”的新框架。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

• 现有方法的局限性：尽管在推理阶段提供工作示例（worked examples）、提示（hints）或推理建议已被证明能提升 LLM 的数学推理能力，但其效果极不稳定。即使引导内容是正确且与问题相关的，有时不仅无法提升性能，反而会导致性能下降。
• 核心假设的缺陷：现有方法通常假设：只要一个推理策略出现在成功的解决方案中，将其作为显式引导传递给目标模型，该模型就能可靠地执行该策略。
• 发现的关键差距：论文指出，策略的使用（Strategy Usage）（即策略是否出现在成功解中）与策略的可执行性（Strategy Executability）（即该策略作为引导时，目标模型能否有效执行并得出正确答案）之间存在系统性脱节。
  • 人类策略：通常侧重于结构洞察、全局几何构造和概念分解，往往简洁但抽象，依赖隐含步骤。
  • 模型策略：通常侧重于程序化操作、代数变换和坐标化，更具体但可能缺乏全局结构。
  • 结论：人类生成的策略并不总是对模型“可执行”，反之亦然。盲目模仿人类或单一来源的策略会导致失败。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了选择性策略检索（Selective Strategy Retrieval, SSR）框架，并构建了相应的数据集和分析工具。

2.1 数据集构建：HM-ReasoningBench

• 构建了一个包含 4,850 个高难度数学问题的配对数据集。
• 每个问题包含人类编写的解决方案和模型生成的解决方案。
• 数据来源包括 Omni-Math 和 HARP，覆盖代数、几何、数论、组合数学等领域。
• 通过提示工程将解决方案抽象为 30 种标准策略模板（如“辅助线构造”、“模运算”、“分类讨论”等）。

2.2 核心分析：策略可执行性诊断

• 作者分析了人类和模型在不同领域（如几何 vs 代数）的策略偏好差异。
• 关键发现：
  • 在几何问题中，人类倾向于使用结构/几何策略（如相似性、辅助线），而模型倾向于坐标化/代数策略。
  • 当单独使用人类策略引导模型时，模型往往难以执行（因为缺乏具体的代数步骤）；单独使用模型策略引导时，模型可能陷入局部代数运算而忽略全局结构。
  • 可执行性具有来源依赖性：某些策略从人类解中提取有效，而从模型解中提取无效，反之亦然。

2.3 解决方案：选择性策略检索 (SSR)

SSR 是一个测试时（test-time）框架，旨在根据实证可执行性信号选择并组合策略。

1. **策略知识图谱 **(Strategy Knowledge Graph)：

   • 构建一个异构图，节点包括问题、策略和类别。
   • 利用异构图神经网络（Heterogeneous GNN）学习节点嵌入，捕捉“问题 - 策略”配对的可执行性模式。
   • 采用对比学习，区分成功与失败的策略引导配对。

2. **多路线检索机制 **(Multi-Route Retrieval)：
   为了全面覆盖可执行性信号，SSR 通过三条互补路线检索候选策略：

   • 路线 A（类别条件检索）：基于问题所属的数学类别，检索该类别下历史上可执行性高的策略。
   • 路线 B（问题迁移检索）：检索在语义相似的问题中，被证明对目标模型有效的策略。
   • 路线 C（语义回退检索）：当上述证据不足时，基于语义相似度检索少量策略作为保底。

3. 可执行性预测与排序：

   • 构建一个参数化预测器 $\hat{U}_\theta(s|x)$，输入问题 $x$ 和候选策略 $s$，输出该策略作为引导的成功概率。
   • 利用 Beta-Binomial 模型对训练集上的多次解码结果进行校准，估计策略的期望可执行性分数。
   • 根据预测分数对候选策略进行排序，选择 Top-K 个策略作为引导提示。

4. 引导生成：

   • 将选中的策略抽象为高层提示（hints），而非具体的解题步骤，引导模型生成推理路径。

3. 主要贡献 (Key Contributions)

1. 理论发现：首次系统性地揭示了数学推理中“策略使用”与“策略可执行性”之间的解耦现象，证明了引导的有效性取决于目标模型能否操作化该策略，而非策略本身的正确性。
2. 数据集构建：发布了 HM-ReasoningBench，一个包含人类与模型配对解决方案的基准数据集，支持对策略差异的细粒度分析。
3. 算法创新：提出了 SSR 框架，通过显式建模可执行性，利用多路线检索和来源感知（source-aware）的信号，动态选择最佳策略组合。
4. 实证验证：证明了显式建模可执行性比单纯增加上下文（ICL）或单一来源引导更能带来鲁棒的性能提升。

4. 实验结果 (Results)

作者在多个基准测试（HM-ReasoningBench, AIME25, Apex）和多个模型（Qwen3-8B/14B, DeepSeek-R1-Distill-7B, GPT-4.1, o3-mini）上进行了评估。

• 性能提升：
  • SSR 在所有设置下均优于直接求解（Direct Solving）、上下文学习（ICL）以及单一来源（仅人类或仅模型）的引导。
  • AIME25：在紧凑模型（Qwen3-8B）上，准确率提升了 +13 个百分点（从 67.33% 提升至 74.00%）。
  • Apex（高难度基准）：准确率提升了 +5 个百分点。
  • 在闭源模型（GPT-4.1, o3-mini）上也观察到了显著且一致的提升（+4% ~ +13%）。
• 消融实验：
  • 移除任何一条检索路线（类别、迁移、语义）都会导致性能下降，证明了多路线互补的必要性。其中，问题迁移检索（Route B）对性能贡献最大，表明细粒度的上下文依赖至关重要。
• 效率分析：
  • SSR 在提升准确率的同时，减少了总输出 Token 数量，特别是推理部分的 Token。这表明 SSR 通过引导模型避开无效的探索路径，提高了推理效率，而非仅仅通过增加长度来“碰运气”。
• 失败模式分析：
  • 人类引导主要减少了结构性推理失败（如缺少全局分解）。
  • 模型引导主要减少了代数操作错误。
  • SSR 通过结合两者，同时降低了这两类错误。

5. 意义与影响 (Significance)

• 重新定义引导评估标准：论文提出，推理引导的有效性不应仅基于语义相关性或来源的正确性，而应基于模型相对的可执行性（Model-Relative Executability）。即：在给定的上下文和模型条件下，该策略是否可操作？
• 人机差异的利用：不再将人类策略视为“黄金标准”盲目模仿，而是将人机策略差异视为互补资源。人类擅长宏观结构，模型擅长微观执行，SSR 成功地将两者结合。
• 对训练与评估的启示：
  • 当前的训练数据分布可能过度强化了程序化/代数推理，而忽视了抽象的结构化策略。
  • 未来的训练目标或评估协议应考虑模型执行不同类策略的能力，而不仅仅是最终答案的正确性。
• 实际应用：SSR 是一种轻量级的测试时框架，无需修改模型权重或重新训练，即可显著提升现有模型的数学推理鲁棒性，特别适用于高难度、长程推理任务。

总结：这篇论文通过深入分析人机解题策略的本质差异，指出了当前引导方法的根本缺陷，并提出了一种基于“可执行性”的动态策略选择机制。这不仅显著提升了数学推理的准确率，也为理解大模型如何“思考”以及如何更有效地引导它们提供了新的理论视角。