技术摘要：是真难，还是仅仅未被触达？诊断数学推理难度估计中的采样盲点

1. 问题陈述

当前的数学推理流水线——包括基于可验证奖励的强化学习（RL）、数据策展、合成课程生成以及难度标注——高度依赖 pass@k 作为每个样本难度的规范信号。在这种框架下，如果 $k$ 次采样尝试中没有任何一条推理链达到标准答案，该样本就会被标记为“难”。因此，那些 $pass@k=0$ 的样本经常被过滤掉、降低权重，或被视为本质上不可解。

本文认为，这种对随机采样的依赖在最难的层级上造成了一个持久的盲点。其核心假设是：被采样估计器标记为“难”的样本并不一定本质上困难；相反，它们在随机轴上可能是结构性不可达的，但在匹配计算预算的情况下，通过确定性解码是可达的。作者指出，“难”这个标签混淆了“本质困难”与“未被随机采样触达”。

2. 研究方法

实验设置

研究评估了四个开源指令微调模型（Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B）在三个数学推理基准测试（GSM8K, MATH, MMLU-Pro）上的表现。

• 采样机制： 生成六条独立的推理链（$k=6$），使用温度 $T=0.7$ 和 top-p $p=0.9$。
• 确定性机制： 通过使用**激活嫁接（Activation Grafting）**运行贪婪解码（$T=0$）构建的“六链确定性机制”。
• 激活嫁接： 这是一种诊断性干预，而非一种解码方法。在第 $\ell=26$ 层（最后一个提示词 Token）处，模型的隐藏状态（$h_{last\_token}$）被替换为几种廉价的、无参数的合成向量，然后继续前向传播。嫁接向量包括：
  • $g_B$：贪婪基准（无嫁接）。
  • $g_Z$：零向量。
  • $g_R$：范数匹配的高斯向量。
  • $g_{RUNIT}$：随机单位方向向量。
  • $g_{SHUF}$：隐藏维度置换向量。
  • $g_{BOS}$：BOS Token 的激活值。
  • $g_{AVG}$：提示词 Token 激活值的均值。
  • $g_{PREV}$：同一位置前一层的状态。
• 匹配计算量： 比较过程在计算成本上是严格受控的。“六链确定性机制”执行的前向传播次数（预填充 + 解码）与六链采样机制相同。

诊断逻辑

作者隔离了 **$pass@6=0$层级**（即六次采样中均未成功的样本）。随后，他们测量了这些特定样本中有多少能被确定性机制解决（$R_k$）。如果很大一部分这些“难”样本能被确定性机制解决，那么“本质困难”的假设就被证伪了。

3. 核心贡献与发现

(1) 贪婪解码在 $k=1$ 时具有竞争力

与“贪婪解码在采样面前是弱基准”的观点相反，作者发现，在 $k=1$ 时，贪婪解码在大多数单元格中的表现与单次采样平均准确率相当甚至更优。在 Llama-3.2-3B/MATH 上，这一差距达到了 +2.8%。这表明，在相同的计算量下，自一致性（Self-consistency）默认的单次通过基准本身就比确定性替代方案更弱。

(2) 采样盲点是结构性的

在 $pass@6=0$ 层级（根据模型/基准不同，占提示词的 5.1%–43.5%）上，一个在匹配计算量下的确定性机制恢复了非平凡比例的样本：

• 恢复率： 在八个自由形式数学单元格（GSM8K 和 MATH）中，六链确定性机制（$R_6$）解决了六个采样种子集体遗漏的样本中的 10.3%–22.9%。在所有十二个单元格中，该比例范围为 10% 到 29%。
• 缩放性： 恢复效果随确定性预算的增加而提升。$R_1$（仅贪婪解码）仅恢复了 0–9%，但加入多样化的嫁接后，恢复率显著提高，这表明“难”的部分可以通过多个不同的确定性轨迹进行访问。
• 机制差异性： 恢复并非由单一的“特权”向量驱动。不同类型嫁接之间的交叉集合 Jaccard 相似度很低（$\le 0.47$），证明了不同的嫁接类型恢复了互不重叠的样本子集。

(3) 机制：残差流扰动，而非注意力重路由

论文研究了嫁接为何奏效。对 Qwen-2.5-3B 模型的仪器化分析显示：

• 隐藏状态分歧： 在第 26 层进行嫁接会导致隐藏状态与基准发生显著分歧（L2 距离随剩余层数单调增长；余弦相似度保持较低水平）。
• 注意力稳定性： 嫁接对注意力权重几乎没有直接影响（差异约为 $10^{-5}$）。
• 结论： 嫁接的作用是为剩余的 Transformer 块提供一个不同的初始条件。模型的正向传播并不会将这些扰动投影回基准轨迹；相反，它会携带这些扰动向前推进，从而锁定不同的下游轨迹。这证实了“难”的部分在残差流中是具有结构性可识别性的。

(4) 实际应用价值

基于上述发现，作者提出了两种可部署的策略：

1. 匹配成本的替代方案： 在策展流水线中，用单个确定性嫁接（特别是均值提示词激活嫁接 $AVG$）替换一次采样过程，在大多数配置下，其覆盖的数据集比使用全部次数进行采样更多。
2. 无标签识别： 利用三条链（贪婪解码 + 两个采样种子）之间的链不一致性（Chain Disagreement）进行简单探测，可以对可恢复项（即属于 $pass@6=0$ 层级但可通过确定性方式解决的项）进行排序，在自由形式数学任务上实现 3–5 倍的提升，且无需金标准标签。

4. 重要性与主张

本文声称，基于采样的难度估计系统性地误标了数学推理中最难的一层级，而这一层级在结构上是可识别的。

• 重新定义“难”： 当前流水线中的“难”标签往往意味着“在随机轴上未被触达”，而非“本质上困难”。
• 对流水线的影响：
  • 基准测试构建： 像 GSM8K 和 MATH 这样的基准测试中，“最难”的桶部分是解码机制的产物，而非题目本身的属性。
  • 数据策展： 拒绝采样（Rejection-sampling）流水线可能会将可解的问题误判为不可解，从而浪费潜在的训练数据。
  • RL 与验证器训练： 基于采样链构建的偏好数据集继承了这一盲点，对于那些确定性链可以解决的问题，仅贡献了负面信号。
• 声明的审慎性： 作者明确表示，他们并非提议将激活嫁接作为一种新的推理部署方法。相反，它是一个诊断工具，用于揭示当前标准采样指标所无法观测到的问题空间切片。在常规推理下，未经修改的模型无法触达这些项目；该切片只有通过特定的内部干预才是可达的。

5. 局限性

• 恢复不完全： 即使使用八条确定性链，仍有 66%–88% 的 $pass@6=0$ 层级未能被恢复。这些可能确实是本质困难的，或者是通过未测试的差异性轴可达的。
• 范围限制： 研究仅限于四个模型和三个基准测试。
• 无标签精确度： 虽然链不一致性可以对可恢复项进行排序，但其无标签识别的精确度保证并未得到充分量化，并且由于随机一致性的存在，在多选题（MMLU-Pro）上的表现有所下降。
• 噪声问题： 在较小的样本层级（例如约 50 个样本）中，绝对恢复计数较小，尽管恢复率保持一致。

总之，本文证明了数学推理基准中最“难”的问题往往并非本质上不可解，而仅仅是由于随机采样未能触及，这一点可以通过对残差流进行确定性干预来揭示。