技术摘要：失败的推理轨迹能告诉你哪些是可以修复的（但无法通过阅读它们来修复）

问题陈述

当后训练语言模型在推理任务上失败时，标准的部署响应是测试时缩放（test-time scaling）：即投入额外的计算量，从相同的模型分布中生成更多的轨迹（例如 Best-of-N、自一致性或简单的重试）。这种方法假设失败主要是由于“运气不好导致的采样偏差”。然而，作者认为这种做法效率低下且往往是徒劳的。某些失败是结构性的，这意味着模型被锁定在一个稳定但错误的推理轨迹中，重采样无法修复这种错误。相反，其他失败仅能通过改变轨迹的方向（例如通过逻辑值转向/logit steering）来局部恢复。

当前的方法缺乏一种在推理时区分这些失败模式的机制。聚合准确率指标将所有失败视为同等对待，丢弃了失败轨迹本身所包含的诊断信号。核心问题在于：既然模型已经失败了，那么下一个计算单元应该做什么？

方法论

本文提出了一种无需训练的推理时诊断框架，将失败的轨迹视为诊断对象。该方法并非分析失败的自然语言内容，而是分析轨迹的分布特征（distributional signature）（即每个 token 的概率/逻辑值结构）。

1. 算子类别与机制

该框架根据干预手段改变模型局部 token 排序的能力，将测试时干预分为两类机制：

• 秩保持算子（Rank-Preserving Operators）： 这些算子会对专家的分布进行重新加权，但无法反转 token 的局部排名。例如重试（Retry）（重采样）和**局部温度（Local Temperature, $T_{loc}$）**缩放。它们只有在正确 token 已在支持集中但被采样噪声抑制的情况下才有效。
• 秩反转（自然参数）算子（Rank-Inverting (Natural-Parameter) Operators）： 这些算子通过向谱系祖先（预训练检查点）进行逻辑值混合，实际上是在对逻辑值进行平均而非概率。这使得一个排名较低的 token 可能成为局部众数，如果祖先模型与专家模型意见不一。例如 SL-G（在检测到的接点处进行稀疏逻辑值转向）、SL-R（在随机位置进行稀疏转向）和 DL（在每个位置进行密集转向）。

2. 三种轨迹特征

作者从失败轨迹的几何结构和可用的算子类别中推导出三个问题层面的特征。这些特征仅从失败的展开（rollout）中计算得出，无需知道算子的结果：

1. 变形扩散度（Deformation Spread, $\bar{J}_{frac+}$）： 具有正向接点信号（专家与祖先之间存在分歧）的轨迹 token 比例。它衡量了失败分布的广泛程度。
2. 接点集中度（Junction Concentration, $\bar{C}$）： 峰值接点信号与平均信号的比值（$J_{max}/J_{mean}$）。它区分了尖锐、局部的错误与弥散的变形。
3. 局部位移预算（Local Displacement Budget, $V_{t^\star}$）： 在最差转折点处，专家局部温度子模型的费舍尔信息量（方差）。它衡量了可用于秩反转的“可转向性”或余量。

3. 可恢复性区间（Recoverability Regimes）

利用这三个特征，失败的问题被聚类为四个稳定的可恢复性区间：

• 秩误路由（几何局部型）（Rank Misrouting (geo-local)）： 尖锐峰值，高可转向性。可通过在特定接点处进行稀疏逻辑值转向来恢复。
• 秩误路由（接点弥散型）（Rank Misrouting (junction-diffuse)）： 尖锐峰值，低可转向性。需要提升局部温度以打破排名锁定。
• 分布式变形（Distributed Deformation）： 广泛、弥散的信号。理论上需要密集转向，尽管经验表明稀疏转向通常也足够。
• 未解决（Unresolved）： 没有主导信号；重试或其他干预措施均不足以奏效。

4. 路由策略

该框架实现了一种无需训练的路由规则。对于给定的失败问题，将三个特征进行 z-score 标准化，并选择与主导特征相对应的算子：

• 高变形扩散度 $\rightarrow$ 密集转向 (DL)
• 高接点集中度 $\rightarrow$ 在接点处进行稀疏转向 (SL-G)
• 高局部位移预算 $\rightarrow$ 提升局部温度 ($T_{loc}$)
• 回退机制： 如果没有主导特征，策略默认执行在随机位置进行稀疏转向 (SL-R)。

核心贡献

1. 重新定义失败轨迹： 本文将失败的推理轨迹从被丢弃的数据重新定义为编码了失败“可恢复性结构”的诊断对象。
2. 理论视角： 提供了一个理论推导，将算子类别（秩保持型 vs 秩反转型）与可测量的轨迹几何量联系起来，建立了秩反转的闭式条件。
3. 诊断审计通道： 这三个特征允许仅通过失败的展开过程对后训练方法（例如区分 SFT 与 RL/GRPO）进行审计，而无需访问训练权重或成对比较数据。
4. 无需训练的路由： 展示了一种部署可用的路由规则，该规则根据失败特征选择合适的干预类，无需额外训练。
5. 跨家族迁移： 这些特征和路由规则可以跨不同模型家族（Qwen3, R1-Distill, Phi-4）和规模进行迁移，表明它们编码的是算子类的结构，而非模型特定的人工痕迹。

结果

在可转向困难（Steerable-Hard）问题上的表现

作者将 Steerable-Hard (SH) 问题定义为重试不足以奏效（失败率 >50%），但至少有一种有界干预可以挽救的问题（比重试提高 $\ge$ 5 个百分点）。这一子集代表了路由的“甜点区”。

• 挽救提升： 在 SH 子集上，仅基于特征的无需训练路由规则相比于仅重试，将挽救率提高了 12.2 个百分点（从 16.3% 提升至 28.5%）。
• 计算效率： 该路由策略仅需 $K=10$ 次展开加上一次干预，即可达到与 $K=50$ 次重试相同的挽救率，实现了准确率-计算量曲线上的显著帕累托改进。
• 全局成本： 该策略保持了近乎为零的全局成本（所有失败的平均挽救率），因为它仅在有效的特定子集上重定向计算，并在存在歧义时默认使用安全的后备方案 (SL-R)。

审计与泛化

• 后训练审计： 失败轨迹的区间分布能以 84.3% 的准确率（±4.3%）成功区分 SFT 和 RL (GRPO) 后训练方法，仅凭推理时的失败地形就恢复了“SFT 倾向于记忆，RL 倾向于泛化”的对比结论。
• 跨家族迁移： 在 Qwen3 上训练的路由规则能有效地迁移到 R1-Distill 和 Phi-4 模型，能够正确识别出 R1-Distill 具有“支持坍缩”（分布式变形）的特征，以及 Phi-4 具有类似 SFT 的特征。

意义与主张

本文声称推理时轨迹统计量是一个被低估的维度，可用于理解和修复后训练阶段的性能退化。其意义体现在三个方面：

1. 诊断精度： 它超越了二元的通过/失败指标，能够识别模型失败的“原因”，并将失败归类为特定的算子区间。
2. 部署可操作性： 它提供了一种实用的、无需训练的动态路由机制。系统不再盲目地在重试上浪费 Token，而是诊断失败类型并应用最可能成功的特定干预（转向或温度提升）。
3. 理论基础： 该方法并非经验性的拟合，而是源于逻辑值混合和秩反转的几何属性，为理解不同测试时干预的极限提供了一种原则性的方法。

作者对研究范围持谨慎态度，指出该框架适用于具有局部化几何结构的任务（如推理、代码、数学），可能不适用于逻辑值方差在各处都极高的开放式生成任务。他们也承认，虽然路由规则在群体层面表现良好，但要预测针对单个特定问题实例的最优算子仍然具有挑战性。