テクニカル・サマリー：失敗した推論トレースは「何が修正可能か」を教えてくれる（ただし、それ自体を読み解くことによってではない）

問題提起

ポストトレーニング後の言語モデルが推論タスクに失敗した際、標準的なデプロイメントの対応策は**テスト時スケーリング（test-time scaling）である。これは、同じモデル分布からより多くの軌跡（例：Best-of-N、自己一貫性、あるいは単純なリトライ）を生成するために、追加の計算資源を投入することである。このアプローチは、失敗が主に「不運なサンプリング」に起因すると仮定している。しかし、著者らはこれが非効率であり、しばしば無益であると主張している。一部の失敗は構造的（structural）**であり、モデルが安定しているが誤った推論軌跡にロックインされており、再サンプリングでは修正できない。逆に、他の失敗は、軌跡の方向を変えること（例：ロジット・ステアリング）によってのみ局所的に回復可能である（例：ランクの反転が必要な場合）。

現在の手法には、推論時にこれらの失敗モードを区別するメカニズムが欠けている。集約された精度メトリクスは、すべての失敗を同一のものとして扱い、失敗したトレース自体に含まれる診断信号を破棄してしまう。中心となる問いは、**「モデルがすでに失敗した場合、次の計算単位は何をすべきか？」**である。

手法

本論文は、失敗したトレースを「診断オブジェクト」として扱う、学習不要の推論時診断フレームワークを提案している。この手法は、失敗の自然言語の内容を分析するのではなく、トレースの分布的シグネチャ（トークンごとの確率／ロジット構造）を分析する。

1. オペレータ・クラスとメカニズム

本フレームワークは、モデルの局所的なトークン・ランキングを変化させる能力に基づき、テスト時の介入を2つのメカニズム的クラスに分類する：

• ランク保存型オペレータ（Rank-Preserving Operators）： これらはスペシャリスト（専門家モデル）の分布を再重み付けするが、トークンの局所的な順位を反転させることはできない。例として、リトライ（Retry）（再サンプリング）や**局所温度（Local Temperature, $T_{loc}$）**スケーリングが挙げられる。これらは、正しいトークンがすでにサポート内に存在するものの、サンプリングのノイズによって抑制されている場合にのみ効果を発揮する。
• ランク反転型（自然パラメータ）オペレータ（Rank-Inverting (Natural-Parameter) Operators）： これらは、リネージの先祖（プリトレーニング時のチェックポイント）に向かってロジット混合を適用し、確率ではなくロジットの平均化を行う。これにより、スペシャリストと先祖が一致しない場合に、より低いランクのトークンが局所的なモード（最頻値）になることが可能になる。例として、SL-G（検出されたジャンクションにおけるスパース・ロジット・ステアリング）、SL-R（ランダムな位置でのスパース・ステアリング）、およびDL（全位置でのデンス・ステアリング）が挙げられる。

2. 3つの軌跡特徴量

著者らは、失敗したトレースの幾何学的構造と利用可能なオペレータ・クラスから、問題レベルの3つの特徴量を導出している。これらの特徴量は、オペレータの結果を必要とせず、失敗したロールアウトのみから計算される：

1. 変形拡散度（Deformation Spread, $\bar{J}_{frac+}$）： 正のジャンクション・シグナル（スペシャリストと先祖の間の不一致）を持つトレース・トークンの割合。これは、失敗がいかに広く分布しているかを測定する。
2. ジャンクション集中度（Junction Concentration, $\bar{C}$）： ピーク・ジャンクション・シグナルと平均シグナルの比（$J_{max}/J_{mean}$）。これは、鋭く局所的なエラーと、拡散した変形を区別する。
3. 局所変位バジェット（Local Displacement Budget, $V_{t^\star}$）： 最悪のピボット・ポイントにおける、スペシャリストの局所温度サブモデルのフィッシャー情報量（分散）。これは、「ステアラビリティ（操舵可能性）」またはランク反転のために利用可能なヘッドルームを測定する。

3. 回復可能レジーム（Recoverability Regimes）

これら3つの特徴量を用いて、失敗した問題は4つの安定した回復可能レジームにクラスタリングされる：

• ランク・ミスルーティング（地理的局所型） [Rank Misrouting (geo-local)]： 鋭いスパイク、高いステアラビリティ。特定のジャンクションにおけるスパース・ロジット・ステアリングによって回復可能。
• ランク・ミスリューティング（ジャンクション拡散型） [Rank Misrouting (junction-diffuse)]： 鋭いスパイク、低いステアラビリティ。ランクのロックを打破するために、局所温度のリフトが必要。
• 分散型変形（Distributed Deformation）： 幅広く、拡散したシグナル。理論的にはデンス・ステアリングを必要とするが、経験的にはスパース・ステアリングでも十分である。
• 未解決（Unresolved）： 支配的なシグナルがない。リトライやその他の介入は不十分である。

4. ルーティング・ポリシー

本フレームワークは、学習不要のルーティング規則を実装している。与えられた失敗問題に対し、3つの特徴量をzスコア正規化し、支配的な特徴量に対応するオペレータを選択する：

• 高い変形拡散度 $\rightarrow$ デンス・ステアリング (DL)
• 高いジャンクション集中度 $\rightarrow$ ジャンクションでのスパース・ステアリング (SL-G)
• 高い局所変位バジェット $\rightarrow$ 局所温度のリフト ($T_{loc}$)
• フォールバック： 特徴量が支配的でない場合、ポリシーはランダムな位置でのスパース・ステアリング (SL-R) をデフォルトとする。

主な貢献

1. 失敗したトレースの再定義： 本論文は、失敗した推論トレースを単なる破棄されるデータではなく、失敗の「回復可能構造」をエンコードする診断オブジェクトとして再定義している。
2. 理論的レンズ： オペレータ・クラス（ランク保存型 vs ランク反転型）と、トレース内の測定可能な幾何学的量との関係をリンクさせる理論的導出を提供し、ランク反転の閉形式条件を確立している。
3. 診断監査チャネル： これら3つの特徴量は、トレーニングの重みやペア比較にアクセスすることなく、失敗したロールアウトのみから、ポストトレーニング手法（例：SFTとRL/GRPOの区別）を監査することを可能にする。
4. 学習不要のルーティング： 失敗のシグネチャに基づいて適切な介入クラスを選択する、学習不要でデプロイ可能なルーティング・ルールを示す。
5. クロスファミリー転移： 特徴量とルーティング規則は、異なるモデルファミリー（Qwen3, R1-Distill, Phi-4）およびスケール間で転移可能であり、これらがモデル固有のアーティファクトではなく、オペレータ・クラスの構造をエンコードしていることを示唆している。

結果

ステアラブル・ハード（Steerable-Hard）問題における性能

著者らは、**ステアラブル・ハード（SH）**問題を、「リトライでは不十分（50%以上の確率で失敗する）だが、少なくとも一つの限定的な介入が救済できる（リトライより5パーセントポイント以上改善する）」問題と定義している。このサブセットは、ルーティングにとっての「スイートスポット」となる。

• 救済リフト（Rescue Lift）： SHサブセットにおいて、学習不要の特徴量のみによるルーティング規則は、リトライ単独と比較して、救済率を12.2パーセントポイント（16.3%から28.5%へ）向上させた。
• 計算効率： ルーティング・ポリシーは、$K=50$のロールアウトを用いたリトライと同じ救済率を、$K=10$のロールアウトと1回の介入だけで達成しており、精度対計算量のパレート改善を大きく示している。
• グローバルコスト： ポリシーは、それが効果的な特定のサブセットに対してのみ計算をリダイレクトし、曖昧な場合には安全なフォールバック（SL-R）に戻るため、ほぼゼロのグローバルコストを維持している。

監査と汎用性

• ポストトレーニング監査： 失敗したトレースのレジーム分布は、SFTとRL（GRPO）のポストトレーニング手法を84.3%の精度（±4.3%）で判別することに成功した。これは、推論時の失敗のトポグラフィーのみから、「SFTは記憶し、RLは汎化する」という対比を回収したものである。
• クロスファミリー転移： Qwen3で学習されたルーティング規則は、R1-DistillおよびPhi-4モデルにも効果的に転移し、R1-Distillが「サポート崩壊（Distributed Deformation）」のシグネチャを持ち、Phi-4がSFT的なシグネチャを持つことを正しく特定した。

意義と主張

本論文は、推論時の軌跡統計は、ポストトレーニングによる劣化を理解し修正するための、未利用の軸であると主張している。その意義は以下の3点にある：

1. 診断の精密さ： 単なるバイナリの合格/不合格メトリクスを超え、モデルが「なぜ」失敗したのかを特定し、失敗をオペレータ固有のレジームに分類する。
2. デプロイへの実用性： 動的に計算資源をルーティングするための、学習不要の実用的なメカニズムを提供する。盲目的にリトライのためにトークンを消費するのではなく、システムは失敗のタイプを診断し、成功する可能性が最も高い特定の介入（ステアリングまたは温度調整）を適用する。
3. 理論的根拠： このアプローチは経験的なフィッティングではなく、ロジット混合とランク反転の幾何学的特性から導出されており、異なるテスト時介入の限界を理解するための原理的な方法を提供している。

著者らは、本フレームワークが局所的な幾何学的構造を持つタスク（推論、コード、数学）に適用可能であり、ロジットの分散が至る所で高いオープンエンドな生成には適用できない可能性があるとして、その範囲について謙虚な姿勢を示している。また、ルーティング規則は集団レベルでは機能するものの、特定の単一の問題インスタンスに対して、どのオペレータが勝つかを正確に予測することは依然として困難であることも認めている。