技術要約：困難なのか、それとも到達不能なだけか？ 数学推論の難易度推定におけるサンプリングの盲点の診断

1. 問題提起

検証可能な報酬（verifiable rewards）を伴う強化学習（RL）、データキュレーション、合成カリキュラム生成、および難易度アノテーションを含む、現在の数学的推論のパイプラインは、個々の例の難易度を示す標準的なシグナルとして pass@k に大きく依存しています。このフレームワークでは、$k$ 回の試行のうちサンプリングされた連鎖（chain）が正解に到達しない場合、その例は「困難（hard）」であるとラベル付けされます。その結果、$pass@k=0$ の例は、本質的に解決不可能であるとしてフィルタリングされたり、重みが下げられたりすることがよくあります。

本論文は、サンプリングに基づく推定への過度な依存が、最も困難な階層の領域において持続的な盲点を生み出していると論じています。核心となる仮説は、「サンプリングによる推定によって『困難』と判定された例は、必ずしも本質的に難しいわけではなく、むしろ、一致した計算予算の下での決定論的なデコーディング（deterministic decoding）を経由すれば到達可能であるが、確率的な軸上では**構造的に到達不能（structurally unreachable）**である可能性がある」というものです。著者らは、「困難」というラベルが、「本質的な困難さ」と「確率的サンプリングによって到達できなかったこと」を混同していると指摘しています。

2. 手法

実験設定

本研究では、4つのオープンウェイト命令チューニング済みモデル（Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B）を、3つの推論ベンチマーク（GSM8K, MATH, MMLU-Pro）にわたって評価しています。

• サンプリング・レジーム: 温度 $T=0.7$、top-p $p=0.9$ で生成された6つの独立した連鎖（$k=6$）。
• 決定論的レジーム: **アクティベーション・グラフト（activation grafting）**を用いた、貪欲デコーディング（greedy decoding, $T=0$）による「6連鎖決定論的レジーム」を構築。
• アクティベーション・グラフト: これは診断のための介入であり、デコーディング手法ではありません。レイヤー $\ell=26$（最後のプロンプト・トークン）において、モデルの隠れ状態（$h_{last\_token}$）を、フォワードパスを継続する前に、いくつかの安価でパラメータフリーな合成ベクトルに置き換えます。グラフト・ベクトルには以下が含まれます：
  • $g_B$: 貪欲なベースライン（グラフトなし）。
  • $g_Z$: ゼロ・ベクトル。
  • $g_R$: ノルムが一致したガウス分布。
  • $g_{RUNIT}$: ランダムな単位方向。
  • $g_{SHUF}$: 隠れ次元の置換。
  • $g_{BOS}$: BOSトークンのアクティベーション。
  • $g_{AVG}$: プロンプト・トークンのアクティベーションの平均。
  • $g_{PREV}$: 同一位置における前のレイヤーの状態。
• 計算量の整合: 比較は計算コストに関して厳密に制御されています。「6連鎖決定論的レジーム」は、6連鎖サンプリング・レジームと同じ数のフォワードパス（プリフィル + デコード）を実行します。

診断ロジック

著者らは、**$pass@6=0$の階層**（サンプリング・シードのいずれも成功しなかった例）を特定します。次に、決定論的レジーム（$R_k$）がこれらの特定の例のうちどれほどを解決できるかを測定します。もし、これら「困難」な例の相当数が決定論的グラフトによって解決されるならば、「本質的な困難さ」という仮定は覆されることになります。

3. 主な貢献と知見

(1) 貪欲デコーディングは $k=1$ において競争力を持つ

貪欲デコーディングがサンプリングと比較して弱いベースラインであるという見解に反して、著者らは、ほとんどのセルにおいて、$k=1$ 時の貪欲デコーディングが平均単一サンプル精度と同等、あるいはそれを上回ることを発見しました。その差は Llama-3.2-3B/MATH で最大 +2.8% に達します。これは、自己整合性（self-consistency）のデフォルトの単一パス・ベースラインが、同じ計算量における決定論的な代替案よりも既に弱いことを示唆しています。

(2) サンプリングの盲点は構造的である

（モデルやベンチマークに応じて5.1%～43.5%を占める）$pass@6=0$ の階層において、一致した計算量を用いた決定論的レジームは、非自明な割合の例を回収します：

• 回収率: 8つの自由形式の数学セル（GSM8K および MATH）において、6連鎖決定論的レジーム（$R_6$）は、6つのサンプリング・シードが総体として見逃した例の 10.3%～22.9% を解決します。全12セルを通じた範囲は 10% から 29% です。
• スケーリング: 回収は決定論的予算に応じてスケールします。$R_1$（貪欲デコーディング単独）の回収率は 0–9% ですが、多様なグラフトを加えることで回収率が大幅に増加しており、「困難」なスライスが複数の異なる決定論的軌道を通じてアクセス可能であることを示しています。
• メカニズムの明確な区別: 回収は単一の「特権的な」ベクトルによって駆動されているわけではありません。異なるグラフト種別間でクロス種別固定集合（cross-kind fix-set）のJaccard類似度は低く（$\le 0.47$）、異なるグラフトが階層の互いに素な部分集合を回収していることを証明しています。

(3) メカニズム：アテンションの再ルーティングではなく、残差ストリームの摂動

グラフトがなぜ成功するのかを調査するため、Qwen-2.5-3B モデルの計装（instrumentation）を行いました。

• 隠れ状態の分岐: レイヤー26でのグラフトは、隠れ状態をベースラインから大きく分岐させます（L2距離は残りのレイヤーを通じて単調に増大し、コサイン類似性は低いままとなります）。
• アテンションの安定性: グラフトがアテンションの重みに与える直接的な影響は極めて軽微です（差は約 $10^{-5}$）。
• 結論: グラフトは、残りのトランスフォーマー・ブロックに対する異なる初期条件として機能します。モデルのフォワードパスは、これらの摂動をベースラインの軌道に投影して戻すのではなく、それらを前方へと運び、下流の軌道を確定させます。これにより、「困難」なスライスが残差ストリームにおいて構造的に識別可能であることが確認されました。

(4) 実用的な有用性

著者らは、これらの知見に基づき、2つの展開可能な戦略を提案しています：

1. 一致したコストによる置換: キュレーション・パイプラインにおいて、1回のサンプリング・パスを単一の決定論的グラフト（具体的には平均プロンプト・アクティベーション・グラフト、$AVG$）に置き換えることで、ほとんどの構成において、サンプリングに使用される全パスを使用する場合よりも多くのデータセットをカバーできます。
2. ラベルフリーの識別: 3つの連鎖（貪欲デコーディング + 2つのサンプリング・シード）間の連鎖の不一致（disagreement）を用いる単純なプローブにより、回収可能な項目（$pass@6=0$ の階層にあるが決定論的に解決可能なもの）を、ゴールドラベルを必要とせずに、自由形式の数学タスクにおいて 3–5倍の精度向上とともにランク付けできます。

4. 意義と主張

本論文は、サンプリングから導出された難易度推定は、構造的に識別可能な割合の「最も困難な階層」を系統的に誤分類していると主張しています。

• 「困難」の再定義: 現在のパイプラインにおける「困難」というラベルは、多くの場合、本質的に難しいことではなく、「確率的な軸上で到達できなかったこと」を意味しています。
• パイプラインへの影響:
  • ベンチマーク構築: GSM8K や MATH のようなベンチマークにおける「最も困難な」バケットは、項目そのものだけでなく、デコーディング・レジームのアーティファクト（副産物）でもあります。
  • データキュレーション: 棄却サンプリング（rejection-sampling）のパイプラインは、解決可能な問題を「解決不可能」として破棄してしまい、潜在的な学習データを無駄にしている可能性があります。
  • RL および検証器（Verifier）の訓練: サンプリングされた連鎖から構築された選好（preference）データセットは、この盲点を継承しており、決定論的な連鎖であれば解決できたはずの項目に対して、負のシグナルのみを寄与することになります。
• 主張の謙虚さ: 著者らは、グラフト・アクティベーションをデプロイメントのための新しい推論手法として提案しているのではないことを明示しています。代わりに、それは現在標準的なサンプリング指標からは見えない問題空間のスライスを露出させるための診断ツールです。通常の推論において、未修正のモデルはその項目には到達しません。このスライスは、内部への特定の介入を通じてのみ到達可能です。

5. 限界

• 不完全な回収: 8つの決定論的連鎖を用いても、依然として 66–88% の $pass@6=0$ の階層が未回収のままです。これらは真に困難であるか、あるいはテストされていない多様性の軸を通じて到達可能である可能性があります。
• 範囲: 本研究は4つのモデルと3つのベンチマークに限定されています。
• ラベルフリーの精度: 連鎖の不一致を用いて回収可能な項目をランク付けすることはできますが、ラベルフリーの識別の精度保証は完全には定量化されておらず、偶然の一致により多肢選択式ベンチマーク（MMLU-Pro）では低下します。
• ノイズ: 最も小さい階層（例：約50例）においては、絶対的な回収数は少なくなりますが、比率は一貫しています。

要約すると、本論文は、数学的推論ベンチマークにおける「最も困難な」問題の多くは、本質的に解決不可能なのではなく、単に確率的サンプリングによって見逃されているだけであり、それは残差ストリームへの決定論的な介入を通じて明らかにできることを示しています。