技術概要：GRACE – 効率的なポストトレーニングのための勾配整合型推論データ選定

問題定義

既存の推論データ（Chain-of-Thought、CoT）の選定パイプラインは、通常サンプルレベルで動作し、最終回答の正解性や報酬モデルのスコアなどの指標に基づいて、推論トレース全体に単一のスコアを割り当てます。このアプローチは、トレース内のすべての中間ステップを等しく価値あるものとして扱います。しかし、推論トレースは不均質であり、一部のステップは最終回答を直接支援する一方で、他のステップは内容を言い換えたり、無関係な枝葉を探索したり、ノイズを導入したりします。そのようなトレースを均一にトレーニングすることは、低価値のステップに計算リソースを浪費し、有用なステップの寄与を希薄化させます。さらに、現在の手法には、個々の推論ステップが最適化プロセスにどのように寄与するかを評価するメカニズムが欠けており、トレース内の「ステップごとの最適化役割」を見落としていることが多いです。

手法：GRACE

著者らは、選定の粒度をサンプルレベルからステップレベルへ移行させる手法、GRACE（Gradient-aligned Reasoning dAta Curation for Efficient post-training）を提案します。GRACE は、推論トレースを静的な教師信号としてではなく、最適化イベントの系列として捉えます。

1. ステップレベル最適化有用性

GRACE は、推論ステップの有用性を、目標目的関数の最適化への寄与に基づいて定義します。モデルの内部最適化ダイナミクスから導出される 2 つの相補的なシグナルを用いて、各ステップ $k$ にスコアを割り当てます：

• 回答指向整合性（$A_{ans}^k$）： 現在のステップによって誘発される勾配（$g_k$）と、最終回答セグメントによって誘発される勾配（$g_{ans}$）との間のコサイン類似度を測定します。これにより、そのステップが最終目的を建設的に支援しているかどうかを判断します。
• 軌道一貫性（$A_{hist}^k$）： 現在のステップの勾配と、先行するステップからの勾配の加重平均である歴史的参照方向（$r_k$）との間のコサイン類似度を測定します。これにより、そのステップが進化する推論軌道と整合性を保っていることを保証します。

最終的なステップレベルのスコアは、重み付き組み合わせとして計算されます：
$$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$$
ここで、$\alpha$ は 2 つのシグナルのバランスを取ります。これらのステップスコアを集約してサンプルレベルの値 $V(z)$ を計算し、これを用いて上位-$\rho$ のデータ部分集合を選択します。

2. 表現レベル勾配プロキシ

主要な課題は、真のステップレベル勾配を計算するには、トレースを分解し、繰り返し逆方向伝播を実行する必要があり、大規模スケールでは計算上非現実的であることです。これを解決するため、GRACE は表現レベル勾配プロキシを導入します：

• パラメータ空間の勾配（$\nabla_\theta L$）を計算する代わりに、この手法は出力投影前の隠れ状態である表現インターフェースにおける上流シグナルを操作します。
• 各トークン $t$ について、上流シグナル $u_t = W_{out}(p_t - y_t)$ を計算します。ここで、$p_t$ は予測確率、$y_t$ は正解ラベルです。
• ステップレベルの勾配は、これらのトークンレベルシグナルを平均化することで近似されます（$g_k = \frac{1}{|T_k|} \sum u_t$）。
• 重要なのは、このプロキシにより、サンプルあたり単一の順方向伝播のみでステップレベルの整合性を推定できることです。これにより、ステップごとの逆伝播や、外部報酬モデルやステップ注釈の必要性を回避できます。

主な貢献

1. 最適化ベースの視点： 本論文は、トレースを最適化イベントの系列としてモデル化することで推論データ選定を再定義し、目標目的および軌道とのステップレベル整合性が効果的な学習にとって重要であることを浮き彫りにします。
2. GRACE フレームワーク： 回答整合性と軌道一貫性というステップレベルの最適化シグナルを集約し、微細な部分集合選択を行う新しい選定手法です。
3. スケーラブルなプロキシ： ステップごとの勾配計算の計算コストを伴わずに、効率的なステップレベルデータ評価を可能にする表現レベル勾配プロキシの開発です。

実験結果

著者らは、大規模なマルチモーダル数学推論コーパスであるMMathCoT-1MデータセットでQwen3-VL-2B-Instructをポストトレーニングし、数学推論（MathVista、MathVision）および一般的な視覚的質問応答（HallusionBench、MMBench、MME）を含む多様なベンチマークでテストすることで GRACE を評価しました。

• パフォーマンス対データ量：
  • 選定されたデータの**20%のみを使用しても、GRACE はベンチマーク全体で平均してフルデータパフォーマンスの108.8%**を達成し、フルデータセットおよびすべてのベースラインを大幅に上回りました。
  • データの**5%のみを使用しても、GRACE はフルデータパフォーマンスの100.2%**を維持しました。
• ベースラインとの比較： GRACE は、ヒューリスティックなセレクター（Random、Longest、Stepmax）および最先端の勾配ベースデータ選択手法（LESS、ICONS、CADC）を一貫して上回りました。例えば、データ 20% の時点で、GRACE（108.8%）は CADC（102.6%）および LESS（101.7%）を上回りました。
• 転移性： Qwen3-VL-2B スコアリングモデルを使用して GRACE によって選択された部分集合は、他のバックボーン（Qwen2.5-VL-3B、LLaVA-1.5-7B、Qwen3-VL-8B）にも効果的に転移し、それぞれのフルデータベースラインを常に上回りました。これは、捕捉されたデータ価値がモデル固有のものではなく、推論構造に内在するものであることを示唆しています。
• 効率性： プロキシ抽出プロセスは軽量であり、順方向伝播のみを必要とします。著者らは、候補プールのシグナル収集に 6.5 ノード単位の時間と 5.7GB のストレージしか必要とせず、勾配射影法に必要な高価な逆方向伝播を回避したと報告しています。

意義と主張

本論文は、推論データの価値が、単に外部の品質指標（正解性、長さ、または選好スコア）に依存するのではなく、中間ステップが最適化軌道を建設的に支援するかどうかに依存すると主張します。

GRACE は以下のことを実証しています：

1. ステップレベルの粒度が不可欠であること： 推論トレースを分割不可能な単位として扱うことは、中間ステップの多様な有用性を見落としています。
2. 内部シグナルで十分であること： 外部報酬モデルや人間の注釈なしに、モデルの内部最適化シグナル（勾配/プロキシ）のみを使用して高品質なデータ選定を達成できます。
3. 効率性とパフォーマンス： 最適化を考慮した選定により、モデルはトレーニングデータの一部分を使用してフルデータのパフォーマンスに匹敵、あるいは上回ることを可能にし、ダウンストリーム能力を維持または向上させながら、ポストトレーニングコスト（GPU 時間）を大幅に削減できます。

著者らは、固定されたスコアリングモデル設定への依存や、現在の焦点がマルチモーダル CoT データにあることなどの限界を指摘しており、将来的な研究として、これらの原則を純粋な言語推論や強化学習ベースのポストトレーニングに拡張できる可能性を示唆しています。