💬 NLP

Beyond Rejection Sampling: Trajectory Fusion for Scaling Mathematical Reasoning

本論文は、誤った軌跡をリフレクション・プロンプトおよび正解と適応的に融合させることで、試行錯誤学習をモデル化し、標準的な棄却サンプリングを凌駕するよう大規模言語モデルの数学的推論を強化する微調整戦略であるTrajFusionを導入するものである。

原著者： Jie Deng, Hanshuang Tong, Jun Li, Shining Liang, Ning Wu, Hongzhi Li, Yutao Xie

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jie Deng, Hanshuang Tong, Jun Li, Shining Liang, Ning Wu, Hongzhi Li, Yutao Xie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、学生に非常に難しい数学の問題の解き方を教えていると考えてください。

旧来の手法（棄却サンプリング）
伝統的に、AIモデルに数学を学習させる際、研究者は「棄却サンプリング（Rejection Sampling）」と呼ばれる手法を用いてきました。これは、学生に完璧で正しい解法のみを見せる、非常に厳しい教師のようなものです。

もし教師がその問題を10回解こうとして、9回間違えたとした場合、その9回の試行は捨てられてしまいます。教師は、正解したたった1回だけを残します。学生は最終的な完璧な答えだけを見ることになります。

問題点: 学生は「答えが何か」は学びますが、「間違いを犯したときにどのように立て直すか」を学ぶことができません。彼らは、よくある罠や、誤った道、あるいは論理的なエラーをどう修正すべきかを知ることができないのです。それは、ドライバーに対して、完璧なルートの地図だけを見せ、道に迷ったり行き止まりに突き当たったりした時に何が起こるかを決して教えないようなものです。

新しい手法（TrajFusion）
この論文では、TrajFusionという新しい手法を紹介しています。間違った試行を捨ててしまうのではなく、それらを保持し、レッスンの中に織り込んでいく手法です。

今度は、教師が次のように学生に語りかける場面を想像してください：

「よし、これを解いてみよう。

最初の試行: この経路で行ってみたけれど、ここで間違いに気づいたよ。（間違った経路を示す）。

振り返り: 『待てよ、これは正しくなさそうだ。もう一度やってみよう。』（これは「リフレクション・プロンプト」です）。

2回目の試行: 別の経路を試してみたけれど、ステップを一つ飛ばしてしまった。（別の間違った経路を示す）。

振り返り: 『うーん、何かを見落としているな。慎重に考えてみよう。』

最終的な試行: よし、これで分かったぞ！正解はこちらだ。」

仕組み（「フュージョン」の部分）
この革新的なポイントは、AIが単に「どんな間違った答えでも」見せるわけではないという点です。AIはスマートなフィルターを使用しています：

もし教師が同じ間違いを10回連続で犯した場合: システムは、これが「行き止まり」または単純な誤解であると判断します。これは学生にとってあまり有益ではないため、表示しないことがあります。
もし教師が10種類の「異なる」間違いをした場合: システムは、「おっと、この問題は非常にトリッキーだ！間違える方法はたくさんあるのだな」と判断します。そして、これらの多様な誤った経路を、学習レッスンへと融合（フュージョン）させます。

これにより、「試行錯誤」のシミュレーションが作り出されます。AIは目的地だけでなく、混乱を乗り越え、自らを修正していくプロセス（道のり）についても学ぶのです。

結果
研究者たちは、LLaMA3とDeepSeekMathという2つの異なるAIモデルを用いて、初等数学から難関コンクールレベルの問題まで、多くの数学ベンチマークでテストを行いました。

難問に強い: この新しい手法は、最も難しい問題（オリンピアード数学など）で最大の効果を発揮しました。これらの問題は迷い込みやすいため、どのように道を見つけ直すかを学ぶことが極めて重要になります。
効率的: より大きな脳（モデル）や新しい種類のコンピューターチップを必要としたわけではありません。単に、学習中にAIが「何を読み込むか」を変更しただけなのです。
スケーラブル（拡張性がある）: 少量のデータを使用した場合でも、大量のデータを使用した場合でも、同様にうまく機能しました。また、大量の情報を一度に記憶する必要がある、非常に長く複雑な問題を解くようにAIを教えようとした際にも、効果を発揮しました。

まとめ
この論文は、**「間違いは価値のあるデータである」**と主張しています。間違った試行を捨てる習慣をやめ、代わりにそれを「試し、失敗し、振り返り、再び試す」という構造化されたレッスンの形に変えることで、AIはより優れた問題解決能力を獲得します。AIは、人間が困難なスキルを習得する時と同じように、自らのエラーを認識し、それを修正する方法を学ぶのです。

技術要約：数学的推論のスケーリングに向けた TrajFusion

問題提起

大規模言語モデル（LLM）は、高品質な解法軌跡（solution trajectories）を用いた教師あり微調整（SFT）を通じて、数学的推論において著しい進歩を遂げてきた。このデータ構築における支配的なパラダイムは、**棄却サンプリング微調整（Rejection Sampling Fine-Tuning: RFT）**である。RFTでは、教師モデルが与えられた問題に対して複数の候補となる推論パスを生成し、最終的な答えが正しいもののみが訓練用に保持され、誤った軌跡はすべて破棄される。

この手法は効果的ではあるものの、監督（supervision）をバイナリなフィルタリングとして扱う。これは、教師が生成したエラーを系統的に排除しており、訓練中に推論の失敗をどのようにモデル化するかという点においてギャップを生じさせている。著者らは、誤った軌跡には、一般的な計算ミス、欠落した仮定、論理的には妥当だが無効な議論の経路といった、診断的な情報が含まれており、これらはモデルが特定の失敗モード（特に長文形式や曖昧な推論タスクにおいて）を認識し回避するのに役立つ可能性があると主張している。現在の手法は、これらのエラーを、活用すべき構造化された監督ではなく、破棄すべきノイズとして扱っている。

手法：TrajFusion

本論文は、RFTを単なるバイナリフィルタリングから、構造化された監督構築プロセスへと再定義する微調整戦略であるTrajFusionを提案している。TrajFusionは、選択された誤った推論軌跡を正しい軌跡と統合することで、試行錯誤の推論プロセスを明示的にモデル化する。

コア・コンポーネント

サンプリングと分析: 各問題 $x$ に対して、教師モデルは $K$ 個の軌跡をサンプリングする。これらは、自動検証器を用いて、正解（ $Y^+$ ）集合と不正解（ $Y^-$ ）集合に分割される。
適応的選択: 本手法は、以下の2つの統計量に基づいて、含めるべき不正解軌跡の数を適応的に決定する：
- エラー率 ( $r(x)$ ): 不正解の試行頻度。
- エラーの多様性 ( $u(x)$ ): 不正解における一意な最終回答の数（シャノン・エントロピーまたは一意な回答数で測定）。
  保持される不正解軌跡の数 $k(x)$ は次のように計算される：
  $k(x) = \min(k_{max}, \lfloor \alpha \cdot r(x) \cdot u(x) \rfloor)$
  これにより、多様で頻繁なエラーが発生する問題にはより豊かな監督を提供し、エラーが希薄または情報価値の低い問題では、自然に標準的なRFTへと退化するように設計されている。
融合サンプル構築: 選択された不正解の軌跡は、固定されたリフレクション・プロンプト（例：「待てよ……これは正しくなさそうだ。やり直そう。」）を用いて、正解の軌跡と交互に配置される。最終的な構造は以下の通りである：
$T(x) = [y_{e1}, \rho_1, \dots, y_{ek}, \rho_k, y^*]$
ここで、 $y_{ei}$ は誤ったパス、 $\rho_i$ はリフレクション・プロンプト、 $y^*$ は正解の解法である。
訓練: 融合されたシーケンスは、モデルのアーキテクチャや訓練目的関数を変更することなく、標準的な次トークン予測（SFT）を用いて訓練される。

主な貢献

監督のギャップの定式化: 著者らは、RFTにおける教師生成の誤った軌跡の系統的な排除を特定し定式化し、これらのエラーが推論の失敗をモデル化するための診断的価値を提供すると主張した。
TrajFusionフレームワーク: 不正解の軌跡と正解の軌跡を適応的に融合する、構造化された監督フレームワーク。エラーの多様性を明示的な制御信号として扱うことで、補助的なモデル、クリティーク（批判）生成器、または外部の難易度ラベルを必要とせずに、様々な難易度の問題に対して堅牢にスケールすることを可能にする。
実証的検証: 本手法は、複数のベースモデル（LLaMA3-8B, DeepSeekMath-7B）、データレジーム（15Kから100Kの例）、およびコンテキスト長（最大32K）にわたって、バニラRFTに対する一貫した改善を示した。

実験結果

著者らは、6つの数学的推論ベンチマーク（GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA）および競技レベルのデータセット（AIME24, AIME25, MATH-500）を用いてTrajFusionを評価した。

性能向上: TrajFusionは一貫してバニラRFTを上回った。LLaMA3-8Bを用いたMATHデータセット（100Kデータ）において、TrajFusionはRFTの**48.5%**に対し、**51.4%**の精度を達成した。DeepSeekMath-7Bでは、**50.2%に対し52.3%**に達した。
複雑性への影響: 改善は、推論パスが長く、失敗モードが多様な、より困難な長文形式の推論ベンチマーク（MATH, OlympiadBench, TheoremQA）で最も顕著であった。GSM8Kのような単純なデータセットでの向上は小さかったが、依然としてプラスであった。
データ効率: TrajFusionは、わずか15Kの訓練例で競争力のある結果を達成し、大幅に大きなデータセット（例：2.3Mの例を用いたMMIQC）を使用したベースラインを上回った。
ロングコンテキストへのスケーラビリティ: DeepSeek-R1から蒸留された長文形式のデータを用いたQwen2.5-Math-7Bの32Kコンテキストへの適用において、TrajにはAIME24のPass@1がRFTの40.0%から**43.3%**に向上した。
アブレーション研究:
- 融合するエラーの数（ $k_{max}$ ）を増やすと、ある一点まで性能が向上した（ $k_{max}=6$ で収穫逓減が観察された）。
- 多様性（HighDiv）に基づいてエラーを選択する方法は、頻度（LowDiv）のみに基づいて選択する方法よりも優れた結果をもたらした。これは、構造的に異なる失敗モードの方がより情報量が多いことを示唆している。
- TrajFusionで訓練されたモデルは、初期段階では長いシーケンスを生成したが、次第により簡潔になり、リフレクション・トークンの頻度が増加した。これは、構造的パターンのより効率的な使用を示している。

重要性と主張

本論文は、TrajFusionが、通常は破棄される監督信号を活用することで、数学的推論をスケールさせるためのシンプルかつ効果的な方法であることを主張している。棄却サンプリングを、構造化された試行錯誤の軌跡を構築するプロセスとして再定義することで、本手法はアーキテクチャの変更や複雑な強化学習パイプラインを必要とせずに、より豊かな監督を提供する。

著者らは、TrajFusionが特に困難で長文の推論問題において価値が高いことを強調している。そこでは、有効な推論と不備のある推論を区別することが不可欠である。彼らは、TrajFusionの適応的な性質が堅牢性を保証すると主張している。すなわち、エラーが情報価値を持つ場合には監督を豊かにし、そうでない場合には安全に標準的なRFTの挙動へと戻るのである。このアプローチは、バイナリな正誤判定によるフィルタリングと、推論の失敗という微細な現実との間の溝を埋め、モデルが教師ありの設定において自らの間違いから学ぶことを可能にする。