Training Large Language Models To Reason In Parallel With Global Forking Tokens

本論文は、並列推論における多様性と精度の両立を可能にする「Set Supervised Fine-Tuning (SSFT)」と「Global Forking Policy Optimization (GFPO)」を提案し、これにより数学的推論やコード生成タスクにおいて既存の手法を上回る性能を実現したことを示しています。

要約

この論文は、**「AI に『考える力』をより深く、かつ多様にさせる新しいトレーニング方法」**について書かれています。

従来の AI は、難しい問題を解くために「長い文章（思考の過程）」を順番に生成させると、だんだん頭が混乱して正解にたどり着けなくなったり、同じような思考パターンばかり繰り返したりする問題がありました。

この論文の著者たちは、**「AI に『分岐点（フォーク）』となる特別な合図を与え、その合図ごとに『全く異なる思考のルート』を並行して走らせる」**というアイデアを提案しました。

以下に、専門用語を使わず、日常の例え話で解説します。

---

🧠 核心となるアイデア：「思考の分岐点（フォーク）」

1. 従来の方法：「迷路を一人で歩く」

昔の AI のトレーニングでは、正解への道筋（思考の過程）を一つだけ教えて、それを真似させることが多かったです。

• 例え話: 一人の探検家に「この迷路を解いて」と頼むと、彼は「左に行こう、次は右」という一つのルートしか考えません。もしそのルートが死end（行き止まり）なら、彼はそこで立ち往生してしまいます。
• 問題点: 難しい問題では、正解へのルートは一つではありません。しかし、AI は「温度（ランダム性）」を上げても、正しいルートを見つけるのが難しく、間違ったルートに迷い込みやすくなります。

2. 新しい方法（SSFT）：「6 人の探検家チーム」

この論文が提案する**SSFT（セット監督微調整）は、「6 人の探検家チーム」**を雇うようなものです。

• 合図（グローバル・フォーク・トークン）: 6 人の探検家それぞれに、「think 1」「think 2」...「think 6」という特別な合図を与えます。
• トレーニングの仕組み:
  • 正解へのルートが 4 つあるとします（例：A さんは数学的、B さんは図形的、C さんは試行錯誤的など）。
  • 従来の方法だと、AI は「think 1」で A さんのルート、「think 2」でも A さんのルート……と、全員が同じことを考え始めてしまいます（これを「モードの崩壊」と呼びます）。
  • SSFT の魔法: 論文のアルゴリズムは、「think 1」には A さんのルート、「think 2」には B さんのルート……と、自動的に最適な組み合わせを見つけ出し、それぞれに異なる思考パターンを教えます。
  • これにより、「think 1」と言われたら「数学的に考える」「think 2」と言われたら「図形的に考える」というように、合図ごとに AI の思考モードが明確に分岐するようになります。

3. 結果：「並行して考える力」

トレーニングが終わった AI は、問題が出された瞬間に、「think 1」から「think 6」までを並行して走らせることができます。

• 例え話: 6 人の探検家が同時に迷路に入り、それぞれ異なるルートを探します。
  • A さんは「左から入る」
  • B さんは「右から入る」
  • C さんは「天井から入る」
  • ...
• 最後に、6 人の答えを集めて「多数決」をとれば、正解にたどり着く可能性が劇的に高まります。
• さらに、**「GFPO（フォーク・ポリシー最適化）」**という技術を使うと、AI は「この問題は『think 3』のルートが一番得意そうだ」と自分で判断して、最適な探検家（思考モード）を選べるようになります。

---

🌟 なぜこれがすごいのか？

1. 「過剰思考（Overthinking）」を防ぐ:
   従来の AI は、長い思考プロセスを続けるうちに「あれもこれも考えすぎて」正解を見失うことがありました。しかし、この方法では「最初から正しい思考の方向（分岐点）を決めておく」ので、無駄な回り道をせず、効率的に正解へ近づけます。

2. 多様性と正確さの両立:
   通常、「多様な答えを出そうとすると、正解率が下がる」というジレンマがありました。しかし、SSFT を使った AI は、「多様なルート（6 人の探検家）」を維持しつつ、それぞれのルートが「正解に強い」ように訓練されるため、両方を同時に達成できます。

3. コード生成でも活躍:
   数学の問題だけでなく、プログラミング（コードを書く）のような「正解が一つではないオープンな問題」でも、この「多様な思考モード」が有効であることが証明されました。

---

🎒 まとめ：日常の比喩で言うと？

この論文は、**「AI に『6 人の異なる専門家』を脳内に住まわせる」**ようなものです。

• 従来の AI: 1 人の天才が、疲れてくると同じ失敗を繰り返す。
• この論文の AI: 「think 1」で数学者、「think 2」で芸術家、「think 3」でエンジニア……と、合図一つで脳内の専門家を入れ替えることができる。
• 結果: 難しい問題が出たとき、AI は「よし、今日は数学者の『think 1』で攻めてみよう」と自分で判断し、あるいは 6 人の専門家に同時に考えさせて、最も確実な答えを導き出します。

この「思考の分岐点」を制御する技術は、AI がより賢く、柔軟に、そして人間のように多角的に問題を解決するための大きな一歩となるでしょう。

技術概要

論文「TRAINING LARGE LANGUAGE MODELS TO REASON IN PARALLEL WITH GLOBAL FORKING TOKENS」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論能力を向上させるための新しいトレーニング手法**「Set Supervised Fine-Tuning (SSFT)」と、それを補完する「Global Forking Policy Optimization (GFPO)」**を提案しています。従来の「過剰思考（overthinking）」や多様性と精度のトレードオフという課題を解決し、並列推論を効果的に活用する枠組みを構築した点が核心です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳述します。

---

1. 背景と問題定義

背景

LLM の推論能力向上には、テスト時に計算リソースを割いてより多くのトークンを生成する「テスト時スケール（Test-time Scaling）」が有効です。これには大きく分けて二つのアプローチがあります。

1. 直列スケール: 自己反省（Self-reflection）などにより、一つの思考経路を長く伸ばす。
2. 並列スケール: 複数の思考経路を並列に生成し、集約する（Self-consistency など）。

課題

• 過剰思考（Overthinking）: 直列スケールでは、一定の長さを超えると性能が低下する現象が報告されています。
• 多様性と精度のトレードオフ: 並列スケールでは、多様なかつ正しい推論経路を生成する必要があります。しかし、難問になるほど、多様な推論モードをトリガーする「分岐トークン（forking tokens）」がサンプリングツリーの深い部分に潜むため、見つけにくくなります。
• 温度スケーリングの限界: 多様性を高めるために温度パラメータを上げると、精度が低下するトレードオフが発生します。また、モデルが明示的に「カバレッジ（網羅性）」を学習していない場合、温度を上げただけでは多様性が保証されません。
• SFT によるモードの崩壊: 複数の正解の思考経路（Reasoning Traces）を単純に教師あり微調整（SFT）で学習させると、モデルはそれらを一つの平均的な推論モードに収束（Collapse）させてしまい、多様性が失われる傾向があります。

---

2. 提案手法：SSFT と GFPO

2.1 集合ベースの次トークン予測（Set of Next Token Prediction）

著者は、並列推論を「集合としての次トークン予測問題」として再定式化しました。

• グローバル・フォークトークン（Global Forking Tokens）: 予約された特殊トークン（例：<think 1>, <think 2>, ...）を定義し、これらが異なる推論モードを一意にトリガーするように学習させます。
• 入力: 質問 $x$ と、$N$ 個のフォークトークンの集合 $G = \{g^{(i)}\}$。
• ターゲット: 正解の推論経路の集合 $R = \{r^{(j)}\}$（$M$ 個）。

2.2 集合教師あり微調整（Set Supervised Fine-Tuning: SSFT）

SSFT は、フォークトークンと推論経路の間の**二部グラフマッチング（Bipartite Matching）**を用いて損失関数を設計します。

1. コスト行列の構築: 各フォークトークン $g^{(i)}$ に対して、各推論経路 $r^{(j)}$ の条件付き次トークン予測損失（NTP Loss）を計算します。
2. 最適マッチングの探索: ハンガリー法（Hungarian Algorithm）を用いて、総損失が最小になるようなマッチング $\hat{\sigma}$ を求めます。
   • これにより、モデルは「どのフォークトークンがどの推論経路に対応するか」を自動的に学習します。
   • 損失関数は、この最適マッチングに基づいて計算されます（式 3）。
3. 効果: 単純な SFT と異なり、異なるフォークトークンが異なる推論モードを維持するように学習されるため、モードの崩壊を防ぎます。

2.3 グローバル・フォーク方策最適化（Global Forking Policy Optimization: GFPO）

SSFT で学習されたフォークトークンを用いて、推論時の選択を最適化する強化学習（RL）ステップです。

• 目的: 質問 $x$ に対して、最も適切なフォークトークン $g^{(i)}$ を選択する方策を学習します。
• 効率性: 通常の GRPO（Group Relative Policy Optimization）と異なり、フォークトークンの選択部分のみの方策勾分を更新します。生成された完全な推論経路は勾配計算には使用せず、アドバンテージ計算のみに用いるため、計算コストが極めて低いです。
• 結果: 複雑な推論を必要とする問題に対して、適切な分岐トークンを自動的に選択できるようになります。

2.4 推論プロトコル

• Pass@1: 学習されたマッチングの統計情報（どのトークンが最も多くの異なる経路とマッチしたか）に基づいて、最も複雑な推論モードを期待できるトークンを選択するか、GFPO でサンプリングします。
• Cons@k: 複数の異なるフォークトークン（例：<think 1> から <think 6>）をそれぞれ使用して並列生成を行い、多数決（Majority Voting）で回答を決定します。

---

3. 主要な貢献

1. グローバル・フォークトークンの導入と SSFT の提案:
   • 予約トークンと多様な推論経路間の二部マッチングを用いた集合ベースの損失関数を導入しました。
   • これにより、単一のモデルから複数の異なる推論モードを制御可能にしました。
2. SFT におけるモード崩壊の解消:
   • 従来の多目標 SFT では推論モードが一つに収束してしまうのに対し、SSFT は異なるトークンが異なる推論戦略（長さ、アプローチ）を維持することを定量的・定性的に実証しました。
3. GFPO による高性能化:
   • 学習されたフォークトークンを利用した効率的な RL 手法（GFPO）を提案し、数学推論およびコード生成ベンチマークにおいて、SFT 単体や既存の GRPO ベースラインを上回る性能を達成しました。
4. 広範なベンチマークでの検証:
   • 数学（AIME, MATH-500, GPQA-Diamond）とコード生成（LiveCodeBench）において、Out-of-Distribution（OOD）なタスクでも高い汎化性能を示しました。

---

4. 実験結果

評価設定

• モデル: Qwen2.5-32B-Instruct をベースに微調整。
• データセット: s1k データセット（1,000 問）から 4 つの異なる教師モデル（GPT-OSS, DeepSeek-R1, Gemini, Claude）からの推論経路を抽出し、混合データセットを作成。
• ベースライン: 単一目標 SFT、多目標 SFT（単純な複製）、ランダムマッチング版 SSFT、Multiverse-32B など。

主要な結果（Table 1 より）

• Pass@1（単一生成）:
  • SSFT-32B は、AIME 2024 で 64.06%、AIME 2025 で 58.13% を記録。
  • 多目標 SFT ベースライン（SFT-mixed-distill-32B-tags）と比較して、AIME 2024 で約 8.3%、AIME 2025 で約 6.6% 改善。
  • GFPO を適用した SSFT-32B-GFPO はさらに性能が向上（AIME 2025: 58.80%）。
• Cons@k（並列生成と多数決）:
  • 6 つのフォークトークンを用いた Cons@6 では、SSFT-32B が AIME 2025 で 73.94% を達成。
  • 温度スケーリングを用いたベースラインは、カバレッジを確保するために温度を上げる必要があり、Pass@1 が低下するトレードオフが見られたのに対し、SSFT は温度 0.7 で高いカバレッジと精度を両立しました。
• コード生成（LiveCodeBench）:
  • 数学データでトレーニングしたモデルが、コード生成タスク（OOD）でも大幅な性能向上（Pass@1 でベースラインより 5% 以上改善）を示し、SSFT の汎用性を示しました。
• アブレーション研究:
  • ランダムマッチング版 SSFT は性能向上が限定的であり、最適マッチング（二部グラフマッチング）の重要性が確認されました。
  • 異なるモデルサイズ（4B, 8B）やデータセット（93k 問の公開データ）でも有効性が確認されました。

---

5. 意義と結論

この論文は、LLM の推論能力向上において、「多様な思考経路を意図的に制御・誘導する」ことの重要性を浮き彫りにしました。

• 理論的意義: 従来の「温度スケーリング」に依存せず、モデルの学習段階で「多様性と精度の両立」を最適化損失に組み込むことで、推論の多様性を構造的に獲得できることを示しました。
• 実用的意義:
  • コスト効率: 並列推論を効果的に利用することで、推論の深さ（トークン数）を増やすことなく、あるいは過剰思考を避けつつ、高い精度を達成できます。
  • 制御可能性: 特定のフォークトークンを指定することで、モデルに特定の推論戦略（例：より長い思考、異なるアプローチ）を強制できるため、エージェント型 AI における制御性が向上します。
  • スケーラビリティ: 計算リソースの制約下でも、GFPO によって効率的に方策を最適化できるため、大規模モデルへの適用も有望です。

総じて、SSFT と GFPO は、テスト時計算リソースを最大限に活用し、複雑な推論タスクに対する LLM の信頼性と性能を飛躍的に高めるための強力なフレームワークとして位置づけられます。