🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

本論文は、推論経路を軌道レベルとステップレベルで分析する新たな枠組みを導入し、検証可能な報酬を用いた強化学習（RLVR）が誤った軌道を圧縮して推論をより少ないステップに集中させる一方、教師あり微調整（SFT）は正しい軌道を拡張して推論を多数のステップに分散させることを明らかにすることで、現在の 2 段階トレーニングパラダイムの相補的な成功を説明する。

原著者： Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs」を、平易な言葉と創造的な比喩を用いて解説したものです。

全体像：ロボットに思考を教える 2 つの方法

あなたが、話すのは得意だが、複雑な数学やコーディングの謎を解くのは得意ではないロボットを持っていると想像してください。これを賢くするために、研究者たちは主に 2 つのトレーニング手法を使用します。

SFT（教師あり微調整）: これは模倣のようなものです。あなたはロボットに、人間の専門家が問題をステップバイステップで解決する完璧な例を見せ、「まさにこれをやれ」と言います。
RL（強化学習）: これはスコアカード付きの試行錯誤のようなものです。ロボットに自分で問題を解かせます。正解すれば「ゴールドスター（報酬）」をもらい、間違えれば何ももらえません。時間の経過とともに、失敗につながる経路を避けることを学びます。

この論文は問いかけます：これらの 2 つの異なる方法を用いたとき、ロボットの頭の中で実際に何が起こるのでしょうか？ それらはロボットが何を答えるかだけでなく、どのように考えるかを変えるのでしょうか？

著者たちは、この 2 つの方法がロボットの「思考プロセス」に対して逆の作用をもたらすことを発見しました。

比喩 1: 「推論の道筋」（経路レベル）

ロボットの思考プロセスを、隠された宝物（正解）を見つけるために、霧深い森を歩くハイカーだと想像してください。そこには多くの道があります。宝物につながる道もあれば、行き止まりや崖につながる多くの道もあります。

SFT（模倣者）は「良い道」を広げる:
あなたがロボットに専門家の地図（SFT）を見せると、それは正しい道を進むことを学びます。しかし、ここには落とし穴があります。それは、その正しい道の多くの異なるバリエーションを進むようになることです。宝物を見つける方法において、非常に創造的かつ多様になります。
- 落とし穴: それは悪い道を進むのをやめません。ロボットがすでに沼地（間違い）をさまよっていた場合、SFT は新しい歩き方を教えますが、それでも時折沼地をさまよってしまうかもしれません。それは正しい経路の数を「拡大」しますが、必ずしも悪い経路を排除するわけではありません。
RL（採点者）は「悪い道」を絞り込む:
あなたが報酬付きのゲーム（RL）をロボットにやらせると、それはすぐに沼地の道がゼロ点につながることに気づきます。そのため、そこを歩くのをやめます。それは、誤った、混乱を招く、あるいは行き止まりのすべての経路を存在から「絞り込み」ます。
- 落とし穴: それはまた、良い道も「絞り込む」傾向があります。正解の創造的なバリエーションを探求するのをやめ、最もうまく機能することがわかっている 1 つの道に固執するかもしれません。それは非常に集中しますが、多様性は失われます。
勝つ組み合わせ（SFT + RL）:
この論文は、現在の最良の慣行がまず SFT を行い、その後 RL を行う理由を説明しています。
1. まず、SFTを使ってロボットに宝物を見つける新しい方法を教えます（正しい経路を拡大）。
2. 次に、RLを使って、ロボットが沼地をさまようことを罰します（誤った経路を絞り込む）。
- 結果: 問題解決の多くの方法を知っているが、間違いを避けることについては非常に規律正しいロボットが手に入ります。

比喩 2: 「思考の都市」（ステップレベル）

次に、ロボットの思考を単一の道筋ではなく、都市の地図として見てみましょう。推論の各「ステップ」（例えば「面積を計算する」や「式を確認する」など）は、この都市の建物です。ステップ間のつながりは道路です。

RL は「ハブ・アンド・スポーク」型の都市を作る:
RL 訓練の後、都市は変化します。ロボットは、いくつかの特定の、極めて重要な建物（ハブ）に大きく依存し始めます。それはこれらの重要なステップを何度も何度も訪れます。
- 効果: 都市は非常に効率的になりますが、これらの少数のスポットの周りは混雑します。ロボットは、その「思考力」を少数の重要なステップに集中させます。他の橋を無視して、川を渡るために特定の 3 つの橋しか使わない通勤者のようなものです。
SFT は「分散型」の都市を作る:
SFT 訓練の後、都市は異なって見えます。ロボットは思考を広げます。それは多くの異なる建物を訪れ、RL 型の都市のように、単一の建物が圧倒的に頻繁に訪れることはありません。
- 効果: 思考は「均質化」され、均等に広がります。それは、誰もが幅広い種類の通りを使い、単一の通りが渋滞することのない都市のようです。

重要な発見:

RLは、ロボットの思考を少数の重要なステップに集中的かつ焦点を絞ったものにします（絞り込み）。
SFTは、ロボットの思考を多くのステップに広範かつ分散したものにします（拡大）。

都市の形状（トポロジー）

研究者たちはまた、幾何学を用いてこれらの思考都市の「形状」も調べました。

ベースモデル（訓練前）: 都市は孤立した地区（コミュニティ）に分断されています。ある地区から別の地区へ移動するのは困難です。ロボットは局所的なループに陥ってしまいます。
RL: それは地区間の壁を壊します。すべてをつなぐ少数の巨大な「ハブ」が支配する都市を作ります。これにより、ロボットはもし正しいハブにたどり着けば、答えを見つけるのが非常に速くなりますが、その特定のハブに依存します。
SFT: それはまた壁を壊しますが、ハブを作る代わりに、すべてがすべてにつながっているウェブを作ります。これにより、都市は非常に頑健になり、どの点からどの点へも移動しやすくなります。

論文の主張のまとめ

RL は「絞り込み屋」です: 誤った思考経路を粉砕し、ロボットの推論を少数の非常に効率的で交通量の多いステップに集中させます。悪い選択肢を排除することで、ロボットを初回で正解に導く能力（Pass@1）を非常に高めます。
SFT は「拡大屋」です: ロボットに正しく考える新しい方法を教え、推論の負荷を多くのステップに分散させます。しかし、ロボットが以前に使っていたかもしれない悪い経路を自動的に取り除くわけではありません。
なぜ SFT + RL が機能するか: 最良の結果は、SFT を使ってロボットにどのように正しく考えるかを教え（良い経路を拡大）、その後 RL を使って間違いを止めるよう強制する（悪い経路を絞り込む）ことから得られます。
構造が重要である: RL は「ハブ偏重」の推論構造を作り、SFT は「分散型」の構造を作ります。どちらも、訓練されていないモデルの「分断された」構造とは異なります。

この論文は、これらの機械的な違いを理解することが、賢い推論 AI を作成するための現在の「2 段階」トレーニングレシピ（まず SFT、次に RL）がなぜこれほど成功しているのかを説明するのに役立つと結論付けています。

技術的サマリー：RL は圧縮し、SFT は拡張する：推論 LLM の比較研究

問題定義

検証可能な報酬を用いた強化学習（RLVR）と教師あり微調整（SFT）は、推論能力を向上させるための大規模言語モデル（LLM）の事後学習における支配的なパラダイムであるが、これらの手法が基礎となる推論プロセスをどのように形成するかという具体的なメカニズムは依然として不明瞭である。過去の研究は主に結果ベースの指標（例：Pass@k）に焦点を当てており、RL は単に既存の基礎能力を引き出すに過ぎない、あるいは SFT は暗記をもたらす一方で RL は汎化を促進するという結論に至ることが多かった。しかし、これらの研究は、RL と SFT が推論経路の構造と推論空間のトポロジーを根本的にどのように変化させるかについての詳細な理解を欠いている。本論文は、「RL と SFT は精度測定を超えて推論プロセスをどのように形成するか？」という問いに答えるものである。

手法

著者は、推論経路を定量化し、異なる学習条件下でのその質的変化を捉える新たな分析フレームワークを導入する。本研究では、数学（AIME24、AIME25、AMC23）およびコード（HumanEval）のドメインにおいて、異なるサイズ（15 億、70 億、140 億パラメータ）のモデルを用いる。分析は以下の 2 つの粒度レベルで行われる。

経路レベル分析:
- 手法: ベースモデル、RL モデル、SFT モデル、および SFT+RL モデルから複数の出力（M=256）をサンプリングする。出力に対して文字レベルの n-gram 類似度（chrF）に基づき階層的クラスタリング（UPGMA）を適用することで、一意の推論経路を特定する。
- 目的: 学習前後における一意の正解経路と誤り経路の数を数え、比較する。
ステップレベル分析（推論グラフ）:
- 構築: モデルの出力を文単位に分割し、ベクトル空間に埋め込み（BGE-large-en-v1.5 を使用）、クラスタリング（K-means）してノードを定義する。文間の遷移は有向エッジを形成し、各問題に対して「推論グラフ」を作成する。
- 指標: 本研究は、以下のグローバルおよびローカルなトポロジカル特性を分析する。
  - 指数減衰率: ノードの訪問頻度、次数、媒介中心性の順位プロットを指数法則（ $X(R) \propto e^{-\lambda R}$ ）に適合させ、減衰率 $\beta$ を決定する。
  - グローバルトポロジー: エッジ密度、クラスタリング係数、アソシエーション、モジュラリティ、フリーマン中央集権度、平均経路長、グローバル効率、代数的連結性。
  - ローカル構造: グラフレット分析（4 ノード部分グラフの計数）を行い、循環構造と非循環構造を検出する。

主要な貢献

本論文は、SFT と RL の補完的な役割を説明する「推論経路の視点」を確立する。

経路レベルのダイナミクス:
- RL による圧縮: RL 学習は、一意の誤り経路の数を著しく圧縮し、実質的に誤りの探索空間を剪定する。しかし、同時に一意の正解経路の数を減少させ、確率質量を少数の経路に集中させる。
- SFT による拡張: SFT 学習は、一意の正解経路の数を増加させ、ベースモデルには存在しなかった新たな解決戦略を導入する。重要なのは、SFT 単独では誤り経路を保持する傾向があり、Pass@1 の向上を保証しない点である。
- 相乗効果: 2 段階の SFT+RL アプローチの成功は、SFT が正解の空間を拡張し、それに続く RL が誤りの空間を圧縮することに起因すると考えられる。
ステップレベルの構造的変化:
- 減衰率: RL は、訪問頻度、次数、媒介中心性の分布の減衰率（ $\beta$ ）を急峻にする。これは、RL が推論機能（例：ハブ、中心ノード）を少数のステップに統合することを示している。対照的に、SFT はこれらの減衰率を平坦化し、多様な多くのステップ間で機能を均質化する。
- グローバルトポロジー:
  - ベースモデル: 高いモジュラリティと低いグローバル効率を示し、推論が明確かつ弱く結合されたコミュニティに閉じ込められていることを示唆する。
  - RL モデル: グラフをハブ中心集権構造に変換し、高いエッジ密度と低いモジュラリティを実現する。これにより、少数の中心ノードを通じた効率的な移動が可能になる。
  - SFT モデル: コミュニティの境界を弱め、高い頑健性と到達効率を持つグローバルに結合されたグラフを形成するが、一部の誤った経路を保持する可能性がある。
- ローカル構造: RL と SFT の両方が循環部分グラフの割合を増加させる（バックトラックと検証を反映）。これは、局所的な循環構造だけでは性能差を説明できず、グローバルトポロジーが差別化要因であることを示唆する。

結果

数学およびコードドメイン: 数学データセット（AIME、AMC）およびコード生成（HumanEval）において、知見は一貫して確認された。
Pass@k と Pass@1: RL による一意の正解経路の減少は、ベースモデルの分布のより広範なカバレッジにより、場合によっては（大きな $k$ において）ベースモデルが RL モデルを上回る Pass@k を示す理由を説明する。一方、RL は最も確からしい正解経路に質量を集中させることで Pass@1 で優位性を発揮する。
トポロジカル相関: グローバル効率と代数的連結性は Pass@1/Pass@k 比率と正の相関を示し、モジュラリティは負の相関を示す。これは、解空間全体を効率的に移動できる推論グラフが高性能にとって重要であることを示唆する。
アブレーション研究: 減衰率およびトポロジカルシフトに関する結果は、異なるクラスタ数（ $K$ ）、距離指標（ユークリッド距離対コサイン類似度）、および文エンコーダにおいて頑健であった。

意義と主張

本論文は、「RL は圧縮し、SFT は拡張する」という仮説に対する実証的サポートを提供し、現在のベストプラクティスである 2 段階学習（SFT に続く RL）が成功する理由をメカニズム的に説明する。

学習の解釈: SFT は推論空間の「拡張子」（新たな戦略の学習）として機能し、RL は「圧縮子」（誤りを抑制し、高確率の正解経路に焦点を合わせるために分布を最適化する）として機能すると仮定する。
データキュレーション: 推論のためのデータ構築は、単なる精度だけでなく、グラフ指標（例：低いモジュラリティと高いグローバル効率の確保）を考慮すべきであるという知見を示唆する。
将来の方向性: 著者は、機能的なステップ（ハブ）のみに RL を適用することで効率を向上できる可能性を指摘し、RL における探索ボーナスが「過度な圧縮」を防ぐかどうかを調査することが有益な方向であると提案する。

本作業は新しい学習アルゴリズムを発明するものではなく、既存のアルゴリズムを理解するための診断フレームワークを提供するものである。現在の事後学習レシピが機能する理由を解釈し、より効率的な学習アプローチおよびデータキュレーションの方向性を示唆する。