🤖 machine learning

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

本論文は、言語モデルの推論能力を向上させる上での教師あり微調整（SFT）と強化学習（RL）の組み合わせの成功は、構成的汎化に由来すると提唱しており、そこではSFTがトレース内の生の原子的モジュールを提供し、RLがそれらを分解・再結合することで未知の構成を解決するという、複合的なトレースでの学習が孤立したモジュールよりも優れた汎化をもたらすことを示す実験によって検証された理論を提示している。

原著者： Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：AIがいかにして「思考」を学ぶか

あなたがロボットに複雑なパズルを解く方法を教えているところを想像してみてください。教え方には主に2つの方法があります。

「お手本を見せる」学習（SFT）: 特定のパズルに対して、完璧でステップバイステップの解答例をロボットに見せます。
「試行錯誤」による学習（RL）: ロボットが自力でパズルを解くのを自由にさせます。もし最後に正しい答えに辿り着いたら、「金メダル（報酬）」を与えます。失敗したら、何も与えません。

長い間、研究者たちはこの2つの方法を組み合わせるのが最も効果的であることに気づいてきました。ロボットは「お手本」から手順を学び、その後の「試行錯誤」を経て、見たこともない新しいパズルを解く能力が格段に向上するのです。

問い： なぜこの組み合わせはこれほど上手くいくのでしょうか？ロボットの脳内では、実際に何が起きているのでしょうか？

コアとなるアイデア：「レゴ」理論

この論文の著者たちは、このプロセスを理解するための新しい方法を提案しています。彼らは、推論とは単に長い物語を暗記することではなく、レゴブロックで組み立てるようなものだと主張しています。

彼らは、推論のプロセス（ロボットの思考プロセス）を、再利用可能な2種類のパーツに分解して考えています。

スキル（ブロック）: これらは小さく局所的なアクションです。例：「これらの数字を加算する」「この単語を削除する」「これが正しいか確認する」。
ルーティング（指示書）: ブロックをどのように接続するかというルールです。例：「ステップ1の結果をステップ2に送る」「もし数値が大きければ、ステップ4へスキップする」。

「お手本を見せる（SFT）」の問題点:
完璧な解答例をロボットに見せるとき、「ブロック」と「指示書」は特定の順序で固められています。ロボットは、長い一つの固まったブロックとしてそれを見ることになります。ロボットはその塊全体をコピーすることを学びますが、その塊が実は別々の再利用可能なパーツでできていることには気づきません。もし、異なる順序でブロックを組み合わせる必要があるパズルを与えられたとき、ロボットは元のブロックをコピーする方法しか知らないため、行き詰まってしまいます。

「試行錯誤（RL）」の魔法:
ロボットが自力で問題を解き始め、正しい答えに対して金メダルをもらうようになると、驚くべきことが起こります。ロボットはこう気づき始めるのです。「待てよ、さっきの『加算』ブロックを別の場所でも使ったけど、そのたびにうまくいったぞ！」

RLのプロセスは、いわば**「解体屋」*として機能します。それは「お手本」フェーズで固められたブロックを、再び個別の、再利用可能なブロックと指示書へと分解します。ロボットがバラバラの再利用可能なブロックの箱を手に入れたとき、それらを新しい*方法で組み合わせて、見たこともないパズルを解くことができるようになるのです。

主要な発見（成功へのレシピ）

論文では、この理論を証明するために実験が行われました。その結果を分かりやすく説明します。

1. まずは原材料が必要である
レゴブロックがどのような形をしているか一度も見せたことがなければ、ロボットにレゴでの組み立て方を教えることはできません。「お手本を見せる」フェーズが極めて重要なのは、それが原材料（原子レベルのスキルとルーティング機構）を提供してくれるからです。これがないと、ロボットは分解するための材料そのものを持てません。

2. 見せるよりも、分解させる方が良い
もし、孤立したブロック（例：「数字を加算する方法」）だけをロボットに見せた場合、ロボットは加算の方法は学びますが、加算を他のステップとどう組み合わせるかは学びません。

発見: 複雑な完成された解答（複合的なトレース）を見せ、その後の「試行錯誤」フェーズで、どうやってそれを分解させる方がはるかに効果的です。ロボットは、バラバラのブロックをそのまま与えられるよりも、完成したものを分解して再構成する方法を、より速く、より効果的に学習します。

3. 「接着剤」を適切な場所で壊す必要がある
著者たちは、最良の結果を得るための特定のレシピを発見しました。

フェーズ1（お手本を見せる）: あらゆる種類のブロックと指示書をカバーするように、多くの異なる複雑な解決策をロボットに見せます。道具箱の中にあるすべての道具を見せることが重要です。
フェーズ2（試行錯誤）: これらの道具を、見たこともない新しく奇妙な組み合わせで混ぜ合わせたパズルを使って、ロボットに練習させます。
なぜか？ もしフェーズ1で見せたのと同じ組み合わせで練習させた場合、ロボットはそれを単に暗記してしまいます。しかし、新しい組み合わせで練習させると、ロボットは手持ちのバラバラのブロックをその場でどうやって組み立てるかを考えざるを得なくなります。ここで「汎化（未知のものを解く能力）」が起こるのです。

シンプルな例え：シェフ

あなたがシェフを訓練しているところを想像してください。

SFT（お手本を見せる）: あなたはシェフに「スパゲッティ・カルボナーラ」のレシピを見せます。卵を割り、パスタを茹で、ソースを混ぜる正確な手順を見せます。シェフはこの一つの料理を完璧にコピーすることを学びます。
RL（試行錯誤）: 次に、あなたはシェフに「美味しい夕食を作って」と言いますが、レシピは与えません。彼らに自由にやらせます。もし素晴らしい料理ができたら、「よくやった！」と言います。

論文の洞察:
もしカルボナーラのレシピだけを見せた場合、シェフは「卵を割る」ことと「パスタを茹でる」ことが、「カルボナーラを作る」という一つの分解不可能な動作であると考えてしまうかもしれません。
しかし、試行錯誤（RL）をさせることで、彼らは気づきます。「なるほど！卵を割ることはオムレツのためにも使えるし、パスタを茹でることはサラダのためにも使えるんだ」と。彼らは、スキル（割る、茹でる）がルーティング（次にパスタをどうするか）から切り離されたものであることに気づくのです。

一度これを理解すれば、彼らは見たこともない新しい料理（例えば「パスタ・オムレツ」）を考案できるようになります。なぜなら、材料を固定された一つのスクリプトとしてではなく、分離された再利用可能なツールとして扱えるようになったからです。

まとめ

推論はモジュール化されている: それは小さなスキルと、それらを繋ぐルールの集合体です。
SFTはパーツを提供する: モデルに原材料（スキル）を与えます。
RLは組み立てを行う: モデルに材料を分解させ、それらを新しい方法で組み合わせて学ぶことを強制します。
最善の戦略: まず多様で複雑な例を見せて（すべてのパーツを手に入れさせ）、次にそれらのパーツの新しい組み合わせで練習させる（組み立て方を学ばせる）。

この論文は、現在の「お手本を見せてから、試行錯誤させる」という手法がなぜ強力なのかを説明しています。それは、モデルを「硬直した暗記マシン」から「柔軟なビルダー（組み立て手）」へと変えるからです。

技術要約：推論トレースから再利用可能なモジュールへ

問題提起

教師あり微調整（SFT）と強化学習（RL）を組み合わせたポストトレーニング・パイプラインは、近年、大規模言語モデル（LLM）の推論能力を大幅に向上させてきました。経験的に、SFT単体では、モデルが標準的な「黄金の」推論トレースを記憶することには長けますが、馴染みのあるステップを未知の形式で再結合する必要がある場合（分布外（OOD）構成）には失敗することが多いことが示されています。逆に、SFTに続くRLは、このようなOOD構成をより確実に処理できます。しかし、この組み合わせによる成功を駆動する基礎的なメカニズムは依然として不明確です。具体的には、SFTとRLがそれぞれどのような異なる貢献をしているのか、そしてそれぞれの段階においてどのようなデータ構成が最適なのかという点です。

メソドロジー

理論的枠組み：階層的潜在選択モデル

著者らは、推論を階層的潜在選択モデルとして定式化しています。このフレームワークにおいて：

問題記述子 ( $P$ ): 入力プロンプトは、離散的な潜在選択変数の階層を誘導します。
潜在変数 ( $S$ ): これらの変数は、再利用可能な原子的モジュールのライブラリから選択を行います。
- スキル (Skills): 局所的な操作（例：算術ステップ、書き換えルール）。
- ルーティング・メカニズム (Routing Mechanisms): 中間情報がどのように選択、再利用、構成されるかに関する決定（例：前の出力を転送する、分岐するなど）。
観測可能なトレース ( $D$ ): 最終的な推論トレースは、これらの選択の連鎖によって生成されます。

核心となる仮説は、推論トレースはこれらの原子的モジュールの合成によって生成されるというものです。SFTは「原材料」（これらのモジュールを含むトレース）を提供し、RLはこれらの複合的なトレースを分解して潜在的なモジュールを特定し、柔軟な再結合を可能にさせる役割を担います。

理論的貢献

本論文は、2つの主要な理論的結果を確立しています。

識別可能性 (定理 3.1): 緩やかな条件（忠実性、ランク忠実性、制限された選択集合、および近傍被覆）の下で、潜在的な選択階層（スキルとルーティング）は、観測可能なトレースの分布から識別可能です。
構成的汎化 (定理 3.4): モジュールが一度特定されれば、新しいプロンプトにおけるすべての局所的な構成に対して「局所的な証拠（local witness）」（すなわち、モジュール間のインターフェースが訓練中に観察されていること）が存在する場合、それらを新しい構成へと再結合できます。

さらに、著者らはサポート分析を通じてSFTとRLの役割を特徴付けています。

SFTの限界 (命題 3.2): 標準的なトレースに対するSFTは、原子的モジュールを特定のコンテキストと「もつれ（entangled）」させたままにする傾向があります。これは、SFTが有効なトレースのサブセットしか明らかにしないためです。モジュールを解きほぐす（disentangle）ために必要な重要な局所的事象は、SFTのサポート範囲外にある可能性があります。
RLのメカニズム (命題 3.3): RLは、報酬に基づいてロールアウトを再サンプリングすることで、分布を豊かにします。もし「隠れた」局所的事象（例：特定のルーティングの選択）が高い報酬につながる場合、RLはその確率を高め、事実上、もつれたトレースを分解し、原子的モジュールを識別可能にします。

実証的セットアップ

これらの理論を検証するため、著者らは合成文字列変換タスク（Yuan et al., 2025に基づく）を用いた制御実験を行いました。

原子的スキル: 24個の決定論的な文字列変換関数。
ルーティング・メカニズム: 10種類の異なる入力構造の定義（どの中間出力が次のステップに供給されるかを決定）。
プロトコル: モデルを様々な深さ ( $L$ $L$ ) のトレースで訓練しました。研究では、以下の点についてデータ構造への介入を系統的に行いました。
- 複合的なトレースから原子への分解。
- 構成的曝露（compositional exposure）と孤立した原子的曝露（isolated atomic exposure）の必要性。
- SFTとRLのデータの最適な分布関係（重複か、あるいは排他的か）。
補足的エビデンス: オープンソースモデル（Qwen3-4B）を実際の数学ベンチマーク（MATH, AIME）で分析し、スキルのトークン化とn-gramの多様性を観察しました。

主要な結果

RLによる分解と再結合: 複合的なトレース ( $L=3$ ) に対してRL訓練を行ったモデルは、未知の構成 ( $L=4$ から $L=8$ ) において、SFTのみのモデルを大幅に上回りました。RLは、複合的なトレースから原子的スキルとルーティング・メカニズムを回収し、それらを再結合して汎化することを可能にしました。
複合的なトレースの優位性: RLを孤立した原子的モジュール ( $L=1$ ) に対して訓練した場合と比較して、複合的なトレース ( $L=3$ ) に対して訓練した場合の方が、OOD精度が大幅に高くなりました（+37.8%の利得 vs +10.0%の利得）。これは、モジュールのインターフェース（構成）への曝露が、それらを再結合する方法を学習するために極めて重要であることを裏付けています。
再注入には構成が必要: 特定の原子的スキルやルーターをRL訓練から除外した場合、性能が低下しました。単に孤立した原子的スキル ( $L=1$ ) を再注入しても、性能は回復しませんでした。性能が回復したのは、保持されていた原子を含む構成的なトレースを再注入した時のみであり、原子が再利用可能であるためには、構成的なコンテキスト内で学習される必要があることを証明しています。
最適なSFT-RLデータ・ペアリング: 最も強力なOOD汎化は、SFTとRLのデータ分布が排他的（ $C_{SFT} \cap C_{RL} = \emptyset$ $C_{S F T} \cap C_{R L} = \emptyset$ ）である場合に発生しました。
- SFTの役割: 構成的なトレースを通じて、すべての原子的モジュールのインベントリをカバーすること。
- RLの役割: 新しいインターフェースを探索するために、SFTのサポート範囲外にある新しい構成をターゲットにすること。
- 重複するデータ（ $C_{SFT} \supset C_{RL}$ ）の場合、汎化性能は最も低くなりました。
実モデルのエビデンス: Qwen3モデルの分析により、RLチューニングされたモデルは、短いスキルのn-gram（n=2, 3）において高い多様性を示しました。これは、抽象化されたステップのより柔軟な局所的再結合を示しており、モジュール的な再利用という理論的モデルと一致しています。

意義と主張

本論文は、構成的推論におけるSFT+RLパイプラインの成功に対し、潜在変数による説明を提供することを主張しています。その主な意義は以下の通りです。

メカニズムの定式化: 経験的な観察を超え、SFTが「材料」（もつれたトレース）を供給し、RLが「分解」（報酬駆動のサポート拡大による潜在モジュールの特定）を行うという理論的枠組みへと昇華させたこと。
カリキュラム設計: ポストトレーニングのための具体的なプロトコルを提供したこと。すなわち、SFTは構成的なトレースを通じてすべての原子的モジュールをカバーすべきであり、RLは新しいインターフェースを探索するために新しい構成をターゲットにすべきであるということです。
識別可能性の条件: 潜在的な推論構造が観測データから回収されるための十分条件を提示し、RLの成功を、構成的汎化に必要な「局所的な証拠」の拡充へと結びつけました。

著者らは、本研究を「LLMがいかにして構成的に推論することを学ぶか」を理解するためのステップとして位置づけており、RLという「ブラックボックス」が、実質的には再利用可能な原子的推論ユニットを発見し、再結合するためのメカニズムであることを示唆しています。