💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

本論文は、モデルが最終的な回答の正誤のみに焦点を当てるのではなく、別のモデルを導く際に効果的であり続けるような推論ステップを生成するように学習させることで、LLMの推論における堅牢性とサンプル効率を向上させる新しい手法である、転移可能な報酬を用いた強化学習（RLTR）を導入するものである。

原著者： Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある学生に複雑な数学の問題の解き方を教えているところだと想像してください。

旧来の手法 (RLVR): 「正解にたどり着いたか？」
現在のほとんどのAIトレーニングは、テスト用紙の最終的な答えだけを見る厳しい教師のようなものです。もし学生が、支離滅裂で混乱した内容や、たまたま当たっただけの推測を書いても、正解であれば教師は「A」を与えます。逆に、もし学生が完璧で論理的な説明を書いたとしても、最後にたった一つの小さな計算ミスをしただけで、教師は「F」を与えます。

この論文では、これを RLVR (Reinforcement Learning with Verifiable Rewards / 検証可能な報酬による強化学習) と呼んでいます。これは正解を得るには優れていますが、学生が「どのように」そこに到達したかには関心がありません。その結果、学生はシステムを「出し抜く」ことを学んだり、誰かに説明しようとすると崩壊してしまうような、脆弱な論理に頼ったりする可能性があります。

新しいアイデア (RLTR): 「他の誰かがあなたの続きを解けるか？」
著者であるHyunseok Lee氏とその仲間たちは、異なる哲学を提案しています。彼らは、真の推論とはリレーレースのようなものであると考えています。優れたランナー（AI）は、ただゴールラインを駆け抜けるだけでなく、次のランナーが躓くことなくスムーズに引き継いで走り続けられるように、バトンを渡すべきなのです。

彼らはこの新しい手法を RLTR (Reinforcement Learning with Transferable Reward / 転移可能な報酬による強化学習) と呼んでいます。

その仕組みを、簡単な比喩を使って説明します：

ジェネレーター（第一走者）: AIは問題を解き始め、自分の思考（推論）を書き出します。
トランケーション（テープの切断）: システムはAIの途中で処理を停止します。AIが書いた推論の最初の部分を取り出し、そこで切り離します。
レシーバー（第二走者）: 別のAI（「レシーバー」）が、この切り離されたテキストを受け取ります。レシーバーは、第一のAIが書いた内容を読み、解法の続きを完成させなければなりません。
報酬:
- もしレシーバーが問題を無事に解き終え、正解にたどり着けた場合、第一のAIにはボーナスポイントが与えられます。
- もしレシーバーが、第一のAIの記述が乱雑だったり論理的でなかったりしたために、混乱したり、行き詰まったり、間違った答えを出してしまった場合、第一のAIにはボーナスは与えられません。

なぜこれが優れているのか？
物語を書くことに例えてみましょう。

RLVR は、物語が「おわり」で終わっていることだけを気にします。支離滅裂な物語であっても、最後の言葉が「おわり」であれば、あなたは勝ちです。
RLTR は、物語の半分を読んだ人が、結末を容易に予想できるほど、その物語が明快で論理的であるかどうかを気にします。これにより、AIに「堅牢な」推論、つまり、安定していて明確で、再利用可能な論理を書くよう強制するのです。

彼らは何を発見したのか？
彼らはこの手法を難しい数学や科学の問題でテストしました。主な要点は以下の通りです：

より一貫している: 同じ問題を64回解かせたとき、「転移（Transfer）」を用いた手法（RLTR）は、多数決をとった際に正解を得る頻度が高くなりました。旧来の手法（RLVR）も時として正解を出しましたが、その推論があまりに不安定であったため、試行ごとに結果が食い違うことがよくありました。
学習が速い: 新しい手法はより速く学習しました。旧来の手法と同じレベルの性能に達するまでに、約2.5倍少ない学習ステップで済みました。これは、レッスンがより明快であるため、半分の時間でより質の高い教育を受けているようなものです。
より困難な問題にも対応: この恩恵は、最も難しい数学コンテスト（AIMEやAMCなど）においてさらに大きくなりました。問題が難しくなればなるほど、単に数字を当てることよりも、明確で転移可能な思考プロセスを持つことが重要になります。
数学に限らない: 彼らは科学の問題についてもテストを行いましたが、そこでも機能しました。これは、この「明快な思考」というスキルが、多くの種類の問題に適用できることを示唆しています。

要約すると：
この論文は、「正しい」だけでは不十分であると主張しています。AIの推論は、もし途中で別のAIに渡されたとしても、その第二のAIが完璧に仕事を完遂できるほど、強固で明確なものでなければなりません。AIを「転移可能（transferable）」になるよう訓練することで、AIはより賢く、より一貫性を持ち、より速く学習することができるのです。

技術要約：正解性を超えて：転移による堅牢な推論の学習

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、学習された報酬モデルを最終回答のルールベースの検証に置き換えることで、大規模言語モデル（LLM）の推論能力を大幅に向上させてきたが、決定的な限界に直面している。それは、推論プロセス自体の堅牢性を確保できていないという点である。RLVRは、最終回答の正解性のみを最適化する。

実用的な設定において、サンプリングパスやデコーディングのバリエーションによって正解を生成する頻度が不安定なモデルよりも、安定し再現可能な推論を生成するモデルの方が価値が高い。先行研究では、RLVRは「脆い（brittle）」推論軌跡を導く可能性があることが示されている。具体的には、サンプル数（ $K$ ）を増やしても多数決精度（Maj@K）が向上しないばかりか、むしろ低下する場合がある。現在のパラダイムには、中間的な推論ステップを、安定し、解釈可能で、他のモデルによって再利用可能なものにするためのインセンティブが欠けている。

2. 手法：転移可能な報酬による強化学習（RLTR）

著者らは、推論の転移可能性（reasoning transferability）という概念を通じて、堅牢な推論を具現化するフレームワークであるRLTRを提案する。その核心となる哲学は、堅牢な推論とは、それが生成された特定のモデルを超えて有用であり続けるべきである、すなわち、切り詰め（truncation）、再解釈、および継続（continuation）に耐えうるものでなければならない、というものである。

コアメカニズム

RLTRは、標準的なRLVRの目的関数に**転移報酬（Transfer Reward）**を付加する。学習プロセスには2つのモデルを用いる：

生成モデル ( $M_{gen}$ ): 完全な推論トレースと最終回答を生成する、学習対象のモデル。
受信モデル ( $M_{rcv}$ ): 生成モデルの中間的な推論の質を評価するために使用される、凍結された別のモデル。

転移報酬のプロセス:

生成モデルが推論シーケンス $y_{gen}$ を生成する。
推論トレースは、ランダムな比率 $\tau \in (0, 1]$ で切り詰められ、接頭辞 $y_{gen}[:\ell]$ が作成される。
この接頭辞が凍結された受信モデルに供給され、受信モデルは推論を補完して最終回答を生成しようと試みる。
転移報酬 ( $R_{trans}$ ) はバイナリである。受信モデルが補完した回答が正解と一致する場合は1、そうでない場合は0となる。

目的関数:
生成モデルに対する総報酬は、標準的な回答報酬と転移報酬の加重結合である：
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
ここで、 $R_{RLVR}$ は回答の正解性とフォーマット報酬を含み、 $t$ は転移成分の重みである。生成モデルは、この結合された報酬を最大化するように、Group Relative Policy Optimization (GRPO) を用いて最適化される。

3. 主な貢献

新しいフレームワーク: LLMに対して、異なるモデル間でも転移可能な推論トレースを生成することを明示的に動機付ける、初のRLVRフレームワークであるRLTRを導入した。
プロセスレベルの監督: 密なステップレベルのアノテーションや学習された検証器を必要とするプロセス報酬モデル（PRM）とは異なり、RLTRは追加のアノテーションコストや補助的な報酬モデルの学習なしに、正解の検証のみを用いてプロセスレベルの監督を実現する。
一貫性の向上: 転移可能性を最適化することが、サンプリングの一貫性（Maj@K）を直接的に改善し、標準的なRLVRで見られる脆さを解消することを実証した。
サンプル効率: RLTRは、RLVRよりも大幅に少ない学習ステップ（MATH-500において約2.5倍少ない）で、同等または優れた性能を達成する。

4. 実験結果

著者らは、MATH-500、GSM8K、AMC23、AIME2024、GPQAを含む複数の数学および科学的推論ベンチマークを用いてRLTRを評価した。

精度と一貫性: RLTRは、平均精度およびMaj@Kメトリクスの両方において、ベースモデルおよびRLVR学習済みモデルの両方を一貫して上回った。
- MATH-500において、RLTRはMaj@64を82.6%（RLVR）から84.2%に向上させると同時に、平均精度を71.0%から77.0%に引き上げた。
- AMC23において、RLTRはMaj@64を61.7%から67.5%に向上させた。
- GPQA（科学的推論）において、RLTRは平均精度を33.0%から34.8%へ、Maj@16を36.8%から37.7%へと向上させ、ドメインに依存しない汎化性能を示した。
学習ダイナミクス:
- 速度: RLTRは、RLVRの精度レベルに到達するまでに、約2.5倍少ない学習ステップで済む。
- 相関: 学習中、転移可能性の成長とMaj@Kの間には強い正の相関がある。対照的に、RLVRモデルは、平均精度が安定しているにもかかわらず、学習の後期段階で転移可能性とMaj@Kが低下することがよくある。
アブレーション研究:
- 報酬比率: 転移報酬の重み（ $t$ ）を大きくすると、高Kの一貫性（Maj@K）が大幅に向上し、転移可能性が明確かつ価値のある信号であることを裏付けた。
- 受信モデル: 本手法は、より小さな受信モデル（例：1.5Bパラメータ）でも効果的であるが、より強力な受信モデルの方が高い高K一貫性を実現する。
- 多様性: 特定の解法パターンに集中する傾向があるRLVRとは異なり、RLTRは精度を高めつつ、Pass@Kを維持または向上させる。
計算コスト: RLTRは受信モデルを介して追加の計算を導入するが、全体としてはより計算効率が高い。RLTRと同等の性能を達成するために、RLVRは約2.3倍の計算コスト（FLOPs）を必要とする。

5. 意義と主張

本論文は、推論の転移可能性を最適化することが、より堅牢なLLMの推論につながると主張している。推論を、中断や再開を生き延びなければならない「意味の転移」の一形態として扱うことで、RLTRはモデルに対し、安定し、解釈可能で、真に汎用的な推論パスを生成することを促す。

著者らは、本研究を、現在のRLVR手法における「結果のみの評価」というボトルネックに対する解決策として位置づけている。彼らは、堅牢な推論とは単に正しいことではなく、他者が確実に辿ることができる形で説明可能であることであると論じている。このアプローチは、複雑な領域（科学的発見やコーディングなど）において、生（raw）の精度と同じくらい一貫性と再現性が重要となる、より信頼性の高いAIエージェントへの道筋を提供する。同時に、学習の計算負荷も軽減するものである。