あなたは、新しいタイプのパズルを解く方法を教えようとしている、ある「非常に賢く、考えすぎてしまう学生」を想像してみてください。この学生は「推論言語モデル」と呼ばれる特殊な種類のコンピュータプログラムで、自分の思考プロセスを示すように訓練されています。この学生は、数学の問題やコーディングの課題に対して最終的な答えを出す前に、まるで探偵が謎を解くかのように、長いステップ・バイ・ステップの思考プロセスを書き出します。この「思考を声に出す（思考を書き出す）」という習慣こそが、難解なタスクにおいて彼らを優れたものにしている理由です。
しかし、一つ問題があります。通常、この学生に新しいスキルを教えるには、その答えが正しいかどうかを即座に確認する方法（数学の解答集のようなもの）や、正しい考え方を教えるための超スマートな教師が必要です。しかし、もし面白い物語の要約を書いたり、テストが存在しない特定のプログラムのバグを修正したりするように、正解の「解答キー」が存在しないものを教えたい場合はどうすればよいでしょうか？ あなたの手元には、人間が書いた「正しい答え」の例はたくさんありますが、それらには「思考」の部分は示されていません。もし、単にこれらの答えだけを暗記するように学生に強いた場合、彼らはその特定のパズルに対しては正しい答えを出せるようになるかもしれませんが、「考える方法」そのものは忘れてしまうでしょう。彼らは問題を解決する探偵ではなく、答えを繰り返すだけのオウムになってしまうのです。
これが、ETHチューリッヒの研究者たちが取り組んだパズルです。彼らは、思考プロセスを忘れることなく、これらの「思考するモデル」に新しいスキルを教えるための、巧妙な2ステップのトリックを発見しました。まず、モデルに単純な「答えのみ」の例から学習させます。これは、テスト勉強に明け暮れる学生のようなものです。これにより、モデルはその特定のタスクに習熟しますが、思考プロセスを示すという習慣を失い始めます。次に、魔法のような「マージ（融合）」を行います。彼らは、この新しく訓練されたモデルを、元のスマートに思考するモデルと混ぜ合わせます。これは、淹れたてのタスク特化型のコーヒーと、元の濃いエスプレッソを混ぜ合わせるようなものです。この混合比率を慎重に調整することで、モデルが新しいスキルを保持しながら、再び問題を論理的に考える能力を取り戻す「スイートスポット」を見つけ出したのです。
研究者たちは、この手法を4つの異なるスマートモデルと、Rustプログラミング言語でのコーディングおよび長いニュース記事の要約という、2つの非常に異なるタスクでテストしました。その結果、彼らの手法は驚異的な成果を上げました。モデルは特定のタスクにおいて大幅に向上し（コーディングのスコアが最大12ポイント上昇、要約のスコアもわずかに上昇）、通常の訓練では通常破壊されてしまう「推論能力」をほぼ完全に回復させました。さらに優れたことに、このプロセス全体は信じられないほど安価で高速でした。研究者たちの計算によれば、モデルの適応にかかる費用は3ドル未満であり、時間は1時間以内でした。これに対し、同じ問題を解決しようとする他の手法は、大幅に多くのコストと時間を要します。
要するに、この論文は、これらの推論モデルをアップグレードするために、超高価な「答えのチェックシステム」や天才的な教師は必要ないということを示唆しています。既存の膨大な量の単純な「問いと答え」のデータを使用し、少しの数学的なブレンドを加えるだけで、AIの探偵たちの脳を壊すことなく、新しいスキルを与えることができるのです。これは、明らかな解決策が存在しない謎を解くときでも、私たちのAI探偵の鋭さを維持するための、低コストで高リターンな方法なのです。
問題点
推論言語モデル（RLM）は、数学やコーディングのように信頼できる検証器が存在する領域において、検証可能な報酬を用いた強化学習（RLVR）を通じて、最先端の性能を達成しています。しかし、信頼できる検証器を欠く領域（例：テキスト要約や、包括的なユニットテストを伴わないコーディング）にRLMを適応させることは依然として困難です。これらの領域には高品質な教師あり微調整（SFT）データが大量に存在しますが、それらは通常、推論プロセスを含まない入出力ペアのみで構成されています。このデータを用いて標準的な指示微調整（IFT）をRLMに直接適用すると、分布の不一致が生じます。すなわち、モデルは直接的な回答を出力するように訓練されるため、その推論行動が「崩壊」してしまいます。これにより、モデルが推論プロセスを生成する能力が失われ、結果としてターゲットタスクの性能が低下し、MATH500のような保持されたデータセットに対する一般的な推論能力の破滅的な忘却を招きます。
手法
著者らは、推論行動を維持しながら標準的なIFTデータを用いてRLMを適応させるための、軽量な2ステップのパイプラインを提案しています。
- 標準的な指示微調整（IFT）： ベースとなるRLMを、推論プロセスを含まない入出力ペアのみを含むタスク特化型のデータセットで微調整します。これにより、タスク精度は向上するものの、推論行動が損なわれた、あるいは崩壊したモデル（MIFT）が生成されます。
- モデル・マージング（モデル結合）： 微調整されたモデル（MIFT）を、元のチューニングされていない推論モデル（M）と線形に結合します。マージされたモデルは、Mα=(1−α)M+αMIFT と定義され、ここで α はマージ比率です。
- 比率の選択： 最適なマージ比率 α は、ターゲットタスクに関する小さな保持されたキャリブレーション・データセット（Dcal）を用いて選択されます。選択基準は、ターゲットタスクにおける推論率（モデルが非空の推論プロセスを生成する例の割合）が、最小閾値（実験では ρmin=0.9 に設定）を上回り続けるような最大の α を見つけることです。
- 最適化： 計算コストを削減するため、キャリブレーションプロセスでは、完全な回答を生成するのではなく、モデルのレスポンスの最初の数トークンのみを評価して、推論が開始されているかどうかを判断します。また、効率的に最適な α を見つけるために二分探索が用いられます。
主な貢献
- 実用的な適応設定の特定： 本研究は、検証可能な推論プロセスやより強力な教師モデルへのアクセスがない状況で、RLMを適応させるという特定のシナリオに対処しています。
- 軽量な「IFTおよびマージ」手法： 著者らは、推論行動を回復させながら新しいタスクに適応するシンプルな手順を提案しています。決定的なのは、この手法が検証器、報酬モデル、またはより強力な教師モデルを必要としない点です。
- 包括的な評価： 本手法は、4つの多様なRLM（OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think, DeepSeek R1 Qwen 7B Distilled）を用い、2つのターゲットタスク（Rustコーディングとテキスト要約）および保持された数学的推論タスク（MATH500）において評価されています。
結果
- 性能の回復： 標準的なIFTは、MATH500の性能を大幅に低下させることがよくあります（例：RustコーディングのIFT後、OpenThinker 7BのMATH500スコアは79%から35.9%に低下）。提案されたマージ技術は、IFTによって得られたターゲットタスクの性能向上を大部分維持しつつ、失われた一般的な推論能力（MATH50酸スコア）の大部分またはすべてを回復させます。
- ベースラインとの比較： 本手法は、オンポリシー蒸留（IFT+OPD）やKLダイバージェンス正則化を用いたIFT（IFT+KL）といった競争力のあるベースラインを上回るか、あるいはそれらに匹敵します。いくつかのケースでは、ベースラインはターゲットタスクの性能を回復できなかったり、推論の保持において効果が低かったりしました。
- コスト効率： このアプローチは非常に効率的です。適応プロセス全体（IFT、探索、およびマージ）は、単一のNVIDIA H200 GPU上で約52分かかり、コストは3米ドル未満です。これは、追加の教師推論や複雑な蒸留ループを必要とするベースラインよりも大幅に安価です。
意義
本論文は、この手法が、検証器の欠如によりRLVRが不可能なドメインに対して、強力な推論モデルを適応させるための、コスト効率が高くアクセシブルな経路を提供すると主張しています。広く利用可能なIFTデータを利用し、単純なモデル・マージングを通じて推論行動を回復させることで、この技術はRLMが新しいタスク固有のスキルを獲得しながら、一般的な推論能力を維持することを可能にします。著者らは、この手法はIFTデータが十分な信号を提供するタスク（コーディングや要約など）には効果的であるものの、推論プロセス自体がパフォーマンスの主要な原動力となる領域（複雑な数学的証明など）においては、推論プロセス自体への教師あり学習が依然として必要になる可能性があると述べています。
毎週最高の machine learning 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録