技術的概要：知識だけでは不十分：継続的適応のための RL 技能の注入

問題定義

大規模言語モデル（LLM）は、パラメトリックメモリが事前学習後に固定されるため、新しい情報やツールのネイティブな内部化を妨げられるという根本的な「知識のカットオフ」課題に直面しています。検索拡張生成（RAG）は外部コンテキストを通じてこれを緩和しようと試みますが、長距離依存関係のモデリング問題や推論のオーバーヘッドに悩まされています。その結果、研究はパラメトリック知識の更新（例えば、知識編集、テスト時学習）へとシフトしています。

しかし、現在の適応パラダイムには決定的な限界が存在します。それは、知識と推論技能の間の機能的な断絶です。

• **教師あり微調整（SFT）**は事実的内容（「何」）を効果的に記憶しますが、下流タスクにおいてその知識を推論したり操作したりする方法（「どう」）をモデルに教えることにはしばしば失敗します。SFT によって訓練されたモデルは事実を「知っている」かもしれませんが、それを動的に活用できず、エラーに遭遇した際に幻覚を生じたり、硬直的な振る舞いを示したりします。
• **強化学習（RL）**は堅牢な推論と実行技能（「どう」）を獲得するために不可欠ですが、方策オン探索と対話データの必要性に伴う高い計算コストのため、あらゆる新しいシナリオへの効率的かつ継続的なオンライン適応には実用的ではありません。

核心的な問題は、新しいドメイン知識とそれを活用するための手続き的技能をモデルに備えさせながら、各新しいドメインごとにゼロから RL を訓練する莫大なコストを回避する方法です。

手法：パラメトリック技能転送（PaST）

著者は、**パラメトリック技能転送（PaST）**を提案します。これは、知識獲得と技能獲得を分離するモジュール型フレームワークであり、ターゲットドメインでの明示的な RL を行わずに、ドメイン横断的な推論能力の転送を可能にします。

1. 理論的基盤：更新の直交性

この手法は、SFT によって誘発されるパラメータ更新（$\Delta W_{SFT}$）と RL による更新（$\Delta W_{RL}$）がほぼ直交するという経験的観察に基づいています。

• 経験的証拠: LooGLE や ToolBench タスクなどのモデル層全体におけるコサイン類似度の分析は、$\Delta W_{SFT}$と$\Delta W_{RL}$がパラメータランドスケープの分離された部分空間に存在することを示しています。それらの相関は一貫してゼロに近いのに対し、2 つの独立した SFT 更新間には有意な相関が見られます。
• 示唆: 知識（事実の注入）と技能（手続き的論理）は、破壊的な干渉なしに個別に最適化され、線形に組み合わせることが可能です。

2. PaST フレームワーク

PaST は 2 つの段階で動作します。

段階 I: ソースドメインからの技能抽出

1. SFT アンカリング: ベースモデルをソースドメインの知識コーパス（$C_S$）で微調整し、$\theta^S_{sft}$を取得します。
2. RL 精製: SFT モデルをソース対話軌道（$T_S$）で RL 訓練し、推論方策を内部化させ、$\theta^S_{rl}$を生成します。
3. 技能ベクトル抽出: ドメインに依存しない技能ベクトル（$v_{skill}$）を、RL パラメータから SFT パラメータを減算することで抽出します。
   $$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$$
   このベクトルは、ドメイン固有の宣言的事実を剥ぎ取り、推論改善の「勾配」方向を捉えます。
   • 精製: 特定のソースコンテンツへの過学習を防ぐため、反復的ブートストラップ戦略を採用します。ソースドメインを部分集合に分割し、技能ベクトルをラウンドごとに反復的に精製します。前のラウンドのベクトルを次の RL フェーズのウォームスタートとして注入します。

段階 II: ターゲットドメインへの適応

1. 軽量 SFT: ターゲットモデルを新しいターゲットドメインのドキュメント（$C_T$）で微調整し、$\theta^T_{sft}$を取得します。これによりモデルは新しい事実でアンカリングされます。
2. 線形注入: 抽出された技能ベクトルをターゲットモデルに線形に注入します。
   $$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$$
   （ここで$\lambda$はスケーリング係数であり、実験では 1 に設定されています）。これにより、ソースで学習された推論幾何学がターゲット知識多様体 onto グラフトされ、複雑なタスクのゼロショット実行が可能になります。

主要な貢献

1. 推論 - 知識の断絶の特定: 本論文は、SFT だけでは手続き的論理を新しいドメインへ転送するには不十分であることを浮き彫りにしました。SFT は主に表面レベルの記憶を誘発するに過ぎないためです。
2. 直交性の経験的証拠: 著者は、SFT と RL の更新がほぼ直交する部分空間を占めるという厳密な証拠を提供し、知識と技能を分離して再結合する可行性を検証しました。
3. PaST フレームワーク: ソースドメインからターゲットドメインへ RL で学習された技能を転送するためのタスクベクトル演算を利用する新規手法であり、高価なターゲットドメイン RL の必要性を回避します。
4. 分離と転送可能性: 知識操作と実行技能を効果的に分離・転送できることを実証し、データが乏しいターゲットドメインでの堅牢な適応を可能にしました。

実験結果

著者は PaST を 3 つのベンチマークで評価しました。

1. 知識の統合（SQuAD）:

   • 設定: 閉書クエスチョン・アンド・アンサー（QA）。モデルはテスト時の更新を通じてパッセージを記憶し、コンテキストなしで質問に答える必要があります。
   • 結果: PaST は**56.9%**の精度を達成し、最先端の自己編集ベースラインである SEAL（47.0%）や標準的な「パッセージ＋合成データで訓練」ベースライン（39.7%）を大幅に上回りました。これは合成ベースラインに対して絶対値で 17.2% の改善であり、技能ベクトルが本質的な推論ロジックを提供することを証明しています。

2. 長文脈推論（LooGLE）:

   • 設定: 21k トークンを超えるドキュメントに対する QA。
   • 結果: PaST は精度を標準 SFT の 30.1% から38.1%（+8.0 ポイント）に向上させました。この手法は膨大なドキュメントに成功裏にスケーリングし、モデルを受動的な事実の容器から、正確なパラメトリック検索を可能にする専門家へと変容させました。

3. ドメイン横断ツール使用（ToolBench）:

   • 設定: 閉書実行。モデルはコンテキストなしに名前のみに基づいて API を使用する必要があり、「映画」ソースドメインから 20 の未見のターゲットカテゴリへ技能を転送します。
   • 結果: PaST は平均成功率をターゲット SFT の 21.9% から32.2%（+10.3 ポイント）に引き上げました。ベースラインが完全に失敗したドメイン（例：広告：0% $\to$ 16.7%）でもゼロショット活性化を達成しました。

4. 効率性の比較:

   • PaST はターゲットドメインで約 75 ステップ訓練された RL（44.0% 対 44.6%）と同等の性能を達成しましたが、ターゲットドメインにおける追加訓練時間はゼロでした。ターゲット RL はドキュメントあたり約 72 分を要しましたが、PaST はそれを必要としませんでした。

意義と主張

本論文は、PaST が継続的適応のための計算効率が高くスケーラブルな方策オン RL の代替案を提供すると主張しています。パラメータ更新の直交性を活用することで、この手法はモデルが軽量 SFT を通じて新しい知識を獲得しながら、同時に事前学習されたソースから堅牢な推論能力を継承することを可能にします。これは「知っている」ことと「使う」ことの間のギャップを埋め、知識と推論技能の両方が急速に進化する必要がある動的な実世界環境での LLM の展開における重要なボトルネックに対処します。

著者は謙虚に限界を指摘しており、QA やツール使用を超えたより広範な実験ドメインの必要性、静的なスケーリング係数（$\lambda=1$）の使用、および主に Qwen2.5-7B アーキテクチャへの依存を挙げています。これらはより広範なモデルスケール全体でこれらのダイナミクスを確認するために、将来の研究が必要であることを示唆しています。