技術要約：Inject, Align, Recover (IAR)

問題定義

本論文は、大規模言語モデル（LLM）における**ドキュメント知識の内在化（document knowledge internalization）**という課題に取り組んでいる。標準的な検索拡張生成（RAG）では、モデルは特定のコーパスに基づいた質問に答えるために外部検索に依存する。しかし、多くのデプロイ・シナリオ（レイテンシ、プライバシー、またはテスト上の制約による）では、検索が利用できない場合がある。目標は、固定された境界のあるドキュメント集合を、モデル内の利用可能なパラメトリックな知識へと変換し、推論時にソースドキュメントにアクセスすることなく、保持された質問に回答できるようにすることである。

既存のアプローチには、以下のような重大な限界がある：

• QAペアを用いた教師あり微調整（SFT）： 正しい入出力形式を提供するが、QAジェネレータによって選択された事実のみが損失に寄与するため、学習信号が希薄になる。
• 継続的事前学習（CPT）： ドキュメント・テキストへの密な露出を提供するが、指示に従うインターフェースの下でどのように質問に答えるかをモデルに明示的に教えることができない。
• トレードオフ： 両方の手法は、特定のドメインに適応させることで、モデルの一般的な指示追従能力や広範なベンチマークにおける性能が低下するという**破滅的忘却（catastrophic forgetting）**に陥ることが多い。

手法：IARフレームワーク

著者らは、ドメイン獲得、タスク適合、および一般能力の回復を分離するように設計された、3段階のポストトレーニング・フレームワークである**IAR（Inject, Align, Recover）**を提案している。

ステージ 1: Inject（注入）

生の継続的事前学習の代わりに、このステージではソースドキュメントを構造化された、指示条件付きの教師あり再構成タスクに変換する。目的は、生のストリームによるCPT損失を使用することなく、QAのみの学習よりも密なドキュメントレベルの監督を提供することである。このステージでは、以下の3つの具体的な目的を採用している：

1. 継続（Continuation）： 指示条件付きのプレフィックス（接頭辞）が与えられた際に、ドキュメントのサフィックス（接尾辞）を予測する。
2. 書き換え（Rewrite）： 生成された要約、アウトライン、または知識スケルトンから、クリーンアップされたドキュメントを再構成する。
3. 指示フォーマットによる再構成（Instruction-Formatted Reconstruction）： 短く一般的な読解指示から、クリーンアップされたドキュメントを予測する。
   これらの目的を混合して「レシピ」データセットを作成することで、指示追従形式を維持しながら、ドキュメントの完全な構造にモデルを露出させる。

ステージ 2: Align（適合）

ドキュメント知識が注入されたモデルに対し、ドキュメント由来の質問応答（QA）ペアを用いて微調整を行う。決定的なのは、このステージで**回答のみの教師あり微調整（answer-only supervised fine-tuning）**を使用することである。これにより、注入された知識をQAインターフェースに適合させ、モデルが内在化された事実を検索・活用して特定の質問に答える方法を学習させる。このステージにより、ドメイン適応済みチェックポイント（$\theta_{IA}$）が生成される。

ステージ 3: Recover（回復）

破滅的忘果を軽減するために、フレームワークは**事後的なモデルマージ（post-hoc model merging）**を実行する。ドメイン適応済みチェックポイント（$\theta_{IA}$）を、元のベース指示モデル（$\theta_0$）とマージする。著者らは、SLERP、task arithmetic、TIES、DAREを含むいくつかのマージ演算子を評価している。

• 選択戦略： 最終的なチェックポイントは、必ずしもドメイン精度が最も高いものではない。代わりに、著者らは**ドメイン・ジェネラル・フロンティア（domain-general frontier）**上の点を選択する。彼らはドメイン精度を主要な目的としつつ、デプロイ可能性を確保するための「ガードレール」として一般ベンチマーク（IFEval, MMLU, MSBench）を使用する。

主な貢献

1. 問題の定式化： 本論文は、固定されたコーパスに対する検索フリーのQAを、**ドメイン・ジェネラルな動作点問題（domain-general operating-point problem）**として定式化し、ドメインアクセシビリティと一般能力の間のトレードオフを明示的に測定している。
2. IARフレームワーク： 構造化されたドキュメントへの露出、回答への適合、および能力の回復を分離した、3段階の分解（Inject, Align, Recover）を導入している。これにより、どの介入が特定の利得や失敗を駆動しているのかを分離することが可能になる。
3. 包括的な評価： この手法は、2つのコーパス（Common Corpus/CC および CCI）と4つのモデルファミリー（Llama, Phi, Qwen, SmolLM）にわたって評価されている。Vanilla SFT、CPT+SFT、LoRA、SDFT、Replay、FAPMを含む幅広いベースラインと比較されている。
4. 実証的エビデンス： 本研究は、初期化の強さ、データレシピ、または動作点の選択がいつ最も重要であるかを明確にする、強力なエビデンスと境界条件のエビデンスの両方を提供している。

結果

実験の結果、IARは検索フリーのドキュメント内在化におけるドメイン・ジェネラル・フロンティアを改善することが示された：

• Vanilla SFTとの比較： IARは、報告された4つの指標すべてにおいて、8つのデータセット・モデル設定のうち7つでVanilla SFTを上回る改善を示した。
  • 例外： Phi-4-mini CCIの設定では、IARはIFEvalとMSBenchを向上させたが、Vanilla SFTと比較してドメイン精度とMMLUをわずかに低下させた。
  • 平均的な利得： 全設定を通じて、IARはVanilla SFTと比較して、ドメインQA精度で平均3.6パーセントポイント、一般性能（IFEval、MMLU、MSBenchの平均）で12.1パーセントポイントの増加を達成した。
  • 具体的な例： Qwen3-4Bを用いたCCデータセットにおいて、IARはドメイン精度を42.4%（Vanilla SFT）から50.5%に向上させると同時に、3つの一般指標すべてを向上させた。
• BudgetMatchとの比較： 「BudgetMatch」ベースライン（同じトークン予算を使用するが、QAのみの学習を行うもの）と比較して、IARは4つの設定のうち3つで優れた性能を示した。これは、利得が単なるトークン数の増加によるものではなく、段階的な露出と回復によるものであることを示唆している。
• スケーリング： CCデータセットにおいて、Qwen3モデル（8B, 14B, 32B）をスケールアップさせた際、IARはドメイン精度を、回復前の最良のチェックポイントから1.1ポイント以内に維持しながら、一般性能（平均）を14.9〜24.1ポイント回復させた。
• 境界事例： 本論文は、IARがすべての設定ですべての指標を一様に支配するわけではないこと（例：CCIにおけるPhi-4-miniは、ドメイン精度をわずかに低下させたが、一般指標を向上させた）を指摘しており、デプロイメントの好みが最適な動作点を決定することを強調している。

意義と主張

本論文は、IARが検索フリーのドキュメント内在化における動作点のフロンティアを改善すると主張している。その意義は、以下のことを実証した点にある：

1. 分解の有効性： ドキュメントへの露出、QAへの適合、および回復を分離することは、これらを単一の微調整レシピに集約することよりも効果的である。
2. 回復の重要性： 事後のマージは、ドメイン知識を犠牲にすることなく、ドメイン適応中に失われた一般能力を回復するための実行可能な戦略である。
3. 測定可能なトレードオフ： ドキュメントへの露出、回答への適合、データレシピ、および回復は、個別に測定されるべきである。論文は、LoRAやFAPMのような異なるベースラインが特定の一般指標では勝利する可能性がある一方で、ドメイン内在化には失敗する場合があるため、これらを単一のスコアに集約することに反対している。IARは、バランスの取れた強力なドメイン優先の動作点を提供する。

著者らは、IARは普遍的に支配的なレシピではなく、強力で設定依存の動作点を代表するものであると結論付けており、一般モデルの有用性を維持しながらドキュメント知識を内在化するための堅牢なフレームワークを提供している。