論文「Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights」の技術的サマリー

この論文は、低リソース言語（特にイベリア半島の言語）における大規模言語モデル（LLM）の適応を、従来の継続的学習（Continual Pre-training）やファインチューニングに代わる、計算コストの低い**モデルマージ（Model Merging）**技術を用いて実現する手法を提案・検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

• 英語中心の偏り: 現在の LLM は英語などの高リソース言語に最適化されており、バスク語、ガリシア語、カタロニア語などの低リソース言語では性能が著しく低下する。
• 適応コストの高さ: 低リソース言語向けにモデルを適応させる従来の手法（継続的学習や指示チューニング）は、大規模なターゲット言語のコーパスと、高品質な指示 - 応答ペア（Instruction-Response Pairs）の作成が必要であり、莫大な計算リソースを要する。
• 反復的なコスト: 基盤モデル（Base Model）の新しいバージョン（より高性能な指示チューニング版など）がリリースされるたびに、コミュニティは再び適応プロセス（学習）を繰り返さなければならず、リソース不足のコミュニティには負担が大きい。
• 既存手法の限界: 既存の低リソース言語向け適応研究は、単一の言語への適応や、特定のモデルファミリーに限定されたものが多く、モデルマージを用いた体系的な分析が不足していた。

2. 手法 (Methodology)

本研究では、「言語固有のベースモデル」と「既存の指示チューニング済みモデル」をマージすることで、新しい言語の能力を指示チューニング済みモデルに転移させるアプローチを採用しました。

2.1. 実験設定

• 対象言語: バスク語 (eu)、ガリシア語 (gl)、カタロニア語 (ca)、スペイン語 (es) の 4 言語。
• 対象モデル: Llama 3.1 (8B) と Qwen 3 (8B, 14B) の 2 つのモデルファミリー。
• ベースモデルの作成: 各言語ごとに、継続的学習（Continued Pre-training）を行い、その言語に特化したベースモデルを作成しました（学習データ量は言語間で均等化）。
• マージ手法の比較: 以下の 4 種類のマージ戦略を評価しました。
  1. Linear Merging: 重み付き線形補間（最も単純な手法）。
  2. Task Arithmetic: 基盤モデルからの差分（タスクベクトル）を重み付きで加算。
  3. DARE (Drop And REscale): タスクベクトルからパラメータをランダムに削除し、残りをスケーリングして干渉を低減。
  4. Model Breadcrumbs: 微小な更新と極端な外れ値をフィルタリングし、中程度の更新のみを保持。

2.2. 評価指標

• 言語能力: 多肢選択ベンチマーク（Belebele, EusReading, XStoryCloze など）と機械翻訳（FLORES-101）。
• 指示追従能力: IFEval（指示遵守性を評価するベンチマーク）。本研究では、既存のスペイン語・カタロニア語版に加え、バスク語とガリシア語版の IFEval データセットを新規作成・拡張しました。

3. 主要な貢献 (Key Contributions)

1. モデルマージによる言語適応の実証: 言語固有のベースモデルと一般化された指示チューニングモデルをマージすることで、言語固有の指示チューニングモデルを「ゼロから学習することなく」構築できることを示しました。
2. 包括的な実験分析: 4 つのイベリア言語、2 つのモデルファミリー、複数のマージ手法、およびマージ比率（ハイパーパラメータ）を変化させた詳細な分析を行いました。
3. マルチリンガル化の検証: 単一の LLM に複数の言語固有モデルをマージすることで、単一のモデルで複数の低リソース言語を習得できることを示しました。
4. リソースの公開: 作成したベースモデル、指示チューニング済みモデル、および拡張されたバスク語版 IFEval データセットを公開しました。

4. 結果 (Results)

• 言語能力の向上: マージされたモデルは、元の指示チューニングモデルと比較して、ターゲット言語におけるベンチマークスコアと機械翻訳の精度が大幅に向上しました。特に低リソース言語（バスク語など）での改善が顕著でした。
• 指示追従能力の維持: 言語能力が向上した一方で、指示追従能力（IFEval）は元のモデルと同等か、やや低下する傾向が見られました。これは、言語適応が指示追従の能力を完全に引き継ぐわけではないことを示唆しています。
• マージ手法の比較:
  • LinearとTask Arithmeticが全体的に最も安定した性能を示しました。
  • DAREやBreadcrumbsは、言語やモデルによって性能が大きく変動し、特に機械翻訳タスクでは Breadcrumbs がガリシア語やカタロニア語でモデルが崩壊するケースがありました。
  • 最適なマージ手法や重み付けは、言語とモデルの組み合わせに依存するため、「万能な手法」は存在しないことが判明しました。
• マルチリンガルマージ: 複数の言語モデルをマージしたモデルは、単一言語モデルに比べると各言語でのピーク性能は若干低下しますが、元の指示チューニングモデルに比べればすべての言語で性能が向上しており、バランスの取れた多言語モデルとして機能しました。
• SOTA 手法との比較: 従来の「継続的学習＋指示チューニング」を同時に行う手法（Sainz et al., 2025）と比較して、マージ手法はターゲット言語での性能は同等レベルを達成しつつ、他言語への性能低下（忘却）が少なく、計算コストが極めて低いという利点がありました。

5. 意義と結論 (Significance & Conclusion)

• 計算効率の劇的な向上: 低リソース言語コミュニティにとって、大規模な再学習やファインチューニングを行わずに、最新の基盤モデルを自らの言語に適応させることが可能になりました。これにより、小規模な研究グループでも最先端モデルを利用できるようになります。
• 低リソース言語へのアプローチ: 指示データが不足している言語であっても、ベースモデルの学習を一度行うだけで、その後の指示チューニング版の更新に対してはマージだけで対応できるため、モデル進化への追従が容易になります。
• 今後の課題: 現在のマージ手法では、言語能力の向上と指示追従能力の維持のバランスが完全ではなく、特に指示追従能力の維持にはさらなる技術（アライメントの維持など）が必要であることが示唆されました。

結論として、 モデルマージは、低リソース言語における LLM の適応において、従来の学習ベースのアプローチに代わる、効率的かつ実用的な代替手段となり得ます。特に、計算資源が限られる環境において、多言語対応の高性能 LLM を構築するための重要な技術として位置づけられます。