論文「Transport and Merge: Cross-Architecture Merging for Large Language Models」の技術的サマリー

本論文は、大規模言語モデル（LLM）からリソース制約のある小規模モデルへ、異なるアーキテクチャ間で知識を転送するための新しいフレームワーク「Transport and Merge」を提案するものです。従来のモデルマージ手法が「同じアーキテクチャ」を前提としていたのに対し、本手法は最適輸送（Optimal Transport, OT）を用いて異種モデル間のニューロン対応関係を推定し、重み空間での直接融合を可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

大規模言語モデル（LLM）は、大規模なデータと計算資源を用いて訓練されることで高い性能を発揮しますが、実際の応用（低リソース言語や専門ドメインなど）では、パラメータ数やデータ量に制約のある小規模モデルが利用されることが多いです。

• 課題: 高リソースのソースモデルから低リソースのターゲットモデルへ知識を転送する際、既存のモデルマージ手法は「アーキテクチャが同一であること」を前提としています。しかし、実世界ではソースモデル（例：LLaMA-3-8B）とターゲットモデル（例：低リソース言語用の 1B モデル）でアーキテクチャや層数が異なることが一般的です。
• 既存手法の限界: 異なるアーキテクチャ間での知識転送には、通常、蒸留（Distillation）による追加学習が必要となりますが、これは計算コストが高く、大規模なデータセットを必要とします。
• 目標: 少量のデータセットのみを用いて、アーキテクチャが異なるモデル間でも、勾配ベースの学習なしに直接パラメータを融合し、高リソースモデルの能力を低リソースモデルへ転送する手法の開発。

2. 手法 (Methodology)

提案手法は、**最適輸送（Optimal Transport, OT）**の理論に基づき、モデルの「活性化空間（Activation Space）」での対応関係を推定し、それを「重み空間（Weight Space）」の融合に転用するプロセスで構成されます。

2.1 最適輸送による対応関係の推定

1. 活性化の抽出: 少量のデータセット $D$ をソースモデルとターゲットモデルに入力し、各層における中間活性化（特徴量）を抽出します。
2. 特徴レベルの対応付け (Feature-level OT):
   • ソースモデルとターゲットモデルの活性化チャネル間の類似度（相関係数など）に基づきコスト行列を構築します。
   • エントロピー正則化付きの最適輸送問題を解くことで、ソースの活性化チャネルがターゲットのチャネルとどのように対応・再結合されるべきかを示す輸送行列 $Q$ を推定します。
3. 層レベルの対応付け (Layer-level OT):
   • 特徴レベルの輸送計画を集約し、層間の対応関係を表すコスト行列を構築します。
   • 再度 OT を解くことで、ソースモデルのどの層がターゲットモデルのどの層に対応するかを示すグローバル対応行列 $P$ を推定します。

2.2 重み空間への融合 (Weight Fusion)

推定された活性化空間の対応関係（$Q$ と $P$）を重み空間の操作に変換します。

• ニューロンレベルの混合演算子: 特徴レベルの輸送行列 $Q$ を用いて、ソースモデルの重みをターゲットモデルのニューロン座標系に変換します。
• 選択的融合 (Top-k Neuron Replacement): 異種アーキテクチャ間での干渉を避けるため、ターゲットデータ上で強く活性化される上位 $k$ 個のニューロンのみを対象に融合を適用します。残りのパラメータはターゲットモデルの元の値を維持します。
• 融合式: ターゲット層 $\ell$ の融合重み $W^{fused}$ は、以下の残差形式で計算されます。
  $$W^{fused} = W^{base} + \alpha \cdot M \odot \left( \sum P \cdot Q_{out} W^{source} Q_{in}^T - W^{base} \right)$$
  ここで、$\alpha$ は融合強度、$M$ は選択されたニューロンをマスクするバイナリ行列です。

2.3 残差凍結適応 (Residual-Frozen Adaptation)

融合後のモデルをさらに微調整する段階です。

• 転送された残差パラメータ（$\Delta W$）を凍結し、ターゲットモデルの元のベースパラメータのみを学習させます。
• これにより、転送された知識が上書きされるのを防ぎつつ、ドメイン固有の分布への適応を可能にします。

3. 主要な貢献 (Key Contributions)

1. 異種アーキテクチャ間マージの確立: 最適輸送を用いて活性化空間の対応関係を推定し、それを重み空間の直接融合に変換する初のフレームワークを提案。アーキテクチャが異なるモデル間でも知識転送を可能にしました。
2. 理論的解釈: 重み輸送が「ターゲット特徴をソース座標系にマッピングし、ソースの線形変換を適用して、再びターゲット空間に戻す操作」として厳密に解釈可能であることを証明しました。
3. 高効率な転送: 大規模な蒸留学習や大量のデータなしに、少量のデータセットのみで高リソースモデルの能力を低リソースモデルへ注入できることを実証しました。
4. 残差凍結適応の提案: 転送された知識を保持しつつ、ターゲットモデルがタスクに適応できるようにする効率的な微調整戦略を提案しました。

4. 実験結果 (Results)

低リソース言語（マレー語、インドネシア語、広東語、タイ語）および専門ドメイン（金融、医療）での広範な実験が行われました。

• 低リソース言語への転送:
  • マレー語 (MalayMMLU): ベースモデルに対し、融合＋適応により全カテゴリで 3〜6 ポイントの精度向上。
  • 広東語 (CMMLU): 異なるアーキテクチャ間（Chinese LLaMA-8B → LLaMA-1B）でも、平均精度が 25.26% から 27.44% へ向上。
  • タイ語・インドネシア語: 複数のベンチマーク（MMLU, XCOPA, MGSM など）で、ベースモデルや既存の転送手法（SFT, 蒸留）を上回る性能を達成。
• 専門ドメインへの転送:
  • 金融・医療: 一般ドメインのモデルから専門モデルへ知識を転送し、MMLU の専門サブセット（会計、医学、倫理など）で一貫した改善が見られました。
• 比較評価:
  • SFT/蒸留との比較: 正規化されたスコアにおいて、提案手法は SFT や蒸留よりも一貫して高い相対性能を示しました。
  • ソースモデルサイズの影響: ソースモデルを 8B から 32B にスケールアップすると、転送性能がさらに向上することが確認されました。
  • 汎用能力の維持: 融合後も、モデルの一般的な推論能力（常識推論など）は低下せず、むしろ一部で向上しました。

5. 意義と結論 (Significance)

本論文は、LLM の普及における重要な障壁である「アーキテクチャの不一致」と「リソース制約」を解決する画期的なアプローチを提供しています。

• 実用性: 大規模な計算資源やデータが不足している低リソース言語や専門分野において、既存の高性能モデルの能力を効率的に活用できる手段を提供します。
• 理論的深さ: 最適輸送をモデルマージに応用することで、異なるモデル間の構造的同型性を数学的に定式化し、単なるヒューリスティックな融合を超えた原理的な手法を確立しました。
• 将来展望: 本手法は、モデルの軽量化、ドメイン適応、マルチモーダルモデルの統合など、多様なシナリオにおけるモデル設計の新たなパラダイムとなり得ます。

要約すると、**「Transport and Merge」**は、最適輸送の力を借りて異種モデル間の「翻訳」を行い、高品質な知識を軽量モデルへ直接注入する、効率的かつ強力な知識転送フレームワークです。