技術要約: MEROTUNE: チューナブルなダイヤルを備えたRoPEセーフなマージング

1. 問題提起

モデルのマージング（結合）は、複数のファインチューニング済みモデルを単一の重みセットへと統合することを目的としており、個々の専門能力を維持しつつ、複数のモデルをサービングするコストを削減することを目指しています。標準的な手法（例：重みの平均化、TIES、DARE）は、生の重みテンソルに対して直接作用しますが、これはマージされるモデル間の内部座標系（特にアテンション・サブスペース）が既に整合していることを暗黙のうちに仮定しています。

近年の研究 [13] では、クエリ ($W_q$) およびキー ($W_k$) プロジェクションに対して、可逆的な補正行列 $M$ を学習することで、この不整合を修正しようとする試みがなされました。理論的には、$(Mq)^\top (M^{-\top}k) = q^\top k$ であるため、$W_q$ に $M$ を、$W_k$ に $M^{-\top}$ を適用することは、単独では「ノーオップ（何もしない操作）」となります。しかし、この相殺関係は、プロジェクションとドット積の間に何も介在しないという仮定に基づいています。

核心的な対立点: 現代のほぼすべてのオープンウェイト言語モデル（例：Qwen、Llama 3）は、まさにこの介在する空間において、回転位置埋め込み（Rotary Position Embeddings: RoPE）を利用しています。RoPEは、位置に依存した回転をクエリおよびキーベクトルに適用します。もし学習された補正行列 $M$ がRoPEの回転と可換でない場合、「ノーオップ」の性質は崩れます。この補正は、RoPEがエンコードするように設計された相対位置依存性を、意図せず歪めてしまいます。この歪みは、RoPEの相互作用を明示的に再導出しない標準的な学習損失には見えないものです。

2. 手法論

2.1 理論的導出: RoPE可換クラス

本論文では、RoMEが存在する場合に、相殺 $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ が正確に成立する行列 $M$ の特定のクラスを導出しています。

• 条件: $M$ は、すべての相対位置 $\Delta$ においてRoPE回転行列 $R(\Delta\theta)$ と可換でなければなりません。
• 結果: 有効な行列は、可逆行列の厳密かつ低次元な部分集合を形成します。具体的には、各RoPE周波数ペア（2Dサブスペース）に対して、$M$ はそのペア内で独立して作用するスケーリングされた回転である必要があります。
• 構造: $M$ は、各ブロックが $aI + bJ$ （ここで $J$ は$\pi/2$の回転）の形式をとるブロック対角行列です。これにより、探索空間はヘッドあたりのパラメータ $d^2$ から、$d$ 個のパラメータ（各周波数ペアにつき1つのスケールと1つの回転角）へと減少します。
• 特性:
  • 安全性: このような変換を単一のモデルに適用することは、正確なノーオップです（系1）。
  • 安定性: これらの行列は常に条件数が正確に1であり、制約のない行列学習で一般的な不良条件の問題を防ぎます（系2）。

2.2 MeRoTune アルゴリズム

このクラスに基づき、著者は MeRoTune (Merging + RoPE + Tunable) を提案しています。

1. 両側アライメント: 2つのファインチューニング済みモデル（$A$ と $B$）が、それぞれ独自のRoPE適合型補正行列（$M_a$ と $M_b$）を学習します。
2. マージ演算子: ブレンド比 $\alpha$ におけるマージ後の重みは以下のように計算されます：
   • $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
   • $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
   • その他の重み（MLP、埋め込みなど）は線形補間されます。
3. チューナブルなダイヤル: この手法は、最終的なブレンド比 $\alpha$ を事後的に調整することを可能にします。学習目的関数は、選択された $\alpha$ の範囲（LoRAの固定スケーリングと同様に、デフォルトでは固定 $\alpha=0.5$）にわたって損失を最小化します。これにより、マージされたモデルは再学習なしに異なる動作点へと調整可能です。
4. 事前学習による検証: 本論文は、2つのファインチューンが実際にアライメントを行う価値があるかどうかを検証するための数学的条件（式7）を導入しています。一対のモデルがターゲットとして有効であるためには、各モデルが自身の専門分野においてベースモデルを上回り（$\Delta > 0$）、かつ相手の専門分野においてはベースと同等かそれ以下である（$\Gamma \le 0$）必要があります。この「真の双方向的な能力差」が存在しない場合、アライメントプロセスは利益をもたらすことなくノイズを加えることになります。

3. 主な貢献

1. RoPEセーフな補正の証明: RoPEの相対位置構造を保持する、正確な行列クラス（周波数ペア内でのスケーリングされた回転）を特定する自己完結的な証明。
2. MeRoTune メソッド: 実行時のダイヤルとして機能し、事後的なブレンド比の調整を可能にするために、これらの制約付き補正を学習するデュアルサイド・マージングアルゴリズム。
3. 検証条件: 学習にリソースを投じる前に、2つのファインチューンの間に真の相反する専門化が存在することを経験的に検証するための閉じた形式の数学的条件。これにより、無効なペアに対する計算の浪費を防ぎます。
4. 包括的な評価: 検証されたQwen2.5-1.5B-Instructのファインチューンペア（インドネシア語/コード vs 日本語）を用い、TIESおよびDARE-TIESに対する堅牢性を実証。

4. 実験結果

本手法は、インドネシア語とコードに特化したモデルと、日本語に特化したモデルのQwen2.5-1.5B-Instructのペアに対してテストされました。

• ベースラインとの比較:
  • MeRoTuneは、テストされたあらゆるブレンド比において、mergekitの実装であるTIESまたはDARE-TIESに対して決して劣ることはありませんでした。
  • DARE-TIESは、少なくとも一つのベンチマーク軸において、マージされていないベースモデルよりも大幅に性能が低下しました。
  • MeLoTuneは、ほとんどのベンチマーク（MMLU、インドネシア語、日本語）において統計的なノイズフロアをクリアしましたが、TIESは4つのベンチマークのうち3つでベースモデルを下回りました。
• ブレンド比の挙動:
  • ブレンド比 $\alpha$ は効果的なダイヤルとして機能しました。指標は一般に、$\alpha$ がシフトするにつれて、その特定のタスクに対してより強いモデルへと単調に傾向を示しました。
  • 固定ブレンド比 ($\alpha=0.5$) での学習は、ステップごとに $\alpha$ をランダムに再サンプリングするバリアントよりも、一般に優れた性能を示すか、あるいは同等の性能を示しました。
• デカップリング（分離）のアブレーション:
  • 本論文では、結び付けられたブレンド比の制約 ($\alpha$) を、2つの独立したスケーリング因子 ($s_a, s_b$) に緩和するテストを行いました。
  • 結果: デカップリングは、すべてのベンチマークにおいて信頼性の高い性能低下を引き起こしました。両方の因子を同時に高くすると、制御不能なデルタが蓄積され、ランダムな推測よりも悪い性能に至るケースもありました。これは、結び付けられた凸結合の制約が安定性に必要であることを裏付けています。
• 学習された変換:
  • 学習された補正は、主に小さな回転（中央値 $\approx 10^\circ$）と1に近いスケールでした。
  • 一部のブロックには、大きな回転（$>45^\circ$）を伴う顕著なスケーリング（縮小）が見られました。これは、本手法が理論的に安全であっても、オプティマイザが純粋な幾何学的再整列を超えて振る舞いを再形成する容量を利用することがあることを示唆しています。

5. 意義と主張

本論文は、回転位置埋め込み（RoPE）が単なる細部ではなく、どのマージ補正が数学的に安全であるかを決定する根本的な制約であることを主張しています。RoPE可換クラスを導出することで、MeRoTuneは以下の機能を提供します：

• 安全性の保証: 制約のない手法とは異なり、相対位置のロジックを密かに破壊することはありません。
• 柔軟性の提供: 固定された単一のマージにロックされるのではなく、事後的に調整可能なダイヤルのように、モデルを調整できるものを提供します。
• 無駄の防止: 事前学習条件により、真に相反する専門能力を持つペアに対してのみリソースを投入することを保証します。

著者は、自身の主張に対して謙虚な姿勢を強調しています。結果はQwen2.5-1.5Bアーキテクチャとテストされた検証済みペアに特有のものです。手法は堅牢ですが、具体的な性能差は使用されたベンチマークの統計的ノイズフロアに依存することに注意を促しています。また、「アライメント税」（ファインチューンがベースモデルを下回る現象）は、適用可能性を判断するための重要なフィルターであり続けることも述べています。コード、データ、およびスクリプトは公開されています。