🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

本論文は、対称性の不変性を保証するために適切な多様体上のフレシェ平均に基づくモデルマージのための一般的な枠組みを提案し、フィッシャーマージなどの既存の手法を包含する能力を実証するとともに、現在の手法の限界に対処する低ランクアダプター（LoRA）のマージのための実用的なアルゴリズムを提供する。

原著者： Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが専門家シェフのチームを持っていると想像してください。各シェフは特定の料理を完璧にマスターしています。一人は完璧なラザニアを作り、もう一人は理想的な寿司を、そして三人目は最高級のスフレを作ります。さて、あなたはこれら三つの料理をすべて完璧に調理できる「スーパーシェフ」を作りたいと考えていますが、ゼロから新しいシェフを訓練する時間はありません。既存のシェフたちの知識を組み合わせたいだけです。

AI の世界では、これをモデルマージと呼びます。異なる AI モデルの「重み」（内部設定）を取り出し、それらを一つにブレンドしようとするのです。

問題：「間違った地図」

この論文は、この作業を従来の行っていた方法は、単に紙の上でシェフたちのレシピの数値を平均化しようとするようなものだと主張しています。これが機能するのは、全員が同じ言語で書き、同じ単位を使用している場合に限られます。

しかし、AI モデルには隠れた特徴があります。対称性です。
次のように考えてみてください。シェフ A は「小麦粉 2 カップ」と書き、シェフ B は「小麦粉 1 カップ＋小麦粉 1 カップ」と書くかもしれません。彼らが意味していることは全く同じですが、数値は異なります。あるいは、シェフ C はノートの中で材料の順序を入れ替えているかもしれませんが、料理の味は同一です。

AI においては、全く同じ「レシピ」（モデル）を異なる数値を使って記述する多くの方法が存在します。単に数値の平均を取る（単純平均）と、正と負の数値が互いに打ち消し合い、「小麦粉 0 カップ」というレシピになってしまう可能性があります。あなたは何も調理できない壊れたモデルを作ってしまったのです。

著者たちはこれを軌道からの逸脱と呼びます。「真の」レシピが円形のトラック（軌道）上に存在すると想像してください。もしトラック上の 2 点を結ぶ直線を描けば、円の真ん中を横切って泥の中（壊れたモデル）に落ちてしまい、良いレシピが存在するトラック上に留まることにはなりません。

解決策：「スマートコンパス」（GeoMerge）

この論文は、GeoMergeと呼ばれる新しい手法を提案しています。単に数値を平均するのではなく、AI モデルの空間を曲がった風景（リーマン多様体）として扱うのです。

地図：対称性（同じレシピを記述する異なる方法）があるため、「真の」地図は平らな紙ではないと彼らは気づきました。それは折りたたまれた曲がった表面であり、異なる点は実際には同じものを表しています。
コンパス：彼らはフレシェ平均と呼ばれる数学的ツールを使用します。これは単純な平均ではなく、曲がった表面上での「重心」を見つけるようなものです。
アライメント：モデルを混ぜる前に、まずそれらを「整列」させます。シェフ A とシェフ B がどちらも同じ計量カップを使用し、同じ順序で書いていることを確認するようなものです。数値が書かれている形式の表面的な違いを無視し、他のものに最も近い各シェフのレシピの特定バージョンを見つけます。
経路：泥の中を真っ直ぐ切り抜けるのではなく、「良いレシピ」の軌道上に残る曲がった経路（測地線）に沿って歩きます。

「LoRA」（専門のシェフ）にとってこれが重要な理由

この論文は、LoRA（低ランク適応）と呼ばれる人気のある手法に大きく焦点を当てています。これらはフルシェフではなく、料理を良くするために少数の特定の材料だけを調整する専門の Sous-chef（副料理長）だと想像してください。

著者たちは、これらの専門的な調整を古い手法でマージしようとすると、「対称性」の問題がさらに悪化することを発見しました。副料理長のメモは非常に柔軟で、すべて同じ意味を持つ何千もの異なる方法で書かれる可能性があります。

旧手法（KnOTS）：SVD という堅牢な段階的な数学的トリックを使用してメモの整列を強制しようとします。そこそこ機能しますが、四角い杭を丸い穴に無理やり押し込むようなものです。
GeoMerge：メモが自然に曲がった表面上に存在することを認識します。彼らを無理やり堅い形に押し込むことなく、「スマートコンパス」を使用してグループの真の中心を見つけます。

結果

研究者たちは、異なる種類の言語パズル（自然言語推論）に特化された大規模な AI モデル（Llama 3）でこれをテストしました。

結果：GeoMerge は、以前の最良の手法（KnOTS）よりも優れたパフォーマンスを発揮する「スーパーシェフ」を作成しました。
効率性：さらに良いことに、GeoMerge はレシピの「サイズ」を小さく保ちながらこれを行いました。旧手法は巨大で肥大化したレシピ（高ランク）で終わってしまいましたが、GeoMerge はそれをスリムで効率的に保ち、問題の幾何学をよりよく理解していることを証明しました。

要約

この論文はこう述べています：単に数値を平均してはいけません。 AI モデルは、多くの異なる言語で書かれることのできるレシピのようなものです。それらをマージしたい場合は、まず共通の言語（アライメント）に翻訳し、その後、平らな定規ではなく、世界の形状を尊重する地図（幾何学）を使用してグループの中心を見つける必要があります。これにより、「スーパーシェフ」が壊れたカオスになるのを防ぎます。

da Silva らによる論文「Generalizing the Geometry of Model Merging Through Fréchet Averages」の詳細な技術的サマリーを以下に示す。

1. 問題定義

モデルマージは、追加のエンドツーエンド学習なしに、複数の学習済みニューラルネットワークを単一のモデルに結合することを目的としている。フルランクの微調整モデルに対しては単純なパラメータ空間平均（例：Model Soups）が機能するが、LoRA（Low-Rank Adaptation）のようなパラメータ効率型微調整（PEFT）手法に適用すると、その性能は著しく低下する。

核心的な問題は構造的対称性にある：

ニューラルネットワークのパラメータは標準的な座標ではなく、対称性（例：ニューロンの順列、再スケーリング、低ランク分解におけるゲージ対称性）により、異なるパラメータ設定が全く同じ入力 - 出力関数を表現し得る。
単純な平均（ユークリッド空間）はこれらの対称性を無視する。その結果、正しい幾何学的軌道から外れてしまい、マージされたモデルが崩壊したり性能が低下したりする破壊的干渉を引き起こす。
既存の整合手法（KnOTS など）は SVD を通じてタスク更新を整合させることでこの問題を修正しようとするが、特定のゲージ選択や座標に依存するヒューリスティックに依存しており、基礎となる幾何学を完全に尊重していない。

2. 手法：GeoMerge

著者らは、モデルマージをリーマン多様体上のフレレー平均の計算として再定義するフレームワークGeoMergeを提案する。

概念的転換

パラメータをユークリッド空間で平均するのではなく、GeoMerge はパラメータ空間を対称群 $G$ （LoRA の場合は $GL(r) $）による**商多様体**（$ \mathcal{M} = \bar{\mathcal{M}} / G$）として扱う。

内在的平均：入力モデルへの測地線距離の和を最小化する、商多様体上の点を見つけることを目的とする。
対称性不変性：商空間上で操作することで、マージは入力モデルの特定のパラメータ化（ゲージ）に依存しなくなる。

数式定式化

フレレー平均：モデル $\theta_1, \dots, \theta_T$ が与えられたとき、マージされたモデル $\mu^*$ はフレレー汎関数の最小化器である：
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
ここで、 $d_{\mathcal{M}}$ は多様体上の測地線距離である。
LoRA に対する商幾何：
- LoRA 更新は $\Delta W = GH^\top$ と表される。この分解には $GL(r) $対称性がある：$ (G, H) \sim (GA^{-1}, HA^\top)$。
- 著者らは極分解（ $\Delta W = UBV^\top$ ）を用いて、問題をシュティフェル多様体（$St$）の積と対称正定値（SPD）多様体の積へ写像することを提案する。
- 特定のリーマン計量を定義する：
  - SPD 因子（ $B$ ）に対するアフィン不変計量。
  - 直交因子（ $U, V$ ）に対する標準的シュティフェル計量。
アルゴリズム（商 GeoMerge）：
平均を計算するために、アルゴリズムは以下の 2 つのステップを交互に実行する：
- 整合（軌道最小化）：現在の推定値 $\mu_t$ に対して、各入力 $\theta_i$ に対する対称変換 $G_i$ を見つけ、 $\mu_t$ までの距離を最小化する。これにより、入力を同じ「ゲージ」（水平空間）に整合させる。
- 内在的平均： $\mu_t$ から整合された入力への対数写像（接ベクトル）を計算する。これらのベクトルは保証されて水平（対称軌道に直交）である。平均は、これらの水平ベクトルの重み付き和で定義される測地線に沿って移動することで更新される。

3. 主要な貢献

幾何学的統合：本論文は、モデルマージが本質的にリーマン多様体上のフレレー平均の計算であるという見方を確立し、多様なマージ戦略をこの幾何学的レンズの下で統合する。
対称性を考慮したマージ：パラメータ空間を商多様体として明示的にモデル化することで、PEFT における「整合不備」の問題に対する原理的な解決策を提供し、マージがゲージ選択に依存しないことを保証する。
フィッシャーマージとの関連：著者らは、フィッシャー重み付きマージが、二次の代理関数を使用し共分散の変化を無視した場合、フィッシャー・ラオ幾何（情報幾何）の下でのフレレー平均の扱いやすい近似であることを示す。ただし、標準的なフィッシャーマージは平均メカニズム自体が対称性不変ではないため、依然として対称性の問題に悩まされることを指摘する。
LoRA 向けの実用的アルゴリズム：極分解と特定のリーマン計量を用いて LoRA アダプター向けの具体的なアルゴリズムを導出し、データなしで測地線と整合を効率的に計算可能にする。
玩具モデル解析：単純なスケーリング対称モデルに対して閉形式の解析解を提供し、単純なユークリッド平均が失敗する（ゼロに収束する）のに対し、GeoMerge は内在的な予測子を正しく復元することを証明する。

4. 実験結果

著者らは、6 つの自然言語推論（NLI）データセット（SNLI, MNLI, SICK, QNLI, RTE, SciTail）で微調整された LoRA アダプターを用いたLlama-3 8B上で GeoMerge を評価した。

ベースライン：マージ前に結合 SVD を通じて LoRA 更新を整合させる最先端手法であるKnOTSと比較した。
性能：GeoMerge は、正規化精度（マージモデルの精度と最良の専門モデルの精度の比率）において、すべてのデータセットで KnOTS を一貫して上回った。
- 平均正規化精度：GeoMerge は**91.88%を達成し、KnOTS の90.38%**を上回った。
効率性：重要な発見として、GeoMerge ははるかに低い有効ランクで優れた性能を達成することである。
- KnOTS は通常、マージモデルのランクを $T \times r$ （ $T$ はタスク数）に増加させる。
- GeoMerge は元のランク $r$ を維持し、パラメータ空間を拡張するのではなく多様体幾何を尊重することで、重み容量をより効率的に利用していることを示唆している。

5. 意義と影響

理論的進展：本論文は、モデルマージのパラダイムを「ヒューリスティックなパラメータ平均」から「多様体上の幾何学的最適化」へと転換させる。マージにおいて最も重要な設計選択は、幾何学（計量と多様体）の選択であることを浮き彫りにする。
ロバスト性：対称性を内在的に扱うことで、GeoMerge は特に低ランク更新が標準となっている PEFT 時代において、専門モデルをマージするためのよりロバストな解決策を提供する。
将来の方向性：このフレームワークは、他の幾何学的概念（例：リーマン中央値、Huber 平均）の統合や、対称性が存在する他の PEFT 手法やフルランクモデルへの拡張への扉を開く。また、「整合」は単なる前処理ステップではなく、商空間上の平均プロセスの不可欠な部分であることを示唆している。

要約すると、GeoMergeは、商多様体上の幾何学的平均タスクとして問題を扱うことで、構造的対称性下でのモデルマージの脆弱性を解決し、LoRA マージにおいて最先端の性能と改善されたパラメータ効率を実現する。