💻 computer science

Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

本論文は、部分的な最適輸送を用いて類似するニューロンを選択的にマージすることにより、ニューラルネットワークアンサンブルと重み集積の中間を補間する新たな手法である部分融合を導入し、これにより計算効率とモデル性能の間の柔軟なトレードオフを可能にする。

原著者： Fabian Morelli, Stephan Eckstein

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fabian Morelli, Stephan Eckstein

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。二人の天才シェフ、シェフAとシェフBがいます。二人とも素晴らしいですが、スタイルはわずかに異なり、得意とする料理も違います。

「アンサンブル」アプローチ: 二人のシェフを同時にキッチンに雇い、並んで働かせます。注文があるたびに、二人がそれぞれ自分のバージョンを作り、その結果を組み合わせます。これは驚くほど美味しい（高精度）ですが、二人分の給与を支払う必要があり、材料も二倍使うため、非常に高価です（高い計算コスト）。
「重み平均化」アプローチ: 二人のシェフを単にレシピを平均化することで、一人のスーパーシェフにまとめようとします。シェフAのメモの50%とシェフBのメモの50%を混ぜ合わせます。これは安価で高速です（給与一人分、キッチン一つ分）が、結果はしばしば災難となります。シェフAが同じ工程でホイッパーを使い、シェフBがブレンダーを使う場合、その指示を混ぜ合わせると大混乱を招きます。新しいシェフは何をすればよいか分からなくなります。

この論文の解決策：「部分融合」

この論文は、「部分融合」と呼ばれる巧妙な中間策を提案します。二人のシェフに「すべて」で合意させるか、完全に別々にしておくかの二者択一ではなく、実際に類似しているレシピの部分だけを融合させ、ユニークな部分はそのまま分離して保持します。

以下は、単純な比喩を用いた仕組みの説明です。

1. 「ニューロン」のマッチング

ニューラルネットワーク（AI）を労働者のチームだと考えてください。各労働者（「ニューロン」と呼ばれる）には特定の役割があります。

シェフAのチームでは、労働者1号が玉ねぎを刻むのが得意です。
シェフBのチームでは、労働者1号も玉ねぎを刻むのが得意ですが、労働者2号はチーズをすりおろすのが得意です。

もしチームを盲目的に平均化してしまうと、玉ねぎを刻む人とチーズをすりおろす人が混ざり合い、どちらの役目も正しく果たされなくなります。

部分融合は、賢いマネージャーのように機能します。両方のチームを見て、以下のように言います。

「ねえ、Aチームの1号とBチームの1号はどちらも玉ねぎを刻んでいる。この二人を一人のスーパー・玉ねぎ刻み職人に融合させよう。」
「でも、Aチームの2号はチーズをすりおろし、Bチームの2号は実際には sous-chef（副料理長）だ。彼らはあまりに違う。別々にしておこう。」

2. 結果：ハイブリッド・キッチン

その結果、元のキッチン一つより少し大きくなりますが、二つの完全なキッチンを持つよりはるかに小さい、新しい単一のキッチンが生まれます。

二人のシェフの知恵を兼ね備えた融合された労働者（玉ねぎ刻み職人）を保持します。
独自の役割を妨害されずに遂行する分離された労働者（チーズすりおろし職人と副料理長）を保持します。

これにより、以下のようなモデルが生まれます。

二人のシェフを雇う（アンサンブル）よりも安価です。
単にレシピを平均化する（重み平均化）よりも賢明です。
柔軟性: どの程度融合させるかを決められます。玉ねぎ刻み職人だけを融合させることも、予算に応じてほぼ全員を融合させることも可能です。

3. 「一般化されたプルーニング」の転換点

この論文は、この問題を逆の角度からも見ています。両方の労働者セット（アンサンブル）を持つ巨大なキッチンがあると想像してください。通常、このキッチンを小さくするには、人を解雇する（プルーニング）だけです。

しかし、著者たちはより賢い方法を提案します。一般化されたプルーニングです。
単に労働者を解雇するのではなく、「お二人は似たことをしているので、その役割を一人にまとめましょう」と言う場合もあります。

解雇: 任務を削除する（精度が低下する可能性がある）。
結合: 二つの任務を一つに曖昧にする（若干の精度が低下する可能性がある）。
この論文の方法: どの任務を解雇し、どの任務を結合するかを賢く決定し、品質を失いすぎることなくスペースを節約できる完璧なバランスを見つけます。

なぜこれが重要なのか（論文によると）

著者らは、手書きの数字や画像の認識などの標準的なAI課題でこれをテストしました。その結果、以下のことが分かりました。

両方の利点を享受できる: 二つの完全なモデルを持つのとほぼ同等のパフォーマンスを得ながら、サイズは単一モデルの約1.5倍（2倍ではなく）で済みます。
サイズだけが問題ではない: 時には、「奇妙」または「ユニーク」な労働者を分離して保持することが、最終的なモデルのパフォーマンス向上に寄与します。これは、元のシェフたちの独自の強みを維持するからです。
異なる形状でも機能する: AIが単純な数値のリスト（MLP）であれ、複雑な画像処理器（CNN）であれ、「類似した部分をマッチングさせ、ユニークな部分はそのままにする」というこの方法はうまく機能します。

要約すると: この論文は、二人のAIの脳を組み合わせる際、単にぶつけ合わせてしまったり、完全に離したりしてはならないと教えています。私たちは仲介者のように振る舞い、スペースを節約するために類似した部分をペアリングしつつ、ユニークな部分は各自で輝かせるべきなのです。

技術的サマリー：ニューラルネットワークの部分的融合

問題定義

ニューラルネットワークのアンサンブルは、出力を組み合わせることで個々のモデルを上回る性能を発揮し、頑健性と予測精度の向上をもたらします。しかし、アンサンブルは複数のモデルをメモリに保持する必要があり、推論時間の増加を伴うため、計算コストが大幅に高くなります。一方、重みの集約手法（重み平均化など）は、単一の低コストなモデルを生成しますが、特に統合されるネットワークが整合していない場合や、異なるデータ分布で訓練された場合に、精度の低下を招くことがよくあります。既存の重み集約技術は、厳密な置換不変性（同じサイズの層を一致させること）に依存するか、異種アーキテクチャや不均一な層サイズに一般化しない複雑な整合手順を必要とする傾向があります。

ここで扱われる核心的な課題は、アンサンブルの高い性能と重み集約の低い計算コストとの間で、効率的なトレードオフを見出すことです。現在の手法は二元的になりがちです。つまり、重みを完全に集約する（性能を失う可能性あり）か、完全なアンサンブルを維持する（高いコストを伴う）かのどちらかです。これらの極端な状態の間を柔軟に補間するメカニズムが必要です。

手法

本論文は、ネットワーク間で最も類似したニューロンのみをマージし、残りのニューロンを孤立させたままにすることで、重み集約とアンサンブルの間を補間する「部分的融合（Partial Fusion）」という手法を導入します。このアプローチにより、モデルサイズと性能の間で、層ごとに柔軟なトレードオフが可能になります。

1. 部分的最適輸送による部分的融合

提案される主要な手法は、ニューロンレベルの類似性に基づく既存の重み集約手法を拡張したものです。

概念: 標準的な最適輸送（OT）融合のように 2 つのネットワーク間のすべてのニューロンを整合させるのではなく、部分的融合では最も類似したニューロンのみを特定し、一致させます。一致しなかった（最も類似度が低い）ニューロンは孤立したままにされ、元の重みが保持されます。
メカニズム: 著者らは**部分的最適輸送（Partial OT）**を利用します。2 つのネットワーク $A$ $A$ と $B$ $B$ が与えられたとき、2 つのネットワークのニューロン間の質量の $(1-\alpha)$ $(1 - α)$ 部分のみを一致させる結合 $\tilde{\pi}$ $\tilde{π}$ が計算されます。ここで、 $\alpha \in [0, 1]$ $α \in [0, 1]$ は融合の度合いを制御するパラメータです。
- $\alpha = 0$ : 完全な重み集約（すべてのニューロンが一致）に相当します。
- $\alpha = 1$ : アンサンブル（どのニューロンも一致しない）に相当します。
実装: この手法は、ニューロンの特徴（例えば、活性化ベクトルや重み行列）に基づいて層を離散確率分布として符号化します。そして、部分的最適輸送問題を解くことで、最も類似したニューロンの最適な一致を見つけます。得られた融合ネットワーク $C$ は、各層において以下の 3 つのコンポーネントを含みます。 $A$ から孤立したニューロン、融合されたニューロン（平均化された重み）、および $B$ から孤立したニューロン。
大域的最適化: 整合性を向上させるため、この手法は層ごとの処理ではなく、層間の依存関係を考慮して層全体にわたって置換/一致を大域的に最適化する、固定点反復アプローチ（Ainsworth ら、2023 年に着想を得た）を組み込んでいます。

2. 一般化されたプルーニング

本論文は、部分的融合を補完的な視点、すなわちアンサンブルモデルの一般化されたプルーニングとして捉え直します。

概念: 重み集約から始めてそれを緩和するのではなく、この視点はアンサンブル（大規模な連結モデル）から始めてプルーニング操作を適用します。ニューロンを削除するだけの標準的なプルーニングとは異なり、一般化されたプルーニングではニューロンを線形結合することが許可されます。
定式化: これは、大規模なアンサンブルモデル $E$ の重みを、線形変換（確率的カーネル）を介してより小さなネットワーク $S$ に変換することとして定式化されます。
クラスタリングアプローチ: 一般化されたプルーニングの具体的な実現として、クラスタリングを用いた手法が提案されます。アンサンブルからのニューロンをクラスタリングし、同じクラスタ内のニューロンを線形結合します。これは、異なるネットワークからのペアに結合を制限しないため、部分的融合よりも多くの自由度を提供します。
帰納的バイアス: 著者らは、部分的融合が特定の帰納的バイアスを課すことを指摘しています。すなわち、異なるネットワークに由来するニューロン同士のみを線形結合し、結合をペアに制限することです。このバイアスは畳み込みニューラルネットワーク（CNN）にとって有益であると仮定され、より柔軟なクラスタリングアプローチは多層パーセプトロン（MLP）に適している可能性があります。

主要な貢献

部分的融合フレームワーク: 最も類似したニューロンのみをマージすることで、重み集約とアンサンブルの間を補間する手法の導入。計算コストと性能の間の調整可能なトレードオフを提供します。
一般化されたプルーニングの視点: 部分的融合とモデル圧縮を、ニューロンを削除するだけでなく線形結合できるという「一般化されたプルーニング」の概念の下で理論的に統合。この手法の適用範囲を単一モデルの圧縮にまで拡張しました。
具体的なアルゴリズム:
- 部分 OT 融合: 不均等な一致や層サイズを処理するために、部分的最適輸送を用いた OT ベースのモデル融合の拡張。
- クラスタリングに基づくプルーニング: 階層的クラスタリングを用いてニューロンを線形結合する一般化されたプルーニング手法。モデル圧縮における柔軟性を提供します。
実証的検証: さまざまなデータセット（MNIST、CIFAR10）における MLP および CNN（VGG11、ResNet18）での実験により、部分的融合が大幅に少ないパラメータ数でアンサンブルに近い性能を達成することを示しました。

結果

実験は、いくつかの領域において提案された手法の有効性を示しています。

分割データセット集約（異種データ）: 異なるデータ分割で訓練されたモデル（例えば、1 つは専門特化型、もう 1 つは汎用型）をマージする場合、部分 OT 融合は標準的な OT 融合を大幅に上回ります。孤立したニューロンの数を増やす（ $\alpha$ を増やす）ことで、集約モデルとアンサンブルの間のギャップを埋め、性能が単調に向上します。例えば、ニューロン数を 20〜40% 増加させることで、標準的な融合よりも明確な精度向上が得られました。
ファインチューニング: 部分的に融合されたモデルを、少量のデータサブセット（MNIST では 1%、CIFAR10 では 5%）でファインチューニングすると、個々のモデルおよび完全なアンサンブルの両方を精度において一貫して上回ります。
同一データ集約: 同じデータで異なるシードを用いて訓練されたモデルをマージする場合、完全な重み集約は（VGG11 のような）CNN では性能が低下することが多いですが、ResNet では残差接続によりより良好に機能します。部分的融合は、完全な融合で失われた性能を回復させる、堅牢な補間を提供します。
単一モデル圧縮（一般化されたプルーニング）:
- MLPの場合、クラスタリングによる一般化されたプルーニングは、非構造化プルーニングおよび後処理付きプルーニング（OT 融合）の両方を大幅に上回ります。著者らはこれを、クラスタリングが「削除（プルーニング）」と「ぼかし（線形結合）」の誤りをバランスさせる能力に起因すると説明しています。
- **CNN（VGG11）**の場合、部分 OT 融合はしばしばクラスタリングを上回ります。これは、特定のニューロンペアの一致という帰納的バイアスが、畳み込み層に対してより効果的であることを示唆しています。
パラメータ効率: これらの手法により、単一ネットワークと完全なアンサンブルの間のモデルサイズが可能になります。例えば、 $\alpha=0.5$ の部分的に融合されたモデルは、単一ネットワークのパラメータ数の約 1.45 倍（アンサンブルの 2 倍と比較して）を使用しながら、アンサンブルに近い精度を達成します。

意義と主張

本論文は、主な洞察としてニューロンレベルの類似性の違いの重要性を主張しています。ニューロンは独自性において異なります。あるニューロンはネットワーク間で非常に類似している一方、他のニューロンは独自の役割を果たしています。提案された手法はこの違いを利用します。

部分的融合は、最も類似度が低いニューロンを孤立させたままにすることで、残りの集約されたニューロンの平均類似度を高め、より効果的な重み平均化につながるという事実を利用します。
一般化されたプルーニングは、ニューロンを削除すること（情報の損失）と、それらを線形結合すること（情報のぼかし）との間のトレードオフを利用します。

著者らは、この研究をニューラルネットワークの重み空間におけるマージ操作の構造化された研究への一歩として位置づけています。これらの手法は、モデルサイズと性能の間の柔軟かつ効率的なトレードオフを提供し、モデルサイズのわずかな増加に対して不釣り合いなほどの性能向上をもたらすことが多いと強調しています。論文は将来の含意については控えめであり、大規模モデルへのスケーリングや、層ごとの決定（どの層を融合するか、どの層を孤立させるか）のための原理的な基準の策定が、今後の研究の課題であると述べています。さらなる研究を促進するため、コードも公開されています。