🤖 machine learning

Connecting Independently Trained Modes via Layer-Wise Connectivity

本論文は、従来のモデルに限定された既存の手法の限界を克服し、より広範な現代のアーキテクチャおよび訓練ハイパーパラメータにわたって、独立して訓練されたニューラルネットワークのモードを信頼性高く接続する新たな経験的アルゴリズムを提案する。

原著者： Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

原著者： Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2 つの非常に賢いロボット（ニューラルネットワーク）がパズルを解くために構築されたと想像してください。それらは、同じレシピに従うが最初から異なる材料を使う 2 人のシェフのように、異なるランダムシードからゼロから個別に訓練されました。

驚くべきことに、両方のロボットが完成すると、どちらもそのタスクにおいて優れています。しかし、ここには謎があります：それらは実際には同じロボットなのでしょうか？ それとも、単にうまく機能する 2 つの異なる解決策に過ぎないのでしょうか？

AI の世界において、ロボットの「脳」は膨大な数のリスト（パラメータ）です。この脳のあらゆる可能なバージョンをプロットすると、「良い」もの（パズルをうまく解くもの）は、低損失領域と呼ばれる深く低い谷に位置します。「悪い」ものは、高く岩だらけの山の上にいます。

問題：「谷で迷子」の謎

長らく、科学者たちは 2 つの良いロボットをとり、この数値空間上で一方から他方へまっすぐ歩こうとすると、途中で高い山頂にぶつかることを見つけました。道が分断され、ロボットは機能しなくなります。

従来の方法はこれを修正しようと試みました：

経路を揺さぶる： 山を避けるように線を曲げようとすること。
双子のみを接続する： すでに非常に類似しているロボット（双子のように）のみを接続しようとすること。

問題は、これらの古い方法が信頼性に欠けていたことです。それらはシンプルで古典的なロボット設計（基本的な CNN など）では機能しましたが、現代的で複雑なもの（MobileNet や EfficientNet など）では完全に失敗しました。時には、経路が存在すると主張しながら、実際には行き止まりであったこともあります。

解決策：「層別」エレベーター

この論文の著者たちは、LLPF（Low-Loss Path Finding：低損失経路探索） と呼ばれる新しい手法を提案しました。彼らは、1 つの巨大なステップで 1 つのロボットから他方へ移動しようとすることは難しすぎると気づきました。代わりに、層ごとに移動することにしました。

ニューラルネットワークを多階建てのビルのように考えてみてください：

第 1 層はロビー（エッジや形状を見る）。
第 2 層は 1 階（目や鼻を認識する）。
第 3 層は 2 階（顔全体を認識する）。

古い方法は、建物全体を一度に移動させようとしました。新しい方法はこう言います。「まずロビーだけを移動させて、まだ安定していることを確認し、次に 1 階、そして 2 階を移動させましょう。」

魔法のトリック：分散球
この論文は、分散球（Variance Sphere） という巧妙な概念を導入しています。ロボットを訓練するたびに、その脳は数値の特定の「大きさ」や「広がり」に落ち着くと想像してください。

同じ設定で 2 つのロボットを訓練すると、それらは概ね同じ大きさの球上に着地します。
新しいアルゴリズムは、ロボット A からロボット B へ移動する際、各ステップで脳の「大きさ」を一定に保つようにします。これにより、ロボットが縮んだり爆発したりして崖から落ちるのを防ぎます。

彼らが発見したこと

この新しい「エレベーター」アプローチを用いて、著者たちは以下のことを発見しました：

ほぼすべてで機能する： 彼らは、従来の方法では手が届かなかった、現代的で複雑なアーキテクチャ（EfficientNet、RegNet、さらにはトランスフォーマーベースのモデルなど）で構築されたロボットを成功裏に接続しました。
信頼性が高い： 異なるランダムシードで 100 回実験を実行しても、毎回完全に同じ滑らかな経路が得られます。古い方法はコイン投げのようでしたが、この新しい方法はレール上の列車のようです。
異なる訓練スタイルを橋渡しする： 彼らは、「重い」設定（高い重み減衰）で訓練されたロボットと、「軽い」設定で訓練されたロボットを接続することさえできました。これは、大型トラック用として作られたロボットと、自転車用として作られたロボットを接続するようなもので、それらが実際には同じ連続した景観の一部であることを証明しています。

全体像

この論文は、これが即座にあなたの携帯電話を速くしたり、病気を治したりすると主張するものではありません。代わりに、それは根本的な幾何学の謎を解きます。

それは、「低損失領域」（すべての良い AI モデルが存在する場所）が、海によって隔てられた孤立した島々の集まりなのではなく、おそらく1 つの巨大で接続された大陸である可能性を示唆しています。表面では 2 つのモデルが全く異なって見えたとしても、それらを層ごとに駆動する方法を知っていれば、それらを結ぶ滑らかで安全な道が存在します。

これは、科学者たちに AI の複雑な世界を航海するための新しい地図を与え、異なる訓練実行が単なる幸運な偶然ではなく、すべてが同じ連続した旅の一部であることを証明します。

技術的概要：層別接続性を介した独立して訓練されたモードの接続

1. 問題定義

本論文は、異なるランダムシードで収束まで訓練された独立して訓練されたニューラルネットワークのモード（モデル）間の、連続かつ損失の低い経路を構築するという課題に取り組む。実証的研究により、そのような経路が存在することが確立されている（この現象はモード接続性として知られる）が、既存の手法には重大な限界がある：

信頼性: Fast Geometric Ensembling (FGE) や AutoNEB などの先行アルゴリズムは、真に独立したモードを接続する際にしばしば失敗する。FGE は実装上の制約により、重み空間ですでに近接しているモードに限定され、AutoNEB は経路の品質に高い変動性を示し、異なるランダムシードにわたって低損失を維持することに頻繁に失敗する。
アーキテクチャの範囲: 既存の手法は、主に単純または時代遅れのアーキテクチャ（LeNet、基本的な CNN、VGG、ResNet など）で評価されてきた。MobileNet、EfficientNet、Transformers などの現代的で複雑なアーキテクチャにおけるその有効性は依然として不明である。
ハイパーパラメータへの感度: 現在の手法は一般的に、モードが同一のハイパーパラメータで訓練されていると仮定している。異なるハイパーパラメータ（パラメータ空間内で異なる「分散球」上に位置させる）で訓練されたモードを接続する能力は、頑健に対処されていない。

2. 手法：低損失経路探索（LLPF）

著者らは、独立したモード間の低損失経路を構築するために設計された実証的アルゴリズムである**低損失経路探索（LLPF）**を提案する。この手法は、層別モード接続性の仮説に基づいており、2 つのモードが完全なパラメータ空間において線形的に接続されていない場合でも、層ごとに接続可能であると仮定している。

LLPF は、2 つの相補的なアルゴリズムから構成される：

A. アルゴリズム 1：モデル間接続（LLPF M2M）

このアルゴリズムは、類似の分散球上（すなわち、同一のハイパーパラメータで訓練された）に位置する 2 つのモード（ $P_0$ と $D$ ）を接続する。

層別処理: グローバルな補間とは異なり、LLPF は層を逐次的に処理する。著者らは、高次元多様体を効果的にナビゲートするために、浅い層から深い層へ（または並列モジュールを個別に処理して）処理を行う**データフロー追跡（FDF）**戦略を提案する。
反復ステップ:
1. 移動: 現在の点 $P_i$ を、加重平均を用いて目的地 $D$ の方向へわずかに移動させる。
2. 分散補正: 移動した点を元の分散球（ $S_{var=v}$ ）上に射影し戻す。このステップは、無相関なネットワークを平均化することでパラメータ分散が減少し、その後の訓練を阻害する「分散消失問題」に対抗する。
3. 洗練（訓練）: 補正された点に対して、損失を閾値以下に低下させるために限られた数の訓練ステップ（ $r$ ）を施す。
4. 射影: 洗練された点を分散球上に射影し戻し、次の反復の開始点とする。
制約: 最適化器は正則化（重み減衰など）とモーメントを除外する。分散球の制約が本質的に重み分散を保持し、モーメントは小さく局所的な更新にはあまり適さないためである。

B. アルゴリズム 2：モデル原点接続（LLPF M2O）

このアルゴリズムは、低損失モデルをパラメータ空間の原点（ $O$ ）に接続し、異なる分散球間を移動可能にする。

メカニズム: アルゴリズム 1 と同様だが、分散補正ステップを含まない。
角度適合: モデルが原点へ移動するにつれ、重みの分散は減少する。モデルが低損失経路から逸脱するのを防ぐため、学習率は現在の分散に基づいて適応的にスケーリングされる（角度適合ステップ）。
除外: 正規化層はこのプロセスから除外される。これらを原点方向へ移動させると、リスケーリング（平均 0/分散 1）機能が損なわれるためである。

C. 異なる分散球の接続

異なるハイパーパラメータ（異なる重み減衰など）で訓練されたモードを接続するために、著者らは 2 段階のハイブリッドアプローチを提案する：

アルゴリズム 2を使用して、ソースモードをターゲット分散球上の中間点へ移動させる。
アルゴリズム 1を使用して、この中間点を目的地のモードへ接続する。

3. 主要な貢献

現代アーキテクチャへの一般化: LLPF は、MobileNet、ShuffleNet、EfficientNet、RegNet、Deep Layer Aggregation (DLA)、Compact Convolutional Transformers (CCT) など、先行手法では信頼性を持ってサポートされていなかった広範なアーキテクチャにわたってモードを接続することに成功した。
高い再現性: この手法は強い一貫性を示す。異なるランダムシードによる複数の実行において、LLPF はほぼ同一の訓練損失とテスト精度の軌道を持つ経路を常に発見する。これは AutoNEB などの先行研究には見られない特性である。
クロスハイパーパラメータ接続性: このフレームワークは、異なるハイパーパラメータ（異なる分散球）で訓練されたモードの接続をサポートする。これは、モード接続性の文脈において以前は評価されていなかった設定である。
経路品質の向上: LLPF は、経路に沿った最悪ケースの訓練損失を既存の手法と比較して低減する（例：ResNet18 において、AutoNEB のピーク損失が 0.5 超であったのを、LLPF では 0.05 未満に低減）。

4. 実験結果

著者らは、多様なアーキテクチャを用いて CIFAR-10、CIFAR-100、ImageNet-10 データセット上で LLPF を評価した。

一貫性: 10 回以上繰り返された実験により、構築された経路は遷移全体を通じて低訓練損失（<0.1）と高精度を維持することが示された。
層別ダイナミクス: 結果は、層別アプローチが必要であることを確認している。すべての層を同時に移動させる手法は、ResNet18 や DLA などの複雑なモデルでは失敗する。
連続性: LLPF によって生成された離散点間の線形補間は低損失を維持し、構築された経路の連続性を確認する。
鋭い極小点: このアルゴリズムは、ゼロの重み減衰と一定の学習率で訓練された「鋭い」極小点に位置するモードを成功裡に接続し、平坦な極小点を超えた頑健性を示した。
競合手法の失敗事例: AutoNEB が独立したモードの接続に失敗し（高損失をもたらす）、LLPF が低損失で成功した特定のケースが存在する。

5. 意義と主張

本論文は、LLPF がパラメータ空間の低損失領域をナビゲートするための堅牢で実用的なツールを提供すると主張する。

幾何学的洞察: 実証的知見は、損失ランドスケープに独立した極小点を接続する「低損失トンネル」が存在することを示唆しており、孤立した盆地という見方に挑戦している。著者らは、すべての独立して訓練された SGD モードが、単一の経路接続された低損失多様体内に存在する可能性があると仮定している。
理論的限界: 著者らは控えめに、実証的結果がこれらの経路の存在を支持している一方で、複雑なアーキテクチャに対するこの仮説を形式的に証明する既存の理論的枠組みは存在しないと指摘している。
実用的有用性: 低損失領域の体系的な探索を可能にすることで、LLPF は研究者がニューラルネットワーク解の幾何学的特性に関する洞察を得ることを可能にし、より良いアーキテクチャや訓練効率の開発に寄与する可能性がある。

提案された手法のソースコードはコミュニティに公開されている。