🤖 machine learning

Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

本論文は、有効関数クラスとニューロンの識別可能性に関する理論的枠組みを導入することで、構造的に非対称なモデルにおいてさえ、ニューラルネットワークが近似的に等価な解の大きな集合を許容し、線形な低損失パスを介した表現の統合を可能にすることを証明する。

原著者： Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2つの異なるシェフのチーム（ニューラルネットワーク）が、全く同じ複雑な料理（問題の解決）を任されていると想像してください。たとえ、それぞれ異なるレシピと初期の材料からスタートしたとしても、最終的には両者とも、ほぼ同じ味の料理を作り上げます。

ディープラーニングの世界において、これはよくある謎です。通常、チームAとチームBの「重み」（具体的なレシピの数値）を取り出し、その中間を混ぜ合わせようとすると、結果はひどい、食べられたものでもない惨状になります。なぜなら、数学的に、2つのチームはお互いの役割を入れ替えてしまっている可能性が高いからです。チームAの「ソース担当シェフ」が、チームBの「スパイス担当シェフ」と同じ仕事をしているかもしれませんが、名前が異なるために、コンピュータはそれらが互換性がないと判断してしまうのです。

この論文、**「構造的対称性を超えて：ニューロンの識別可能性による線形モード結合性（Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability）」**は、なぜこれが起こるのか、そして手動でラベルを付け直すことなく、どのようにこれを解決できるのかを掘り下げています。

問題点：「誰が誰か」という混乱

ニューラルネットワークの層を、100人の同じ見た目をしたシェフがいるキッチンだと考えてください。標準的なキッチンでは、もしシェフ#1とシェフ#2が持ち場を入れ替えたとしても、料理の味は変わりません。これを**対称性（Symmetry）**と呼びます。このため、2つのチームが独立してトレーニングを行うと、チームAではシェフ#1に「ソース」の仕事を割り当て、チームBではシェフ#50に同じ仕事を割り当てるといったことが自然に起こり得ます。

もしチームAとチームBのレシピを直接混ぜ合わせようとすると、「ソース担当のシェフ#1」と「スパイス担当のシェフ#50」を混ぜることになります。その結果は混沌となります。通常、科学者たちは、これらを混ぜ合わせる前に、チームAのどのシェフがチームBのどのシェフに対応するのかを、手動で特定（「アライメント」と呼ばれるプロセス）しなければなりません。

解決策：シェフにユニークな制服を与える

著者らは、手動でのチェックを必要とせずに、シェフが自然に正しい役割に収まるように、この対称性を打破する方法を提案しています。

各シェフに、ユニークで少しずつ異なる制服や、彼らだけが使える特定の道具を与えたと想像してみてください。

従来の方法（対称的）： 全てのシェフが同じ白い帽子を被っています。もし彼らが入れ替わっても、誰も気づきません。
新しい方法（非対称／識別可能）： キッチンのマネージャー（研究者たち）が、シェフ#1には赤い帽子を、シェフ#2には青い帽子を、といった具合に与えます。今や、もしシェフ#1がシェフ#2と入れ替わろうとしても、制服の不一致によってそれが明白になり、コスト（労力やエラーの面で）が高くなります。

この論文では、ニューロンに小さな固定されたランダムな「バイアス」（ユニークな制服のようなもの）を加える手法を紹介しています。これは最終的な料理の味を変えることはありませんが、トレーニングのプロセスにおいて、特定の機能（例えば「エッジの検出」や「曲線の検出」など）を特定のニューロンに一貫して割り当てることを強制します。

重要な発見：単なる制服の問題ではない

論文は、非常に重要かつ直感に反する発見を提示しています。単にシェフに異なる制服を与えるだけでは、**材料（データ）**が単純すぎたり均一すぎたりする場合、十分ではありません。

「低ランク」の罠： キッチンにジャガイモしか入ってこない状況を想像してください。もし全てのシェフがジャガイモの扱いだけを求められているなら、彼らが赤い帽子を被っていようが青い帽子を被っていようが関係ありません。彼らは皆、全く同じことをしているからです。「制服」は意味をなしません。なぜなら、タスクが単純すぎるからです。
「高ランク」の自由： もしキッチンに多種多様な材料（ジャガイモ、人参、玉ねぎ、スパイスなど）が入ってくるなら、ユニークな制服が効いてきます。赤い帽子のシェフ#1は、自然と人参の扱いに長けているかもしれませんし、青い帽子のシェフ#2は玉ねぎの扱いに長けているかもしれません。トレーニングのプロセスが、自然に彼らをこれらの役割に固定していくのです。

著者らはこれを**ニューロンの識別可能性（Neuron Identifiability）**と呼んでいます。これは、ユニークな制服（固定された重み）と多様な材料（データの構造）の組み合わせによって、ネットワークが「どのニューロンが何をすべきか」を正確に把握することを意味します。

結果：チーム間のスムーズな経路

ネットワークがこの「識別可能性」を獲得すると、魔法のようなことが起こります。それが**線形モード結合性（Linear Mode Connectivity）**です。

もし、自然に同じ役割に落ち着いた（制服とデータによって強制された）2つのトレーニング済みチームがある場合、そのレシピを半分ずつ混ぜ合わせることができます。

識別可能性がない場合： レシピを混ぜると、高い「損失の障壁（ロス・バリア）」（まずい味の山）が生じます。チームAからチームBへ行くには、山を乗り越えなければなりません。
識別可能性がある場合： 両者の間の経路は平坦です。チームAからチームBまで真っ直ぐ歩くことができ、その道中ずっと料理の味は良好なままです。

なぜこれが重要なのか

この論文は、モデルを統合するために必ずしも手動でネットワークを整列させる必要はないことを示しています。ネットワークのアーキテクチャを正しく設計し（これらの「ユニークな制服」や固定された重みを加えることで）、データが十分に豊かであることを保証すれば、ネットワークは自然に自己組織化されます。これにより、異なるモデルを結合したり、それらがどのように機能するかを理解したり、通常の手間をかけずに単一のより強力なモデルへと統合することが容易になります。

要約すると： この論文は、ニューロンに少しの「個性」（固定されたランダムなバイアス）を与え、多様なデータを供給することで、彼らが自分自身のユニークな役割を見つけ出すように強制できることを証明しています。一度それが実現すれば、同じネットワークの異なるバージョン同士が互換性を持ち、2つの完璧なケーキの生地を混ぜ合わせる時のように、スムーズにブレンドできるようになるのです。

技術要約：構造的対称性を超えて：ニューロンの識別可能性による線形モード結合性

問題提起

ディープラーニングモデル、特に過剰パラメータ化されたニューラルネットワークは、独立して訓練された解が、非凸な損失景観の中に存在しているにもかかわらず、しばしば同様の予測と汎化性能を持つモデルに収束するという現象を示す。この性質を説明する鍵となる概念が**線形モード結合性（Linear Mode Connectivity: LMC）**であり、これは、2つの訓練済み解が重み空間において線形補間可能であり、かつ低い損失を維持できることを意味する。

しかし、LMCはパラメータの対称性、具体的には隠れユニットの置換対称性によって阻害されることが多い。標準的なアーキテクチャでは、隠れたユニットを置換し、隣接する層でそれを補償することで、実現される関数自体は変化しない。その結果、独立した訓練ランは同じ関数の軌道（orbit）内の異なる代表元を探索することになり、事後的な整列（置換マッチング）を行わない限り、直接的な線形補間は失敗する（高い損失障壁が生じる）。

近年の研究では、構造的な対称性を破るために、アーキテクチャへの介入（例：ランダムな重みやマスクの固定）を通じて、非整列LMC（unaligned LMC）（整列を必要としないLMC）を実現しようとする試みがなされてきた。しかし、実験的な結果は混在している。一部の対称性打破手法は非整列LMCをもたらすが、他の手法はそうではない。本論文は、なぜ構造的な対称性の打破だけでは不十分な場合があるのかを調査し、**効果的な対称性打破（effective symmetry breaking）は、アーキテクチャ、データの幾何学、およびニューロンの識別可能性（identifiability）**の相互作用に依存していることを提案する。

手法論

1. 理論的枠組み：有効関数クラスと実現コスト

著者らは、有効関数クラスと実現コストを中心とした理論的枠組みを構築している。

有効関数クラス ( $H_i(X)$ ): ある層におけるニューロン $i$ について、入力サポート $X$ （データ分布または学習された表現）上でそれが実現可能な関数の集合。
実現コスト (Realization Cost): 特定の関数 $h$ を実現するために必要な最小重みノルム。これは、ニューロンの有効関数クラスに対して測定される。
識別可能性による対称性打破: 本論文では、ニューロンの識別可能性を、独立した訓練ラン間で特徴量がニューロンへ一貫して割り当てられることと定義する。これは、アーキテクチャ上の非対称性が、特徴量の低コストな割り当てをニューロンに対して一意にバイアスする場合に発生する。

著者らは、入力サポート $X$ が低次元の部分空間 $U$ 上にあると仮定する（仮定 3.1）。彼らは、有効重み行列が $W_{eff} = F + D \odot W$ （ $F$ は固定オフセット、 $D$ は固定対角マスク、 $W$ は学習可能）であるような対称性打破介入を分析する。

2. 対称性打破の定量化

分析の核心は、置換に対する実現コストの感度を定量化することにある。

置換感度 ( $\Delta_{\pi, \tau}$ ): 特徴量が異なるニューロンに再割り当てされた場合（出力の置換 $\pi$ ）、または入力座標が再インデックスされた場合（入力の置換 $\tau$ ）における、総実現コストの変化。
中心支配レジーム (Center-Dominated Regime): 著者らは、固定された重み $F$ が学習可能な重み $W$ に対して支配的となるレジームを特定している。このレジームでは、ニューロンを入れ替えるコストは、主に入力部分空間に投影された固定中心間の距離によって決定される。
部分空間コヒーレンス ( $\nu(U)$ ): 論文では、データの主方向が標準基底とどの程度整列しているかを測定するために、部分空間コヒーレンスの概念を導入している。高いコヒーレンスは、特定の入力座標をマスクすること（ $D$ による）が、どの特徴量がどのニューロンによって実現されるかに顕著な影響を与えることを意味する。

3. 線形モード結合性への接続

論文は、ニューロンの識別可能性とLMCの間の関連性を確立している。

弦偏差 (Chord Deviation): 2つの解の間の線形補間経路に沿ったネットワークの出力の偏差を分析する。彼らは、ニューロンが「中心支配的（center-dominated）」（固定重みが支配的）である場合、弦偏差は小さく（ $O(\beta^{3/2})$ ）、これは低い損失障壁を意味することを示す。
整列なしの結合: ニューロンが識別可能であれば（すなわち、役割がアーキテクチャとデータによって固定されていれば）、明示的な整列なしに表現を結合することができ、非整列LMCへとつながる。

主な貢献

ニューロンの識別可能性に関する理論的枠組み: 本論文は、ニューロンの識別可能性を、実現コストの最小化によって駆動される、訓練ラン間での特徴量とニューロンの一貫した割り当てとして定式化している。また、構造的な対称性打破（生のリパラメタースペースにおける対称性の打破）と、効果的な対称性打破（実際の入力サポート上での対称性の打破）を区別している。
実現コストの特性付け: 著者らは、固定されたアーキテクチャ構成要素（ $F$ および $D$ ）のグラム行列を入力部分空間に投影したものに依存する、マハラノビスノルムとしての実現コストの閉形式の式を導出している。
効果的な対称性打破の条件:
- 固定重み ( $F$ ): 中心支配レジームにおいて、効果的な対称性打破には、投影されたニューロンの中心が十分に分離している必要がある。論文では、この分離がニューロン数 ( $m$ ) とデータの固有次元 ( $k$ ) に依存するという漸近的境界を示している。 $k$ が $m$ に対して小さい場合、分離は困難であり、対称性は実質的に維持される可能性がある。
- 入力部分空間のコヒーレンス: 固定重みが大きくなくても、高い部分空間コヒーレンスがあれば、対角演算子 $D$ を通じて効果的な対称性打破が可能であることを示している。これは、特定の入力方向を特定のニューロンにとって実現コストの高いものにするためである。
識別可能性と特徴学習のトレードオフ: 著者らは、強い対称性打破（一貫したニューロンの役割を強制すること）は、与えられたノルム予算内でネットワークが学習できる特徴量の集合を制限し、完全に対称なランダム特徴量ベースラインと比較して表現能力を制限する可能性があるという、困難さに関する結果を証明している。
経験的事象の統一的説明: 本フレームワークは、なぜ特定の対称性打破手法（大きな固定重みを持つW-非対称ネットワークなど）は非整列LMCをもたらし、他の手法（固定オフセットのないスパースネットワークなど）はそうではないのかを説明する。

実験結果

著者らは、MNISTおよびCIFAR-10を用いたMLPおよびResNet（および、予備的なTransformerへの拡張）に関する実験を通じて、理論を検証している。

固定重みのスケール ( $\sigma_F$ ) の影響: $\sigma_F$ を変化させる実験により、 $\sigma_F$ が小さい場合（実質的に対称な場合）、活性化マッチング目的関数（識別可能性のプロキシ）は恒等置換に対して低くなり、非整列LMCの障壁は高くなることが示された。 $\sigma_F$ が増加するにつれ、恒等置換がほぼ最適となり、非整列LMCの障壁は大幅に低下する。
固有次元 ( $k$ ): 合成ガウス混合データを用いて、ネットワークの幅に対して固有次元 $k$ が小さい場合、対称性打破アーキテクチャを用いてもニューロンの入れ替えコストが低くなることを示している。 $k$ が増加すると、入れ替えコストは上昇し、非整列LMCが改善される。
部分空間コヒーレンス: 入力部分空間のコヒーレンスを変化させた実験により、高いコヒーレンスがあれば、固定重み ( $F$ ) がゼロであっても、対角マスキング ( $D$ ) 単独で効果的な対称性打破と非整列LMCを誘発できることが確認された。
Transformer: Vision Transformerに関する予備的な結果は、W-非対称メカニズムが補間障壁を減少させる一方で、アテンションメカニズムの複雑な対称性（単純な置換を超えたもの）が、完全な非整列LMCの達成をMLPよりも困難にしていることを示唆している。

意義と主張

本論文は、パラメータの対称性打破がいつ、なぜニューロンの識別可能性と線形モード結合性につながるのかを理解するための、統一的な理論的レンズを提供することを主張している。

構造的対称性を超えて: 主要な意義は、対称性打破をアーキテクチャの純粋に構造的な特性としてではなく、アーキテクチャ、データ分布、および学習された表現の相互作用によって決定される効果的な特性として捉える点にある。
非整列LMCのメカニズム: 本研究は、重み空間における置換対称性を単に破るだけでは非整列LMCは保証されず、アーキテクチャが、訓練ラン間で安定した、特徴量の一意で低コストな割り当てをニューロンに対して誘導する必要があることを明らかにしている。
データの幾何学の役割: 論文は、データの幾何学（特に部分空間コヒーレンスと固有次元）が、対称性打破の介入が効果的であるかどうかを決定する上で決定的な役割を果たすことを強調している。
限界とトレードオフ: 著者らは、強い対称性打破が、ネットワークを特定の特徴量-ニューロン写像に制約するため、特徴学習能力の低下を招く可能性があることを控えめに述べている。また、現在のフレームワークは置換対称性に焦点を当てており、より豊かな対称群（例：Transformer）への拡張が必要であることも認めている。

要約すると、本論文は、ニューロンの識別可能性こそが、アーキテクチャへの介入、データの幾何学、および非整列LMCの出現を結びつける鍵となるメカニズムであり、非整列モデル結合が成功するかどうかを予測するためのフレームワークを提供していると論じている。