🤖 machine learning

Conservation Laws for Modern Neural Architectures

本論文は、GELU、SiLU、SwiGLU活性化関数、様々なアテンションメカニズム、およびMixture-of-Experts設計を含む現代的なニューラルアーキテクチャにおける勾配流の保存則を特徴付ける統一的な理論的枠組みを確立し、過剰パラメータ化されたモデルの暗黙的なバイアスをより良く説明するために、実験を通じてこれらの知見を検証するものである。

原著者： Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑な機械が、リアルタイムで組み立てられ、調整されていく様子を目の当たりにしていると想像してみてください。この機械は、現代のAIモデル（物語を書いたり画像を認識したりするもの）です。機械が学習を進めるにつれ、その内部にある「つまみ」や「ダイヤル」（パラメータと呼ばれます）は、間違いを最小限に抑えるために絶えず回転しています。

この論文は、他のすべてが変化している最中に、**「何が変わらないのか」**を追う探偵小説のようなものです。

ビッグアイデア：「学習における不変のルール」

通常、私たちはAIのトレーニングを、数字がランダムに上下する混沌としたプロセスだと考えがちです。しかし、著者たちは、この混沌の中にも厳格な**「保存則」**が存在することを発見しました。

これらの法則を、物理学における**「エネルギー保存の法則」**のようなものだと考えてください。ボールを丘から転がすと、位置エネルギーが運動エネルギーに変わりますが、総エネルギーは一定に保たれます。同様に、AIが学習する際、その内部設定の特定の数学的な組み合わせは、どれほど多くのデータを見ても、どれほど長く学習しても、完全に一定のまま保たれます。

この論文の主な目的は、今日使われている最もポピュラーで現代的なAIアーキテクチャにおける、これらの「隠れた不変量」を見つけ出すことでした。

探偵の仕事：どのようにしてルールを見つけたのか

著者たちは単に推測したわけではありません。彼らは数学的な「拡大鏡」を使用しました。彼らはこう問いかけました。「もしデータや出発点を変えたとしても、AIの設定に関する数学的な公式のうち、決して変化しないものは何か？」

彼らはAIの学習プロセスを、流れる川のように扱いました。水（データと具体的な経路）は変化しますが、川底の形（アーキテクチャ）が、水が特定のパターンに従うよう強制します。彼らは、現代の主要な3つのタイプのAIコンポーネントについて、これらのパターンをマッピングしました。

1. 「滑らかな」フィードフォワード・ネットワーク（脳の部分）

現代のAIは、何に注意を払うかを決定するために、特別な「活性化関数」（数学的なスイッチ）を使用します。

GELUとSiLU: これらは、滑らかで穏やかなスイッチのようなものです。著者たちは、これらのネットワークを使用する場合、システムが単に役割を果たしているという事実以外に、興味深い不変量は何も残らないことを見出しました。それは、渦のない滑らかな川のようなもので、水はただ流れていくだけです。
SwiGLU: これはトップクラスのモデル（LLaMAなど）で使用される、より複雑なスイッチです。ここで、彼らは**「隠れたバランス」**を発見しました。重みAとCがシーソーのように作用していると考えてください。もしAが重くなれば、全体の「バランス・スコア」を一定に保つために、Cは非常に特定の方法で軽くなければなりません。論文は、このバランスがどのように機能するかを正確に証明しています。

2. アテンション・メカニズム（注目の仕組み）

これは、文章の中のどの言葉が重要であるかをAIが判断する部分です。

標準的なマルチヘッド・アテンション: 著者たちは、以前の研究者が完成させられなかったパズルを解きました。彼らは、各「ヘッド」（サブプロセッサ）について、2組の重み（Query/KeyとValue/Output）が特定の差を維持しなければならないことを発見しました。これは、綱引きのようなものです。「引く」チームの強さは、常に「押す」チームの強さと、精密な数学的な方法で一致していなければなりません。
回転式位置エンコーディング (RoPE): これは、単語が文章内のどこに位置するか（例：「最初の単語」か「最後の単語」か）をAIに伝える高度な方法です。著者たちは、これがルールを全く変えてしまうことを見出しました。単純な綱引きではなく、重みは「回転のバランス」を一定に保つために、特定の円を描いて回転しなければなりません。それはダンサーがスピンするようなものです。速度や位置は変化しますが、角運動量は固定されています。

3. Mixture-of-Experts（専門家チーム）

AIが一つの巨大な脳を持つのではなく、100の小さな専門家のチームを持ち、問題ごとに数人だけが呼ばれて働く様子を想像してください。

ゲーティング・メカニズム: これは、どの専門家を動員するかを決める「マネージャー」です。著者たちは、マネージャーの決定と専門家の設定が結びついていることを見出しました。
発見: マネージャーがトップ2の専門家を選ぶかトップ10を選ぶか、あるいは「ソフト」な投票（softmax）を使うか「ハード」な投票（sigmoid）を使うかにかかわらず、**チームの決定による「総重量」**は一定に保たれます。個々の専門家は変化するかもしれませんが、彼らの影響力の合計は厳格なルールに従います。

実験：実生活で機能するのか？

著者たちは、紙の上での数学的作業だけを行ったのではありません。彼らは小さなAIモデルを構築し、実際のデータ（画像やテキストなど）を用いてトレーニングを行いました。

彼らは、これらの「保存量」を数千ステップにわたって追跡しました。

結果: 振り子が揺れるように、その値は非常に安定していました。
注意点: 学習率（ステップサイズ）を非常に大きくした場合、値は少し揺れましたが、その揺れは予測可能で小さなものでした。学習速度を遅くすると、値はほぼ完璧に静止していました。これは、これらの法則が単なる理論ではなく、これらのAIモデルが学習する際の、現実の、物理的な制約であることを証明しています。

まとめ

簡単に言えば、この論文は次のように述べています。「現代のAIモデルは、混沌とした混乱状態ではない。それらは、隠された、壊れることのない数学的なルールによって支配されている。」

自動車のエンジンが燃料を動きに変えるルールを持っているのと同様に、これらのAIモデルには、内部の数値がどのように互いにバランスを取るべきかというルールが存在します。著者たちは、現在使用されている最も高度なAIアーキテクチャのルールブックを書き上げることに成功し、AIが学習する中で何が不変であるのかを正確に示したのです。

技術要約：現代的なニューラルアーキテクチャにおける保存則

問題提起
過剰パラメータ化されたニューラルネットワークの学習ダイナミクスを理解することは、その成功を説明する上で中心的な課題である。この理解における鍵となるメカニズムの一つが、**保存則（conservation laws）**という概念である。これは、最適化の軌跡（具体的には勾配流）に沿って不変に保たれる量のことである。これらの法則は線形ネットワークやReLUネットワークについては明確に特徴付けられているが、現代的なアーキテクチャについてはほとんど未開拓のままである。既存のフレームワークは、滑らかな活性化関数（GELU、SiLUなど）、複雑なアテンション機構（位置エンコーディングを伴うマルチヘッド・アテンション）、およびMixture-of-Experts（MoE）設計を利用する現代的なモデルに対して、完全な特徴付けを行うには不十分である。さらに、マルチヘッド・アテンション（MHA）に関する先行研究はシングルヘッドの設定に限定されており、マルチヘッドの場合については未解決の問題として残されていた。

手法
本論文は、現代的なディープラーニングモデルの保存則を特徴付けるための統一的な理論的フレームワークを開発している。このアプローチはMarcotteら（2023; 2025）の研究に基づいているが、その解析戦略においては異なる手法をとっている。

問題の定式化： 著者らは、保存則 $h(\theta)$ を、ユークリッド勾配流 $\dot{\theta} = -\nabla L_D(\theta)$ の下で不変な関数として定義する。問題を扱いやすくするために、保存則が「あらゆるデータセット」に対して成立するという仮定を採用し、アーキテクチャと最適化ダイナミクスのみによって誘発される暗黙的なバイアスを孤立させている。
偏微分方程式（PDE）への還元： 著者らは、リー理論的な手法に頼る代わりに、保存条件を偏微分方程式（PDE）の系へと還元した。具体的には、すべての入力に対して、保存則の勾配 $\nabla_\theta h$ がモデルのヤコビ行列のベクトルが張る空間に対して直交することを要求する。
複素解析的手法： 証明戦略の核心は、これらの直交条件を複素数値関数として捉えることにある。著者らは、これらの関数を特定の部分空間に制限し、有理型関数の一致定理を利用することで、入力に依存しない $h$ の勾配に対する制約を導出している。
不変量による特徴付け： 得られたPDEの制約を解くことで、「特性不変量」を特定する。保存則は、これらの不変量によって定義されるレベルセットの連結成分上で一定であることが示される。

主な貢献と結果
本論文は、主要な3つの現代的アーキテクチャクラスに対して、保存則の完全な特徴付けを提供している。

フィードフォワードネットワーク（FFN）：
- GELUおよびSiLU： 著者らは、GELUまたはSiLU活性化関数を用いるFFNにおいて、保存則は定数関数のみであることを証明した。非自明な不変量は存在しない。
- SwiGLU： 対照的に、SwiGLUアーキテクチャ（ゲーティング機構におけるパラメータ行列間の乗法的相互作用を含むもの）は、非自明な保存則を示す。不変量は、各隠れユニット $i$ についての量 $\|A_{:,i}\|^2 - \|C_{i,:}\|^2$ によって決定される（ここで $A$ と $C$ はゲーティングに関与する重み行列である）。
マルチヘッド・アテンション（MHA）：
- バニラMHA： 著者らは、マルチヘッド・アテンションに関する未解決問題を解決し、保存則が各ヘッド $i$ における不変量 $Q_i^\top Q_i - K_i^\top K_i$ および $V_i^\top V_i - O_i^\top O_i$ によって特徴付けられることを確認した。
- 正弦波位置エンコーディング（PE）： 正弦波PEは入力に対する固定された全単射的なシフトとして機能するため、保存構造はバニラMHAのケースと同一である。
- 回転位置エンコーディング（RoPE）： RoPEはアテンションの内部構造を根本的に変化させる。著者らは、異なる一連の不変量を導出した。それは $\|Q_i^{(j)}\|_F^2 - \|K_i^{(j)}\|_F^2$ （ここで $Q$ と $K$ は $2 \times 2$ ブロックに分解される）および $V_i^\top V_i - O_i^\top O_i$ である。これは、RoPEが絶対位置エンコーディングと比較して異なるクラスの保存則を導入することを示している。
Mixture-of-Experts（MoE）：
- DenseおよびSparse MoE： 本研究は、高密度ゲーティング（Dense gating）とTop- $k$ ルーティングを用いた疎なMoE（Sparse MoE / SMoE）の両方を対象としている。結果として、SMoEの保存則は、対応するDense MoEの保存則と一致することが示された。
- ゲーティング機構： 不変量はエキスパートレベルで局所化されており（各エキスパートにおけるSwiGLUの不変量に従う）、さらにゲーティング重みの和 $\sum W_i$ という追加の不変量を含む。
- Sigmoid ゲーティング： 著者らは、softmax ゲーティングを正規化されたsigmoid ゲーティングに置き換えても、保存則の集合は変化しないこと、すなわち不変量はsoftmaxを用いた場合と同一であることを示している。

実験的検証
理論的な知見は、言語モデリング（WikiText-103, Penn Treebank）およびコンピュータビジョン（CIFAR-10, ImageNet-1K）のタスクを通じて実証されている。

設定： 実験では、フルバッチ勾配降下法（連続時間流の近似として使用）および小規模・大規模データセットに対するミニバッチSGDを用いている。
指標： 著者らは、学習ステップにおける「保存誤差」（不変量の初期値からの偏差）を追跡している。
知見： 実験は、保存則が学習中に有界であることを確認している。具体的には、誤差は理論の予測通り、学習率 $\tau$ とステップ数 $k$ に対して $O(\tau^2 k)$ （一定のステップサイズの場合）のスケールで推移する。結果は、MHA、SwiGLU FFN、RoPE、およびMoEゲーティング機構のいずれにおいても、データセットや学習レジームに関わらず一貫して成立している。

意義と主張
本論文は、広範な現代的ニューラルアーキテクチャに対する保存則の完全な特徴付けを行うことで、学習ダイナミクスの理論的理解を進展させたと主張している。

理論的統一： 線形/ReLUネットワークから、滑らかな活性化関数や複雑なアテンション機構へと、これまでの結果を拡張する統一的なフレームワークを確立した。
未解決問題の解決： マルチヘッド・アテンションの保存則を特徴付けるという未解決問題を明示的に解決し、位置エンコーディングやMoEゲーティングへの分析を拡張した。
暗黙的バイアス： これらの不変量を特定することで、本研究は現代的なアーキテクチャに固有の幾何学的制約を明らかにし、初期化から収束まで持続する性質を提示している。
限界： 著者らは、複素解析的手法（有理型拡張）への依存が、現在はレイヤー正規化や $\sqrt{x}$ または $e^{1/x}$ のような関数を含む深い合成を含む非有理型成分を持つアーキテクチャへの適用を制限していることを謙虚に述べている。また、アーキテクチャのバイアスを孤立させるための原理的なものであるとはいえ、データセットに依存しないという仮定は、より広い文脈においては限定的と見なされる可能性があることも認めている。