Neural Networks Provably Learn Spectral Representations for Group Composition

技術要約：ニューラルネットワークは群の合成に対してスペクトル表現を確実に学習する

問題提起
本論文は、ニューラルネットワークの学習過程において、いかにして構造化された内部表現が創発するかを調査しており、特に群の合成（group composition）というタスクに焦点を当てている。有限群 $(G, \star)$ が与えられたとき、任意のペア $(g_1, g_2) \in G \times G$ に対して積 $g_1 \star g_2$ を予測するように、2層ニューラルネットワークを訓練することを目的とする。先行研究では、巡回群 ($\mathbb{Z}_p$) 上のモジュロ加算を学習するネットワークが、フーリエ特徴量（単一周波数の特化）を発見することを確立しているが、任意の有限群――特に、表現がスカラーではなく行列値となる非可換群――を学習するネットワークの挙動については、理論的に未解明であった。中心的な問いは、ニューラルネットワークが一般的な群 $G$ の既約表現（irreps）を発見するのかどうか、そして、アーベル群の設定で観察された位相整列（phase alignment）と低ランク構造の原理が、このより広範な文脈にどのように一般化されるかである。

手法
著者らは、有限群 $G$ の完全な合成表を用いて、クロスエントロピー損失を用いて訓練された、二次活性化関数 ($\sigma(x) = x^2$) を持つ2層全結合ニューラルネットワークを分析する。ネットワーク・アーキテクチャは、非可換演算に対応するために、2つのオペランドに対して個別の入力埋め込みを採用している。

理論的分析は2つの段階で行われる：

1. 第I段階（特徴量学習）： ニューロンのスケーリング係数は小さな定数 $a$ に固定され、方向パラメータ（入力および出力の埋め込み）は単位球面上の射影勾配フローを通じて進化する。著者らは、ユークリッド・パラメータ空間から、群離散フーリエ変換（Group DFT）を用いたスペクトル領域へと訓練ダイナミクスを持ち上げる。彼らは、射後勾配フローが、フーリエ係数の多様体上で定義された特定のエネルギー汎関数 $\Omega_m$ 上のリーマン勾配上昇と等価であることを示す。
2. 第II段階（スケール最適化）： 方向パラメータが収束した後、マージンを最大化するためにスケーリング係数が最適化され、クロスエントロピー損失をゼロへと駆動する。

この分析は、有限群における調和解析、特に既約表現の直交性とシュールの直交関係に大きく依存している。著者らは、動的システム論のツール（連続的なリーマン勾配フローへの拡張を含む、臨界点（平衡点）の分類およびサドル回避の議論）を用いて、収束特性を証明する。

主要な貢献と結果

• 一般群の表現学習 (定理 4.3): 任意の有限群（非可換群を含む）に対し、著者らは、ランダムな初期化の下で、勾配フローが各ニューロンを以下の特性を持つ状態へとほぼ確実に収束させることを証明した：

  • 単一表現： 各ニューロンは、正確に一つの非自明な既約表現 $\check{\rho}_m$（およびその共役 $\check{\rho}_m^\vee$）を選択し、それによって他の表現に対応するすべてのフーリエ係数が消失する。
  • ランク1の回転整列： 生き残った表現のフーリエ係数はランク1の行列となる。さらに、これらの係数は、入力層と出力層の間で特定の回転整列を示す：$\hat{\xi}_m[\rho] \propto \hat{\theta}_{2m}[\rho] \hat{\theta}_{1m}[\rho]$、およびその巡回置換。これは、モジュロ加算で観察されたスカラー位相整列を、行列値表現へと一般化したものである。
  • メカニズム： 証明は、訓練ダイナミクスがエネルギー汎関数を最大化することを確立している。非ターゲットの平衡点（負のエネルギー、ゼロのサポートを持つゼロエネルギー、または高ランクの正のエネルギー）は、測度ゼロのトラップであるか、あるいは厳密なサドル（鞍点）であり、勾配フローによってほぼ確実に回避されることが示されている。

• アーベル群の特性化 (定理 5.1 & 5.3): アーベル群に対して、著者らは完全な集団レベルの記述を提供する：

  • 多様化： 一様球面初期化の下では、学習された表現はすべての非自明な既約表現上に一様に分布し、位相は表現によらず単位円上でハー（Haar）一様となる。
  • 欠陥のあるインジケーター： 結果として得られるアンサンブル予測器は、「欠陥のあるインジケーター」として機能し、正しい群の積 $g_1 \star g_2$ に最大のロジットを割り当て、二次的な「ゴースト」ピークを $g_1^2$ および $g_2^2$ に生成する。この構造は、表現の直交性とハー一様な位相の平均化を通じて、ノイズ項が正確に相殺されることから生じる。
  • 収束率： 論文は、位相整列と表現間の競争の両方について、明示的な指数収束率を確立している。勝利する表現の選択は、初期のスペクトル強度によって決定される「ロッタリーチケット（宝くじ）」メカニズムに従う。

• 第II段階のダイナミクス (定理 4.5): 著者らは、平均場予測器が完全な精度条件を満たす場合（これはアーベル群で成立し、非可解群でも経験的に検証されている）、スケーリング係数が対数的に増大し、ソフトマックス分布を鋭敏化させ、損失を $O(1/T)$ の速度でゼロへと駆動することを証明する。

意義と主張
本論文は、一般的な有限群に対してニューラルネットワークがいかにして群の合成を学習するかについての、初の厳密な理論的特性付けを提供すると主張している。巡回群における「単一周波数特化」の現象を、既約表現を学習するというより広範なフレームワークへと統合することで、著者らは、これら「フーリエ特徴」が、既約表現を学習するという事象のスカラーケースに過ぎないことを示している。

その意義は以下の点にある：

1. メカニスティックな解釈可能性と表現論の架け橋： 本研究は、創発的なニューラル特徴と基礎となる群の数学的構造との間のリンクを形式化し、モジュロ加算における「フーリエ特徴」が、既約表現を学習することの単なるスカラー版であることを示している。
2. 新規な低ランク圧縮： 非可換群における行列値表現に対するランク1の回転整列の発見は、他のディープラーニングの文脈で見られる低ランクバイアスを、群演算のスペクトル領域へと拡張する新しい構造的な知見である。
3. 動的な説明： 論文は、単なる経験的な観察を超え、リーマン勾配フローとサドル回避を用いた動的システムベースの証明を通じて、なぜ、そしてどのようにして、ランダムな初期化からこのような構造化された解が創発するのかを説明している。

著者らは、一般的な有限群を扱っているものの、高次元の既約表現や自己共役表現を持つ群の極限分布の理論的特性付け、および有限サンプル設定における汎化ギャップ（グロッキング）の分析に関する未解決問題が残されていると述べている。