技術要約：ニューラルネットワークにおけるデータの対称性からの保存則

問題提起

本論文は、訓練データに内在する対称性が、ニューラルネットワークの勾配流（gradient-flow）による訓練中に、新たな保存量（運動の積分）を誘発するかどうかを調査している。古典的なネーターの定理は、力学系の連続的な対称性と保存則を結びつけているが、深層学習における従来の研究は、実現される関数を不変にするパラメータ空間内の対称性（例：重みの置換やスケーリング）に主に焦点を当ててきた。本研究は、異なる問いに取り組んでいる。すなわち、ネットワークのアーキテクチャ自体がこれらの対称性を明示的に符号化していない場合でも、データの対称性（例：置換、回転、または群作用に対する不変性）が、最適化経路を制約する新たな保存則を生み出すことができるか、という問いである。

手法

著者らは、$\dot{\theta} = -\nabla E_\pi(\theta)$ で定義される勾配流のダイナミクスを分析するために、力学系と表現論に基づいた理論的枠組みを用いている。

1. 定義とセットアップ:

   • 運動の積分 (Integrals of Motion): 滑らかな関数 $I(\theta)$ が運動の積分であるとは、任意のデータ分布 $\pi$（または特に対称な分布）に対して、勾配流の軌跡に沿って一定に保たれることを指す。
   • データの対称性: データ分布 $\pi$ がコンパクト群 $G$ の下で対称であるとは、入力と出力に群作用を適用しても分布が不変であることを意味する。
   • 群拡張リスク (Group-Augmented Risk): 著者らは、群の軌道にわたって損失を平均化した「群拡張」損失 $E^G_\pi$ を分析している。命題1によれば、ある関数が対称なデータにおける運動の積分であるための必要十分条件は、それが拡張された勾配流によって保持されることである。

2. 分析的アプローチ:

   • 新たな運動の積分が存在するための核心的な条件は、拡張された勾配の生成するスパンが、標準的な勾配の生成するスパンよりも厳密に小さいことである（式9）。もし拡張された勾配が標準的な勾配と同じ部分空間を生成する場合、新たな保存則は現れない。
   • 著者らは、2種類の損失関数を区別している：
     • 解析的な非多項式マージン損失: （例：ロジスティック損失、指数関数損失）。
     • 多項式損失: 特に平均二乗誤差（MSE）。
   • テンソル化可能なネットワーク (Tensorizable Networks): 多項式の場合、著者らは「テンソル化可能なネットワーク」と呼ばれるアーキテクチャのクラスを導入している。これらは、パラメータ $\theta$ と入力 $x$ への依存性が、リフトされた特徴空間 $H$ を介して $f_\theta(x) = M(\theta)T(x)$ と分離できるネットワークである。このクラスには、線形ネットワーク、多項式ネットワーク、および Lightning Attention のような特定の注意機構が含まれる。

主な貢献と結果

1. 解析的な非多項式損失における新たな保存則の不在

定理3 は、有限群であり、かつ解析的な非多項式マージン損失の場合、データの対称性は一般に新たな運動の積分を誘発しないことを確立している。

• メカニズム: この証明は、解析的な損失関数のテイラー展開に基づいている。損失が非多項式であるため、その微分には無限に多くの非ゼロ項が含まれる。緩やかな正則性仮定（仮定1：退化した等変な初期化を除外する）の下では、これらの無限の項がフルランクの線形システムとして機能する。これにより、群の軌道の個々の勾配方向を、拡張された（平均化された）勾配から線形に再構成することが可能になる。
• 含意: 拡張された勾配のスパンは、標準的な勾配のスパンと一致する。したがって、対称なデータの下で保存されるいかなる量も、任意のデータの下での訓練においても既に保存されている。つまり、データの対称性によって新たな制約は導入されない。

2. MSE損失を用いたテンソル化可能なネットワークにおける保存則の出現

定理4 は、テンソル化可能なネットワークを MSE損失 で訓練する場合、データの対称性が新たな運動の積分を作成できることを示している。

• メカニズム: 解析的な非多項式損失とは異なり、MSEは二次項と一次項のみによって決定される。これを群 $G$ にわたって拡張すると、これらの項はリフトされた特徴空間 $H$ に対する等変制約を課す。これにより、拡張された損失を保持する、リフトされた特徴空間 $H$ 上に作用する新たな対称群 $H$ が生成される。
• 連続的な対称性: 極めて重要な点として、たとえデータ対称性群 $G$ が離散的であっても、リフトされた特徴空間上の誘導された対称群 $H$ は連続的（例：直交群、ユニタリ群、またはシンプレクティック群）になり得る。
• 結果: ネットワークのパラメータ化がこの連続的な対称性を実現している場合（具体的には、パラメータブロック $P$ を回転させることが、要素 $H$ によってリフトされた空間に作用することと等価である場合）、列空間 (range) $P$ が運動の積分となる。すなわち、$P$ の範囲は勾配流に沿って保持される。

3. 対称群 $H$ の特性化

論文は、拡張された MSE 損失を保持する群 $H$ の詳細な代数的特性化を提供している（付録D）。

• $H$ は、$G$ 等変な対称作用素および $G$ 等変な線形写像のすべてと可換である直交行列の共通部分である。
• $H$ の構造は、リフトされた特徴空間の $G$ の既約表現への分解に依存する。これらの既約表現（irreps）の型（実、複素、または四元数）に応じて、$H$ は $O(n), U(n), Sp(n)$ といった連続的な因子を含む可能性がある。

例証

著者らは、理論的知見を2つの例で検証している。

1. 巡回対称性を持つ線形モデル: 巡回群 $C_3$ によって拡張されたデータで訓練された線形モデル。理論は、全要素が1のベクトルの直交補空間への重み行列の射影方向が保存されると予測している。実験の結果、拡張された勾配降下法ではこの量が一定に保たれる一方で、拡張なしでは大きくドリフトすることが確認された。
2. Lightning Attention: 右作用 $O(d)$ 拡張を用いて訓練されたシングルヘッド Lightning Attention。理論は、連結されたパラメータブロック $P = [Q, K, V]$ の列空間が保持されると予測している。数値実験では、拡張訓練においてはパラメータの列空間間の距離がほぼゼロに保たれるのに対し、標準的な訓練では距離が増大することが示された。

意義と主張

本論文は、いつデータの対称性が新たな最適化の制約をもたらすかについて、厳密な理論的境界を提供していると主張している。

• 汎用性 vs 特殊性: 本研究は、広範な解析的非多項式損失（一般的な分類問題で使用される）において、データの対称性が新たな保存則を作成しないことを明らかにしている。この現象は、多項式損失（MSEなど）および「テンソル化可能」なアーキテクチャに特有のものである。
• 新規性: 本研究は、離散的なデータの対称性がパラメータ空間における連続的な対称性を誘発し、標準的な訓練ダイナミクスには存在しない保存量（具体的には部分空間の保持）を生み出すメカニズムを特定した。
• 限界: 著者らは、自らの枠組みが特定の技術的仮定（解析性、テンソル化可能性）に依存しており、すべての新たな保存量をカバーすることを主張していないことを謙虚に述べている。また、すべての $H$-対称性がすべてのパラメータ化において実現可能であるわけではないことも認めている。

要約すると、本論文は、標準的な分類損失における勾配流の基本的な保存則をデータの対称性が一般に変えることはないものの、MSEで訓練されるテンソル化可能なネットワークにおいては、特定のパラメータブロックの幾何学的構造（列空間）を保持することによって、軌跡を根本的に制約し得ることを確立している。