On the Stable Euclidean Distance Degree of Algebraic Layers

技術要約：代数レイヤーにおける安定なユークリッド距離次数について

問題提起
本論文は、多項式活性化関数によって誘導される写像の族、すなわち代数ニューラルレイヤーの射影幾何学を調査するものである。研究の中心的対象は、関連する「ニューロバリエティ（neurovarieties）」の**生成的ユークリッド距離次数（generic Euclidean Distance degree; gED）**である。gEDは、一般的な計量に関する、周囲空間の一般点に対する最適近似の数を測定する射影不変量である。ユークリッド距離（ED）次数は計量に依存する不変量であるが、十分に一般的なスカラー積に対してはその値は安定し、極類（polar classes）の総和に等しい射影不変量となる。

本研究が扱う具体的な問題は、入力空間および出力空間の次元が変化する一方で、アーキテクチャの幅および活性化多項式の次数が固定されている場合の、浅いニューラルネットワーク（単一隠れ層）におけるgEDの振る舞いである。先行研究[9]では、出力次元が変化する場合のgEDの閉じた公式が提供されていたが、一般的な多項式活性化関数について、入力次元と出力次元の両方に関する安定した関数的性質は未解決のままであった。

手法
著者らは、代数幾何学に基づいた一様な交差理論的アプローチを採用している。その手法は以下のステップで進行する。

1. 幾何学的実現： 代数ニューラルレイヤーにおける関数の集合を、特定のセグレ様積の$k$番目の割団多様体（secant variety）として実現する。本論文は、活性化多項式のサポートが固定されている場合、サポートが同一であれば、関連する多様体は特定の係数に関わらず射影的に同値であることを確立している。
2. ナッシュ・ブローアップ（Nash Blow-up）と分解： これらの多様体の特異点を扱うために、著者らはナッシュ・ブローアップを利用する。著者らは、ニューロバリエティ $X_S$ の特異性の分解 $Z_S$ を、グラスマン多様体の積 $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$ 上の射影束として構成する。この空間は、レイヤーを定義するランク$k$の線形写像とその核（kernel）および像（image）をパラメータ化する。
3. チェルン・マザー類と極次数： gEDは、多様体のチェルン・マザー類を用いて表現される（定理 2.18）。ナッシュ・ブローアップを用いることで、著者らはこれらの類を $B_S$ 上のトートロジー束（tautological bundles）に関連付ける。これにより、gEDの計算は $B_S$ 上の交差数（積分）へと還元される。
4. 平衡局在化（Equivariant Localization）： これらの積分を評価し、多項式性を証明するために、著者らは平衡局在化の手法を適用する。グラスマン多様体上の代数トーラスの作用を考慮する。積分は、この作用の固定点上の有限和として表現される。
5. シューベルト計算と安定化： 著者らは、シューベルト計算を用いて被積分体の構造を分析する。交差数に寄与するシューベルト類の次数の一様な境界を確立することにより、次元が十分に大きい場合、活性化多項式の特定のサポートは無関係となり、その次数のみが重要であることを示す。

主要な貢献と結果

• 安定な多項式性（定理 4.5）： 主要な結果は、固定されたレイヤー幅 $k$ および固定された活性化次数 $r$ に対して、生成的ユークリッド距離次数 $gED(m, n, S, k)$が、最終的に入力次元$n$と出力次元$m$の多項式関数によって与えられることを確立している。これは、$\max(S) = r$である任意の有限な活性化多項式のサポート$S$に対して成立する。この証明は、局在化公式が重みの対称和を導き、それが大きな$N$ に対して変数の数に関する多項式であることが知られているという事実に依拠している（命題 A.1）。
• 単項式ケースへの還元（定理 5.4）： 第二の主要な結果は、gEDが活性化多項式の具体的な単項式サポートではなく、その次数にのみ依存することを証明している。具体的には、十分大きな次元において、一般的な多項式活性化 $P$ を持つレイヤーのgEDは、単項式活性化 $z^{\deg(P)}$ を持つレイヤーのgEDと同一である。
  • これは、異なるサポート間の交差積分間の差が、安定範囲において消滅する高余次元のシューベルト類を含むことを示すことで達成される（補題 5.1 および 5.2）。
  • これは、計算目的のための劇的な簡略化を意味する。すなわち、複雑な多項式活性化を単純な単項式に置き換えても、漸近的な代数的複雑性（gED）を変えることなく扱えるということである。
• 明示的な交差公式： 本論文は、トートロジー束のチェルン類を含むグラスマン多様体の積上の積分として、gEDを表現する枠組みを提供している（注釈 4.2）。この定式化は、活性化関数の特定の係数には依存せず、関わる対称冪の次元のみに依存する。

意義と主張
本論文は、特定のケースを超えて、ニューロバリエティの射影幾何学を一般的な安定領域へと拡張することを主張している。安定な多項式性を証明することで、本研究は、構造的パラメータを固定したまま周囲の次元が増大するという、ガウスモデルや完全二次形式の多様体上のシューベルト計算を通じた半正定値計画法[11]との類似性を伴う、より広いパラダイムの中に、代数ニューラルレイヤーの代数的複雑さを位置づけている。

単項式ケースへの還元は、重要な理論的簡略化として強調されている。これは、距離関数の臨界点の数を測る指標である生成的ED次数を計算する目的において、活性化関数の具体的な代数的構造（次数を除く）は、安定限界においては影響を与えないことを示唆している。これにより、研究者は浅いニューラルネットワークの漸近的な代数的複雑性を研究する際、単項式モデルに焦点を当てることが可能となる。

本研究は、ナッシュ・ブローアップ、チェルン・マザー類、および平衡局在化を含む、交差理論の標準的な道具を、代数ニューラルレイヤーの特定の幾何学に対して体系的に適用している。新たな実験的応用や将来的なアルゴリズムの実装を提案するものではなく、むしろこれらのモデルの表現力と幾何学的複雑性を分析するための理論的基礎を固めるものである。