技術要約：代数ネットワークとアーキテクチャの退化

問題提起

本論文は、単項式活性化関数を用い、バイアスを持たない多項式ニューラルネットワーク（PNN）の幾何学を調査するものである。ニューラルネットワークは通常、そのパラメータ空間を通じて分析されるが、その根本的な幾何学的対象は、実現写像（realization map）によるパラメータ空間から多項式空間への像のザリスキー閉包である「ニューロバリエティ（neurovariety）」である。

本研究が取り組む中心的な問題は、これらのニューロバリエティの**特異性（singularities）と、基礎となるネットワーク・アーキテクチャの退化（degenerations）**との関係である。近年の文献は、「関数空間における特異性は、ネットワークの構造的な退化（例：ランク不足の層や不活性なニューロン）に起因する」という指針を示唆している。本論文は、この原理を、全結合ネットワークに対して厳密な代数的枠組み（代数ネットワーク、サブネットワーク、およびアーキテクチャ退化軌跡の定義）を用いて形式化することを目指す。

手法

著者らは、アフィン多様体、群作用、および局所環論のツールを用いた代数幾何学の手法を採用している。手法は以下の構造的ステップに従う。

1. 代数ネットワークの枠組み:

   • 代数ネットワークは、三つ組 $X = (N, W, r)$ として定義される。ここで、$N$ はベクトル空間の列（層）、$W$ は既約な代数パラメータ空間（線形写像の部分集合）、$r$ は活性化次数ベクトルである。
   • 実現写像 $\Phi_X$ は、パラメータを多項式関数へと写像する。アフィン・ニューロバリエティ $F(X)$ は、$\Phi_X$ の像のザリスキー閉包である。
   • ネットワーク間の**射（morphisms）**は、線形層および活性化写像との互換性を保証するために厳密に定義され、ニューロバリエティ間の閉埋め込みを誘導する。

2. サブネットワークと退化:

   • サブネットワークは、隠れ層の写像がニューロンの部分集合によって生成される部分空間の包含であるという、圏論的な射として定義される。
   • アーキテクチャ退化軌跡（Architectural Degeneracy Locus） $D_{arch}(X)$ は、「フル（full）」ではないパラメータの像として定義される。パラメータが「フル」（$W^\circ$ に属する）であるとは、すべての重み行列が最大ランクであり、かつゼロの出力列を持つ隠れニューロンが存在しないことを指す。
   • $D_{arch}(X)$ は、少なくとも一つの退化した表現（ランク不足または不活性なニューロン）を許容する関数を表す。

3. 対称性と識別可能性:

   • 本論文は、隠れニューロンの置換および活性化次数と互換性のあるスケーリングによって生成される対称群 $G(X)$ を分析する。
   • アフィン商 $W(X) = \text{Spec}(\mathbb{C}[W]^{G(X)})$ を構成する。
   • **識別可能性（Identifiability）**は幾何学的に定式化される。すなわち、商パラメータ空間からニューロバリエティへの誘導写像が、零次元の一般ファイバーを持つとき、ネットワークは生成的有限識別可能（generically finitely identifiable）である。

4. 層ごとの再構成による正則性分析:

   • 核心となる技術的議論は、**層ごとの形式的再構成（layerwise formal reconstruction）**を含む。著者らは、ベクトル係数を伴う冪の和の分解をパラメータ化する補助的なパラメータ空間 $Q_{a,B,r}(E)$ を導入する。
   • （セカント・パラメータ化が完備局所環における同型を誘導する、という局所的な識別可能性のバージョンである）正則な三つ組（regular triples） $(a, b, r)$ を定義する。
   • これらの局所同型性の議論を層を越えて反復することにより、ニューロバリエティの点 $\Phi_X(w)$ における完備局所環と、商パラメータ空間の点 $[w]$ における完備局所環との間の同型を確立する。

主要な貢献

1. 特異性・退化原理の形式化

本論文は、ニューロバリエティの特異性とアーキテクチャの退化を結びつける精密な幾何学的枠組みを提供する。全結合ネットワークにおいて、幅が非増加である場合、ニューロバリエティの特異点集合はアーキテクチャ退化軌跡に含まれることを証明している。

2. アーキテクチャ退化軌跡の定義

著者らは、$D_{arch}(X)$ を、適切なランク制約を持つプロパーなサブネットワークのニューロバリエティの和集合の閉包として定義する。全結合ネットワークが緩やかな幅の条件を満たす場合、この軌跡は、退化した表現を許容する関数の集合と正確に一致することを証明している。

3. フル・パラメータに関する正則性定理

主要な結果の一つは、非減少の幅とスカラー出力を持つ全結合ネットワークにおいて、フル・パラメータ（最大ランクの行列とゼロ列を持たないもの）は、明示的な層ごとの正則性条件が満たされる限り、ニューロバリエティの**滑らかな点（smooth points）**へと写像されることである。したがって、特異性は退化したパラメータにおいてのみ発生し得る。

4. 正則な三つ組の分類

（局所的な再構成議論が成立する、すなわち三つ組が「正則」となる条件を分類する：

• 活性化次数 $r \ge 3$ の場合、三つ組は $a \ge b \ge 1$ であれば正則である。
• 活性化次数 $r = 2$ の場合、三つ組は $a = b$ であれば正則である。）

5. 識別可能性および簡約性との関連

著者らは、「良質なパラメータ」（微分写像の核がリー環の作用に等しい点）の存在が、生成的有限識別可能性と等価であることを示している。さらに、全結合で生成的有限識別可能なネットワークは**簡約（reduced）**である（そのニューロバリエティは、適切なランク制約を持つプロパーなサブネットワークによって実現されることはない）ことを証明している。

主な結果

定理 35 (主定理):
$X$ を、非減少の幅とスカラー出力を有する全結合ネットワークとする。すべての層 $t$ について、活性化次数 $r_t \ge 3$ であるか、あるいは ($r_t = 2$ かつ $\dim N_t = \dim N_{t+1}$) であると仮定する。
もし $\Phi_X(w)$ がニューロバリエティの特異点であるならば、パラメータ $w$ は以下のいずれかを含まなければならない：

1. 最大ランクではない行列、または
2. ゼロ列を持つ行列。

さらに、これらの条件下では、ネットワーク $X$ は簡約であり、かつ生成的有限識別可能である。

系:
このようなアーキテクチャにおいて、ニューロバリエティの特異点集合は、アーキテクチャ退化軌跡 $D_{arch}(X)$ の中に厳密に含まれる。 「良質な」パラメータ（$W^\circ$ 内のパラメータ）は、多様体の滑らかな点に対応する。

意義と主張

本論文は、ニューロバリエティの特異性がアーキテクチャの退化から生じるという原理の最初の形式的な事例を提供すると主張している。

• 理論的貢献: 単一層の分析を超えて、ディープアーキテクチャへと展開し、幾何学的性質（特異性、滑らかさ）と学習理論的概念（識別可能性、簡約性、サブネットワーク）の間の辞書を確立している。
• 範囲: 本フレームワークは意図的に一般的であり、形式的なメカニズムと、扱われる全結合の場合を分離している。著者らは、代数ネットワーク、サブネットワーク、および商パラメータ空間の言語が、畳み込み、等変、またはテンソルネットワーク・モデルなどの他のアーキテクチャにも適応できることを期待している。
• 謙虚さ: 本論文は、新しい学習アルゴリズムや実験的検証を提案するものではない。代わりに、多項式ニューラルネットワークにおいて、いつ、なぜ特異性が発生するかについての厳密な幾何学的特徴付けを提供し、統計的および最適化の特性を代数幾何学的不変量に根付かせている。