On the Geometry and Optimization of Polynomial Convolutional Networks

技術的要約：多項式畳み込みニューラルネットワークの幾何学と最適化について

問題提起
ディープニューラルネットワークは、そのパラメータが変化するにつれて、「ニューロマニホールド（神経多様体）」として知られる関数空間を定義する。この多様体の幾何学的性質を理解することは、学習がこの多様体上の関数距離の最小化に対応することを考えると、学習ダイナミクスを分析する上で極めて重要である。代数幾何学は、全結合多項式ネットワークや線形CNNに対して適用されてきたが、**単項式（多項式）活性化関数を持つ畳み込みニューラルネットワーク（CNN）**の幾何学的性質については、依然としてほとんど解明されていない。具体的には、パラメータ化の正則性、結果として得られるニューロマニホールドの次元と次数、特異性の性質、および最適化中に生じる臨界点の数に関する包括的な理解が不足している。

手法
著者らは、多項式CNNのニューロマニホールドを分析するために、射影幾何学および双有理幾何学に焦点を当てた代数幾何学のツールを用いている。

• パラメータ化の分析： 本研究では、スケーリングの対称性を除去するために、プロジェクト空間内でフィルタのパラメータを再スケーリングの観点から扱う。
• 因子分解： 多項式CNNのパラメータ化写像を、線形射影とセグレ・ヴェロンデ（Segre–Veronese）埋め込みへと因子分解する。これは、畳み込みが多項式の乗算として言い換えられること、および単項式活性化を伴う層の合成が対称冪のテンソル積に対応するという事実を利用している。
• 不変量： 表現力を測定するために、ニューロマニホールドの次元と次数を算出する。また、外部の点から多様体への距離関数の臨界点の数を数える代数的不変量である**ユークリッド距離次数（EDD）**を利用して、臨界点の数を抑え込む。
• 複素化： 代数幾何学の全能力を活用するために、結果は主に複素係数（$\mathbb{C}$）上で導出されているが、著者らはほとんどの結果が実数体（$\mathbb{R}$）にも拡張可能であることを示している。

主な貢献と結果

1. 正則性とパラメータ化の同型性：
   本論文は、フィルタの再スケーリングを除けば、多項式CNNのパラメータ化写像は正則（微分が最大ランクを持つ）であり、かつほとんど至る所で同型（双有理）であることを証明している。

   • 意義： これは、大きなファイバー（核）やパラメータ化における臨界点が存在し、冗長性を生じさせることが多い全結合ネットワークとは対照的である。多項式CNNの場合、パラメータはほとんど至る所で、関連する関数と一対一の正則な対応関係にある。
   • 特異性： 非単一のファイバー（特異性）は、特定の重みがゼロになる「サブネットワーク」からのみ生じる。これらの特異性は、幾何学的に単純な**ノードル（結節点）**型である。

2. ニューロマニホールドの次元と次数：
   著者らは、ニューロマニホールドの次元と次数の明示的な公式を導出している：

   • 次元： 層の数（$L$）に対して線形に増加する。具体的には、$\dim = |k| - L + 1$ である（ここで $|k|$ はフィルタサイズの総和）。
   • 次数： 深さに対して**（超）指数関数的**に増加する。
   • 含意： これは、深層学習の重要性に対する幾何学的な説明を提供している。すなわち、深いネットワークは低次元性を維持しつつ（学習のためのサンプル複雑性が低いことを示唆）、周囲の関数空間を効率的に埋める（高い表現力を示唆）という性質を持つ。

3. ザリスキー位相における閉包性：
   多項式CNNのニューロマニホールドは、ザリスキー位相において閉代数多様体（したがってユークリッド位相においても閉）であることが証明されている。これにより、多様体は漸近的な極限を含むことが保証される。これは線形CNNでは必ずしも成立しない性質である。

4. 最適化と臨界点：
   一般的な大規模データセットに対して、二乗誤差回帰損失は、ニューロマニホールド上の距離最小化問題として再構成される。

   • セグレ・ヴェロンデ多様体のユークリッド距離次数の理論を用いて、著者らは損失関数の（複素）臨界点の数を上界とする明示的な公式を導出している。
   • パラメータ化が正則であるため、この境界は（スケーリングを除いた）パラメータ空間における臨界点にも適用される。
   • 分析によれば、ニューロマニホールドの特異点（ゼロ関数を除く）は、一般的な設定において距離関数の臨界点にはならない。これは、典型的なシナリオにおいて、それらが勾配降下法の安定した平衡点として機能しないことを示唆している。

意義と主張
本論文は、多項式CNNモデルのパラメータ化とニューロマニホールドの両方を包括的に記述した最初の研究であると主張している。パラメータ化が正則かつ双有理であることを確立することで、本研究は、多項式CNNが「最適な方法でパラメータ化されている」ことを示唆しており、他のアーキテクチャに見られる冗長性を回避している。

導出された次元と次数の公式は、なぜ深層ネットワークが効果的なのかという問いに対し、幾何学的な解釈を与えるものである。すなわち、低次元性による「低いサンプル複雑性」と、高次数による「高い表現力」のバランスをとっているのである。さらに、ユークリッド距離次数を用いた臨界点の明示的な境界値は、これらの特定のアーキテクチャにおける最適化ランドスケープの複雑さを定量化するための理論的ツールを提供する。

著者らは、自らの結果が多項式活性化関数に特有のものであることを注記しているが、代数幾何学を用いた手法は、多項式近似を通じて非多項式ネットワーク（ReLUなど）にも拡張できる可能性があるが、これは現在の結果ではなく、今後の研究課題であるとしている。