Optimal Sobolev Approximation by Deterministic and Random Shallow Sigmoidal Networks

技術要約：決定論的およびランダムな浅層シグモイド・ネットワークによる最適なソボレフ近似

問題提起
本論文は、標準的な滑らかなシグモイド活性化関数（$\tanh$、ロジスティック・シグモイド、$\text{erf}$ など）を用いた浅層ニューラルネットワークにおける、数学的理論の根本的な欠落に対処している。隠れパラメータ（方向およびオフセット）が最適化された場合には、浅層ネットワークが最適な近似率を達成できることは既知であるが、これらの隠れパラメータが決定論的に固定されている場合、あるいは独立にサンプリングされる場合に、同様の率が保持されるかどうかは未解決のままであった。既存の文献の多くは、ReLU活性化関数や特定のフーリエ・モーメント・クラスに焦点を当てており、高次元における滑らかなシグモイド特徴量の完全な正則性依存型ソボレフ階層は確立されていない。著者らは、このようなネットワークが、特徴量数 $M$ に対して誤差が $M^{-(k-m)/d}$ で減衰する $H^k(\Omega)$ の関数を $H^m(\Omega)$ ノルムにおいて近似できるかどうかを明らかにすることを目的としている。

手法
著者らは、積分表現理論、決定論的キューバチャ（数値積分）、および確率的集中不等式を組み合わせた統一的なフレームワークを開発した。

1. シグモイド・リッジ表現: 解析の核となるのは、帯域制限関数の連続的なリッジ表現である。フーリエ・スライス定理とデコンボリューション（逆畳み込み）の議論を利用することで、ターゲット関数 $f$（領域 $\Omega$ からの拡張）を、方向 $\omega \in S^{d-1}$ およびオフセット $b$ に関する積分として表現する。この表現は、活性化関数の内部パラメータの特定のスケーリング $\sigma_N$ に依存しており、これは活性化関数の導関数が関連する周波数帯において非退化であることを保証するように選択されている。
2. 離散化戦略:
   • 決定論的な場合: 連続的な積分を、一様オフセット求積法と球面デザイン（spherical designs）の組み合わせを用いて離散化する。方向は等重みの球面デザイン・ノードとして選択され、オフセットは一様に配置される。解析では、エイリアシングとテール誤差を制御するために、活性化関数のシュワルツ級数の減衰特性を活用する。
   • ランダムな場合: パラメータは、ゼロから離れた密度を持つ分布から独立にサンプリングされる。著者らは、ランダム行列の集中（具体的には、i.i.d. サンプルに対するグラム行列の集中）を用いて、離散サンプリング演算子が確率的に高い精度で安定かつ可逆であることを証明する。これにより、連続積分を近似するための有界な積分重みの構成が可能となる。
3. 誤差解析: 全誤差は、近似誤差（帯域制限によるもの）、離散化誤差（求積および球面デザインによるもの）、およびテール誤差（物理的および角度的）に分解される。特定のスケールパラメータ $\sigma_N$（対数補正、例えば $\sqrt{\log N}/N$ を含む）の選択により、すべての誤差項が超代数的、あるいは最適な代数的率で減衰することを確立する。

主要な貢献と結果

• 最適な決定論的レート: 本論文は、$M$ 個の特徴量からなる決定論的なディクショナリを構築し、任意の $u \in H^k(\Omega)$ に対して、近似関数 $v_M$ が以下を満たすことを示す：
  $$\|u - v_M\|_{H^m(\Omega)} \lesssim M^{-(k-m)/d} \|u\|_{H^k(\Omega)}$$
  ここで $0 \le m \le k$ である。このレートは、ソボレフ球のコルモゴロフ幅の下界と一致しており、同次元のすべての線形空間における最適性を証明している。出力係数は、解像度に対して高々多項式的に増大する。

• ランダム特徴量のレート: 著者らは、もし隠れパラメータがゼロから離れた密度から独立にサンプリングされるならば、対数的なオーバーサンプリング因子を除いて、同じ近似指数が高確率（$1-\delta$）で達成可能であることを証明した：
  $$\|u - v_M\|_{H^m(\Omega)} \lesssim \left( \frac{M}{\log(M/\delta)} \right)^{-(k-m)/d} \|u\|_{H^k(\Omega)}$$
  この結果は、$\tanh$、ロジスティック・シグモイド、および $\text{erf}$ を含む活性化関数に対して成立する。

• 係数境界: 決定論的およびランダムな設定の両方において、出力係数がネットワーク幅に対して多項式的に増大するように選択できることを確立しており、これにより数値的安定性が確保され、解の爆発的な増大が防止される。

• 数値検証: 理論的予測は、次元 $d=2, 3, 10$ および様々なターゲット正則性（$k=2$ から $20$）にわたる数値実験を通じて検証された。実験は、決定論的およびランダムなディクショナリの両方について、$L^2$および高次のソボレフノルム（$H^1, H^2$）における予測された代数的収束勾配を裏付けている。

意義と主張
本論文は、一般次元における、独立にサンプリングされた標準的な滑らかなシグモイド活性化関数を用いた、完全な正則性依存型ソボレフ近似階層を初めて理論的に確立したと主張している。ReLUネットワークとは異なり、ReLUは活性化関数の滑らかさの次数を超えて微分を近似する際に適合性の喪失が生じるが、提案された滑らかなシグモイド構成は、そのような損失なしに、任意の指定された有限のターゲット正則性に適応する。

本研究は、固定された特徴量を用いるネットワーク（物理情報ニューラルネットワークや極限学習マシンで使用される）の計算上の有用性と、厳密な近似理論との間の溝を埋めるものである。ランダムサンプリングが（対数因子を除いて）決定論的な構成と同等の最適なレートを保持することを証明することで、本論文は、高次元の偏微分方程式（PDE）の離散化や関数近似におけるランダム特徴量法の有効性に理論的な正当性を与えている。これらの結果は、「ランダム特徴量法」が単なるヒューリスティックではなく、最適に調整された決定論的ディクショナリに匹敵する最適な近似能力を備えていることを裏付けている。