Sharp Sobolev Approximation on General Domains by Linearized Shallow Networks with Analytic Activations

技術要約：解析的活性化関数を用いた、線形化浅層ネットワークによる一般領域におけるシャープなソボレフ近似

問題設定
本論文は、有界領域 $\Omega \subset \mathbb{R}^d$ におけるソボレフ空間 $H^r(\Omega)$ の関数を、線形化された浅層ニューラルネットワークを用いて定量的に近似する問題に取り組んでいる。線形化の設定では、内部パラメータ（重みとバイアス）はターゲットとなる関数 $f$ に依存せず、事前に固定されており、外部係数のみが最適化される。目標は、次元 $n$ の固定された特徴空間 $\mathcal{mathcal{L}}_n$ を構築し、最良近似誤差が以下のシャープなレートを満たすことである：
$$\inf_{g \in \mathcal{L}_n} \|f - g\|_{L^2(\Omega)} \lesssim n^{-r/d} \|f\|_{H^r(\Omega)}$$
ここで $r > 0$ である。ReLU$^k$ のような同次的な活性化関数については、径方向のスケーリング引数を通じて最適なレートが知られているが、非同次的な解析的活性化関数（$\tanh$ やシグモイドなど）を一般的なユークリッド領域に拡張することは困難であった。［32］における有限差分法のような既存の構成法は、解像度に対してパラメータのスケールが階乗的に減少することを要求する場合が多く、数値的に不安定で、密集した特徴集合を招く。本研究は、パラメータ集合が固定された区間に分散したままの状態を維持しつつ、解析的活性化関数に対してシャープな近似レートを確立することを目指している。

手法
著者らは、一次元近似理論と高次元線形化ネットワークを橋渡しするために、以下の3段階の手法を用いている。

1. 一次元構成： コアとなる技術的ステップは、有界区間上の解析的活性化関数に対するシャープなジャクソン型の評価である。著者らは、バイアスに対して**準チェビシェフ（quasi-Chebyshev）**パラメータ集合（チェビシェフノードのビ・リプシッツ像）を利用する。解析的活性化関数が、そのテイラー係数に関して定量的な非打ち消し条件（具体的には $|\sigma^{(k)}(0)|/k! \geq C \rho^{-k}$）を満たす場合、シフトされた活性化関数のスパンが、$m$ 個の特徴を用いて最適なソボレフ近似次数 $m^{-(r-s)}$ を達成することを証明する。

   • $\tanh$ については、テイラー係数の条件を回避するために、有理変換を利用する。問題を $1/(1+\omega t)$ の形の有理関数が張る空間へと写像し、パラメータ $\omega$ が準チェビシェフ集合を形成するようにすることで、解析的枠組みの適用を可能にする。

2. リッジ関数へのリフティング： 一次元の結果を $d$ 次元に拡張するため、本論文はリッジ関数・リフティング定理を利用する。[37] の研究に基づき、著者らは球面上 $S^{d-1}$ の任意の**準一様（quasi-uniform）**な方向集合に対してリフティングの議論を一般化している。この定理は、もし一次元の空間 $X_m$ が区間上の関数をレート $m^{-q}$ で近似するならば、準一様な方向集合からなるリッジ関数によって生成されるテンソル積空間は、ドメイン上の関数をレート $m^{-(q + (d-1)/2)}$ で近似することを述べている。

3. 補間および実補間： 証明は、準チェビシェフ点上で構築された最小二乗補間作用素に依拠している。著者らは、補間の安定性を確保するために、これらの点においてサンプリングされた余弦多項式に関するマルチンゲール・ジグムンド不等式を確立している。全範囲の滑らかさ $r > 0$（特に $r \leq (d-1)/2$ の場合を含む）を扱うために、$L^2$ 推定値と、リフティング定理から導出される高次滑らかさのソボレフ推定値との間の実補間を用いている。

主要な貢献と結果

• 解析的活性化関数のためのシャープなレート： 本論文は、テイラー係数に関する非打ち消し条件を満たす解析的活性化関数（$\tanh$、シグモイド、arctan、および特定の有理関数を含む）に対して、準チェビシェフバイアスと準一様な方向を用いた線形化浅層ネットワークが、$L^2$ ノルムにおいてシャープな近似レート $n^{-r/d}$ を達成することを証明している。
• 固定区間パラメータ幾何学： 主要な貢献は、パラメータが代数的な分離を保ちながら固定された区間に分散し続けるようなパラメータ集合の構成である。これは、実現条件を満たすためにパラメータのスケールを階乗的に縮小させる必要がある［32］の有限差分構成とは対照的である。提案された準チェビシェフ集合は、このような密集を回避しており、実用的な計算に適している。
• リフティング定理の一般化： 本研究は、リッジ関数・リフティング定理を特定の求積点から任意の準一様な方向集合へと拡張し、最適なレートが一次元パラメータの解像度と方向の準一様性にのみ依存することを実証している。
• 条件の検証： 著者らは、必要な非打ち消し条件の検証を行っている。$\tanh(x + q\pi/2)$ （$q$ が有理数で $q \notin \{0, \pm 1\}$）の場合、ニヴェンの定理やゲルフォンド＝シュナイダーの定理といった代数的数のディオファントス近似の性質を利用して、テイラー係数が消失せず、かつ必要な下界を満たすことを示している。

意義と主張
本論文は、活性化関数の同次性（$\tanh$ やシグモイドには存在しない）に依存することなく、一般の領域における解析的活性化関数のシャープな線形化近似空間の構成を解決したと主張している。問題を多次元のシャープな一次元ジャクソン推定と積型のリフティングへと還元することで、著者らは、規定されたパラメータ集合を用いて最適なレート $n^{-r/d}$ が達成可能であることを示している。

その意義は、提案されたパラメータ集合の幾何学的安定性にある。理論的なレートを実現するために極端なパラメータのスケーリングを必要とする従来の手法とは異なり、本研究はパラメータが固定された区間に分布する構成を提供している。著者らは、近似指数や滑らかな活性化関数のクラス自体は広範な文献において新しいものではないが、具体的な貢献は、規定された準チェビシェフ特徴幾何を固定区間上に構築したこと、およびそれを任意の準一様な方向を通じて正常にリフティングしたことにあると述べている。最後に、得られる特徴行列の定量的コンディショニングについては、今後の調査における未解決の課題として挙げており、数値的な実装の詳細については控えめな範囲に留めている。