Sharp Sobolev Sandwich and Approximation Rates of Radon-Domain $L^p$ Ridge Integral Spaces for ReLU$^k$ Networks

技術要約：シャープなソボレフ・サンドイッチ、およびラドン領域における $L^p$ リッジ積分空間の近似率について

1. 問題設定

本論文は、ReLU$^k$ 活性化関数（$\sigma_k(x) = \max\{0, x\}^k$）を用いた浅いニューラルネットワークの定量的近似理論を扱っている。定性的な普遍近似定理は確立されているものの、特定のターゲットクラス（ソボレフ空間など）の関数を特定の精度で近似するために必要なニューロン数を正確に決定することは、依然として中心的な課題である。

具体的には、著者らは以下の事項を追求している：

1. ラドン領域における $L^p$ 係数密度によって生成される関数空間の特性評価。
2. これらのラドン領域の空間と、古典的なソボレフ空間 $W^{s,p}(\Omega)$ との間の正確な関係の確立。
3. 決定論的な補間およびランダムサンプリングを用いて、これらの積分表現を離散化する際の、シャープな近似率の導出（特に $L^p$ レジーム $1 < p < \infty$ およびヒルベルト空間のケース $p=2$ において）。

2. 手法

著者らは、ラドン変換および**フーリエ積分作用素（FIO）**理論に基づいたフレームワークを採用している。

• ラドン領域表現： 核となる対象は、有界なバイアス窓 $M_R = S^{d-1} \times [-R, R]$ 上の $L^p$ 密度 $g(w, b)$ に対して作用するリッジ積分作用素 $S^k_R$ の像として定義される空間 $RL^p_k(\Omega)$ である。積分は次のように与えられる：
  $$S^k_R g(x) = \int_{M_R} \sigma_k(w \cdot x - b) g(w, b) \, d\lambda(w, b)$$
• 解析および合成作用素： 本論文では、ラドン変換、ランプフィルタ、および $(k+1)$ 次の微分を含む解析作用素 $A_k$ と、合成作用素 $S^k_R$ を定義している。これらの作用素と標準的な密度 $g_u = A_k u$ との関係が、理論の中心である。
• フーリエ解析 ($p=2$)： ヒルベルト空間のケースにおいて、著者らは初等的なフーリエ解析とプルンシェルの定理を用い、ラドン領域の $L^2$ 空間と臨界ソボレフ空間 $H^{s_k}(\Omega)$ との間の正確な等長性を確立している。
• FIO の正則性 ($1 < p < \infty$)： 一般の $p$ については、正確な等長性は成立しない。著者らは、フーリエ積分作用素の理論、特に Seeger–Sogge–Stein 定理 を用いて、$L^p$ 空間上のラドン変換とその双対作用素の正則性を分析している。これにより、「損失」項 $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ が導入される。
• 離散化： 積分表現を、決定論的な補間スケルトンとニューロンの一様ランダムサンプリングの組み合わせを用いて離散化し、確率的な近似境界を導出している。

3. 主要な貢献と結果

A. ラドン領域の $L^p$ 空間とソボレフ・サンドイッチ
本論文は $RL^p_k(\Omega)$ を定義し、「ソボレフ・サンドイッチ」埋め込み定理を証明している。$p=2$ の場合に空間がソボレフ空間と正確に一致するのに対し、$p \neq 2$ では、ラドン領域の空間は Seeger–Sogge–Stein による損失によって決定されるギャップを伴って、2つのソボレフ空間の間に挟み込まれる。

• 定理 3.3 (ソボレフ・サンドイッチ):
  $$W^{s_{k,p}, p}(\Omega) \hookrightarrow RL^p_k(\Omega) \hookrightarrow W^{r_{k,p}, p}(\Omega)$$
  ここで、滑らかさの指数は以下の通りである：
  $$s_{k,p} = k + \frac{d+1}{2} + \delta_p, \quad r_{k,p} = k + \frac{d+1}{2} - \delta_p$$
  ただし $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ である。
  • $p=2$ のとき、$\delta_2 = 0$ であり、サンドイッチは正確な恒等関係 $RL^2_k(\Omega) = H^{s_k}(\Omega)$ に収束する。
  • ギャップ $s_{k,p} - r_{k,p} = 2\delta_p$ は最適であることが証明されており、これより小さいギャップを持つ連続な埋め込みは存在しない。

B. 正確な $L^2$ 等長性
$p=2$ の場合、本論文は初等的なフーリエ解析による証明（定理 2.2）を提供し、$RL^2_k(\Omega)$ が、重みとバイアスのパラメータを球面上ではなく円筒上で明示的に分離した、臨界ソボレフ空間 $H^{s_k}(\Omega)$ と同値なノルムを持つことを示している。これは、ReLU$^k$ ネットワークの再生核ヒルベルト空間（RKHS）に関する既知の結果を回収し、明確化するものである。

C. 近似率
著者らは、線形化されたニューラルネットワークに対して、積分表現を離散化することで高確率の近似率を得ている。

• 定理 4.1: 任意の $u \in RL^p_k(\Omega)$ に対して、以下の近似誤差を持つ係数が存在する：
  $$\|u - f_n\|_{L^p} \leq C (\log(2/\delta))^{\alpha_p} \|u\|_{RL^p_k} n^{-\alpha_p - \gamma_{k,p}}$$
  ここで $\gamma_{k,p} = \frac{k+1/p}{d}$ および $\alpha_p = 1 - \frac{1}{\min(p, 2)}$ である。
• 最適なヒルベルト率: $p=2$ のとき、この率は $O(n^{-s_k/d})$ に簡略化され、従来のランダム特徴量解析に見られる対数因子を含まずに、臨界ソボレフ空間 $H^{s_k}(\Omega)$ に対する情報理論的な最適レートを回収する。

4. 意義と主張

本論文は、ラドン変換の観点から、浅い ReLU$^k$ ニューラルネットワークの近似能力を理解するための、統一的かつシャープな理論的枠組みを提供すると主張している。

• 正則性の明確化： 本研究は、活性化関数の正則性（$k+1$ 個の微分に寄与）と、ラドン変換の逆投影（$L^2$ では $\frac{d-1}{2}$ 個の微分、または $L^p$ では $\frac{d-1}{2} - \delta_p$ 個の微分に寄与）が、どのように共同して表現可能な関数の臨界的な滑らかさを決定するかを明らかにしている。
• 境界のシャープさ： $L^p$ レジームにおけるギャップの正確なメカニズムとして Seeger–Sogge–Stein の損失を特定することで、本論文は導出されたソボレフ・サンドイッチがシャープであることを確立している。これは、ヒルベルト的な（$p=2$）設定から一般的な $L^p$ 設定へ移行する際に、どの程度の正則性が失われるかという問題を解決するものである。
• 最適レート： 導出された $p=2$ における近似率は、浅いネットワークの既知の最適レートと一致しており、固定された適切に分布されたパラメータを持つ線形化ニューラルネットワークが、臨界ソボレフ空間に対する情報理論的限界に到達できることを裏付けている。

著者らは、これらの結果が $L^2$ のケースについては初等的なフーリエ解析から、$L^p$ のケースについては確立された FIO 理論から導出されており、精密な定数とシャープな指数を提供しながらも、複雑な機構を必要としないことを強調している。本研究は、積分表現理論、調和解析、およびニューラルネットワーク近似の定量的理論の間の架け橋となるものである。