The Sample Complexity of Learning Lipschitz Operators with respect to Gaussian Measures

技術的要約：ガウス測度に関するリプシッツ作用素の学習におけるサンプル複雑性

問題提起
本論文は、無限次元の可分ヒルベルト空間 $X$ および $Y$ の間のリプシッツ連続な作用素（リプシッツ作用素）を学習（近似）することの理論的な限界について扱う。具体的には、中心化された非退化ガウス測度 $\mu$ から得られる $m$ 個の任意の線形サンプルを用いて作用素を再構成する際の、最小達成可能な最悪ケースの $L^2_\mu$ 近似誤差、すなわちサンプル複雑性を調査している。ニューラルオペレーター（DeepONetやFNOなど）は経験的な成功を示しているが、非正則（non-holomorphic）な作用素、特にリプシッツ作用素に対する収束率の理論的な理解は不完全である。先行研究では、有界リプシッツ作用素に関する「次元の呪い」または「パラメータ複雑性の呪い」の結果が示されているが、本論文は、一般的なガウス測度における、潜在的に非有界なリプシッツ作用素へとこの分析を拡張している。

手法
著者らは、無限次元解析、情報ベース複雑性（IBC）、および近似理論のツールを用いている。手法は以下の3つの主要な段階で進行する。

1. 関数解析と正則性： 著者らは、一連の正の有界な重み $b$ を用いて、重み付きガウス・ソボレフ空間 $W^{1,2}_{\mu,b}(X;Y)$ を定義する。彼らは、リプシッツ作用素の空間 $\text{Lip}(X;Y)$ がこのソボレフ空間に連続的に埋め込まれることを証明する。この埋め込みにより、リプシッツ作用素をウィーナー・エルミート多項式展開（PC展開）によって特徴付けることが可能になる。これらの展開係数は、重み付き $\ell^2$ 空間に属することが示される。ここで、重みは $\mu$ の共分散作用素のPCA固有値と数列 $b$ に依存する。

2. 多項式近似解析： $\ell^2$ 特徴付けを用いて、本論文ではエルミート多項式を用いたこれらの作用素の最良 $s$ 項近似を分析する。展開係数を関連する重みに基づいて順序付けることで、著者らは項数 $s$ の関数としての近似誤差に関するタイトな上限および下限を導出する。

3. 情報ベース複雑性（IBC）フレームワーク： 本研究は、多項式近似から、任意の $m$ 個の線形サンプル（適応的である可能性を含む）に基づく任意の再構成戦略へと一般化する。著者らは、適応的 $m$-幅 $\Theta_m(K)$ を定義する。これは、適応的なサンプリング作用素 $L$ によって生成される $m$ 個のサンプルが与えられたときの、最小の最悪ケース誤差を定量化するものである。著者らは、ゲラント幅、コルモゴロフ幅、および適応的圧縮幅の間の双対関係を利用して、この量の下限を確立する。

主な貢献と結果

• リプシッツ作用素の埋め込み： 本論文は、リプシッツ作用素がガウス・ソボレフ作用素であることを証明している（定理 2.11）。具体的には、$b$ が特定の可和条件（例：$Y$ が無限次元の場合 $b \in \ell^2$）を満たすとき、$\text{Lip}(X;Y) \subset W^{1,2}_{\mu,b}(X;Y)$ である。この結果は、無限次元ガウス設定におけるラデマッハーの定理を一般化したものである。

• パラメータ複雑性の呪い： 著者らは、PCA固有値のスペクトル減衰に関わらず、いかなる $s$ 項エルミート多項式展開も、$s \to \infty$ においてすべてのリプシッツ作用素に対して代数的な収束率を一様に達成することはできないことを示している（定理 3.5）。誤差の減衰は、固有値が十分に速く（例：二重指数関数的に）減衰する場合、任意の代数的レートに限りなく近づけることはできるが、クラス全体に対して一様に代数的レート $O(s^{-\alpha})$ を厳密に達成することはできない。

• 適応的 $m$-幅の特性付け： 中心的な結果（定理 4.4）は、リプシッツ作用素およびソボレフ作用素の両方の単位球に対する適応的 $m$-幅のタイトな特性付けを提供している。最小の最悪ケース誤差は、順序付けられたエルミート係数の $(m+1)$ 番目に大きい重み $u_{\pi(m+1)}$ に正確に等しい。

  • 非適応的線形サンプリングの最適性： この結果は、適応的なサンプリング戦略が、最悪ケースの誤差定数に関して非適応的な線形サンプリングに対して何の優位性も持たないことを示唆している。最適な戦略は、単に最大の重みに対応する最初の $m$ 個のエルミート多項式への射影である。
  • 空間の等価性： IBCの観点から、リプシッツ作用素の単位球の適応的 $m$-幅は、より広範なソボレフ空間の単位球の適応的 $m$-幅と一致する。したがって、クラスをリプシッツ作用素に限定しても、より広いソボレフクラスと比較してサンプル複雑性が改善されることはない。

• サンプル複雑性の呪い： したがって、本論文は「サンプル複雑性の呪い」を特定している。すなわち、一般的なガウス測量の下でリプシッツ作用素を近似するために、$m$ 個の線形サンプル（適応的か否かを問わず）に基づくいかなる手法も、代数的な収束率を達成することはできない（定理 4.4 および セクション 4.4）。これは、PCA固有値の減衰率に関わらず成立する。ただし、固有値が十分に速く（例：二重指数関数的に）減衰する場合、任意の代数的レートに限りなく近い収束率を達成できる。

意義と主張
本論文は、リプシッツ作用素の学習が本質的に困難であることを説明する厳密な理論的基礎を提供することを目的としている。サンプル複雑性をタイトに特性付けることで、本研究は、代数的収束の欠如が特定のアルゴリズム（ニューラルネットワークなど）の失敗ではなく、作用素のクラスとガウス測量の固有の性質であることを確認している。

著者らは、自らの結果が（有界なリプシッツ作用素に関する）先行研究（Kovachki et al., 2024a）を、非有界な作用素および任意のガウス測量へと一般化したものであることを強調している。彼らは、「呪い」が固有のものであることを認めつつも、基礎となるガウス測量が十分に急速なスペクトル減衰を示す場合には、漸近的に緩和できることを強調している。結論として、リプシッツ作用素のクラスは効率的な学習（代数的レートを持つ学習）に対して大きすぎる可能性があり、実用的なアプリケーション（多くの場合、正則ではないが、一般的なリプシッツ連続性には捉えきれない特定の構造を持つ）をより良く反映する作用素クラスへの将来の研究の必要性を示唆している。

本研究は新しいアルゴリズムや実験的検証を提案するものではなく、達成可能なことの理論的な境界を設定し、将来のアルゴリズム開発のためのベンチマークおよび計算科学・工学における適切な作用素クラスを選択するためのガイドを提供することを目的としている。