Neural Network Field Theory at Finite Width

技術要約：有限幅におけるニューラルネットワーク場理論

問題提起
本論文は、有限のパラメータ数（$N < \infty$）を持つニューラルネットワーク（NN）を用いて量子力学（QM）および量子場理論（QFT）を表現することの限界を調査している。先行研究では、非負の測度を持つ任意のQMまたはQFTは、ランダムなパラメータが「可算無限」個であればニューラルネットワークによって厳密に表現できることが確立されているが、これらを有限の幅に切り詰めた（truncated）場合の性質については未解明である。中心となる問いは、従来のユークリッド型QFTが持つ基本的な性質（反射正定値性、クラスター分解性、および場の方位の設定の性質など）のうち、有限の$N$において厳密に保持できるものはどれであり、どれが必ず破綻しなければならないのか、という点である。

重要な細部として、ボレル同型定理によれば、単一のランダムなパラメータが形式的に無限の情報をエンコードできる可能性があることが挙げられる。そのため、著者らは「有限」という言葉を、パラメータ数としての意味と、計算的あるいはアーキテクチャ的な意味での区別して扱っている。本解析では、有限のパラメータの中に無限の計算を隠蔽することができない、自然な有限幅アーキテクチャ（固定された特徴量やランダムな入力重みを持つ単層ネットワークなど）に焦点を当てている。

手法
著者らは、有限幅のニューラルネットワーク・アンサンブルを分析するために、関数解析、スペクトル理論、および構成的QFTの手法を組み合わせて用いている。手法は主に以下の2つの段階で進行する：

1. 量子力学 (1D): 著者らは、量子軌道を代表する確率過程 $x(t)$ を分析する。彼らは、共分散演算子の固有関数に基づく確率過程の最適な直交展開を提供するコサンビ・カルフネン・レーブ（KKL）展開を利用する。そして、標準的なQM（オースターレダー＝シュレーダー公理から導出される）の無限ランクの共分散カーネルと、有限幅のニューラルネットワークの有限ランクの性質を比較する。
2. 量子場理論 ($d \ge 2$): 解析は一般化されたランダム場（シュワルツ分布）へと移行する。著者らは、以下の3つの障害を検討する：
   • 一致点極限 (Coincident-Point Limits): 点が一致する場合（$x \to y$）の二点関数の振る舞いを分析する。これは、UV特異性によりQFTにおいて通常発散するものである。
   • 運動量空間解析: 場の方位の設定のフーリエ変換のサポートを調査し、典型的な場の描画（draw）の運動量成分を決定するためにクラスター分解（混合）の性質を利用する。
   • 分布論的ニューロン (Distributional Neurons): ニューロン自体を（通常の関数ではなく）シュワルツ分布として扱うことで、有限幅のネットワークとQFTの場の方位設定との間の不一致を解決できるかどうかをテストする。

主要な貢献と結果

1. 量子力学における障害 (有限 $N$)
本論文は、有限幅のニューラルネットワークは、オースターレダー＝シュレーダー（OS）公理を満たす従来の量子力学系の相関関数を厳密に再現することはできないことを証明している。

• 次元カウントの議論: 標準的なQMの経路積分は、連続的で至る所微分不可能（nowhere-differentiable）なパス（例：ブラウン運動）上に支持される。有限個の区分的に微分可能な関数の和（標準的なニューロン）は、至る所微分可能なパスを生成するため、真の測度の至る所微分不可能な性質を捉えることができない。
• KKL最適性の議論: 非自明なQM系の共分散カーネルは、無限個の厳密に正な固有値（無限ランク）を持つ。有限幅のニューラルネットワークは、有限次元部分空間への射影に対応する。KKL展開の最適性により、いかなる有限の切り詰めも非ゼロの平均二乗誤差を招く。具体的には、任意の有限の特徴空間に対して、ネットワークがゼロの分散を持つ関数空間の方向が存在し、一方で真のQM過程はあらゆる非ゼロの方向において厳密に正の分散を持つことを著者らは示している（補題2）。

2. 量子場理論における障害 (有限 $N$)
$d \ge 2$ の場合、有限幅のニューラルネットワークは、ジェネリックに少なくとも一つのOS公理を破ることが特定されている。

• 一致点での発散: 非自明なカレン・レーマン表現を持つ従来のQFTは、一致点において発散する二点関数（$d=2$ では対数的、$d>2$ では冪乗則）を持つ。
  • 結果: ニューロンの出力が有界な点別分散を持つ任意の有限幅アーキテクチャ（有限のモーメントを持つパラメータを持つReLUや有界関数によって満たされる条件）は、有限の塗抹された（smeared）分散をもたらす。したがって、このようなネットワークは、非自明なQFTに求められるUV発散を再現することができない。
  • 例外: もし有限分散の条件を緩和すれば（例：ヘビーテイルなパラメータ分布や特異な振幅を使用）、有限幅（幅1であっても）のネットワークが正しい二点関数と反射正定値性を再現できることを著者らは示している。しかし、これは実用的なモンテカルロ・サンプリングにとって「非物理的」なパラメータ統計を必要とする。
• 運動量空間の障害 (クラスター分解):
  • 結果: クラスター分解（混合）の仮定の下では、QFTにおける典型的な場の描画は、全運動量空間 $\mathbb{R}^d$ 全体にわたるフーリエサポートを持たなければならない。
  • 障害: 有限幅の単層ニューラルネットワーク $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ は、入力重み $a_i$ に比例する $N$ 本の線の和にのみサポートされるフーリエ変換を持つ。$d \ge 2$ において、有限個の線の和は $\mathbb{R}^d$ の測度ゼロの部分集合であるため、ネットワークはクラスター化されたQFTが要求する完全な運動量サポートを再現できない。これは、高次関数におけるクラスター分解または反射正定値性の違反につながる。
• 分布論的ニューロン: ニューロンを（関数ではなく）一般化された分布として扱うことで（ネットワークの出力が関数ではなく分布となることを許容しても）、有限ランクの障害は存続する。分布の有限和は依然として無限次元のカーネルを残し、そこでは場は決定論的となる。これは、すべての方向に揺らぎを必要とする非自明なカレン・レーマン共分散と矛盾する。

意義と主張
本論文は、有限幅のニューラルネットワークによる表現は、オースターレダー＝シュレーダー公理の全セットと根本的に両立しないと結論付けている。

• 厳密な実現: 従来のQFTをニューラルネットワークを通じて厳密に実現するには、無限幅の極限（$N \to \infty$）を取るか、あるいは標準的な物理的仮定を明示的に破るようなアーキテクチャやパラメータ密度を採用する必要がある。
• 有限 $N$ 理論の性質: 有限 $N$ のニューラルネットワークによって定義される理論は、単なる標準的なQFTの「近似」ではない。それらは、ユークリッド共変性、反射正定値性、またはクラスター分解といった性質を必然的に欠いた、区別された「エキゾチックな」理論である。
• 実用的な影響: 有限幅のネットワークは標準的なQFTを厳密に再現することはできないが、数値的研究（リウヴィル理論、マクスウェル理論など）において、切り詰められた近似は依然として使用されている。しかし、これらの近似の統計的性質がターゲットとなる理論と一致することは保証されておらず、その誤差は単なる数値的なものではなく、構造的なものである。

本研究は、新しい実験的応用を提案するものではなく、連続的な量子系を表現する有限幅ニューラルネットワークの限界に関する厳密な理論的特性付けを行うものである。これは、今後の研究が、有限の $N$ におけるOS公理の違反の程度を定量化し、どの組み合わせの公理が有限幅で保持され得るかを分類することに焦点を当てるべきであることを示唆している。