On a Central Limit Theorem and Sanov's principle for quantum neural networks

技術要約：量子ニューラルネットワークにおける中心極限定理とサノフの原理について

問題提起
本研究は、教師あり学習の枠組みにおける量子ニューラルネットワーク（QNN）の学習ダイナミクスと揺らぎの挙動を調査するものである。具体的には、$N$ 個の同一の量子エキスパート（各々がパラメータ化された量子回路である）の一様な平均として定義される「混合エキスパート（Mixture of Experts, MoE）」モデルを分析する。これらの回路のパラメータは、二次損失関数を最小化するように勾配流（gradient flow）を通じて最適化される。先行研究では、広範なQNNが無限幅の極限においてガウス過程に収束すること（多くの場合、「レイジー（lazy）」な学習レジーム下での成立）や、パラメータの経験的測度が決定論的な極限測度（平均場極限）に収束すること（平均場極限）が確立されているが、これらパラメータの極限付近における「揺らぎ」に関する厳密な特性評価が不足している。本論文は、これらの揺らぎを定量化し、QNNの文脈における経験的測度の大偏差特性を理解する必要性に取り組むものである。

手法
著者らは、高次元パラメータ空間（具体的には $d$ 次元トーラス $\mathbb{T}^d$）における勾配流の下で進化する粒子として、$N$ 個のエキスパートのパラメータを扱う平均場解析アプローチを採用している。

1. モデルの定義: QNNモデル関数 $f(\theta, x)$ は、ユニタリ回路 $U(\theta, x)$ によって生成された量子状態上で測定される観測量の期待値として定義される。MoEの出力は $F_N(\Theta, x) = \frac{1}{N}\sum_{i=1}^N f(\theta_i, x)$ である。
2. 勾配流ダイナミクス: パラメータは経験的損失 $L(\Theta)$ の勾配流に従って進化する。著者らは、個々のパラメータ $\theta_i$ の微視的ダイナミクスと、経験的測度 $\mu_{\Theta^N_t}$ の巨視的な進化を導出する。
3. 揺らぎの解析: 揺らぎを研究するために、スケーリングされた揺らぎ過程 $\delta^N_t := \sqrt{N}(\mu_{\Theta^N_t} - \mu_t)$ を定義する。ここで $\mu_t$ は非線形連続方程式を解く決定論的な極限測度である。
4. 関数的枠組み: 著者らは、トーラス上のソボレフ空間を含む特定の関数的設定を用いて解析を行う。測度の弱収束と輸送方程式の線形化を扱うために、商空間 $W(\mathbb{T}^d) = H^1(\mathbb{T}^d)/\mathbb{R}$ およびその双対空間を利用する。
5. 大偏差: 著者らは、確率測度の連続な曲線空間に対する抽象的な結果であるドーソンとゲルトナー（Dawson and Gärtner）の結果およびサノフの定理を適用することで、大偏差原理（LDP）への拡張を行う。

主要な貢献と結果

1. QNNにおける中心極限定理 (CLT):
   主要な結果は、揺らぎ過程の列 $\delta^N_t$ に関するCLTを確立することである。

   • 初期条件: 初期パラメータが独立同一分布（i.i.d.）であると仮定すると、$\delta^N_0$ はゼロ平均と特定の共分散構造を持つガウス過程に法則の意味で収束する。
   • 時間発展: $N \to \infty$ となるにつれ、プロセス $\delta^N_t$ はすべての $t \geq 0$ に対して極限プロセス $\delta_t$ に法則の意味で収束する。
   • 極限方程式: 極限プロセス $\delta_t$ は、以下の線形輸送方程式の唯一の解である：
     $$\frac{d\delta_t(\theta)}{dt} = -\nabla_\theta \cdot \left( \nabla V(\theta, \mu_t)\delta_t + \mu_t \nabla G(\theta, \delta_t) \right)$$
     ここで $V$ と $G$ は、損失ランドスケープおよびQNNの相互作用カーネルから導かれる汎関数である。これは、平均場極限 $\mu_t$ を支配する非線形連続方程式とは対照的である。

2. 収束率と比較:
   本論文は、極限周囲の経験的測度の揺らぎが $O(N^{-1/2})$ のオーダーであることを示している。これは、Wasserstein-2距離 ($W_2$) を用いて近接性を測定していた従来の $O(N^{-2/d})$ という収束率よりも、よりタイトな近似率を提供している。高次元の設定（$d > 4$）において、CLTによって確立された $N^{-1/2}$ の率は、従来の $N^{-2/d}$ の率よりも優れており、実用的なQNNに典型的なパラメータ豊富なレジームにおける収束のより精密な特性付けを提供する。

3. モデル出力の収束:
   CLTの副産物として、MoE出力関数 $F_N(\Theta_t, x)$ がその平均場極限 $f_t(x)$ の周囲で示す揺らぎも法則の意味で収束することを証明する。具体的には、スケーリングされた出力揺らぎ $\psi^N(t, x) = \sqrt{N}(F_N - f_t)$ は、極限揺らぎ測度 $\delta_t$ の線形汎関数に収束する。

4. 大偏差原理 (サノフの原理):
   本論文は、経験的プロセス $\mu_{\Theta^N_\cdot}$ の法則に関する大偏差原理を確立する。

   • レート汎関数は相対エントロピーによって与えられる。
   • $d > 4$ の場合、独立なプロセスの列は、実際の相関のあるプロセスに対して速度 $(\log N)^\beta$ （ただし $0 < \beta < 1$）で指数的に等価であることが示される。この等価性により、勾配流によって導入される相関にもかかわらず、抽象的なLDPの適用が可能となる。

意義と主張
本論文は、勾配流を通じて訓練される量子ニューラルネットワークにおける有限サイズ統計効果を理解するための、厳密な数学的基礎を提供することを主張している。決定論的な平均場極限を超えて、本研究は学習ダイナミクスの統計的性質を特徴付けている。

• レイジー・トレーニングを超えて: ニューラルタンジェントカーネル（NTK）が固定される「レイジー」なレジームを分析することが多い先行研究（[13, 23]など）とは異なり、本研究は表現学習が発生する設定（パラメータが大きく進化する設定）を考慮しているが、それでもなお平均場極限が保持される。
• 定量的精密性: 揺らぎの $O(N^{-1/2})$ の収束率の導出は、従来の $W_2$ ベースの境界よりも、QNNの漸近的挙動に関するより洗練された理解を提供する。これは、高次元パラメータ空間において特に有効である。
• 理論的枠組み: 揺らぎのための線形輸送方程式および経験的測度のための大偏差原理の確立は、量子機械学習モデルを分析するための理論的ツールキットを拡張し、統計物理学（カオス伝播、輸送方程式）の概念と量子コンピューティングを橋渡しするものである。

著者らは、現在の手法では無限深さと無限幅の同時極限を研究することはできず、またパラメータ次元 $d \to \infty$ となる無限次元極限についても扱っていないことを明記しており、これらを今後の研究課題として特定している。