技術要約：平均場ベイズニューラルネットワークにおける幅に対するロバストな学習可能性

問題提起

本論文は、過学習パラメータ化されたニューラルネットワークの理論的理解における根本的なギャップ、すなわち無限幅極限と大規模な有限幅ネットワークの挙動との間の乖離に対処している。無限幅極限（NTKやNNGPレジームなど）は明快な解析的記述を提供するが、その極限が有限幅ネットワークの複雑性理論的な帰納バイアスを保持しているとは限らない。具体的には、「レイジー（lazy）」スケーリング・レジーム（$\gamma < 1$）において、ネットワークは固定されたカーネル手法として振る舞う。これは、小さな有限幅ネットワークが計算可能な単純な構造を持つターゲット（例：パリティ関数）を学習するために、超多項式的なサンプル数を必要とすることが知られている。

著者らは、データの分布が隠れニューロンの分布に適応することを許容する平均場スケーリング（または臨界特徴学習レジーム、$\gamma = 1$）を調査している。中心となる問いは、無限幅の平均場学習者が、多項式幅の対応するネットワークと同じ学習可能性の特性を備えているかどうかである。本論文は、平均場極限の帰納バイアスを特徴付け、無限の資源（無限幅）が偽の汎化能力をもたらすのか、あるいは単に解析的な記述を簡略化しているだけなのかを明らかにしようとしている。

手法とフレームワーク

1. 低減エントロピー複雑度尺度

著者らは、事前分布に対するターゲット関数 $y$ の複雑度尺度として、低減エントロピー $s_\infty(y, \varepsilon)$ を定義する：
$$s_\infty(y, \varepsilon) = \limsup_{N \to \infty} \left( -\frac{1}{N} \log \pi_0^N(L \le \varepsilon) \right)$$
ここで $\pi_0^N(L \le \varepsilon)$ は、幅 $N$ のネットワークが、人口平均二乗誤差 $\varepsilon$ 以下を達成する事前確率である。この量は、ターゲットを表現するための集約的な事前コスト（ニューロンあたりのナット数）を表す。ターゲットが「単純」であるとは、その低減エントロピーが入力次元 $d$ に対して多項式的に有界であることを指す。

2. 平均場極限とスペクトル分割

分析は、標準的な平均場記述に基づいている。そこでは、$N \to \infty$ となるにつれ、事後分布は単一サイトの法則の塔（カオス伝播）によって記述される。鍵となる技術的洞察は、各層における特徴カーネル $K_\ell$ のスペクトル分割である：

• 活性空間 (Active Space, $V$): カーネルの最大固有値に対応する低次元部分空間であり、データ依存の情報を持つ。
• レイジー・バルク (Lazy Bulk, $C$): スペクトルの残りの塊であり、事前分布のように振る舞う（カーネル・レジーム）。
  臨界スケーリング $\gamma=1$ においては、精度閾値 $\varepsilon$ と同程度のオーダーで、レイジー・バルクが依然として重要となる。これは、過剰に豊かな（over-rich）レジーム（$\gamma > 1$）において、バルクが無視できるほど小さくなるのとは対照的である。

3. 核となるメカニズム：圧縮と保存

著者らは、学習可能性と低減エントロピーの間の等価性を、2つの逆操作を通じて確立している：

• 点別圧縮 (Pointwise Compression - 前方向): 著者らは、低減エントロピーが低い任意の無限幅の平均場解が、無限幅の解と点別（pointwise）に一致する（すなわち、すべての $x$ に対して $|f_{\hat{\theta}}(x) - f_\infty(x)| \le \delta$）多項式幅のネットワークへと圧縮可能であることを証明している。

  • 手法: これはサブサンプリングおよび再サンプリング戦略を含む。構成にあたっては、バイアスを避けるために固定された固有関数を用いて、活性成分を再構成するために多項式個のニューロンをサブサンプリングする。レイジー成分については、特定の実現された座標を保持しようとする代わりに、それらを事前分布から再サンプリングする。
  • 主要な補題: レイジー・スワップ補題 (Lazy-Swap Lemma)（補題 5.1）は、「レイジー感受性」が有界であれば、実現されたレイジー座標を新しい事前ノイズに置き換えても誤差は無視できることを証明している。これは、スタインの方法（Stein's method）と、レイジー・ブロックの小さな演算子ノルムに基づいている。

• クローニングによる保存 (Conservation by Cloning - 逆方向): 多項式幅のネットワーク（「教師」）によって計算可能なターゲットであれば、その低減エントロピーは多項式的に有界であることを証明する。

  • 手法: クローニング。狭い教師ネットワークが、各教師ニューロンを $m$ 個のニューロンのグループへと「クローン」することによって、広いネットワークの中で模倣される。このグループの重みは、教師の重みに近いよう制約され、直交する自由度は事前分布の状態に保たれる。
  • 結果: データは多項式次元の部分空間（教師の幅）のみを占めるため、正確な領域に到達するための相対エントロピー・コストは、教師の幅に対して多項式となる。これにより、低減エントロピーが低く抑えられることが保証される。

主要な結果

定理 3.1: 幅に対してロバストな学習可能性

ブール立方体上のターゲットの族と固定された深さについて、以下は（精度、幅、サンプルサイズの多項式的な緩みを除いて）同値である：

1. ターゲットが無限幅において、多項式個のサンプルから学習可能である。
2. ターゲットが多項式幅において、多項式個のサンプルから学習可能である。
3. ターゲットが、多項式幅かつ多項式重みのネットワークによって $o(1)$ の誤差で計算される。
4. 低減エントロピー $s_\infty(y, \varepsilon)$ が $d$ に対して多項式的に有界である。

この定理は、平均場極限が人工的な計算上の利点を得ていないことを確立している。すなわち、学習可能なターゲットのクラスは、多項式幅のネットワークのクラスと同一である。

定理 3.2: 圧縮と保存

• 圧縮: もし $s_\infty(y, \varepsilon_-) \le s$ ならば、高確率で無限幅の解と点別で一致する、幅 $N_0 = \text{poly}(s, d, 1/\Delta)$ のネットワークが存在する。
• 保存: もし幅 $W$ のネットワークが誤差 $\varepsilon_-$ を達成するならば、$s_\infty(y, \varepsilon) \le \text{poly}(W, d)$ である。

汎化境界

本論文は、低減エントロピーが低い場合に限り、無限幅のギブス事後分布が汎化することを実証している。証明には、単なるリスク境界への依存ではなく、圧縮定理を通じて構築された、固定されたデータ非依存の関数クラスに対する一様収束を用いている。

意義と主張

本論文は、平均場極限に対する複雑性理論的な妥当性チェックを提供すると主張している。無限幅の対象は、有限のネットワークでは不可能な問題を解く「魔法の」学習者ではなく、同じ学習現象のよりクリーンな解析的記述であると論じている。

• 帰納バイアスの保存: 主な貢献は、帰納バイアス（ターゲットの複雑性の順序付け）が幅に対してロバストであることを示したことである。平均場方程式に見られるメカニズム（活性な特徴学習 vs レイジーなカーネル挙動）は、無限の資源による人工物ではなく、学習問題の根本的な構造を反映している。
• 点別 vs 平均二乗: 著者らは、彼らの結果が単なるリスク値の一致よりも強力であることを強調している。無限幅の学習者と多項式幅の学習者は点別に一致する。つまり、無限幅で学習された関数は、有限のネットワークによって明示的に再現可能である。これにより、無限幅の解を、一様収束の議論のために固定された有限次元のクラスに配置することが可能になる。
• 臨界スケーリング ($\gamma=1$): 論文は、$\gamma=1$ が活性成分とレイジー成分の両方を扱う必要がある繊細なケースであることを強調している。過剰に豊かな（$\gamma > 1$）レジームでは、レイジー・バルクは無視できるため、圧縮は自明である。レイジー（$\gamma < 1$）レジームでは、学習者はカーネル学習へと還元される。$\gamma=1$ レジームは、レイジー成分が精度閾値と同等のオーダーであるため、特有の「レイジー・スワップ」メカニズムによって、特定の座標を保持するのではなく、解の法則を保持する必要があるという点でユニークである。

著者らは、任意の有限の訓練アルゴリズムがギブス事後分布を見つけると主張しているわけではなく、また定数が実用的であるとも主張していない。この結果は、ベイズ平均場帰納バイアスの特性化である。また、彼らの結果は「P/poly」の記述（多項式サイズの回路によって計算可能であれば学習可能であるという記述）に似ているが、簡約過程において深さに依存する因子が生じるため、この複雑性の記述は粗いものであり、正確な回路の深さではなく多項式サイズを追跡している。