技術的サマリー：遠隔作用：多項式アライメントと IMQ 距離に基づく普遍的な再生核ヒルベルト空間

問題定義

標準的な多層パーセプトロン（MLP）層には、標準的なヒルベルト空間ノルムが存在しない。訓練済みネットワークの汎化誤差 bound は通常、重み行列のリプシッツ連続性やスペクトル的な代理変数に依存しており、これらは機能レベルのオブジェクトであり、緩やかに構築され、特定のユニットとは無関係である。この構造的なギャップは、標準的なスカラー活性化関数（例：ReLU、GELU、シグモイド）が内積 $\sigma(w^\top x)$ の関数であり、結合変数 $(w, x)$ の対称なカーネルセクションではないことに起因する。その結果、訓練された層の読み出しは、いかなる再生核ヒルベルト空間（RKHS）の有限要素ともなり得ず、モデルは閉形式のノルム、固定カーネルの普遍性、および特性性といったツールを欠くことになる。

既存の Mercer セクションプリミティブは、以下のトレードオフに直面している：

1. 放射状カーネル（ガウス RBF、逆多項式/IMQ）は局所性とヒルベルト構造を有するが、「アライメント」を欠く（カーネル対角成分は一定であり、多項式アライメント項 $(w^\top x + b)^2$ は役割を果たさない）。
2. アライメントされたカーネル（普遍的なドットプロダクトカーネル）はアライメントとヒルベルト構造を有するが、距離的な局所性を欠く（$\|x-w\|$ による減衰がない）。

本論文は、局所性、アライメント、およびヒルベルト構造を同時に備える有限かつ訓練可能な隠れユニットプリミティブの必要性を特定している。

手法

著者は、以下の有理式隠れユニットプリミティブとして定義されるYat カーネル（$k_\Upsilon$）を導入する：
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
このカーネルは、多項式アライメント分子 $p_b(x, w) = (x^\top w + b)^2$ と逆多項式（IMQ）分母 $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$ のシュール積である。

手法は、4 つの主要な理論的柱を通じて進行する：

1. Mercer 構造と普遍性：本論文は、$b \ge 0$ に対してカーネルが半正定値（PSD）であり、したがって Mercer カーネルであることを確立する。重要なのは、$b > 0$ に対して Yat カーネルがスケーリングされた IMQ カーネルをLoewner 支配することである（$b^2 h_\varepsilon \preceq k_{b,\varepsilon}$）。Aronszajn の包含定理により、これは Yat RKHS（$\mathcal{H}_{b,\varepsilon}$）が IMQ RKHS を含み、その普遍性と特性性の性質を継承することを意味する。
2. 非放射状アライメント構造：純粋な放射状カーネルとは異なり、Yat 原子は無限遠で「方向性二次の影」を保持する。ある射线 $ru$に沿った漸近的トレースは$T_\infty g_\varepsilon(u) = (u^\top w)^2$であり、$b$と$\varepsilon$ に依存しない。これは、無限遠でゼロに減衰する有限 IMQ 展開には存在しない非放射状アライメントチャネルを開く。
3. 代数的 IMQ 埋め込み：本論文は、バイアスパラメータ $b$ における 2 階有限差分を通じて、任意の IMQ 原子が 3 つの Yat 原子から正確に復元可能であることを構成証明する：
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   この恒等式は鋭いものであり、2 つの原子では IMQ セクションを再現するには不十分である。
4. 層局所 RKHS 容量：共有された $(b, \varepsilon)$ を持つ訓練済み層において、有限展開 $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ の 2 乗 RKHS ノルムは閉形式の式で許容される：$\|f\|^2 = \alpha^\top K \alpha$。ここで $K$ は訓練済み重みのグラム行列である。これにより、カーネル対角成分 $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$ に明示的に依存するラデマハー汎化 bound が直接導かれる。

主要な貢献

1. Yat カーネル：多項式アライメントと IMQ 局所性を統合する有理式、有限、訓練可能なプリミティブ。
2. 固定カーネルの普遍性：単一の固定 Yat カーネル（$b>0$）が普遍的なファミリーの単なる成員ではなく、すべてのコンパクトな領域において普遍的であることを証明。
3. 方向性遠方場トレース：Yat 原子が無限遠で非ゼロの二次トレースを維持するという構造的不变量の特定。これはすべての有限放射状組み合わせと区別される。
4. 正確な IMQ 復元：IMQ 原子が 3 つの Yat 原子から正確に構築可能であることを示す代数的恒等式。これにより、IMQ 近似率が 3 倍の幅オーバーヘッドで Yat に転送される。
5. 閉形式ノルムと bound：正確な RKHS ノルム（$\alpha^\top K \alpha$）と、ハイパーパラメータ $b$、$\varepsilon$ および入力ノルム $\|x\|$ に明示的に依存する単一層ラデマハー bound の導出。これにより、標準的な MLP には欠けていた透明性が提供される。

結果

• 理論的性質：本論文は、Yat カーネルが $b > 0$ に対して PSD、特性、および厳密に正定値であることを確立する。これらは厳密な RKHS 包含 $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$ を満たす。
• 近似率：有限差分恒等式を通じて、任意の IMQ 近似率が Yat に転送される。逆に、本論文は「幅 - 複雑性のギャップ」を実証する：単一の Yat 原子は任意の精度で二次リッジ関数を近似できるが、有界変動 IMQ 展開は環境次元に対して指数関数的に多くの原子を必要とする。
• 汎化 bound：導出されたラデマハー bound は $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$ としてスケーリングする。ガウス RBF（一定の対角成分）や IMQ（一定の対角成分 $\varepsilon^{-1}$）とは異なり、Yat の対角成分は $\|x\|$ に多項式的に依存するため、$b$ と $\varepsilon$ は明示的な正則化ターゲットとなる。
• 実証的診断：
  • CLIP プローブ：凍結された CLIP 特徴量を用いた ImageNet-1k において、単一層 Yat 分類器（訓練済み中心）は 73.9% の精度を達成し、純粋な多項式カーネル（72.5%）および凍結されたランダム中心を持つ Yat 変種（69.5%）を上回った。これは IMQ 分母と中心最適化の利益を分離したものである。
  • 因果言語モデル：GELU MLP ブロックを Yat プリミティブに置換した 2 億 6100 万パラメータの因果 LM は、GELU ベースライン精度領域（シード分散に一致）に到達しつつ、WikiText-103 および長距離タスクにおいて低いパープレキシティを達成した。閉形式 RKHS ノルムは層ごとに適用可能であった。

意義と主張

本論文は、Yat カーネルが以下の性質を同時に有する最初の有限かつ訓練可能な隠れユニットプリミティブであると主張する：

1. $b \ge 0$ に対する PSD/Mercer 構造。
2. Loewner 支配による $b > 0$ に対する固定カーネルの普遍性。
3. 非ゼロの方向性遠方場トレースを伴う非放射状アライメント。
4. IMQ 原子の正確な代数的埋め込み（3 つの原子で鋭い）。
5. ハイパーパラメータへの明示的依存性を伴う閉形式の層局所 RKHS ノルム。

著者は、これらの性質が単一層に対しては成り立つものの、深層ネットワークに対するグローバルな理論には拡張しないことを強調している。深層 Yat スタックのグラム構造を捉えるパラメータ非依存の Mercer カーネルは存在しない。深層理論は以下の点に限定される：

• プレフィックス条件付きプルバック：先行層が固定されている場合、有効な RKHS 構造が存在する。
• 環境ソボレフ包含：有界深度のスタックは固定されたソボレフ RKHS に含まれるが、容量 bound は定性的であり、深度に対して超指数関数的な増大を伴う。

この研究は、Yat をすべての文脈における標準 MLP の代替として位置づけるものではなく、ニューラルユニットと RKHS 理論の間の接続を回復し、標準的なスカラー活性化関数では利用できない明示的なノルムと汎化 bound を提供する、理論的に裏付けられた代替案として位置づけるものである。