技術要約: S-GAI – シグモイドMLPのためのスペクトル幾何学を考慮した初期化

1. 問題提起

古典的な普遍近似定理（UAT）は、シグモイド型多層パーセプトロン（MLP）がコンパクトな領域上の任意の連続関数を近似する表現能力を持つことを確立している。しかし、これらの定理は存在論的なものであり、初期重みがどのようにデータの分布の特定の幾何学的構造を符号化すべきかを規定するものではない。Xavier/Glorot法のような標準的な初期化手法は、信号伝搬と勾配スケールを安定させるよう設計されているが、勾配に基づく最適化が行われる前の、クラス固有の幾何学的構造に対しては「盲目」である。

本研究が取り組む中心的な問題は、初期重みが、勾配ベースの最適化を行う前に、異なるデータクラス（例：MNISTにおける数字の形状や、Fashion-MNISTにおける衣類のカテゴリ）が占める空間の構造化された領域を明示的に符号化するように構築できるか否かである。

2. 手法: S-GAI

提案手法である S-GAI (Spectral Geometry-Aware Initialization) フレームワークは、理論的な構成的幾何学と、データ駆動型の高次元インスタンス化の間の溝を埋めるものである。この手法は以下の3つの段階で進行する。

A. 幾何学的動機付け（有限和からゲートへ）

先行研究（Chu and Kuo [2]）に基づき、著者らはシグモイドネットワークを、滑らかな半空間ゲートの集合として捉えることができることを確立している。

• 半空間ゲート: 単位 $g_{a,c,\kappa}(x) = \sigma(\kappa(c - a^\top x))$ は、半空間 $a^\top x \leq c$ に対する滑らかなインジケータとして機能する。
• 多胞体（ポリトープ）の構成: これらのゲートを合計することで、多胞体（半空間の交わり）および有限被覆（多胞体の和集合）の分類器を構成できる。
• データ駆動への移行: 従来の理論では手動で指定された平面被覆を想定していたが、S-GAIは画像データからこれらの幾何学的境界を直接推定する。

B. スペクトル・クラス幾何推定

データセット内の各クラス $k$ について：

1. 平均と中心化: クラス平均 $\mu_k$ を計算し、サンプル $x_i - \mu_k$ を中心化する。
2. SVD/PCA: 中心化されたデータ行列 $X_k = U_k S_k V_k^\top$ に対して特異値分解（SVD）を実行する。
3. エネルギー閾値処理: 累積分散が最初の $m_k$ 個の特異ベクトルによって閾値 $\tau \in (0,1)$ を超えるように、保持されるランク $m_k(\tau)$ を選択する。
4. SVD-マハラノビス参照: 保持された方向 $V_{k, m_k}$ と経験的なスケールを用いた非ニューラルな部分空間分類器を定式化する。この分類器には、保持された部分空間の外側にある残留エネルギーに対するペナルティ項を含む、切断されたマハラノビス距離項が含まれる。これは、スペクトル幾何がMLPに埋め込まれる前に、本質的に判別可能であるかどうかを検証するための幾何学的リファレンスとして機能する。

C. シグモイド・スラブへの幾何学のコンパイル

推定されたスペクトル幾何は、1隠れ層のシグモイドMLPの重みへとコンパイルされる。

• 正規化座標: 各保持された方向 $v_{k,i}$ に対して、正規化された座標 $z_{k,i}(x) = \frac{v_{k,i}^\top(x - \mu_k)}{\hat{\sigma}_{k,i}}$ が定義される。
• スラブ・ゲート: 各方向における $[-\rho, \rho]$ という「スラブ」制約を、2つのシグモイドゲートを用いてモデル化する：
  • $h^+_{k,i}(x) = \sigma(\beta(\rho - z_{k,i}(x)))$
  • $h^-_{k,i}(x) = \sigma(\beta(\rho + z_{k,i}(x)))$
    これらのゲートは、サンプルが主方向沿いのスラブ内に存在する場合に活性化する。
• 重みの初期化: 重みとバイアスは、これらのゲートを実装するように明示的に設定される。各保持された方向は2つの隠れユニットに寄与する。
• 出力の集約: 出力層は、初期状態において各クラスに属するゲートを集約し、クラス固有の隠れグループ構造を形成する。

総隠れる幅は $H = 2 \sum_k m_k(\tau)$ であり、エネルギー閾値 $\tau$ によって制御される。

3. 主な貢献

1. 理論的架け橋: UATの有限和から、滑らかな半空間および被覆ベースのシグモイドゲートへの簡潔な接続を提供し、平面的な構成を高次元データへと拡張した。
2. 幾何学的リファレンス: SVDベースの部分空間分類器を導入した。これにより、クラスごとのスペクトル幾何が判別可能であるかを検証し、エネルギー閾値 $\tau$ の選択を導くことができる。
3. S-GAI 初期化: 隠れ層のユニットがランダムではなく、クラスごとのSVD方向から明示的に導出される、データ駆動型のイニシャライザを提案した。隠れ層はクラス固有のグループに分割され、保持されたスペクトル方向ごとに2つのユニットが割り当てられる。
4. 実証的検証: 「隠れ層固定（frozen-hidden）」プロトコル（隠れ層を更新できない設定）においても、S-GAIがXavier初期化と比較して大幅に情報量の多い初期状態を作成することを実証した。

4. 実験結果

実験は、Adamを用いて20エポック学習させた1隠れ層のシグモイドMLPを用い、MNIST、Fashion-MNIST、CIFAR-10に対して行われた。比較対象として、同一のアーキテクチャと幅を持つ対応するXavierベースラインを用いた。

• ゼロエポック性能: S-GAI初期化モデルは、Xavier初期化モデルよりも有意に高い精度からスタートする。
  • MNIST ($\tau=0.95$): S-GAIは 87.41% から開始（Xavierは約10%）。
  • Fashion-MNIST ($\tau=0.95$): S-GAIは 71.32% から開始（Xavierは約10%）。
  • CIFAR-10 ($\tau=0.90$): S-GAIは 20.32% から開始（Xavierは約9.97%）。
• 隠れ層固定プロトコル: 隠れ層を凍結し、出力層のみを学習させた場合でも、S-GAIは強い優位性を維持しており、隠れ層のゲート自体が有用な特徴量であることを証明している。
  • MNIST: S-GA避 (frozen) は 96.73% に到達（Xavier (frozen) は89.31%）。
  • Fashion-MNIST: S-GAI (frozen) は 86.36% に到達（Xavier (frozen) は80.52%）。
  • CIFAR-10: S-GAI (frozen) は 44.36% に到達（Xavier (frozen) は36.53%）。
• フル学習: 全ての重みを更新するフル学習の下では、S-GAIとXavierモデルは同等の最終精度に達する（例：MNISTで約98%、CIFAR-10で約52%）。これは、S-GAIがモデルの容量を増大させるのではなく、最適化の開始点をより構造化された領域へとシフトさせていることを示している。

5. 意義と主張

本論文は、経験的なクラス幾何学を、勾配ベースの学習の前に入力できることを主張している。その意義は、初期化がデータの構造に対して盲目である必要はないことを示した点にある。

• 表現の質: 主要な貢献は、より高い容量を持つ分類器を作ることではなく、より優れた「初期表現」を作ることである。S-GAIのスラブゲートは、クラス依存のスペクトル幾何（平均、主要方向、およびスケール）を効果的に符号化している。
• 学習のダイナミクス: 構造化された状態から出発することで、ネットワークは学習の負担を「ゼロから決定境界を発見すること」から、「既に存在する構造化された表現を較正し、洗練させること」へとシフトさせている。
• 限界と範囲: 著者らは、本手法が線形なクラスごとのSVDに依存しており、クラス内の非線形多様体をモデル化していないことを謙虚に述べている。本手法の効果は、明確なスペクトル構造を持つデータセット（MNIST, Fashion-MNIST）で最も高く、クラスのアイデンティティが局所的なテクスチャや高次の特徴に依存するCIFAR-10では弱くなる。著者らは、将来の研究として、この原理を学習された特徴空間や、より強い帰納バイアスを持つアーキテクチャ（CNN、Vision Transformerなど）へ拡張することを提案している。