技術要約: HALFNET: 学習された部分空間幾何学を伴うランダム化ニューラルネットワーク

1. 問題提起

従来のニューラルネットワークの学習は、すべての重みパラメータを個別に最適化することを伴いますが、これは計算コストが高く、パラメータも多くなりがちです。対照的に、ランダム化ニューラルネットワーク（極限学習マシンなど）は、重みを標準分布（例：$N(0, I)$）から抽出された値に固定するため、最適化を簡素化できますが、ランダムな幾何学構造がデータの構造と一致しないことが多いため、予測能力が犠牲になることがよくあります。

本研究が取り組む核心的な問題は、ランダム化ネットワークの簡便さを維持しつつ、高い精度を実現するために必要な「データ依存の構造」をどのように捉えるかという点です。具体的には、予測性能にとって、個々の重みの正確な値よりも、**重みの分布の幾何学（共分散構造）**の方が重要であるのか、そしてその幾何学を効率的に学習できるのかを調査しています。

2. 手法: HalfNet

提案される HalfNet フレームワークは、重みが標準分布に固定されているわけでも、個別に学習されているわけでもなく、学習された分布 $N(0, \Sigma)$ からサンプリングされる確率的パラメータ化を導入します。

2.1. モデル定式化

入力 $x$ に対する隠れユニット $h$ の活性化は、次のように定義されます：
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
ここで、$g$ は活性化関数（ReLUなど）であり、$u_h$ と $u_{h0}$ は、各ユニットに固有の学習可能なスケーリングおよび平行移動パラメータです。

ランダム射影ベクトル $r_h$ は、以下の低ランク分解によって生成されます：
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
ここで：

• $z_h \sim N_k(0, I)$ および $\epsilon_h \sim N_d(0, I)$ は、一度サンプリングされ固定されるランダムベクトルです。
• $B \in \mathbb{R}^{d \times k}$ （ただし $k < d$）および $\sigma \in \mathbb{R}^d$ は、層内のすべてのユニットで共有される学習可能なパラメータです。
• 結果として得られる分布は $r_h \sim N_d(0, \Sigma)$ であり、ここで $\Sigma = BB^\top + \text{diag}(\sigma^2)$ です。

このアプローチは、ランダム性（ベクトル $z_h, \epsilon_h$）と幾何学（行列 $B$ およびスケーリング $\sigma$）を分離します。ランク $k$ はハイパーパラメータとして機能し、モデルの複雑さを制御し、完全にランダムなユニット（$k \to 0$）から完全に学習可能なネットワーク（$k \to d$）までを補間します。

2.2. 拡張

本フレームワークは以下に拡張可能です：

• バイナリ重み: 生成されたベクトルに符号関数を適用することで、HalfNetはバイナリ（$\pm 1$）の重みを生成できます。符号操作は、学習された共分散 $\Sigma$ によって定義される角度関係を保持するため、モデルはバイナリの領域においても依存関係を学習することが可能です。
• 畳み込み層: フィルタは、層内のフィルタ間で共有される共分散構造を仮定した、同じ低ランク分解を用いて生成されます。
• 多層アーキテクチャ: 複数のHalfNet層をスタックすることができ、各層に対して個別の学習パラメータを持つことができます。

3. 主な貢献

1. 共分散構造の学習: HalfNetは、個々の重みではなく、ランダム射影の共分散構造を学習します。これにより、データ依存のランダム埋め込みを効果的に実行します。
2. ランクによる滑らかなスケーリング: 本論文は、精度が共分散因子のランク $k$ とともに滑らかにスケールすることを示しており、これは学習された層の予測能力の多くが低次元の幾何学的構造に存在することを示唆しています。
3. 汎用性: 本フレームワークは、全結合層、畳み込みフロントエンド、およびバイナリ重みネットワークに適用可能であることが示されています。
4. 理論的解釈: 本手法には、3つの補完的な解釈があります：
   • ランダム射影: 線形埋め込み $x' = B^\top x$ に続いて、固定されたランダム射影を行うことの学習。
   • 距離学習（Metric Learning）: $B$ がどの入力方向を強調するかを決定するマハラノビス距離の学習。
   • カーネル法: 射影ベクトルの分布を学習することは、暗黙的にカーネル関数を学習することと同義である。

4. 実験結果

4.1. MNIST実験

• 単一隠れ層 (784–64–10): 学習された $\sigma$ と低ランク $B$ を持つHalfNetのバリアントは、純粋なランダムネットワークを大幅に上回りました。ランク $k=4$ の場合、HalfNetは、パラメータ数がほぼ半分であるにもかかわらず、線形パーセプトロン（LP）と同等の精度を実現しました。$k=16$ では、同等のパラメータ数を持つ完全に学習された多層パーセプトロン（MLP）に匹敵しました。
• スペクトル解析: 学習済みMLPの重みの特異値分解（SVD）により、重みのスペクトルエネルギーの60%が上位9方向、80%が上位17方向に存在することが明らかになりました。これは、学習された重みが低次元の部分空間内に存在することを裏付けており、HalfNetはこの部分空間を明示的にパラメータ化しています。
• 畳み込みフロントエンド: 畳み込み層（16フィルタ）を追加すると、すべてのモデルの精度が向上しました。HalfNetはこれによって大きな恩恵を受け、低いランク（$k=1$）でも高い精度を達成しました。これは、複雑さがファンインの大きさではなく、有効ランクに依存しているためです。
• 二層構造: HalfNet層をスタック（784–64–64–10）した場合も、ランクが増加するにつれて精度が向上するという傾向が維持され、ディープネットワーク内でのスケーラビリティが証明されました。
• バイナリ重み: 極めて低いランク（$k=2$）でのバイナリ化は、特徴の多様性が崩壊するため精度の低下を招きますが、$k \ge 4$ では強力な結果が得られました。$k=16$ において、バイナリHalfNetは94.87%の精度を達成し、連続値版の95.30%に近い値となりました。

4.2. CIFAR-10実験

• アーキテクチャ: 単一の畳み込み層（32フィルタ）に続く、大規模な全結合層（256ユニット）を持つ単純なネットワーク。全結合層には全パラメータの99%以上が含まれています。
• パフォーマンス: 「Full–Half」構成（学習可能なConv、HalfNet FC）は、ランク $k_f=32$ において、完全に学習された「Full–Full」のベースラインに対し、約8倍少ないパラメータで同等の性能を発揮しました。$k_f=48$ では、ベースラインの性能をわずかに上回りました。
• 畳み込みHalfNet: 畳み込み層にHalfNetを適用する「Half–Half」構成は、初期段階でパフォーマンスの低下と学習の遅延を引き起こしました。これは、低ランクの仮定が、すでに強い構造的制約（局所性、重み共有）を持つ層に対しては制限が強すぎる可能性を示唆しています。

5. 意義と主張

本論文は、射影分布の幾何学を学習することが、完全に学習されたニューラル層の予測能力の大部分を捉えつつ、大幅に少ないパラメータを使用できることを示していると主張しています。

著者らが強調する主なポイントは以下の通りです：

• 値よりも幾何学: ニューラルネットワークの予測能力は、個々のパラメータの正確な値よりも、重み空間の幾何学（共分散構造）に存在します。
• 効率性: HalfNetは、固定されたランダム特徴量と完全に学習可能なネットワークとの間の滑らかなトレードオフを提供し、実務者がランクパラメータ $k$ を通じてモデル容量を調整できるようにします。
• 低ランク分解との区別: 決定論的な低ランク手法（例：両方を学習する $W=UV$）とは異なり、HalfNetは重みからサンプリングされる分布を学習するため、射影ベクトルを確率的なまま維持します。これは、手法をランダム特徴量やカーネル学習へと結びつけます。
• 限界: メリットは、高いファンインを持ち、強いデータ相関がある設定（例：画像データに対する全結合層）で最も顕著になります。本論文では、相関が弱い設定では性能向上が減少する可能性があると述べており、多様なデータセットでのさらなる評価が必要であるとしています。

本研究は、HalfNetを単なる圧縮のためのアーキテクチャ上のトリックとしてではなく、ランダムな埋め込みを通じてデータの基礎となるメトリックとカーネル構造を学習するための、根本的な転換点として位置づけています。