技術要約：ニューロンは分布である

問題提起

標準的なニューラルネットワークは、点値としての隠れ層の活性化を用いて計算を行う。ここで、隠れユニットは入力表現 $h$ を受け取り、決定論的な活性化 $a = f(h)$ を出力する。これらのシステムでは不確実性がモデル化されることが多いが、それは通常、重みの不確実性（ベイズニューラルネットワーク）、出力レベルの分散ヘッド、アンサンブル、あるいはグローバルな潜在変数といったメカニズムを通じて、計算の「周囲」に追加されるものである。その結果、隠れ層の計算自体は決定論的なままであり、不確実性は計算やパラメータの特性としてではなく、出力の特性として扱われる。

本論文は、隠れユニット自体が局所的な変分計算を行うべきであると提唱している。核心となる課題は、ニューロンを、決定論的な点へと崩壊したり標準的なアーキテクチャ内でエンドツーエンドの学習に失敗したりすることなく、事後推論、サンプリング、および正則化を実行する分布オブジェクトとして再定義できるかどうかを判断することである。

手法：Elemental Variational Expanse (EVE)

著者らは、決定論的な活性化を局所的な変分プロセスに置き換える、再利用可能な変分隠れユニットモジュールである Elemental Variational Expanse (EVE) を導入する。

核心メカニズム

点値の活性化を計算する代わりに、EVEユニットは以下の手順を実行する：

1. 事後分布の構築： 入力 $h$ が与えられると、変分事後分布 $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$ を定義する。
2. 再パラメータ化によるサンプリング： 再パラメータ化トリックを用いて潜在状態 $z$ をサンプリングする：$z = \mu_\phi(h) + \sigma_\phi(h) \odot \epsilon$、ここで $\epsilon \sim \mathcal{N}(0, I)$ である。
3. 活性化の放出： サンプリングされた状態 $z$ から、関数 $g_\theta(z, h)$ を通じて活性化を生成する。

目的関数

学習は、タスク損失 ($L_{task}$) と、ニューロンレベルのカルバック・ライブラー（KL）正則化項 ($L_{KL}$) を組み合わせる：
$$L = L_{task} + \beta L_{KL}$$
ここで、$L_{KL} = \text{KL}(q_\phi(z | h) \parallel p(z))$ であり、$p(z) = \mathcal{N}(0, I)$ である。これにより、局所的な事後分布が標準的な事前分布に近く保たれる一方で、入力に適応することを可能にする。

診断指標

EVEのユニークな特徴は、学習および評価中に 事後分布由来の診断指標 (posterior-derived diagnostics) を公開できることである。これらには以下が含まれる：

• 局所KL (Local KL): ニューロンレベルでの正則化ペナルティ。
• 事後分散 (Posterior Variance): サンプリングされた潜在状態の分散。
• 事後平均エネルギー (Posterior-Mean Energy): 事後平均の二乗大きさの平均 ($\frac{1}{d_z}\sum \mu_j^2$)。
• ターゲット帯域占有率 (Target-Band Occupancy): 事後平均が定義された区間 $[l, u]$ 内に落ちる割合。

主な貢献

本論文は主に3つの貢献を行っている：

1. EVEモジュール： 事後推論、再パラメータ化サンプリング、および局所KL正則化をニューロンに直接統合した、実用的で再利用可能な変分隠れユニット。
2. 概念的区別： 出力レベルの不確実性（例：計算「後」の予測分布を記述する平均・分散ヘッド）と、確率的計算（EVEが隠れユニットの内部で分布を「通じて」計算すること）の明確な分離。
3. 段階的な実証的エビデンス： パラメータ数、決定論的な容量、および出力レベルの分散の影響を分離した、厳格な評価プロトコル。

実験結果

著者らは、複雑さが増していく3つのステージにわたってEVEを評価している。

1. 制御されたヘテロスケダスティック回帰（属性研究）

• 目的： 利得がパラメータ数、決定論的な容量、またはニューロンレベルの変分計算のいずれから来るのかを分離する。
• ベースライン： スカラー決定論的ベースライン (DET-scalar)、容量一致型決定論的セル (DET-cell)、および確率的ヘテロスケダスティック出力ベースライン (STOCH-hetero) と比較。
• 知見：
  • EVEは、容量一致型の決定論的セル（実際にはEVEよりも多くのパラメータを持っていた）のMSEの**0.41%**以内の誤差を達成した。
  • EVEは、不確実性に敏感な指標（NLL、MC-NLL、CRPS）において、決定論的セルおよび確率的出力ベースラインを大幅に上回った。
  • 診断： 内部診断（事後分散、局所KL）は、真の条件付き標準偏差と強く相関しており（最大0.98）、不確実性に関連する構造が隠れ層の計算内部に可視化されていることを証明した。
  • コスト： EVEは、サンプリングと確率的評価により、スカラーベースラインの4.04倍、容量一致型セルの1.77倍の計算コストを要した。

2. 表形式回帰の実現可能性 (MLP)

• データセット： BostonHousing および ConcreteStrength。
• 知見：
  • BostonHousing において、較正されたEVEは、決定論的な確率的ベースラインに対してすべての集計指標（MSE, MAE, NLL, CRPS）を改善した。
  • ConcreteStrength（10個のペアシード）において、選択されたEVE予測器は、決定論的ベースラインに対してNLLを17.85%、CRPSを2.51%改善した。EVEは、NLLとCRPSにおいて10/10のシードで勝利し、MSEにおいては7/10のシードで勝利した。

3. Transformer言語モデルの実現可能性

• データセット： WritingPrompts および WikiText2 raw。
• 設定： 標準的なフィードフォワードブロックのプリミティブをEVEに置き換え、他のハイパーパラメータとアーキテクチャは同一に保った。
• 知見：
  • WritingPrompts： EVEは、決定論的ベースラインに対し、交差エントロピー (CE) で0.17、パープレキシティ (PPL) で26.95、精度 (Accuracy) で0.015を改善した。また、決定論的ベースラインがほぼゼロであったのに対し、EVEは非ゼロのサンプリングベースの不確実性信号（相互情報量 $\approx$ 0.16、Top-1 Flip Rate $\approx$ 0.30）を露呈させた。
  • WikiText2： 4エポックにわたり、EVEはCE、PPL、精度において決定論的ベースラインを一貫して上回った。特筆すべきは、EVEが著しく小さい訓練・検証ギャップ（エポック4において0.10 vs 1.04）を示したことであり、これは変分フィードフォワード計算が内部的な正則化器として機能していることを示唆している。

意義と主張

本論文は、その意義を、普遍的な精度の向上や計算量正規化された優位性の主張ではなく、概念および実現可能性のエビデンスとして控えめに位置づけている。

• 実現可能性： 結果は、ニューロンレベルの変分計算が、崩壊することなく通常のニューラルアーキテクチャ（MLPおよびTransformer）内でエンドツーエンドで学習可能であることを示している。
• 不確実性への感度： EVEは、点精度の面で決定論的ベースラインと同等またはそれ以上の性能を維持しながら、不確実性に敏感な指標（NLL, CRPS, PPL）を一貫して改善している。
• 内部診断： 本研究は、EVEの隠れ状態が単に「ノイズが多い」のではなく、真のデータレジームと一致する、測定可能で解釈可能な診断信号（事後分散やKLなど）を含んでいることを証明している。
• 正則化： 言語モデリングにおいて、変分的な性質を持つ隠れユニットは、内部的な正則化器として機能し、汎化ギャップを縮小させているようである。

著者らは、「ニューロンは分布である」と結論付けており、不確実性が単なる出力の特性ではなく、隠れた計算プロセスの一部となるプリミティブを提示している。今後の課題として、計算コストへの対処と、より大規模なデータセットでのテストが必要であることが認められている。