The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

技術要約：潜在状態としてのニューロン

問題提起
古典的なニューラーネットワークは、通常、隠れユニットを決定論的なスカラー活性化として表現する。これは構成的な計算を容易にする一方で、ユニットの内部状態を単一の値へと崩壊させてしまい、不確実性、変動性、および信頼性を外部（例：ベイズ重み、アンサンブル、または事後的なスコア）でモデル化することを強いることになる。本論文は、代替的な視点を提案する。すなわち、ニューロンを点値の変換としてではなく、局所的な**潜在状態（latent state）として扱うという視点である。対処すべき中心的な課題は、単にこのような状態を学習することではなく、それをどのように読み取る（read）**かである。もし隠れた計算がスカラーではなく事後分布を運ぶのであれば、予測問題は「事後分布を学習すること」と「その事後分布から予測を抽出するためのルールを選択すること」という、二つの明確なタスクに分かれる。標準的なアプローチは、モンテカルロ平均が自然な出力であると仮定することで、これらを混同しがちである。本論文は、学習された事後分布が、素朴な集計では抽出できない予測構造を含んでいるかどうかを調査する。

手法：EVEと事後分布の凍結（Posterior-Freezing）
本研究では、隠れた計算に局所的な変分事後分布 $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$ を備えた、古典的な分布的ニューラルメカニズムであるEVEを利用する。

• メカニズム: 潜在状態 $z$ は再パラメータ化（$z = \mu + \sigma \odot \epsilon$）を通じてサンプリングされ、局所的なカルバック・ライブラー（KL）ダイバージェンスによって正則化される。
• コア・プロトコル: 「状態の学習」と「状態の読み取り」の問題を分離するために、著者らは事後分布の凍結プロトコルを導入する。
  1. EVEモデルを制御されたマルチモーダル予測ベンチマーク（CHBF）で学習させる。
  2. 検証性能に基づいてチェックポイントを選択し、すべての事後パラメータ（$\theta, \phi, \psi$）を凍結する。
  3. 同じ凍結された潜在状態に対して、さらなる学習や事後分布の更新を行うことなく、複数の**古典的な変分読み出し（variational readouts）**を適用する。
• 読み出しの種類:
  • 点崩壊型読み出し（Point-collapse readouts）: サンプルを集計して単一の軌跡とする（例：モンテカルロ平均、中央値、トリム平均）。
  • 分布型読み出し（Distributional readouts）: 予測集合を保持しつつ、サンプルをフィルタリングまたは再重み付けする（例：ブランチ・メドイド、妥当性フィルタリング、ブランチ・バランス）。
• 診断指標: 読み出しギャップ（readout gap） $\Delta$ を、凍結された事後分布に対する特定の読み出しによる性能向上度として定義する。正のギャップは、事後分布が素朴な集計では捉えきれない構造を含んでいることを示す。

主な貢献

1. EVEの定式化: 隠れた計算がスカラーではなく、サンプリング可能で診断可能な状態である、古典的な潜在状態メカニズムとしてのEVEの定義。
2. 古典的な変分読み出し: 固定された学習済み事後分布から予測を抽出するという問題を、独立した設計選択として導入。
3. 事後分布の凍結プロトコル: 状態の学習と状態の読み取りを方法論的に分離し、事後分布の情報の含有量をテストする。
4. 操作的な診断: 凍結された事後分布が単なる確率的ノイズや正則化なのか、それとも情報を担う状態なのかを判断するための、読み出しギャップの定義。
5. 実証的検証: 制御されたベンチマークにおいて、再学習なしで構造を認識した読み出しが性能を向上させることを実証。

実験結果
実験は、各入力が4つの妥当な将来の軌跡につながる合成データセットであるCHBF (Controlled Branching-Future) ベンチマークを用いて行われた。妥当な将来を平均化すると、しばしば無効な軌跡が生成されるため、これはマルチモーダルな表現に対する厳格なテストとなる。

• EVE 対 決定論的ベースライン: 凍結されたEVEの事後分布は、分布的指標において決定論的ベースライン（DET）を大幅に上回った。DETの平均MSEが0.2499であったのに対し、EVEの生のモンテカルロ集合は、ベスト・オブ・サンプルMSEで0.0051、カバレッジで1.00（DETは0.25）、CRPSで0.2352（DETは0.4081）を達成した。
• 点崩壊の限界: 事後分布を単一の軌跡に崩壊させること（例：モンテカルロ平均）は、高い無効率（100%）と低い精度をもたらし、素朴な集計がマルチモーダルな構造を破壊することを確認した。
• 分布型読み出しのギャップ: 軌跡クラスター内の代表的なサンプルを選択する非オラクル手法である**ブランチ・メドイド読み出し（branch-medoid readout）**は、事後分布を再学習することなく、生のモンテカルロ集合を改善した。
  • CRPS: 生のMC（0.2352）からブランチ・メドイド（0.2230）へと、5.20%の相対的な利得を実現。
  • 妥当性（Validity）: 無効な軌跡率を0.62%から0.00%に減少させた。
  • ブランチ・バランス: ブランチ確率の $\ell_1$ 誤差を0.1202から0.0000に減少させた。
  • 統計的有意性: ブランチ・メドイド集合のCRPSに関するブートストラップ信頼区間 [0.2210, 0.2254] は、生のMC集合 [0.2323, 0.2383] と重複しなかった。
• 選択的予測: 事後分布由来の診断（例：無効サンプル率）は、予測リスクを効果的にランク付けできることが示され、カバレッジが低下するにつれてリスクが減少する選択的予測が可能となった。

意義と主張
本論文は、その結果が、EVEを単なる確率的ノイズや正則化の源ではなく、情報を担う潜在的な計算状態として解釈することを支持していると控えめに主張している。

• 主要な主張: 凍結された事後分布における正の読み出しギャップの存在は、学習された状態が、素朴な集計では抽出できない予測構造を含んでいることを証明している。
• 範囲: 著者らは、この結果が制御されたCHBFベンチマークに限定されていることを明記しており、これが現実世界のデータセットにおける広範な経験的優位性を確立するものではないことを認めている。
• 含意: 本研究は、隠れた表現を単なる点値の変換としてではなく、適用される明示的な読み出しプロトコルにその予測的有用性が依存する潜在状態として捉えるべきであることを示唆している。最も強力な展開可能な読み出しは、学習された統計的要約ではなく、構造認識型（ブランチ・メドイド）であった。これは、事後分布の幾何学的構造を保持することが極めて重要であることを示唆している。