Discovering and decoding latent mean-field structure with variational autoencoders

技術要約：変分オートエンコーダによる潜在的な平均場構造の発見とデコード

問題提起
生成モデル、特に変分オートエンコーダ（VAE）は、物理学や神経科学における多体系の相関を捉えるためにますます採用されている。しかし、これらのモデルによって学習された表現は、物理的な解釈に対して依然として不透明なままである。自然科学における中心的な課題は、構成要素間の複雑な相関を持つシステムの挙動を予測することであり、そこでは結合確率分布 $p(x)$ は非因子化（non-factorizable）である。機械学習ツールは集団変数（collective variables）を特定するための強力なヒューリスティックを提供するが、これらのアプローチがいつ、なぜ成功するか、あるいは失敗するかを決定する確立された基準は欠如している。具体的には、低次元の潜在表現が、相関のあるシステムの結合分布を忠実に再構成できる条件がいつであるのかが不明確である。

手法
著者らは、VAEを統計物理学における有限サイズ平均場理論に結びつける理論的枠組みを構築した。本手法の核心は以下の通りである：

1. 構造的等価性： 本論文は、VAEデコーダーに内在する条件付き独立性の仮定（$p_\theta(x|z) = \prod_i p_\theta^{(i)}(x_i|z)$）が、有限サイズ平均場分解と構造的に同一であることを示している。熱力学的極限（$N \to \infty$）においてのみ有効な決定論的な秩序パラメータを仮定する標準的な平均場近似とは異なり、VAEの定式化は確率的な潜在変数 $z$ を保持しており、これにより有限系における非ゼロの相関 $\langle x_i x_j \rangle - \langle x_i \rangle \langle x_j \rangle \neq 0$ を記述することが可能となる。
2. 容量基準： 著者らは、VAEがシステムをモデル化するための必要条件を導出した。潜在チャネルの情報率（$R$）とデータの二部相互情報量（$I_{bip}(p)$）を比較することにより、境界条件 $R \gtrsim I_{bip}(p)$ を確立した。システムの相関が潜在空間にエンコードできる情報量よりも多くの情報を必要とする場合（例：平均場による記述が不可能なシステム）、ハイパーパラメータのチューニングに関わらず、VAEは必然的に結合分布の再構成に失敗する。
3. 成功指標： 再構成の忠実度を定量化するために、著者らは条件付き全相関（conditional total correlation） $TC|z = D_{KL}[p(x|z) || \prod p(x_i|z)]$ を導入した。成功したVAEは、$TC|z \approx 0$ となるべきであり、これは潜在変数 $z$ がすべての関連する相関を吸収したことを示している。
4. パラメータの回復： 本枠組みは、もしVAEがデータを正常に再構成できたならば、基礎となる平均場理論の微視的なパラメータを、学習済みデコーダーから直接読み取ることができると仮定している。

主な結果
著者らは、解可能なモデルの階層および実験データを用いて、自らの理論を検証した：

• スカラー秩序パラメータ（キュリー・ワイス vs 2Dイジング）：
  • キュリー・ワイス： 1次元の潜在空間を持つVAEは、全温度領域において磁化、感受率、ビンガー・コンパクト（Binder cumulant）などの観測量を正確に回復し、結合分布を完全に再構成する。条件付き全相関はゼロと区別がつかない。
  • 2Dイジング： VAEは2Dイジングモデル（平均場による記述を持たないモデル）の再構成に失敗する。単一点の観測量は近似できるものの、条件付き全相関は臨界温度付近で著しく増大し、モデルは二点相関関数を捉えることができない。
• ベクトル秩序パラメータ（ホップフィールド・モデル）：
  • 潜在次元が格納されたパターン数（$P=4$）と一致するVAEは、平衡サンプルのみからホップフィールド・モデルを正常に再構成する。
  • 決定的なことに、著者らは C3 を実証した。デコーダーのロジット空間のヤコビアンを解析することで、微視的なパターン行列 $\xi$ を100%の精度で正確に回復し、結合に関する事前知識なしに逆イジング問題を解いた。
• テンソル秩序パラメータ（マイヤー・ソース・モデル）：
  • ネマティック・イソトロピック転移に適用された際、5次元の潜在空間（ネマティック・テンソルの自由度に一致）を持つVAEは、一次転移と秩序パラメータを正しく再現した。潜在変数は、物理的なネマティック・テンソルに直接マップされることが示された。
• 実験への適用（網膜記録）：
  • サラマンダーの網膜記録（$N=40$ 個の神経節細胞）に適用された結果、2つの潜在変数を持つVAEは、独立モデルでは捉えられない集団統計（ワードレートおよびオーバーラップ分布）を再現した。
  • 学習されたデコーダーは、2つの有効な集団変数（格納されたパターン）と外部磁場を明らかにした。得られたモデルは一般化されたホップフィールド・モデルであり、分布の裾の部分における高次相互作用を捉えており、標準的な二次形式のホップフィールド・モデルを超える記憶容量を示唆している。

意義と主張
本論文は、VAEと有限サイズ平均場理論の間の等価性から導かれる3つの主要な帰結を主張している：

1. 失敗モードの特定： 因子的デコーダーを持つ低次元VAEは、平均場による記述を認めないシステム（例：2Dイジング）に対して、理論的に失敗する。これは、データセットに低次元の集団変数構造が存在しないことを識別するための診断ツールとなる。
2. 潜在構造の証拠： 成功したVAEによる再構成は、そのシステムが潜在的な平均場理論を認めていることの直接的な証拠となる。モデルの成功は、低次元の多様体が相関を組織化している存在を示唆している。
   に、微視的なパラメータ（結合パターンやテンソル秩序パラメータなど）を、学習済みデコーダーから明示的に回復できる。

著者らは、本研究が生成機械学習と統計物理学の間の溝を埋め、VAEを「ブラックボックス」的なツールから、複雑な多体系を支配する潜在的な平均場構造を発見し、定量化するための解釈可能なフレームワークへと変貌させるものであると結論づけている。