技術要約: RAMP – Amortised Message Passing による認識パラメータ化

1. 問題提起

教師なし学習は、観測値間の依存関係を説明する潜在因子を明らかにすることを目指している。確率的グラフィカルモデル（PGM）は、不確実性と非決定的なリンクを数学的に表現できるため、このタスクに適している。しかし、**表現力（expressivity）と計算の実行可能性（tractability）**の間には根本的なトレードオフが存在する。

• 実行可能性: PGMにおける厳密な推論は、通常、厳密な信賴伝播（belief propagation）を可能にするための制限的な分布の選択（例：線形ガウス分布）を必要とする。
• 表現力: 非線形で複雑な依存関係は、必要な積分を計算不能（intractable）にすることが多い。既存の近似手法（例：変分推論、モンテカルロ法）は、モデルの規模に対してスケーリングが悪かったり、ディープラーニングの近似能力と確率的な整合性を統合した統一的なフレームワークを提供できなかったりすることが多い。

核心となる課題は、複雑で高次元なデータに対して、明確な尤度を持つ原理的な確率フレームワークを維持しつつ、柔軟で非線形な潜在構造を学習する手法を開発することである。

2. 手法: RAMP

著者らは、柔軟で非線形な、アモルタイズされた（amortised）メッセージ伝達フレームワークを学習することによって、潜在構造を暗黙的に定義する手法である RAMP (Recognition Parametrisation by Amortised Message Passing) を提案する。RAMPは、**認識パラメータ化モデル（Recognition-Parametrised Model: RPM）**のパラダイムに基づき、それをツリー構造のグラフィカルモデルに適応させたものである。

2.1 核心概念

• 認識パラメータ化（Recognition-Parametrisation）: 生成過程 $p(x|z)$ をパラメータ化する代わりに、RAMPは観測値から事後信念へのマッピングを行う認識因子 $f(z|x)$ をパラメータ化する。結合分布は次のように構成される：
  $$p(Z, X) = p(Z) \prod_p \frac{f_p(Z|x_p)}{F_p(Z)} p_{emp}(x_p)$$
  ここで、$F_p(Z)$ はモデルが適切に定義されることを保証する正規化定数である。
• アモルタイズされたメッセージ伝達（Amortised Message Passing）: ツリー上の標準的な信賴伝播（BP）では、メッセージは厳密な積分によって計算される。RAMPは、これらの積分を学習されたアモルタイズされた変換に置き換える。
  • 潜在ノード $z_k$ とその隣接ノード $z_j$ について、信念の更新は積分ではなく、関数 $G_{j \to k}$ によって定義される：
    $$f^k_j(z_k | X^k_j) = G_{j \to k} \left( f^j_0(z_j) \prod_{l \in \partial j \setminus k} \frac{f^j_l(z_j | X^j_l)}{f^j_0(z_j)} \right)$$
  • これにより、ネットワークは明示的な生成因子や計算可能な積分をバイパスして、信念の変換を直接学習することが可能になる。
• モデルアーキテクチャ:
  • ツリー構造: RAMPは、潜在変数 $Z$ と観測変数 $X$ がツリーを形成する、無向ツリー構造のグラフィカルモデル上で動作する。観測値はリーフノードに制約される。
  • ノードごとのRPM: モデルは、各潜在変数 $z_k$ に対する複数の「ノードごと」のRPMを同時に最適化することで学習される。各ノードごとのモデルは、$z_k$ によって誘導される条件付き独立性の分割を尊重する。
  • 結合最適化: 目的関数は、すべてのノードごとのモデルにおける自由エネルギー（変分下界）の総和である：
    $$F = \frac{1}{K} \sum_k F_k$$
    この結合最適化により、アモルタイズされたメッセージ伝達ネットワークが、単なる局所的な部分木への依存関係ではなく、グローバルなツリー構造と条件付き独立性を捉えることが保証される。
  • 指数型分布族によるパラメータ化: 学習目的の計算可能性を確保するため、信念は指数型分布族（例：ガウス分布）のメンバーとして表現される。メッセージ伝達は、ニューラルネットワーク（$g_{j \to k}$）を介した自然パラメータの変換として実装される。ここで、分布の積は自然パラメータの和に対応する。

2.2 理論的保証

本論文は、データが特定の条件付き独立性の仮定（仮定1）を満たすツリー構造の潜在モデルと適合している場合、およびアモルタイズされたネットワークが結合目的関数を最適化する場合、以下が成立することを確立している：

1. 各ノードごとの自由エネルギーは、その最適値に達する。
2. 学習された信念 $f^k_j$ は観測値の十分統計量となり、真の潜在構造を効果的に復元する。
3. 本手法は、潜在変数間の正しい条件付き独立構造を復元する（補題2）。

3. 主な貢献

1. ディープラーニングとPGMの新規な統合: RAMPは、ニューラルネットワークを単に事後分布や生成モデルを近似するために用いるのではなく、メッセージ伝達演算器そのものをアモルタイズするために用いる、統合的なアプローチを提供する。
2. 非線形モデルにおける尤度ベースの学習: 緩い近似を用いた変分下界に依存する多くの深層潜在変数モデルとは異なり、RAMPはRPMフレームワークから導出される適切な尤度関数を維持し、非線形なメッセージ伝達においても機能する。
3. 誤設定に対する堅牢性: 本手法は、構造的な誤設定（仮定されたツリー・トポロジーがわずかに摂動されている場合でも、正しい潜在変数を学習できること）および分布の誤設定（真の事後分布が非ガウスであっても非線形なデータ生成プロセスを扱えること）に対する堅牢性を示している。
4. 双方向のセマンティクス: 時系列アプリケーションにおいて、RAMPは確率的なセマンティクスを伴う双方向推論（フォワード・バックワード）を自然に実装し、標準的なコントラスティブ手法や構造化VAEよりも優れた動的状態の復元を実現する。

4. 実験結果

著者らは、以下の3つの異なるタスクでRAMPを評価した。

• 階層的な線形/非線形ツリー:

  • 線形ガウス: RAMPは、厳密な推論の性能と一致する高い忠実度で、厳密な解を復元した。
  • 構造的誤設定: 摂動を加えたツリー構造で学習した場合でも、ローカルな分割が正しければ、RAMPは真の潜在変数との高い相関を維持した。これは、学習信号が条件付き独立構造に対して局所的であることを示している。
  • 非線形データ: 非線形変換によって生成されたデータに対し、RAMPはブラックボックス変分推論（BBVI）や教師ありガウス近似を上回り、真の事後分布が非ガウスであるにもかかわらず、潜在変数の表現を学習することに成功した。

• 非線形動的システム（振り子）:

  • 振り子の画像の学習において、RAMPは2次元の位相空間（角度と角速度）を2次元の潜在空間内に正常に推論した。
  • RAMPは、コントラスティブ予測符号化（CPC）や構造化VAE（SVAE）を上回った。これらは、単一のフレームからは直接観測できない状態変数（角速度）を、真の次元数に制約された条件下で確実に復元することに失敗した。

• ポーズ推定:

  • Leeds Sports Pose (LSP) データセットに適用し、RAMPは局所的な画像パッチから身体の関節構成を推論した。
  • 推論された潜在変数は、関節を繋ぐ肢体の向きをエンコードしていた。モデルはポーズのスケッチを正常に再構成し、学習されたツリー構造の事前分布を活用することで、遮蔽された関節（例：欠損した足首）に対しても対処できた。

5. 意義と主張

本論文は、RAMPが適応的なニューラルネットワーク・コンポーネントを、一貫した確率的フレームワークへと融合させる重要なステップであることを主張している。その意義は以下の点にある：

• 識別可能性（Identifiability）: ツリーグラフの条件付き独立構造を利用することで、RAMPは潜在変数が観測値の特定の分割に基づいて発見可能であることを保証する。
• 一貫性（Coherence）: 内部表現に確率的な解釈が欠如している一般的なディープラーニングのアプローチとは異なり、RAMPの推論手順はモデル自体を直接定義するため、学習された表現が明確な尤度と確率的セマンティクスを持つことを保証する。
• スケーラビリティと柔軟性: メッセージ伝達をアモルタイズすることで、RAMPは厳密な推論が不可能な複雑で高次元なデータや非線形な依存関係にもスケールし、かつ構造化されていない変分近似の弊害を回避する。

著者らは、現在の研究は識別可能性と推論の一貫性を確保するためにツリー構造のモデルに焦点を当てているが、ループのあるグラフに対する信賴伝播の経験的な成功は、RAMPをループ構造に適応させることが有望な方向であることを示唆していると述べている。