技術要約：マルチモーダル・データにおけるベイズ一般化線形混合モデルへのニューラル・エンコーダの統合

問題提起

ベイズ一般化線形混合モデル（GLMM）は、臨床医学のような極めて重要な領域における、クラスター化された縦断的データの解析において標準的なツールであり、モデルパラメータおよび予測の両方に対して厳密な不確実性定量化（UQ）を提供する。しかし、従来のベイズGLMMは低次元の表形式の予測変数に制約されており、医療画像やテキストのような高次元で複雑なモダリティをネイティブに扱うことができない。ニューラルネットワークを組み込もうとする既存のハイブリッド手法は、ランダム効果をディープアーキテクチャ内に埋め込んだり、エピステミックな不確実性を捉えられない点推定（例：最大事後確率推定）に依存したりすることで、解釈性を犠牲にすることが多い。さらに、ニューラル成分を伴うGLMMのスケール可能なベイズ推論は、難解な周辺尤度や高度に非凸な損失関数によって阻害されている。

手法

著者らは、モダリティ固有のニューラル・エンコーダと、ストカスティック勾配ランジュバン動力学（SGLD）によるスケーラブルなベイズ推論を統合した、**マルチモーダル一般化線形混合モデル（GLMM）**フレームワークを提案している。

1. モデル・アーキテクチャ

本フレームワークは、2種類の入力を区別する：

• 非構造的な高次元データ ($u_{ij}$): モダリティ固有のニューラル・エンコーダ $h_\phi(\cdot)$（例：画像用のCNN、テキスト用のTransformer）によって処理され、$K$ 次元の潜在特徴ベクトルを生成する。
• 構造化された表形式データ ($x_{ij}$): 固定効果を通じて直接モデル化される。

潜在特徴は、数値的安定性を確保するために標準化される。線形予測子 $\eta_{ij}$ は、構造化された共変量の固定効果と、学習された潜在特徴の混合効果成分を組み合わせる：
$$\eta_{ij} = x_{ij}^\top \alpha + z_{ij}^\top (\beta + \gamma_i)$$
ここで：

• $\alpha$: 構造化された共変量の固定効果。
• $\beta$: 潜在特徴の集団レベルの固定効果。
• $\gamma_i \sim \mathcal{N}(0, \Sigma)$: 被験者固有のランダム効果。これにより、ベースラインのリスクおよび特定のモダリティに対する感受性の両方における異質性を許容する。

2. 識別性と解釈性

潜在座標系は学習されるため、スケールおよび符号の非識別性に直面する。著者らは、事後サンプリングの前に潜在出力を単位経験分散に標準化することで、これに対処している。その結果、以下の符号不変な標準化要約に焦点を当てている：

• 集団効果の大きさ: $\delta^{pop}_k = |\beta_k|$
• 異質性の大きさ: $\delta^{het}_k = \sqrt{\Sigma_{kk}}$
• 相対的な寄与度: 集団全体および被験者内での重要性を比較するための、これらの大きさの比率。

3. スケーラブルなベイズ推論（2段階戦略）

周辺尤度の計算困難性と、学習中の特徴量の非定常性を克服するため、著者らは2段階の最適化戦略を採用している：

• フェーズ1：教師あり表現学習: ニューラル・エンコーダのパラメータ $\phi$ と GLMM パラメータ $\Theta$ を、ストカスティック勾配を用いて共同で更新する。エンコーダは、GLMM の目的関数に適応した予測的な潜在表現を学習する。ここで生成されたサンプルは、バーンインとして扱われる。
• フェーズ2：凍結された条件付き事後分布サンプリング: エンコーダ $\hat{\phi}$ を凍結する。その後、学習された固定の表現を条件として、GLMM パラメータ $\Theta$ に対してのみ SGLD を適用する。これにより、事後ターゲットが定常となり、有効な SGLD 診断と分散補正が可能になる。

分散補正: 標準的な SGLD は、ミニバッチのサブサンプリングと注入されたノイズにより、分散が増幅されたサンプルを生成する。著者らは、真の事後精度行列を推定し、サンプルを再スケールするために、リアプノフ方程式に基づく事後分散補正を適用し、較正された不確実性推定を実現している。

主な貢献

1. ニューラル・エンコーダ GLMM アーキテクチャ: 高次元の表現の学習と、その集団レベルおよび被験者レベルでの重要性の定量化を可能にする、モダリティ固有のニューラル・エンコーダを GLMM に統合した新しい設計。
2. SGLD によるスケーラブルな推論: 表現学習とベイズ事後サンプリングを分離することで、高次元設定における厳密な UQ を維持しながら、スケーラブルな推論を可能にする2段階の学習手順。
3. 実証的検証: フルデータ MCMC ベンチマークと同等の事後平均および分散を回復できることを示す、広範なシミュレーションと実世界のアプリケーション。

結果

シミュレーション研究

• 潜在構造の回復: 線形混合モデル（LMM）の設定において、ニューラル・エンコーダは、真の値との相関が 0.99 を超える複雑な非線形潜在構造（1次元関数、放物面、鞍状面）を正常に回復した。
• 事後精度の正確性: ランダムスロープを伴う高次元 GLMM 設定において、本手法は事後平均と分散成分を正確に回復した。事後分散補正は、推定された対数分散をギブスサンプラーのベンチマークと一致させることに成功し、近似手法で典型的な問題となる不確実性の過小評価を修正した。

実世界のアプリケーション

1. 緑内障の進行:

   • 視界画像の縦断的解析に適用し、機能喪失を予測。
   • 知見: 高齢が有意なリスク因子であることを特定した。CNN から抽出された潜在特徴（「健康指標」）は、進行リスクとの強い負の関連を示した。
   • 異質性: 有意なランダム切片およびスロープの分散が見られ、これは患者固有のベースラインリスクと、視界パターンに対する感受性の違いを示している。
   • 性能: AUC 0.764 を達成し、決定論的なベースライン CNN（0.761）と同等の性能を示した。これは、ベイズ UQ とランダム効果を追加しても予測精度が損なわれないことを証明している。

2. 思春期のメンタルヘルス（ABCD 研究）:

   • 多ドメイン・データ（睡眠、神経生物学、家族環境など）を用いて、将来の高リスク精神病理学的状態を予測。
   • 知見: 睡眠がリスクとの最も強い集団レベルの関連を示した。しかし、近隣および社会経済的コンテキストは最大のランダムスロープ分散を示した。これは、平均的な影響は小さいものの、個々人によってその影響が大きく変動することを示しており（特定のサブポピュレーションにおける強い影響を覆い隠す可能性がある）、個別の影響を浮き彫りにした。
   • 性能: 確率的モデルは AUC 0.78 を達成し、ランダム効果なしで訓練されたベースライン MLP と同等の性能を示した。

意義と主張

本論文は、このフレームワークが、高リスクな設定におけるマルチモーダルな縦断的データを分析するための原理的な解決策を提供すると主張している。共同のニューラル重みのベイズ推論を必要とせずに、共同の表現学習と条件付きベイズ推論を組み合わせることで、以下のことが可能となる：

• 解釈性の保持: 純粋なディープラーニングのアプローチに見られる「ブラックボックス」的な性質を避け、集団レベルおよび被験者レベルの両方で、異なるモダリティの相対的な重要性を定量化できる。
• 厳密な UQ の確保: モデルパラメータおよび予測に対して較正された不確実性推定を提供できる。これは、臨床的意思決定において極めて重要である。
• 効率的なスケーラビリティ: 従来のベイズ GLMM の計算上のボトルネックを克服し、大規模かつ高次元のデータセットへの適用を可能にする。

著者らは、潜在特徴の固有の符号・スケールの非識別性（標準化によって対処）や、特定の生の入力特徴への重要性の帰属の欠如（サリエンシーマップやコンセプト・ボトルネックモデルとの統合を示唆）といった限界についても言及している。しかし、本フレームワークは、すべてのニューラル重みに対する完全な共同ベイズ推論を必要とせずに、予測性能、解釈性、および不確実性定量化のバランスをうまく取っていると主張している。