テクニカル・サマリー：マルチエンコーダー・デコーダーVAEによるタスク誘導型クロス・サブジェクト潜在空間アライメント

問題提起

異なる個人間の神経活動を整列（アライメント）させることは、共通の計算原理を発見し、汎用性の高いデコーダーを構築する上で不可欠である。しかし、従来の整列手法（例：Shared Response Models、Procrustes analysis、Hyperalignment）は、決定的な制約に依存している。それは、変換行列を導出するために、すべての被験者が視聴した「共有刺激（shared stimuli）」を必要とする点である。この制限は、被験者が大部分において重複しない、あるいは共有されないデータを見ている自然主義的なパラダイムへの適用を著しく困難にしており、大規模なクロス研究の神経画像データセットの集約を妨げている。さらに、共有されたサブセットのみで学習された手法は、保持された非共有刺激に対して汎化できない傾向がある。これは、それらの整列変換が、より広範なデータセットに必要とされる全表現空間を捉えきれていない可能性があるためである。

手法：MED-VAE

著者らは、共有刺激を必要とせずにクロス・サブジェクトのアライメントを実現するフレームワークとして、Multi-Encoder-Decoder Variational Autoencoder (MED-VAE) を提案する。その核心となる洞察は、事前学習済みの人工ニューラルネットワーク（ANN）を、異なる被験者の表現を共通の潜在空間へと固定するための計算上の「足場（scaffold）」として利用することにある。

アーキテクチャ

MED-VAEは、マルチパスウェイ・アーキテクチャを採用している：

1. 被験者固有のエンコーダー： 各被験者 $i$ は専用のエンコーダー ($Enc_{fMRI}^i$) を持ち、その fMRI 反応 ($x_{fMRI}^i$) を共有の $d$ 次元潜在空間 ($z_i$) へと写像する。
2. 共有ANNエンコーダー： 共有エンコーダー ($Enc_{ANN}$) は、事前学習済み ANN（具体的には ResNet-50）からの特徴量を同じ潜在空間へと写像する。
3. 被験者固有のデコーダー： 各被験者は、潜在空間から元のボクセルパターンを再構成するための専用デコーダー ($Dec_{fMRI}^i$) を持つ。
4. 共有ANNデコーダー： 汎用デコーダー ($Dec_{ANN}$) は、任意の 潜在表現（fMRI由来かANN由来かを問わない）からANNの特徴量を再構成する。

学習目的関数

モデルは、KL正則化を含む4つの再構成パスウェイを用いた損失関数を用いて学習される：

• モダリティ内 fMRI： 自身の潜在コードから、自身の fMRI データを再構成する。
• クロスモダリティ ANN $\to$ fMRI： ANN エンコーダーによって生成された潜在コードから、被験者の fMRI データを再構成する。
• モダリティ内 ANN： ANN エンコーダーの潜在コードから、ANN 特徴量を再構成する。
• クロスモダリティ fMRI $\to$ ANN： 被験者の fMRI 由来の潜在コードから、ANN 特徴量を再構成する。

共有 ANN デコーダーが主要なアライメント・メカニズムとして機能する。すべての被験者の潜在表現が、同一の階層的な視覚的特徴および、ANN によって符号化された意味的関係を再構成するように強制することで、モデルは暗黙的なアライメント圧力を課す。これにより、意味的に類似した刺激（たとえ異なる被験者が視聴していても）が、共有潜在空間内の近接した位置にマッピングされることが保証される。極めて重要な点として、ANN の足場は学習時のみ必要であり、推論時には、各被験者は自身の fMRI エンコーダーのみを用いて共有空間へと投影される。

主な貢献

1. 共有刺激の排除： MED-VAE は、事前学習済み ANN の構造的事前分布を利用することで、共有刺激を必要とせずにクロス・サブジェクトのアライメントを実現する。
2. 意味的組織化： 本手法は、従来のメソッドと比較して、より高いシルエット係数や優れたクロス・サブジェクト・カテゴリ・デコーディング精度を示す、優れた意味的組織化を持つ潜在空間を生成する。
3. 堅牢な汎化性能： 従来のメソッドが非共有刺激において性能を低下させるのに対し、MED-VAE は保持された画像に対しても堅牢な汎化性能を示し、特定の共有サブセットへの過学習ではなく、被験者不変の表現を捉えている。
4. 信号の保存： クロス・トライアル評価によれば、従来の手法は（しばしば試行固有のノイズを捉えるため）より高い試行内再構成を示すことがあるが、MED-VAE は同等の刺激駆動型信号を保持しつつ、ノイズを抑制している。
5. ダウンストリームでの有用性： 整列された空間は、優れたクロス・サブジェクト予測および画像デコーディングを可能にし、ある被験者の潜在表現から別の被験者の脳活動を再構成することを可能にする。

結果

実験は、約10,000枚の自然画像（重複は最小限）を視聴した8名の被験者を含む Natural Scenes Dataset (NSD) を用いて行われた。

• 意味的構造： MED-VAE の潜在空間は、SRM (0.22) や Procrustes (0.21) と比較して有意に高いシルエット係数 (0.34) を示し、意味的カテゴリのコヒーレントなクラスタリングを示した。Leave-one-subject-out デコーディングにおいても、MED-VAE は高い精度を示した。
• アライメント指標： MED-VAE は、ベースラインよりも高い成分別相関 (0.64 vs. 0.52/0.45) および表現類似度解析 (RSA) スコア (0.63 vs. 0.41/0.41) を達成した。
• 汎化のギャップ： 従来のメソッド (SRM, Procrustes) は、学習セットと比較して、セミ・シェアードな保持セット (128枚) で評価した際に大幅な性能低下を示したが、MED-VAE は一貫した性能を維持した。これは、MED-VAE がアライメントのために刺激の重複に依存していないことを示している。
• クロス・サブジェクト・リトリーバル： MED-VAE は、保持セットにおいて 46.2% の Top-1 リトリーバル精度を達成し、これは SRM (21.8%) および Procrustes (18.4%) の 2 倍以上の性能である。
• ノイズ vs. 信号： 試行内再構成指標では従来の手法が優位であったが、クロス・トライアル評価（試行 $i$ の再構成と試行 $j$ のグラウンドトゥルースとの相関）では、手法間に有意な差は見られなかった。これは、従来の手法の優位性が試行固有のノイズの再構成によるものであり、MED-VAE も刺激駆動型の信号を同等に保持していることを裏付けている。
• 画像デコーディング： クロス・サブジェクト予測を凍結された MindEye2 デコーダーに入力した際、MED-VAE は、特に低次元（32D）空間において、高次の意味的指標（CLIP 類似度、Inception スコアなど）でベースラインを上回った。

意義と主張

本論文は、MED-VAE が、共有刺激というボトルネックなしに、クロス・サブジェクト予測およびダウンストリーム・タスクのための 「汎用的な共通部分空間」 を特定するためのフレームワークを提供すると主張している。事前学習済み ANN からの暗黙的な制約を用いることで、MED-VAE は以下を可能にする：

• 異なるプロトコルや異なる刺激の下でスキャンされた被験者のデータを用いた、集団レベルの解析。
• 最小限の被験者キャリブレーションによる、クロス・サブジェクトの神経予測 および画像デコーディング。
• 他の整列されたデータを利用することによる、スキャン時間が限られた被験者のための データ拡張。

著者らは、共通空間が単なる統計的な対応関係ではなく、視覚的表現の計算論的組織（カテゴリ的構造や意味的関係）を捉えていることを強調している。また、アライメントの質は、選択された ANN 足場（例：ResNet-50）のモデル・ブレイン対応関係によって根本的に制限されることを指摘しており、将来的に、より強力な動的または時間的モデリングを持つ足場を用いることで、さらなる改善が可能であることを示唆している。本フレームワークは、より強力な神経科学的研究のために、研究間および個人間での神経データの集約に向けた一歩として提示されている。