Nonlocal operator learning for fMRI encoding and decoding tasks

技術的概要：fMRI 符号化および復号タスクのための非局所演算子学習

問題定義
機能性磁気共鳴画像法（fMRI）データは、その高次元の時空間構造により計算神経科学にとって重大な課題を呈している。fMRI によって記録された脳活動は、遠隔領域にわたって分布し、拡張された時間スケールにわたって展開する相互作用を反映しており、血流動態的な平滑化や遅延といった測定効果を包含している。局所性や短距離依存性（例えば、畳み込みフィルタ、固定グラフ近傍、短記憶再帰など）の仮定に依存することが多い標準的な深層学習アーキテクチャは、これらの分散した非局所的なダイナミクスを捉えるには過度に制限的である可能性がある。著者らは、fMRI のモデリングには、接続性に対する事前の制約を課すことなく、空間的に分散し時間的に拡張された相互作用を表現できるフレームワークが必要であると提唱している。

手法
本論文は、ニューラル積分演算子に基づくフレームワークを提案し、特に fMRI の符号化および復号タスク向けに注意機構型ニューラル積分方程式（ANIE）モデル[ZFC+24] を適応させた。

• 数学的定式化: BOLD 信号は、空間 $x$ と時間 $t$ における関数 $u(x, t)$ として扱われる。脳のダイナミクスは、この関数空間に作用する非局所演算子 $T$ としてモデル化される。中核となるメカニズムは、潜在空間における固定点反復であり、以下の方程式で定義される：
  $$T(u) + u_{lat} = u$$
  ここで、$u_{lat}$ はエンコーダ $E$ を通じて得られる潜在表現であり、$u^*$ は固定点解である。
• 非局所演算子: 局所演算子とは異なり、積分演算子 $T$ は、時空間領域全体を積分することで点 $(x, t)$ における信号を評価する。この演算子は学習可能なカーネル $K_\theta$ によって定義される：
  $$T(u)(x, t) = \int_0^1 \int_\Omega K_\theta(u(z, s), x, t, z, s) \, dz \, ds$$
  ここで、$z$ と $s$ はそれぞれ空間および時間の積分変数を表す。この定式化は、任意の空間位置のペア間の相互作用と、複数の時間スケールにわたる記憶効果を自然に考慮する。
• タスク:
  • 復号: fMRI 記録から入力刺激（物体ラベルまたは視覚パターン）を予測する。固定点 $u^*$ は刺激 $y_{stim}$ に対して回帰される。
  • 符号化: 入力刺激から fMRI ダイナミクスを予測する。固定点 $u^*$ は、BOLD 信号を再構成するためにデコーダ $D$ によって使用される符号化関数として機能する（$D(u^*) = u$）。
• 実験デザイン: このフレームワークは、2 つのオープンソースデータセット（Haxby および Miyawaki）で評価された。著者らは、時空間コンテキストが性能および潜在空間幾何学に与える影響を評価するため、時間ウィンドウサイズ（短 vs 長）と空間コンテキスト（視覚皮質関心領域 vs 全脳記録）を体系的に変化させた。モデルは、パラメータ数を同等に保って公平な比較を確保しつつ、FFNN、CNN、LSTM、ResNet、ViT といった標準的なアーキテクチャと比較された。

主要な貢献と結果

1. 時間コンテキストの影響:

   • 復号: 両データセットにおいて、より大きな時間ウィンドウは一般的にニューラル積分演算子の性能を向上させた。Haxby データセット（物体分類）において、ANIE モデルの精度は（1 時間点で）約 73.7% から（20 時間点で）約 79.2% に上昇したが、対照モデル（CNN、LSTM、ViT）は長いウィンドウにおいて性能の低下または停滞を示すことが多かった。
   • 符号化: 100 ピクセルの刺激から約 5000 ボクセルを予測するという本質的な難しさにより絶対的な性能は中程度であった（$R^2 \approx 0.25$）ものの、より長い時間ウィンドウは一貫した改善をもたらした。ANIE モデルは（5 時間点で）$R^2 \approx 0.15$ から（25 時間点で）$R^2 \approx 0.25$ に改善した。

2. 空間コンテキストと全脳情報:

   • 復号タスクにおいて、視覚皮質のみではなく全脳記録を利用することは、統計的に有意にモデル性能を向上させた。これは、視覚刺激に関連する情報が複数の脳領域に非局所的に分散しており、大規模な時間スケールを通じて効果的にアクセスされることを示唆している。

3. 潜在空間の構造:

   • クラス分離: 復号実験において、学習された潜在空間は、生データよりも明確なクラス分離を提供することが多かった。
   • 自己教師あり分類: 幾何学的刺激とランダム刺激を区別する際、モデルによって学習された潜在空間は、特に短い時間ウィンドウにおいて、生データよりも構造化された組織を示した。小さなウィンドウ（$t=3, 5$）において、モデルの潜在埋め込みは KNN 分類において生データを有意に上回った（$p < 0.05$）。時間ウィンドウが増加するにつれて、生データおよび潜在表現の両方が高度に分離可能となり、潜在空間の相対的な優位性は減少した。

意義と主張
著者らは、ニューラル積分演算子が、脳活動における分散した非局所構造を明示的に捉えるという点で、fMRI ダイナミクスのモデリングにとって有望なフレームワークであると主張している。結果は以下を示している：

• 広範な時空間コンテキストが有益である: fMRI ダイナミクスの成功したモデリングは、局所的なスナップショットではなく、長期的な時間情報と分散した空間情報に依存している。
• アーキテクチャが重要である: この非局所構造を活用するには、積分演算子のような非局所依存性を捉えるように特別に設計されたモデルアーキテクチャが必要であり、局所的な畳み込みや再帰のみに依存するのとは異なる。
• 表現学習: このアプローチは、特に信号が生データにおいて明示的でない場合（すなわち、短い時間ウィンドウにおいて）、刺激依存情報をより構造化された潜在表現に組織化する能力を有している。

本論文は、結果が長距離時空間機能の仮説を支持するものであるが、増加した統計的安定性などの要因も観察された改善に寄与する可能性があるため、脳機能の直接的な機械論的説明を確立するものではないと、控えめな立場を維持している。今後の研究は、学習された演算子の解釈可能性を向上させ、既知の機能的脳組織との関連をより直接的に確立することに焦点を当てるべきであると提案されている。