技術概要：Mind-Omni

1. 問題定義

脳 - コンピュータ・インターフェース（BCI）および神経モデリングにおける現在の研究は、専門特化型の単一タスクモデルというパラダイムによって支配されている。既存のアプローチは、画像再構成（デコーディング）や刺激予測（エンコーディング）といった孤立した目的に焦点を当てることが多く、しばしば単一の方向に最適化された「専門家モデル」に依存している。この特化はモデルの汎用性を制限し、異なる神経タスク間の潜在的な相乗関係を無視し、視覚、言語、神経信号を支配する内在的なメカニズムを理解するための統合された計算フレームワークを提供できていない。

さらに、統合モデルの構築には 3 つの重大な課題が存在する：

1. 入力異質性： 被験者間の解剖学的変異により脳信号の直接統合が妨げられており、既存のアライメント手法はスケーラビリティが低い、または情報の忠実性を犠牲にする傾向がある。
2. モダリティの格差： 連続的な脳信号（例：fMRI）と離散的な視覚・テキストトークンの間には持続的な意味的ギャップが存在し、直接のクロスモダリティ融合を非効率的にしている。
3. タスクの相互依存性： 異なるエンコーディングおよびデコーディングタスク間の関係は十分に理解されていない。専門特化モデルはタスクの独立性を仮定しているが、共有された神経表現が正の転移を可能にするという仮説があり、これを検証するには統合されたアーキテクチャが必要である。

2. 手法：Mind-Omni

これらの課題に対処するため、著者らは、脳、画像、テキストの 3 つのモダリティを含む 7 つの異なるエンコーディングおよびデコーディングタスクを離散拡散パラダイムを通じて統合する、最初の汎用フレームワークであるMind-Omniを提案する。このフレームワークは 2 つの主要なコンポーネントで構成される：

A. 標準化された神経表現

被験者間のばらつきに対処するため、このフレームワークはすべての機能データをMNI152 標準空間に登録する。これにより被験者間で一貫した構造的空間次元が確立され、スケーラブルな基盤を提供するとともに、被験者固有のモジュールの必要性を軽減する。

B. 脳トークナイザ

新しいBrain Tokenizerは、異質で連続的な fMRI シグナルを、画像およびテキスト表現と整合した標準化された離散トークンに変換する。このトークナイザは、モダリティ間のギャップを埋めるために 3 つの特定の整列戦略を強化した VQ-VAE 風のバックボーンを採用する：

• 粗粒度アライメント： トリモーダルコントラスト損失（InfoNCE）と特徴蒸留を用いて、グローバルな fMRI 特徴を CLIP 画像およびテキスト特徴と共有意味空間で整列させる。
• 微細粒度アライメント： クロスアテンションデコーダを用いて、fMRI トークン系列に基づいてマスクされたテキストトークンを予測し、トークンレベルの意味的一貫性を最適化する。
• 知覚的アライメント： 再構成から予測された特徴が刺激のグラウンドトゥルース CLIP 特徴と一致することを強制することで、再構成された fMRI シグナルが意味的に有意であることを保証する。

C. 統合離散拡散フレームワーク

個別のタスク固有モジュールを組み合わせるのではなく、Mind-Omni は離散拡散モデリング（Muddit アーキテクチャから初期化）を活用して、単一の生成プロセスを作成する。

• アーキテクチャ： このモデルは、専用入力/出力層と脳ブランチ用の対称的な Q、K、V 投影層を追加することで、バイモーダル Muddit バックボーンをトリモーダル構造（画像、テキスト、脳）に拡張する。
• 訓練目的： すべてのタスクは、条件付きマスク付きトークン予測問題として定式化される。訓練中、ターゲットモダリティは、時間依存のコサインスケジュールに従ってトークンを [MASK] トークンに置換することで汚染される。モデルは、クリーンな条件トークンを给定された際に、これらのマスクされたトークンを復元することを学習する。
• タスク統合： 条件モダリティの集合（$C$）とターゲットモダリティの集合（$T$）を戦略的に定義することにより、単一の目的関数が 7 つのタスクを統合する：
  1. $I \to B$（画像から脳へ）
  2. $T \to B$（テキストから脳へ）
  3. $I\&T \to B$（結合画像・テキストから脳へ）
  4. $B \to I$（脳から画像へ）
  5. $B \to T$（脳からテキストへ）
  6. $B \to I\&T$（結合脳から画像・テキストへ）
  7. 脳質問応答（BQA）： 脳信号と質問に基づいてモデルが回答を生成する、新しい指示チューニングタスク。

D. データキュレーション

著者らは、専門的な**脳質問応答（BQA）**指示チューニングデータセットをキュレーションした。Qwen2-VL (7B)およびLLaVA-Instruct-150Kを活用し、詳細な記述、簡潔な要約、推論 Q&A ペアを含む多様な訓練サンプルを合成し、高度な推論能力を解き放った。

3. 主な貢献

1. パラダイムシフト： Mind-Omni は、脳、画像、テキストにまたがる 7 つの異なる神経エンコーディングおよびデコーディングタスクを、単一の離散拡散アーキテクチャ内で統合する最初のフレームワークであり、支配的な専門特化モデルパラダイムを超えている。
2. 新規クロスモダリティ融合： Brain Tokenizerの導入により、神経信号と視覚・テキストデータ間のギャップが埋められ、共有意味空間内で直接のトークンレベル相互作用が可能になった。
3. 実証されたマルチタスク相乗効果： この研究は、統合訓練が専門特化モデルと競合し、場合によってはそれらを上回る性能をもたらすことを示す、神経モデリングにおける相乗効果の実証的証拠を提供する。

4. 実験結果

モデルは 8 人の被験者からの fMRI データ（Natural Scenes Dataset）で訓練され、被験者 1、2、5、7 で評価された。

• 包括的性能： Mind-Omni は、統合フレームワークの中で新しい最先端（SOTA）を確立した。$B \to I$ 再構成などの特定の低レベル指標において専門単一タスクモデル（例：MindEye2）にわずかに劣る可能性はあるが、他のどの統合モデルも持たない能力として、7 つのタスク全体にわたって競争力のある性能を維持している。
• 神経デコーディング：
  • 視覚再構成： 低レベル（ピクセル相関、SSIM）および高レベル（AlexNet、CLIP）の両方の指標において競争力のある性能を達成する。
  • 言語デコーディング： 詳細な記述および推論タスクにおいて、Mind-Omni は UMBRAE や OneLLM などの専門モデルと比較して支配的な SOTA 性能を示す。特に、Mind-Omni は外部の凍結 LLM（UMBRAE や OneLLM が Vicuna-13B や LLaMA2 を使用するのとは対照的に）に依存することなくこの成果を達成しており、脳信号に根ざした深い理解を示唆している。
• 神経エンコーディング： このモデルは、ボクセル空間および意味空間の両方において、すべての指標（PCC、MSE、RSA）でマルチタスクベースライン（BraVL、MoPoE）を上回る。
• 相乗効果：
  • インターモーダル補完性： 結合エンコーディング（$I\&T \to B$）は、一貫して単一モダリティエンコーディングを上回り、視覚および意味情報の脳による自然な統合を捉えている。
  • インタータスク相乗効果： 結合デコーディング（$B \to I\&T$）は、単一タスクデコーディングと比較して画像およびキャプション出力の両方を改善し、キャプションに視覚的詳細を追加し、アーティファクトを抑制する。
• 計算テストベッド： このフレームワークは、既知のカテゴリ選択的脳領域（例：EBA による身体、FFA による顔、PPA による場所）を成功裏に再現し、新しい概念選択的領域を探索し、神経科学的探査におけるその有用性を検証した。

5. 意義と主張

著者らは、Mind-Omni が神経モデリングのための強力な新しいパラダイムを提供すると主張している。統合されたマルチタスクアプローチが専門モデルと同等かそれ以上の性能を達成し得ることを実証することで、この研究は神経デコーディングにおけるマルチタスク相乗効果の有効性を検証している。

この論文は、Mind-Omni を単なる性能ベンチマークとしてではなく、視覚、言語、神経信号間の内在的関係を明らかにするための計算テストベッドとして位置づけている。それは神経活動の基盤モデルへの道を開き、単一のアーキテクチャが脳認知の複雑で分散した性質を効果的にモデル化し得ることを示唆している。著者らは、離散拡散の置換不変性を利用することで、順序依存性を課す自己回帰モデルの交絡バイアスを回避し、タスク間相乗効果の偏りのない調査を可能にしていると強調している。

コードは公開されており、著者らはさらなる研究を促進するために、処理済み fMRI データと指示チューニングデータセットのリリースを予定している。