技術的概要：EmoMind – 人間の脳 fMRI からの情動キャプションの解読

問題提起

現在の脳からテキストへの解読システムは、fMRI 信号から視覚シーンや音声などの意味内容を回復する上で大きな進歩を遂げてきました。しかし、これらのシステムは知覚の情動的側面をほとんど無視しています。既存のアプローチは、感情を欠いた中立的な記述を生成するか、または「幸せ」「悲しい」などの粗いカテゴリ感情ラベルに基づいて大規模言語モデル（LLM）を条件付けるかのいずれかです。これらのカテゴリラベルは、個人の内面的な感情経験の豊かさ、連続性、そして高い変異性を捉えきれず、被験者間のばらつきを離散的な箱に押し込めてしまいます。さらに、LLM はラベルでプロンプトを与えられれば感情的なテキストを生成できますが、神経活動から特定の被験者の連続的かつ個人固有の情動状態を直接読み出すことはできません。

手法：EmoMind パイプライン

EmoMind は、連続的かつ高次元の感情ベクトルを制御信号として利用することで、fMRI 信号から直接情動キャプションを解読するように設計された、初のエンドツーエンドパイプラインです。このアーキテクチャは主に 2 つの段階で動作します。

1. ダブルストリーム脳解読（第 1 段階）

動画クリップを視聴する被験者からの fMRI ボクセル応答ベクトル $v$ が与えられると、システムは被験者ごとの線形モデルを用いて 2 つの補完的な表現を解読します。

• 意味検索（$x$）： 事前インデックス付けされたトレーニングコーパスから、中立的なシーン記述が検索されます。これは、fMRI 信号を事前学習済みの DeBERTa-large モデル（24 レイヤー）の多層特徴スタックにマッピングし、最近傍コサイン検索を実行することで達成されます。これは、反復的なトークンごとの生成に代わる単一パス検索であり、推論コストを大幅に削減します。
• 連続的情動解読（$e$）： 被験者固有のリッジ回帰モデルが、fMRI ボクセルを34 次元の Cowen & Keltner（C&K）感情ベクトルにマッピングします。カテゴリラベルとは異なり、このベクトルは刺激に対する人間の評価から導き出された連続確率として、Joy（喜び）、Fear（恐怖）、Awe（畏敬）、Nostalgia（郷愁）などの微細な感情状態を表します。

2. 軸トークン書き換え（第 2 段階）

訓練されたエンコーダー - デコーダー言語モデル（BART-base）が書き換え器として機能し、解読された感情ベクトル $e$ に条件付けられて、中立的なキャプション $x$ を感情スタイルのキャプション $\hat{y}$ に変換します。

• アーキテクチャ： このモデルは、C&K 感情カテゴリのそれぞれに対応する 34 の学習済み「軸トークン」を組み込んでいます。脳解読された感情ベクトル $e$ はこれらの軸トークンを要素ごとにスケーリングし、それらがエンコーダーの隠れ状態に連結されます。これにより、デコーダーは入力キャプションの事前学習済み意味表現を乱すことなく、感情軸を追加の仮想コンテキストトークンとして解釈できます。
• 訓練目的： このモデルはベルヌーイスイッチ型目的関数で訓練されます。確率 $\rho$ で再構成タスク（感情ベクトルをゼロにした入力 $x$）を実行し、確率 $1-\rho$ で情動目標タスク（特定の感情的キャプションを目標とする感情ベクトル $e$ を伴う入力 $x$）を実行します。この明示的なアイデンティティ保持の null ブランチは、モデルにいつ意味内容を保持し、いつ情動制御を許容するかを教えます。
• 推論（分類器フリーガイダンス）： 意味忠実度と情動表現のトレードオフを制御するために、システムは分類器フリーガイダンス（CFG）を適用します。最終的なエンコーダー出力は線形外挿となります：$H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$。ここで $w$ はガイダンス重みです。$w$ の値が高いほど、ある程度のコンテンツ忠実度を犠牲にして情動表現が増幅されます。

主要な貢献

1. 初の連続的脳条件付きパイプライン： EmoMind は、離散的なカテゴリラベルに依存するのではなく、fMRI から直接導き出された連続的かつ解読された感情ベクトルに基づいてテキスト生成を条件付ける最初のシステムを導入します。
2. 3 軸検証フレームワーク： 著者は以下の 3 つにわたる厳密な評価フレームワークを提案します。
   • 被験者固有性： 同じシーンを視聴する異なる被験者が、神経的な違いに比例して異なるキャプションを生成するかどうかを測定します。
   • 構造的幾何学（RSA）： 解読された感情空間におけるクリップ間の関係構造が、生成されたキャプションに保持されているかどうかを評価します。
   • 因果制御（SWAP）： 書き換え器が、元のクリップの固有の情動に戻ることなく、異なるクリップからのシフトされた感情目標に従うかどうかをテストします。
3. 合成脳堅牢性テスト： このフレームワークには、現在のビデオから脳へのエンコーダーにおける表現のギャップを診断するために、測定された fMRI をビデオ特徴から予測された合成活動に置き換える「TRIBE v2 置換」テストが含まれています。

実験結果

このシステムは、強力なベースライン（真のトップ 5 カテゴリ感情ラベルでプロンプトされた GPT-4）に対して、2 つの独立した fMRI データセット（MindCaptioning と Horikawa 2020）で評価されました。

• 被験者固有性： EmoMind は GPT-4 ベースラインを大幅に上回りました。被験者間のキャプションの多様性は、感情ベクトル類似性（CK34 コサイン）において3.4 倍、語彙的多様性において11.6 倍高くなりました。重要なのは、この多様性が神経的な類似性によって組織化されていたことです。神経応答が類似した被験者はより類似したキャプションを生成し、これはラベルプロンプト型のベースラインには見られない構造でした。
• 構造的幾何学： 脳解読された表現非類似行列（RDM）とキャプション RDM の間のスピアマン相関は、EmoMind で**+0.635**、GPT-4 で**+0.435**でした。これは、連続的な脳解読がカテゴリラベルよりも感情的経験の関係的幾何学をよりよく保持することを示しています。
• 因果制御： SWAP テストにおいて、EmoMind は「自己漏洩」率2.8%（統計的に偶然と区別できない）を達成し、元のクリップの情動に戻ることなくシフトされた目標に従うことに成功しました。GPT-4 は**8.3%**で元のクリップの情動を漏洩させ、連続的な脳信号がカテゴリラベルよりもクリーンな制御信号を提供することを示しました。
• 合成脳分析： fMRI を合成活動（TRIBE v2）に置き換えた場合、因果制御は堅牢に維持されました（漏洩 5.2%）が、構造的幾何学は崩壊しました（RSA が +0.635 から +0.166 に低下）。これは、現在のビデオから fMRI へのエンコーダーがクリップ固有の情動を捉えることはできても、クリップ間の関係構造を保持する能力が欠如していることを示唆しています。

意義と主張

本論文は、連続的な脳解読された情動が、個別化された情動キャプション生成のための実行可能な制御信号であり、カテゴリラベルでは達成できない能力を提供すると主張しています。

• 個人の変異性： 結果は、感情経験の個人差が、集団レベルのラベルに集約される際に失われる、分散した高次元の神経パターンに符号化されていることを確立しました。EmoMind はこの「被験者間の変異性」を成功裡に捉えており、これは集団平均が臨床的に意味のあるシグナルを見逃すことが多い精神健康の転換応用において重要です。
• 表面指標を超えて： GPT-4 は真のテキストとラベルへのアクセスがあるため、標準的な表面重なり指標（BLEU、ROUGE）では EmoMind を上回りますが、EmoMind は個人固有の情動構造を必要とする指標において優位に立っています。
• 神経科学的洞察： 因果的有用性（合成脳で保持）と構造的有用性（合成脳で失われる）の間の分離は、現在のビデオから fMRI へのエンコーダーが、情動の関係的幾何学を完全に再構築するために必要な内受容的または被験者固有のシグナルを欠いていることを示唆しています。

著者らは、EmoMind が個々の情動脳組織の研究に対する新たな方向性を開き、単に人が何を見たかだけでなく、その人固有の神経シグネチャに特有の形で、その人がそれをどのように感じたかを反映するテキスト生成の基盤を提供すると結論付けています。