技術要約: NEvo: 動的な視覚的選択性のための神経誘導型進化ビデオ合成

問題提起

人間の視覚は本質的に動的であり、障害物の回避、物体の追跡、社会的推論といったタスクのために、連続的に変化する入力を処理する階層的に組織化された領域に依存しています。近年のin silico（コンピュータ内）脳エンコーディングモデルは、特定の脳領域における選択性を探るための最適な静止刺激の合成に成功していますが、これまでの研究は主に静止画の領域に限定されてきました。その結果、視覚野における、特に運動、相互作用、またはイベントのダイナミクスに依存する領域における時間構造の表現については、未だ十分に解明されていません。自然な動的入力を脳がどのように処理するかを理解するために、大規模な結合時空間構成空間にわたって、動的な刺激を体系的に生成し評価できる手法への切実なニーズが存在します。

手法: NEvo フレームワーク

著者らは、ヒト視覚野の標的関心領域（ROI）を最大限に活性化させる刺激を生成するために設計された、神経誘導型進化ビデオ合成フレームワークであるNEvoを導入します。このフレームワークは、構造化されたプロンプト空間における進化的な探索と、動的な脳エンコーディングモデルを結合させることで機能します。

1. 神経誘導型進化探索

NEvoは、解釈可能な意味的、運動的、およびイベントレベルの記述子を用いたブラックボックス最適化問題としてビデオ合成を扱います。

• プロンプト空間: 探索空間は、外観（被写体、ムード、照明）、運動（イベント構造、カメラの動き）、および時間的ダイナミクスをカバーする、視覚的属性カテゴリのデカルト積（$P = A_1 \times \dots \times A_M$）として構造化されています。プロンプトは遺伝子配列として表現されます。
• 進化アルゴリズム: この手法は、目的関数を最適化するために遺伝的アルゴリズムを採用しています。
  • 初期化: 候補となるプロンプトの集団（ポピュレーション）を生成します。
  • 評価: プロンプトは生成器（$G$）によってビデオへとレンダリングされ、標的ROI（$r$）におけるボクセルの平均予測活性化量に基づいて、動的エンコーディングモデル（$S_v$）によってスコア化されます。
  • 選択と変異: 上位層の候補（エリート）が親として選択されます。子世代は、交叉（遺伝子配列の接頭辞の入れ替え）と変異（属性の再サンプリング）を通じて生成されます。
  • 反復: このプロセスは、より強い予測ROI活性化をもたらすプロンプトに向けて集団を洗練させるために、世代を超えて繰り返されます。

2. 二段階ビデオ合成

高次元の時空間空間における探索効率を向上させるため、NEvoは最適化を2つのステージに分解します。

• ステージ1（静的コンテンツ）: 高速な画像生成器が静的サブスペース（$P_{img}$）を探索し、最適な「視覚的アンカー」（被写体、シーン、テクスチャ、照明）を特定します。
• ステージ2（動的属性）: 最もスコアの高い画像が、イメージ・トゥ・ビデオ生成器への条件付け入力として固定されます。その後、探索は、動きのプロファイル、時間的リズム、および相互作用のタイプをカバーする動的サブスペース（$P_{vid}$）を最適化します。この分離により、不適切なコンテンツ構成に対して高コストなビデオ評価を行うことを回避します。

3. 動的脳エンコーディングモデル

フレームワークは、大規模な評価において脳の反応との整合性が示されているV-JEPA 2を特徴量バックボーンとして利用します。

• アーキテクチャ: CLIPのような最終的な埋め込みのみに依存するモデルとは異なり、NEvoはV-JEPA 2からマルチブロック特徴量を抽出し、それらを空間および時間方向に平均化します。
• マッピング: ボクセル単位のリッジ回帰がfMRI反応に適合されます。各ボクセルには、検証性能が最も高いモデルレイヤーが割り当てられ、これにより皮質位置が異なるモデルの深さと整列します。
• 訓練データ: モデルはBOLDMomentsデータセットおよび社会的相互作用データセットを用いて、fsaverage5皮質表面上に投影されます。

主な貢献

1. 新規フレームワーク: 進化的プロンプト探索を用いて、自然な動的刺激下での視覚的選択性を研究するための初のモデルベース・フレームワークであるNEvoの導入。
2. 高活性化刺激: 腹側、背側、および外側視覚流の全域において、手作りの機能的ローカライザーおよび大規模データセット（例：Moments in Time）のトップパフォーマンスのビデオの両方を上回る活性化レベルを実現するビデオの合成。
3. 動的選択性の特性化: 時間的構造が視覚的選択性を広く形成していることを実証。最適化されたビデオは、FFA（紡錘状回顔領域）のような伝統的に静的選択的な領域においても、静的コントロールを上回る性能を示しました。
4. 機能的勾配の発見: 外側視覚流におけるサーチライト・トラジェクトリに沿ったNEvoの適用により、低次な空間構造から身体運動、そして複雑な社会的ダイナミクス（共同行動、コミュニケーション）へと至る系統的な進行が明らかになりました。
5. 制御された合成: 抽象的で非自然的な物体を用いても、領域固有の動的反応を引き出す（例：pSTSに対する顔のような相互作用、あるいはMTに対する振動運動）ことで、領域固有の動的選択性を静的アンカーから分離できることを検証。

結果

• パフォーマンス: NEvoが生成した刺激は、Moments in Timeデータセットのトップ99.8%、および手作りのローカライザー応答の95.8%の予測活性化を達成しました。
• 動的優位性: 最適化されたビデオは、一貫して最初のフレームの静的コントロールを上回り、運動感受性領域（例：MT）で最大の利得を示し、腹側領域（例：FFA）でも測定可能な利得を示しました。
• アブレーション研究:
  • 二段階の探索戦略は、単一ステージのベースラインを上回りました。
  • V-JEPA 2マルチレイヤーエンコーディングモデルは、CLIPベースのベースラインを大幅に上回り、時間的に接地された表現の必要性を強調しました。
  • 進化的プロンプティングは、勾配ベースの合成（BrainDiVE）よりも堅牢であることが証明されました（BrainDiVEはこの設定において意味のある動的刺激を生成できませんでした）。
  • 遺伝的探索は、ランダム探索およびヒルクライミングのベースラインを大幅に上回りました。
• 外側流の分析: サーチライト合成は、外側経路に沿った勾配を明らかにしました：初期領域は高コントラストなテクスチャを好み、中間レベルの領域（MT, EBA）は身体運動を好み、後部STS（pSTS）は同期した物理的相互作用を好み、前部STS（aSTS）は顔同士のコミュニケーション内容へとシフトしました。

意義と主張

本論文は、NEvoが静止画合成の限界を超え、動的な視覚的選択性のin silico探索を可能にすると主張しています。既知の選択性を回復し、時間的ダイナミクスへの感受性の系統的な違いを明らかにすることで、本フレームワークはin vivo実験への新たな予測を提供します。著者らは、NEvoが自然なダイナミクスを持つ物体を設計するための、スケーラブルで制御されたアプローチを提供し、特性が十分に解明されていない脳領域における機能的勾配の発見を支援する可能性があると述べています。

著者らは、合成された刺激が、基礎となるエンコーディングモデルおよび生成モデルの両方の神経選択性と潜在的なバイアスを反映していることを認め、限界についても言及しています。彼らは、ヒトの神経画像を用いた検証が不可 perlu であること、および現在のビジョンのみのモデルが、コミュニケーションが視聴覚的手がかりに依存するaSTSのような領域の特性化を制限していることを強調しています。本研究は、クローズドループ・ニューロイメージングおよび仮説駆動型の刺激設計への一歩として提示されています。