🧬 biology

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

本研究は、自然な映画視聴中に、指示チューニングされたマルチモーダル大規模言語モデルが、非指示チューニングモデルおよびコンテキスト内学習モデルと比較して、人間の脳活動と著しく強く、かつタスク固有の整合性を示すことを実証しており、これは指示チューニングが表面意味ではなく機能的タスク要求を中心に表現を組織化することを示唆する。

原著者： Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

この論文を簡単な言葉と創造的な比喩を用いて解説します。

大きなアイデア：コンピュータに脳のように「考える」ことを教える

あなたが非常に賢い AI アシスタント（マルチモーダル大規模言語モデル、または MLLM）のグループを持っていると想像してください。これらの AI は映画を見たり、音声を聴いたりすることができます。研究者たちは、これらの AI は人間の脳と同じように情報を処理しているのでしょうかと疑問に思いました。

それを確かめるために、彼らは AI に単に質問をするだけでなく、同じ映画を見ている実際の人間の「脳波」（fMRI スキャン）を観察しました。そして、AI の内部的な思考を使って、それらの脳波を予測しようと試みました。目標は、どの AI の「脳」が人間の脳と最もよく一致するかを明らかにすることでした。

主要な登場人物：2 種類の AI

この研究では、2 種類の AI アシスタントを比較しました。

「生」の AI（インコンテキスト学習）：これは、数百万冊の本を読んできたが、特定のテストを受けたことがない天才的な学生だと考えてください。あなたが映画を見せ、「何が起きているの？」と尋ねると、彼らは一般的な知識に基づいて答えます。彼らは賢いですが、単に以前に見たものを繰り返しているだけかもしれません。
「訓練された」AI（指示微調整済み）：これは同じ学生ですが、特定のタスクを実践するための厳格なトレーニングキャンプを直に終えた状態です。「要約せよ」「感情を見つけよ」「音を記述せよ」といった課題です。彼らはもはや特定の指示に従うことのプロフェッショナルです。

実験：映画の夜

研究者たちは、4 人の人間のボランティアと「映画の夜」を設けました。彼らが人気映画（『ウォール・ストリートの狼』など）のクリップを見ている間、彼らの脳はスキャンされました。

その後、それらと同じ映画クリップを AI に入力しました。

「生」の AIは、単に動画を見ました。
「訓練された」AIは、同じ動画に対して 13 種類の異なる「指示」を与えられました。
- 「主な出来事は何か？」
- 「感情を記述せよ。」
- 「中心的な対立は何か？」
- 「音を特定せよ。」

そして、研究者たちは尋ねました：どの AI の内部的な「思考」が、その瞬間に人間の脳が何をしているかを最もよく予測できるでしょうか？

驚くべき結果

彼らはいくつかの単純な比喩を用いて、以下のような発見をしました。

1. 「訓練された」AI は人間の脳によりよく一致する
「訓練された」（指示微調整済み）AI は、「生」の AI よりも人間の脳活動を予測する能力が著しく優れていました。

比喩：友人が何を考えているか推測しようとしていると想像してください。「生」の AI は、映画に関するランダムな事実を列挙する友人のようです。一方、「訓練された」AI は、あなたの脳が行うのと同じように、物語や感情を積極的に理解しようとする友人のようです。「訓練された」AI の「思考」は、他の AI に比べて人間の脳と9% から 20% ほどよく一致していました。

2. 「生」の AI は言葉を単に真似ているだけ；「訓練された」AI は作業を行っている
研究者たちは、これらの AI がどのように考えるかにおいて決定的な違いを見つけました。

「生」の AIは、あなたが使う正確な言葉に非常に敏感です。「動画を記述せよ」と言うか「動画について教えてくれ」と言うかによって、言葉が異なるため、「生」の AI の内部的な脳は大きく変化します。まるでオウムが音を真似ているようです。
「訓練された」AIは、具体的な言い回しを無視し、あなたがやりたい仕事に焦点を当てます。「要約せよ」と言おうが「物語を語れ」と言おうが、その内部的な脳はタスクに集中したままです。
教訓：人間の脳もまた、それを求めるための正確な言葉よりも、タスク（物語を理解すること）を重視しているように見えます。「訓練された」AI は、この人間らしい振る舞いをよりよく模倣しています。

3. 異なるタスクは、脳（そして AI）の異なる部分を活性化させる
この研究は、AI に特定の仕事を任せたとき、それが人間と同様に脳内の異なる「部署」を活性化させることを示しました。

比喩：脳を異なる地区を持つ都市だと考えてください。
- AI に音を検出するよう求めると、その「オーディオ地区」が点灯し、人間の聴覚野と一致します。
- 物語を理解するよう求めると、その「言語地区」が点灯し、人間の言語領域と一致します。
- 物体を認識するよう求めると、その「視覚地区」が点灯します。
「生」の AI は、地区を明確に切り替えることができませんでした。「訓練された」AI は、特定の仕事のために都市のどの部分を使うべきかを正確に知っていました。

4. 「深い」層は「深い」脳と一致する
AI モデルは、多階建てのビルのように層を持っています。

下層（浅い層）：これらは、エッジ、色、基本的な音などの単純なものを処理します。
上層（深い層）：これらは、物語、感情、推論などの複雑な概念を処理します。
発見：研究者たちは、AI の下層が人間の脳の感覚領域（目や耳）と一致し、AI の上層が人間の脳の思考領域と一致することを発見しました。この「階層構造」は、「訓練された」AI の方がはるかに明確でした。

「動画対音声」の逆転

この研究は、特に動画用に設計された AI と、特に音声用に設計された AI も検討しました。

動画 AI：これらはショーのスターでした。それらは脳全体にわたって人間の脳活動と非常に良く一致しました。
音声 AI：これらはそこそこでしたが、主に人間の脳の聴覚中枢と一致しました。動画モデルほど、脳の他の部分とは一致しませんでした。
結論：現在、「見る」ことと「聞く」ことを同時にできる AI モデル（動画）は、「聞く」ことしかできないモデル（音声）よりも、人間の脳機能にずっと近いです。

まとめ

この論文は、AI モデルに人間の教師が行うように特定の指示に従うことを教えると、彼らが単にデータを「暗唱」するのをやめ、私たちの脳がどのように機能しているかに驚くほど似た方法で「思考」し始めることを証明しています。彼らは、言い回しではなくタスクによって思考を整理し、何を求められているかによって特定の脳領域を活性化させます。これは、映画や物語という複雑な世界を人間がどのように処理するかを理解しようとする科学者たちにとって、強力なツールとなります。

技術的概要：指示調整済みマルチモーダル大規模言語モデルのタスク条件付きプロービング

問題提起

最近の脳符号化研究は、マルチモーダル大規模言語モデル（MLLM）が単一モーダルモデルよりも人間の脳活動と高い整合性を示すことを確立している。さらに、指示調整（IT）された MLLM は、脳活動と強く整合するタスク固有の表現を生成することが示されている。しかし、以前の評価は主に以下の 2 つの設定に限定されていた：(1) 単一モーダル刺激を用いて評価されたマルチモーダルモデル、または (2) マルチモーダル刺激を用いて評価された指示調整されていないモデル。

指示調整が、IT-MLLM に機能的なタスク要求を中心に表現を組織化させるのか、それとも単に表面意味を反映させるに過ぎないのかを理解する上で、重要なギャップが残されている。さらに、自然なマルチモーダル刺激（音声付き動画）下での IT-MLLM の体系的なプロービングが欠如しており、言語に導かれたタスク固有の表現が、初期感覚領域から高次認知領域に至るまで、皮質領域全体で脳活動とどのように整合するかを決定する必要がある。

手法

著者らは、指示調整済み MLLM の表現を用いて、自然な映画視聴（音声付き動画）中に記録された fMRI 応答を予測することにより、脳との整合性を推定することでこのギャップに対処する。

データとモデル：

データセット： 本研究は、4 人の被験者が 4 つの異なる映画を受動的に視聴したマルチモーダル自然主義 fMRI データセットである Movie10 データセット（Boyle et al., 2020）を利用する。データは「fsaverage6」表面空間に投影されている。
評価対象モデル：
- 指示調整済み（IT）： 6 つの動画 MLLM（InstructBLIPVideo、Video-LLaVA、Qwen-2.5-VL など）と 2 つの音声 MLLM（Qwen-2.5-Audio、Kimi-Audio）。
- ベースライン： 2 つのコンテキスト内学習（ICL）動画 MLLM、2 つの指示調整されていないマルチモーダルモデル、2 つの単一モーダル動画モデル、および 1 つの単一モーダル音声モデル。
指示： モデルは、13 の動画固有のタスク指示（動作認識、物語理解、常識推論など）と 5 つの音声固有の指示（音声理解、音声イベント検出など）でプロービングされた。
特徴抽出： IT モデルについては、入力動画/音声と特定のタスク指示に基づき、各層の隠れ状態表現を抽出した。ICL および非 IT ベースラインについては、自然言語プロンプトを用いたゼロショット推論を実行した。

符号化と評価：

ボクセル単位符号化： 帯域リッジ回帰モデルを訓練し、モデル表現から fMRI 脳活動を予測した。モデルは、有限インパルス応答（FIR）フィルタを用いて血液動態反応の遅延を考慮した。
指標： 予測された脳活動と実際の脳活動との間のピアソン相関（PC）を用いて性能を測定した。性能を標準化するため、結果を推定された被験者間予測精度で除算し、「正規化された脳整合性」を得た。
分析： 本研究は、指示の意味的類似性とモデル表現の類似性を比較するために表現類似性分析（RSA）を採用した。また、タスク条件付きの組織化を評価するためにクラスタリング指標（調整済みランダム指数）を、タスク間での共有および固有の分散を分析するために分散分割を用いた。

主要な貢献と結果

1. 表面意味とタスク構造の分離
本研究は、IT モデルと ICL モデルが表現を組織化する方法に根本的な違いがあることを発見した：

ICL モデル： 内部表現と表面指示意味との間に強い結合（ピアソン $r \approx 0.78$ ）を示し、浅いテキスト近接マッチングを示唆する。
IT モデル： 表面意味との結合は弱い（ $r \approx 0.14$ ）が、より強いタスク条件付きクラスタリングを示す。これは、IT モデルが表現をプロンプトの具体的な文言ではなく、機能的なタスク要求に基づいて組織化していることを示唆する。

2. IT 動画 MLLM の優れた脳整合性

全体的な性能： IT 動画 MLLM は、ICL モデル（約 9% の改善）、指示調整されていないマルチモーダルモデル（約 15% の改善）、および単一モーダルベースライン（約 20% の改善）よりも有意に高い脳整合性を示す。
モダリティ非対称性： IT 動画モデルは全脳、言語領域、視覚領域全体で強い整合性を示すのに対し、IT 音声モデルは聴覚皮質と中頭蓋回（MFG）で主に改善を示す。音声 IT-MLLM は指示調整されていないマルチモーダルベースラインと同等の性能を示し、音声に関する脳に関連する意味情報の捕捉には改善の余地があることを示している。

3. 領域固有のタスク分化
タスク固有の指示は、特定の機能的脳領域と整合する固有の表現を生み出す：

動画タスク： 「物語理解」と「視覚 QA」は言語関連領域（角回、後側頭葉）でより高い整合性を示すのに対し、「動画理解」は高次前頭領域を支配する。
音声タスク： 「音声キャプション」と「音声イベント検出」は聴覚皮質と整合するのに対し、「音声理解」は下前頭回（IFG）などの高次領域を活性化する。
分散分割： 視覚負荷の高いタスクは視覚皮質分散に独自に寄与し、高次意味タスクは言語ネットワーク分散に独自に寄与する。

4. 皮質処理との階層的整合
IT-MLLM は、脳の処理階層と一致する層ごとの整合パターンを示す：

初期層： 初期感覚領域（視覚および聴覚皮質）と整合する。
中層/深層： 高次視覚領域（LOC、PPA）および言語領域（角回、IFG）と整合する。
対照実験： 自然言語プロンプトではない場合（ランダムトークン）にはこの階層的勾配は消失し、整合がモデルの一般的な構造ではなく指示意味によって駆動されていることが確認される。モデルファミリー内での制御比較（例：Qwen-2.5-VL の IT 版対事前学習版）は、指示調整がすべての層で脳整合性を一貫して改善することを確認する。

意義と主張

本論文は、多様なマルチモーダルタスク全体で fMRI 応答をモデル化するために指示調整済み動画および音声 MLLM を使用した最初の研究であると主張する。その知見は以下を示唆する：

指示調整は、MLLM を表面テキストではなくタスク要求を中心に表現を組織化するプローブへと変換し、脳の機能的組織とのより強い整合性をもたらす。
タスク固有の指示は、刺激を固定したままタスク目標を変化させるための制御可能なレバーとして使用でき、人工システムと生物学的システムの両方における結合情報処理のマッピングを可能にする。
観察された層依存性の整合パターンは、自然主義的刺激下での機能特化を研究し、認知モデリングと神経科学を結びつけるために IT-MLLM を使用することを支持する。

著者らは、スケーリング、訓練データ、アーキテクチャの違いが存在するため、ファミリー間比較については控えめな立場を維持している。しかし、同一モデルの IT 版対事前学習版というファミリー内での制御比較は、指示調整後に脳整合性が一貫して改善することを示しており、調整プロセス自体の効果を分離していると強調している。