Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay
本研究は、自然なゲームプレイ中に行動（LAMs）と推論（VLMs）のために基盤モデルを微調整することが、異なる脳のアライメントパターンをもたらすことを示しており、LAMs は前頭運動領域において非対称で行動に特化した表現を示すのに対し、両モデルとも強化学習のベースラインを上回り、その改善度は皮質処理階層に沿って増大する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
巨大な MRI 装置の中で、人々がクラシックなアーケードビデオゲーム（『パックマン』や『スペースインベーダー』など）をプレイしている様子を想像してください。この装置は超高性能なカメラのように機能し、数秒ごとに脳の写真を読み取り、画面を見ること、次の手を考えること、ボタンを押すことに応じて、脳のどの部分が光っているかを示します。
この論文の目的は、現代の AI コンピュータが、人間の脳と類似した方法でゲームについて「考えて」いるかどうかを明らかにすることです。
以下に、この研究をシンプルな比喩を用いて解説します。
1. プレイヤー：3 種類の「心」
研究者たちは、ゲームを理解しようとする 3 種類の異なる「心」を比較しました。
- 古典的ロボット（RL ベースライン）： これらは試行錯誤を通じて勝利することのみを訓練された従来の AI エージェントです。おやつのためにレバーを押すことを学ぶ犬のようであり、何をするべきかは知っていますが、ゲームの世界やルールを本当に「理解」しているわけではありません。
- 汎用観察者（VLMs）： これらはインターネットを読み、数百万の動画を視聴した現代の AI モデル（視覚言語モデル）です。非常に賢い観光客のように、ゲームを説明し、ルールを解説し、グラフィックについて話すことができますが、必ずしも完璧にプレイするように訓練されているわけではありません。
- 行動専門家（LAMs）： これらは汎用観察者に似ていますが、コンピュータの操作やゲームのプレイ方法に関する膨大なデータに基づいて特別に「ファインチューニング」または訓練されています。操作が第二の天性になるまで練習してきたプロゲーマーのようです。
2. 実験：「プロンプト」のトリック
研究者たちは AI に画面を見せるだけでなく、その思考がどのように変化するかを調べるために、特定の指示、つまり「プロンプト」を与えました。
- 「行動」プロンプト： 「次の手は何で、なぜですか？」（実行に焦点を当てる）。
- 「推論」プロンプト： 「ゲーム内で何が起きているか、目標は何で、脅威は何ですか？」（理解に焦点を当てる）。
その後、AI の内部的な「思考」（デジタル表現）を人間の脳スキャンと比較し、どの AI が人間の脳によりよく一致するかを確認しました。
3. 主要な発見
発見 A：新しい AI は人間により近い
「古典的ロボット」はそれなりにでしたが、現代の AI モデル（汎用観察者も行動専門家も）は、人間の脳活動との一致においてはるかに優れていました。
- 比喩： 人間の思考を推測しようとしていると想像してください。古いロボットは単純なパターンに基づいて推測します。新しい AI は、物語、物体、目標に対する豊かな理解に基づいて推測します。新しい AI の「推測」は、人間の脳の実際の活動と、はるかに密接に一致します。
発見 B：「思考」の強化は脳の「計画」部分で起こる
研究者たちが「行動」または「推論」のプロンプトを使用すると、AI と人間の脳の一致はさらに良くなりました。しかし、この改善はすべての場所で均等ではありませんでした。
- 比喩： 脳を都市のように考えてください。「初期視覚野」は人々がまずゲームを見る正面の門です。「前頭頭頂葉」領域は、計画や意思決定が行われる市庁舎です。
- プロンプトは、AI が人間の脳と一致する度合いを、「市庁舎」（計画/意思決定領域）では「正面の門」（視覚領域）と比較して2 倍高めました。これは、人間がプレイする際、単にピクセルを見ているだけでなく、計画や推論に深く関与しており、AI モデルはそれについて考えるように求められたときにこれを最もよく捉えていることを示唆しています。
発見 C：「対称性」対「非対称性」の驚き
これが最も興味深い発見です。汎用観察者（VLM）と行動専門家（LAM）は、全体的な脳活動の予測において同等に優れていましたが、その方法は非常に異なっていました。
- 汎用観察者（VLM）はバランスが取れている： 「推論」を求められようが「行動」を求められようが、脳のリソースをほぼ同様に両方に使用します。瓶を開けるのもロープを切るのも同様に得意な、スイスアーミーナイフのようです。
- 行動専門家（LAM）は偏っている： 行動専門家に「推論」を求めると、実際には新しい価値を追加することに苦労します。「行動」の訓練がすでに膨大な情報を吸収しているため、別に「推論」を求められても冗長であるように見えます。
- 比喩： 行動専門家はレシピブック全体を暗記したシェフだと想像してください。「必要な材料は何ですか？」（推論）と尋ねられても、彼らはすでに知っている料理のこと（行動）を繰り返すだけです。「推論」部分の脳は、その「行動」訓練がすでにそれをカバーしているため、冗長になります。人間の脳において、これは行動専門家の「推論」シグナルが、実際には脳の計画領域における予測を妨げる形で現れました。
発見 D：「思考」の痕跡は弱い
研究者たちはまた、「考えながら話す」（回答前に思考の連鎖を生成する）新しいタイプの AI も調べました。驚いたことに、「思考」テキストを生成する AI の部分は、単に最終回答を与える部分よりも、人間の脳にあまり似ていませんでした。
- 比喩： パズルを解く人を見ているようなものです。彼らが最後に取る手は、人間が手を動かす方法と一致します。しかし、解いている間に彼らが口にする内的な独り言（「ふむ、もしかしたらこれを試すべきか…」）は、最終的な決定ほど人間の脳の活動とは一致しません。
まとめ
この論文は、現代の AI モデルが、ゲーム中における人間の思考や計画をシミュレートする能力が大幅に向上していることを示しています。しかし、単に AI を「実行」する能力を高めることは、その内部構造を特定の仕方に変化させます。つまり、「推論」と「行動」があまりにも重なり合い、脳の計画センターでは区別がつかなくなるのです。これは、AI と人間が同じ「スコア」（予測精度）に到達する可能性があっても、その内部的な「脳」の組織化のされ方は根本的に異なる可能性があることを、科学者たちが理解する手助けとなります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。