Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

大規模 fMRI 研究により、モデルフリーの価値信号は行動戦略に関わらず普遍的に存在する一方、モデルベースの信号は行動レベルでの戦略的使用に依存して現れ、その欠如は環境の内部モデル構築の困難に起因する可能性が示されました。

要約

🚀 物語の舞台：宇宙採掘ゲーム

まず、実験に使われた「2 段階タスク」というゲームを想像してください。
プレイヤーは宇宙船の操縦士になり、**「黄色い船」か「青い船」**のどちらかを選んで、2 つある惑星（赤と緑）へ向かいます。

• ルール： 黄色い船は通常「赤い惑星」に行きますが、たまに（30% の確率で）「緑の惑星」に行ってしまうことがあります。青い船も同様です。
• ゴール： 惑星に着くと、さらに「北の採掘場」か「南の採掘場」に移動し、そこで宝石（報酬）がもらえるかどうか決まります。
• 変化： どの惑星が宝石を多く産むかは、ゲームの途中で頻繁に変わります。

このゲームで勝つには、2 つの異なる「戦略」が使えます。

1. 直感派（モデルフリー学習）：

   • 「前回の選択で宝石がもらえたなら、また同じ船を選ぼう！」
   • 過去の成功体験を積み重ねて、**「これを選べばいいんだ！」**と覚えるタイプ。
   • 例え話：「美味しいラーメン屋」。前回来て美味しかったから、また同じ店に行く。お店のメニューや店主の性格（環境の構造）は気にしない。

2. 計算派（モデルベース学習）：

   • 「前回、黄色い船を選んだのに緑の惑星に行っちゃった（稀な出来事）けど、そこで宝石がもらえた。ということは、次は青い船を選んだほうが、緑の惑星に行きやすく、結果的に宝石がもらえるかも？」
   • 世界の仕組み（船と惑星のつながり）を頭の中でシミュレーションして、**「どうすれば一番得をするか」**を計算するタイプ。
   • 例え話：「地図とコンパス」。目的地までの道のりを頭の中でシミュレーションし、最短ルートや障害物を避けるルートを計算する。

---

🔍 研究の核心：179 人の脳を覗いてみた

これまでの研究では、「人間は直感と計算を混ぜて使っている」と言われていましたが、**「人によってそのバランスがどう違うのか」「その違いが脳の中でどう表れているのか」**はよくわかっていませんでした。

そこで、この研究では179 人という大人数の参加者に fMRI（脳の活動を見る機械）をつけてゲームをしてもらい、脳内の信号を詳しく分析しました。

発見 1：「直感（モデルフリー）」は誰にでも備わっている

驚くべきことに、「直感」の信号は、どんな戦略を使っている人でも、脳の同じ場所（内側前頭前野：vmPFC）で常に活動していました。

• たとえ話： 脳には「美味しいラーメン屋を探す本能（直感）」が最初から組み込まれた**「常設のラジオ」**のようなものが付いています。
• 計算が得意な人（計算派）でも、直感が得意な人（直感派）でも、このラジオは常にオンになっています。
• 重要： 計算が得意な人が、あえて「計算」で行動を決めていても、脳の中では「直感」の信号が常に流れているのです。つまり、「直感」は脳のデフォルト（基本設定）のようなものです。

発見 2：「計算（モデルベース）」は、実際に使っている人だけが見える

一方、「計算」の信号は、実際に計算を使って行動している人だけの脳で見られました。

• たとえ話： 「計算」の信号は、**「ナビゲーションアプリ」**のようなものです。
• 地図を見てルート計算をしている人（計算派）の脳では、このアプリが激しく動いています。
• しかし、直感だけで行動している人（直感派）の脳では、このアプリはオフになっています。
• 結論： 計算能力は、実際にそれを「使う」必要がある時だけ、脳がオンにするスイッチを持っているようです。

発見 3：計算ができない人の正体

さらに面白い発見がありました。計算も直感もあまり使わず、ただ漫然と行動していたグループ（「その他」グループ）の人々は、**「世界の地図（環境のモデル）」を作るための練習（状態予測誤差）**が脳でうまく機能していませんでした。

• たとえ話： 彼らは「ナビゲーションアプリ」を使う以前に、「地図そのもの」を描く練習ができていない状態でした。
• 地図が描けていないから、計算（ナビゲーション）もできず、結果として直感（ラジオ）に頼りすぎたり、あるいは何もできなくなったりしているのです。
• これは、**「環境の仕組みを理解して予測する能力」**に何らかの課題があることを示唆しています。

---

💡 この研究が教えてくれること

1. 脳は「直感」と「計算」を別々のシステムとして持っています。
   • 直感は「常にオン」のデフォルト機能。
   • 計算は「必要な時だけオンにする」高度な機能。
2. 人によって「計算」を使うかどうかは、脳内の「計算スイッチ」がオンになっているかどうかで決まります。
   • 計算が得意な人は、そのスイッチを頻繁にオンにします。
   • 計算が苦手な人は、スイッチがオンになっていないか、そもそも「地図（環境モデル）」を描く練習が不足している可能性があります。
3. 病気や個人の特性との関係。
   • この「計算スイッチ」がうまく働かないことは、強迫性障害やうつ病など、特定の精神疾患に関連しているかもしれません。将来、脳の「スイッチ」をどう調整すれば、より良い判断ができるようになるかが、治療の鍵になるかもしれません。

🌟 まとめ

この論文は、**「人間の脳には、誰でも持っている『直感のラジオ』と、必要な時だけ使う『計算のナビゲーション』がある」**と教えてくれました。

そして、**「計算が得意な人と苦手な人の違いは、ナビゲーションを使うかどうかだけでなく、そもそも『地図（世界の仕組み）』を描く練習ができているかどうか」**にあるかもしれない、という新しい視点を提供しています。

私たちは毎日、無意識に「直感」と「計算」のバランスを取りながら生きていますが、その裏側では、脳が実に複雑で面白い仕組みで動いていることがわかりました。

技術概要

1. 研究の背景と課題 (Problem)

• 二重システム仮説: 人間の意思決定は、経験則に基づいた自動的な「モデルフリー（MF: Model-Free）」学習と、環境の構造を内部モデルとして利用した計画的な「モデルベース（MB: Model-Based）」学習の 2 つのシステムによって支えられていると考えられています。
• 未解決の課題: 平均的な行動は両者の混合を示しますが、個人差（誰が MF 型で、誰が MB 型か）と、それを支える神経メカニズムの関係は不明確です。
  • 仮説 A: 脳領域（特に腹側内側前頭前野：vmPFC）は戦略に関わらず柔軟に両方のシグナルを符号化する。
  • 仮説 B: MB 制御と MF 制御は、それぞれ異なる脳メカニズムに依存している。
  • 仮説 C: 一部の領域は柔軟に符号化するが、他の領域は特定の戦略を使用する個人でのみ活性化される。
• 本研究の目的: 大規模な fMRI データを用いて、行動上の戦略の個人差と、脳内における MF/MB 価値シグナルおよび予測誤差シグナルの神経相関の関係を解明すること。

2. 研究方法 (Methodology)

• 参加者: 179 名の健康な成人（ロサンゼルス地域から募集）。fMRI 研究としては異例の大型サンプルサイズを採用。
• 課題: 「2 ステップ課題（Two-step task）」の変形版（Space Miner タスク）。
  • 第 1 段階で宇宙船（黄色/青）を選択し、確率的に惑星（赤/緑）へ遷移する（共通遷移 70%、稀な遷移 30%）。
  • 第 2 段階で着陸パッドへ遷移し、報酬を得る。
  • 報酬確率は時間とともに変動し、行動の柔軟性を要求する。
• 行動データの分析:
  • クラスタリング: 過去の研究（Cockburn et al., 2024）で確立された 4 つの行動クラスタ（MF 優位、MB 優位、混合、RL 非依存/Other）に、参加者を割り当てた。
  • 計算論的モデリング: 「仲裁混合モデル（Arbitration Mixture Model）」を用いて、各参加者の MF/MB 重み（$w_{MF}$）や学習パラメータを推定。このモデルが他のモデル（純粋 MF、純粋 MB、固定重み混合）よりも行動データをよく説明することを確認（AIC 比較）。
• fMRI 解析:
  • 前処理: fMRIPrep を使用。
  • 一般線形モデル（GLM）: 選択されたオプションと棄却されたオプションの価値差（Decision Value）、および予測誤差（RPE, SPE）をパラメトリック・モジュレーターとして組み込んだ。
  • 主要な関心領域（ROI）: 腹側内側前頭前野（vmPFC）、背側外側前頭前野（dlPFC）、頭頂間溝（IPS）、線条体。
  • 統計解析: グループ間比較、個人差との相関（Spearman 相関）、および行動クラスタごとのサブグループ解析。

3. 主要な結果 (Key Results)

A. 行動レベル

• 参加者全体としては MF と MB の混合行動を示したが、個人差は顕著だった。
• 4 つのクラスタ（MF 群、MB 群、混合群、Other 群）に明確に分類され、各群の行動パターン（リワードへの反応、遷移タイプへの反応）が計算モデルの予測と一致した。

B. 価値シグナル（Decision Value）の神経相関

• モデルベース（MB）価値シグナル:
  • vmPFC における依存性: MB 価値シグナルは、行動上の MB 依存度と強く正の相関を示した。
  • MB 行動を強く示す個人では vmPFC で強い MB 価値シグナルが検出されたが、MF 行動を強く示す個人や「Other」群では、vmPFC における MB 価値シグナルは弱く、あるいは検出されなかった。
  • これは、MB 価値シグナルが行動制御に実際に使用されている場合にのみ、vmPFC で強く符号化されることを示唆。
• モデルフリー（MF）価値シグナル:
  • 普遍性: MF 価値シグナルは、行動上の MF 依存度に関わらず、すべての群（MB 群、MF 群、Other 群を含む）で vmPFC に存在した。
  • MB 行動を強く示す個人であっても、vmPFC には MF 価値シグナルが持続的に符号化されていた。
  • これは MF 価値シグナルが、行動制御に関わらず「デフォルト」として常に計算されている可能性を示唆。

C. 予測誤差シグナル（Prediction Errors）

• 状態予測誤差（SPE）: MB 学習に不可欠な SPE シグナル（状態遷移の学習）は、dlPFC と IPS で検出された。
  • SPE の符号化強度は、行動上の MB 度合いと正の相関があった（MB 行動が強いほど SPE シグナルが強い）。
  • MB 行動が弱い個人（MF 群や Other 群）では SPE シグナルが弱く、これは内部モデルの構築・更新が困難であることを示唆する。
• 報酬予測誤差（RPE）: 線条体における MF/MB RPE の検出は、両シグナル間の高い相関により統計的検出力が限定的だったが、存在の傾向は確認された。

4. 主要な貢献 (Key Contributions)

1. 個人差と神経メカニズムの解明: 従来の「平均的な脳活動」の分析を超え、行動戦略の個人差が神経シグナルの発現にどう影響するかを大規模サンプルで実証した。
2. MB と MF の非対称性の発見:
   • MB シグナル: 行動制御に依存する（使用されなければ vmPFC で検出されない）。
   • MF シグナル: 行動制御に依存しない（行動に関わらず常に存在する）。
   • この非対称性は、MF シグナルが進化的に保存された「デフォルト」の計算プロセスである可能性を示唆。
3. MB 制御不全のメカニズム: MB 行動を示さない個人は、単に MB 戦略を選ばないだけでなく、状態予測誤差（SPE）の符号化が弱く、結果として正確な環境モデル（内部モデル）を構築・更新できないという根本的な困難を抱えている可能性を示した。

5. 意義と結論 (Significance)

本研究は、モデルベースとモデルフリーの学習システムが脳内で並列して存在しつつも、その神経表現のあり方が個人差によって大きく異なることを明らかにしました。

• 理論的意義: 脳は柔軟に戦略を切り替えるのではなく、MB 制御を行う個人では特定の神経回路（vmPFC での MB 価値、dlPFC/IPS での SPE）が活性化される一方、MF シグナルは普遍的に存在するという「非対称的なアーキテクチャ」を支持します。
• 臨床的意義: 強迫性障害（OCD）や依存症など、行動制御の異常が見られる精神疾患において、単に「戦略が偏っている」だけでなく、「内部モデルの構築能力（SPE 符号化）そのものが損なわれている」可能性を示唆します。これにより、治療ターゲットを「戦略の切り替え」から「モデル構築能力の回復」へと広げる新たな視点を提供します。

要約すれば、**「MF シグナルは誰にでも常に存在するが、MB シグナルはそれを実際に行動に反映している人々のみで強く現れる」**という、脳と行動の関係における重要な非対称性が発見されました。