A Mechanistic Theory Unifying Value and Schema in the Prefrontal Cortex
本論文は、価値が構造化されたワーキングメモリ表現をゲートする制御信号として機能することで、柔軟かつ汎用的な意思決定を可能にするという前頭前皮質の統一的なメカニズムモデルを提案しており、この理論は、追加のシナプス可塑性を必要とせずにこの振る舞いを再現するメタ学習済み回帰型ニューラルネットワークによって検証されている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
動物は適応の達人です。リスは新しい木の実を見つけるたびに、その割り方を学び直す必要はありませんし、人間も、ルートが変わったからといって車の運転を学び直す必要はありません。未知の状況において賢明な選択を行うこの能力は、前頭前皮質と呼ばれる脳の特定の部位に依存しています。科学者たちは、この領域が2つの重要な役割を担っていることを古くから知っていました。それは、ある選択肢がどれほど価値があるか（価値）を計算することと、状況の隠れたルールや構造（例えば、赤信号で左折するのは常に間違いであるといったこと）を理解することです。数十年にわたり、これら2つの機能は別々のパズルとして研究されてきました。一方の研究ラインは、脳がいかに報酬から学習するかを調査し、もう一方の研究ラインは、脳がいかに世界のメンタルマップを構築するかを調査していました。大きな疑問は、脳がこれら2つのツールをどのように組み合わせて、その瞬間の意思決定を行うのかという点でした。
ユニバーシティ・カレッジ・ロンドンとオックスフォード大学の研究チームは、新たな答えを提示しました。彼らは、脳は単にすべての可能な行動に対してスコアを算出し、その中から最も高いものを選んでいるのではないと示唆しています。むしろ、脳は選択肢を「ランク付けされたリスト」のように整理しており、選択の価値がそのリストを並べ替える制御信号として機能していると考えています。これを検証するために、研究者たちはニューラルネットワークのコンピュータモデルを構築し、さまざまな意思決定ゲームを解くように訓練しました。これらのモデルにはルールがプログラムされていませんでした。動物と同じように、ゲームの構造自体を自ら学習しなければなりませんでした。その結果、最も成功したモデルは、特定の内部メカニズムを発達させていることが示されました。それは、利用可能な行動を別々の「スロット（記憶の枠）」に保存し、それぞれの行動がどれほど良さそうかに基づいて、それらのスロットを絶えず並べ替えるという仕組みです。
研究者たちは、これらの成功したモデルにおいて、脳はすべての行動を固定されたアイテムとして、それに永続的なスコアが付随しているものとして扱っていないことを発見しました。代わりに、行動自体が流動的であるダイナミックなシステムを作り出しているのです。中身を入れ替えることができる引き出しのセットを想像してみてください。モデルは、最善の選択肢を一番上の引き出しに、二番目に良いものを真ん中の引き出しに、そして最悪のものを一番下の引き出しに保持することを学習しました。極めて重要なのは、モデルにおける「価値」の信号は、単にそこに存在する数値ではなく、一つの「スイッチ」として機能したことです。モデルがあるトップの選択肢がもはや最善ではなくなったというフィードバックを受け取ると、価値の信号が作動して入れ替え（スワップ）を引き起こし、古いトップの選択肢を下に下げ、新しい最善の選択肢を引き上げました。これにより、モデルはルールを一から学び直すことなく、新しい状況に即座に適応することができたのです。もしゲームのルールが変わったとしても、モデルは以前学んだのと同じ基礎的な論理を用いながら、既存の選択肢のリストを単に再編成するだけで済みました。
この発見は、神経科学における長年の見解に異を唱えるものです。伝統的に、科学者は、犬が特定の芸をすればおやつがもらえると学ぶように、脳は特定の行動と報酬の間の結びつきを強化することで学習すると信じてきました。その古い見解では、「座れ」という命令が良い結果をもたらすと学習した場合、その結びつきはハードワイヤー化（固定）されます。しかし、新しいモデルは異なることを示唆しています。研究者たちは、モデルが特定の行動に価値を結びつけるのではなく、価値を「順位（ランク）」に結びつけることを学習したことを発見しました。この見方によれば、脳は、それが実際にどのような選択肢であるかにかかわらず、「最善の選択肢」や「二番目に良い選択肢」という概念を認識することを学習するのです。これが、動物がいかに素早く学習を一般化できるのかを説明しています。もしサルがある文脈で特定の果物が最善の選択であることを学んだなら、全く異なる果物のセットがある新しい文脈においても、同じ内部ルールに基づいて新しい選択肢を再ランク付けすることにより、即座にその論理を適用できるのです。
このメカニズムが単なるコンピュータコードの癖ではなく、現実のものであることを証明するために、研究者たちはモデルに対して一連の「外科手術」実験を行いました。彼らはネットワークの隠れた層に手を加え、スロットに保存されている情報を手動で変更しました。トップのスロットの内容とボトムのスロットの内容を入れ替えたところ、モデルの行動は予測通りに変化しました。モデルは、以前そこに存在していたものを無視し、移動させられたトップのスロットの内容を即座に選択し始めたのです。これにより、モデルは単にスコアを計算して勝者を選んでいるのではなく、価値の信号に基づいて行動コマンドを物理的に移動させていることが確認されました。また、研究者たちは、ルールが予測可能なパターンで変化するゲームや、ある選択肢の価値が別の選択肢の価値を教えるような、より複雑なタスクを用いてモデルをテストしました。あらゆるケースにおいて、このランク付けされたシャッフル・システムを使用しているモデルこそが、問題を効率的に解決し、新しいバリエーションに適応できるモデルでした。
この研究は、これが現実の動物の脳とどのように比較されるかについても考察しました。研究者たちは、自分たちのモデルが情報を整理する方法が、サルの前頭前皮質から記録されたニューロンの発火パターンと一致していることを指摘しました。実際の脳においては、実際の選択肢が何であるかにかかわらず、「最善」の選択肢のために発火するニューロン、「二番目に良い」もののためのニューロン、そして「最悪」のもののためのニューロンが存在することが観察されています。この生物学的な証拠は、脳がランク付けされたシステムを使用しているという考えを支持しています。研究者たちは、このシステムが「何（行動）」と「どれほど良いか（価値）」を分離しているため、非常に効率的であるとも指摘しました。この分離により、脳は全く新しい問題に対しても、同じ学習ルールを再利用できるのです。この能力は、変化し続ける世界において生存するために不可欠なものです。
価値と構造の概念を統合することで、本研究は脳がいかにして柔軟性を実現しているかについて、より明確な全体像を提供しています。それは、前頭前皮質が報酬を合計する計算機というよりも、情報の流れを絶えず再編成する交通管制官のように機能していることを示唆しています。選択の価値は、単に読み取られる数値ではなく、脳の内部ワークスペースを再編成するためのコマンドなのです。このメカニズムによって、動物はすべての可能性を試すことなく、一度のフィードバックから最善の行動を導き出す「迅速な推論」が可能になります。研究者たちのシミュレーションは、これが単なる理論的な可能性ではなく、システムが柔軟になるよう訓練されたときに自然に現れる堅牢な解決策であることを示しています。この研究はコンピュータモデルを用いて行われましたが、既存の生物学的データとの整合性は、このランク付けされたシャッフル・メカニズムこそが、人間の脳が日常生活の複雑で絶えず変化する問題を解決する方法であることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。