Embodied reinforcement learning in the primate cortico-basal ganglia system
本研究は、マカク猿の皮質―基底核系における神経活動を記録することにより、価値表現が不変なものではなく運動系に特異的であることを示し、それによって既存の強化学習に関する生物学的説明に異を唱え、行動がエージェントの物理的構造に根ざしているとする身体化された枠組みを支持している。
原論文は CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
脳の二重トラック・システム：なぜ手と目は異なる学習をするのか
あなたの脳を、どのボタンを押せば最も多くのポイントが得られるかを解明しようとしている、非常に賢いビデオゲーム機だと想像してみてください。何十年もの間、科学者たちはこの「ポイント・システム」が単一の普遍的な通貨のように機能していると考えてきました。彼らは、ジョイスティックを使おうが、キーボードを使おうが、音声コマンドを使おうが、脳は報酬の価値を一箇所の中央で計算し、その後に、行動に必要な特定の筋肉グループへと同じ「よくやった！」という信号を送るだけだと考えていたのです。これは「強化学習」として知られる概念であり、脳の報酬計算機は、動いている身体部位とは完全に切り離されていることを示唆していました。それは、一つの脳、一つの価値、そして多くの動き方があるという、整然とした理論でした。
しかし、もし脳が単一の通貨交換のように機能していないとしたらどうでしょう？ もし、学習の仕方が「どのように動くか」と深く結びついているとしたら？ これこそが「身体化された認知（embodied cognition）」の核心であり、私たちの思考や学習は、抽象的な雲の中に浮いているのではなく、物理的な身体に根ざしているという概念です。もしこれが真実なら、クッキーを掴むために「手」を使う学習と、クッキーを見るために「目」を使う学習では、たとえ対象となるクッキーが同じであっても、脳内での感じ方や見え方は全く異なるものになるはずです。この理解は、動物が野生でどのように生き残るかから、よりスマートなロボットをどのように構築するか、あるいは脳の損傷を受けた人々をどのように支援するかまで、あらゆるものの捉え方を変えるほど重要なことです。もし脳が異なる身体部位を別々の学習チャネルとして扱っているのだとしたら、私たちの精神は、かつて考えられていたよりもずっと物理的で、決して「抽象的」なものではないことを意味します。
大規模なサル実験：目 vs 手
この研究において、研究者のフランコ・ジャロッコとブルーノ・アバーベックは、2匹のマカクザルを「スーパー・ラーナー（超学習者）」にすることで、このアイデアをテストすることにしました。彼らは、報酬としてのジュースを得るために、2枚の絵の中からどちらかを選択しなければならないゲームを用意しました。時々、サルは右の絵を見る（サッケード、すなわち眼球運動）ことで選択しなければならず、またある時は、右の絵に手を伸ばして触れる（リーチ、すなわち腕の動き）ことで選択しなければなりませんでした。ここでの注意点は、サルは試行錯誤を通じて、どちらの絵が「良い」もの（80%の確率でジュースが出る）で、どちらが「悪い」もの（20%の確率でジュースが出る）であるかを学ばなければならないということでした。
サルがこのゲームをしている間、科学者たちは8つの異なる脳領域にわたる4,843個のニューロンの活動を記録しました。彼らは、感情に関連することが多い扁桃体から、脳のCEOである前頭前皮質、そして脳の行動センターである基底核に至るまで、あらゆる領域を調査しました。彼らは、サルが目を使っているときでも手を使っているときでも、脳が報酬の価値について語る際に、同じ「神経言語」を使用しているかどうかを確認したかったのです。
大きな発見：二つの異なる言語
結果は、従来の理論に対する衝撃的なものでした。科学者たちは、脳は価値に対して単一の普遍的な言語を使用していないことを発見したのです。代わりに、脳はどの身体部位が作業を行っているかに応じて、全く異なる二つの「方言」を話していました。
脳のニューロンを巨大なオーケストラだと想像してみてください。もし「普遍的な価値」理論が正しければ、サルが目を使っていようが手を使っていようが、オーケストラは同じメロディを奏でるはずです（音量が少し大きくなったり小さくなったりする程度で）。しかし、研究者が発見したのは、オーケストラが同時に二つの全く異なる曲を演奏しているような状態でした。サルが目を使ったとき、ニューロンは「この絵には大きな価値がある！」と伝えるための特定のパターンで発火しました。しかし、サルが手を使ったとき、全く別のニューロンのセットが、全く別のパターンで、全く同じことを伝えるために発火したのです。
研究者たちは「ポピュレーション・ジオメトリー（集団幾何学）」と呼ばれる数学的ツールを用いて、これら二つの神経パターンの間の「角度」を測定しました。その結果、パターンは互いにほぼ直角、つまり「T」字型になっていることがわかりました。数学の用語で言えば、これらは直交しており、幾形学的に独立しています。目を使用する際の価値に関する情報は、手を使用する際のデコーダー（復号器）を使って読み取ろうとすると、非常に混乱してしまうほど、情報の性質が異なっていました。価値に関する情報は、翻訳の過程で事実上失われてしまうのです。
この分離は、脳のあらゆる場所で起きていました。科学者が「普遍的な価値の中心」と考えていた腹側線条体や扁桃体のような、深い感情の部分でさえも同様でした。唯一、脳が共通の言語をわずかに保持していたのは、抽象的なルールを扱うことで知られる腹外側前頭前野（vlPFC）という領域でした。しかし、そこにおいても分離は強力でした。
なぜそれが重要なのか：身体が精神を形作る
この研究は、脳が「身体化されている」ことを示唆しています。脳は単に報酬を計算して身体に指示を出すのではなく、「どのように動くか」が報酬の学習や記憶のされ方を実際に形作っているのです。研究者たちは、サルは目を使うとき（サッケード）よりも手を使うとき（リーチ）の方が学習能力が高く、より速く学習し、より優れた選択を行うことを発見しました。これは、私たちの異なる身体部位が、それぞれ異なる種類の学習タスクを処理するために進化してきた可能性を示唆しています。
決定的なのは、研究者たちが、これらの違いが単にサルが一方のタスクに長けているからではないことを証明した点です。サルが目と手の両方で同等のパフォーマンスを示したセッションのみに絞って分析しても、脳は依然として二つの異なる言語を使用していました。このことは、この分離がミスやタスクが下手であることによる副作用ではなく、脳の配線の根本的な特徴であることを証明しています。
ですから、次にあなたが何か新しいことを学んでいるときは、こう思い出してください。あなたの脳は、手と目を、同じクラスにいる二人の異なる生徒として扱っているのかもしれません。それぞれが自分自身のノートを持ち、自分自身の方法でレッスンを理解しているのです。脳は単一の抽象的な計算機ではありません。あなたの動き方が思考の一部となる、物理的な機械なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。