Transition from model-free to structure-informed decision making in dynamic environments

生物がどのように選択を行うかという広大な領域において、科学者たちは、世界をナビゲートするための2つの根本的な方法を長らく区別してきました。一方のアプローチは、即時的で反応的なものです。動物はある特定の行動が報酬につながることを学び、なぜそれが機能するのかを必ずしも理解することなく、その行動を繰り返します。これは、何かを行うことと良い結果を得ることの間の単純な連合に基づいた、習慣の戦略です。もう一方のアプローチは、より思慮深く、意図的なものです。動物は、ある出来事がどのように次の出来事を引き起こすのか、そして異なる選択が報酬の確率をどのように変えるのかという、世界の構造に関する内部マップを構築します。これは、意思決定者がルールの知識を利用して行動を導く、計画の戦略です。長年、研究者たちは、動物がタスクを長期間練習するにつれて、この思慮深い計画から、より単純で自動的な習慣へとゆっくりと移行していくと考えてきました。この考えは、十分な反復があれば、脳は計算することをやめ、筋肉の記憶に頼り始めるということを示唆していました。

ある研究チームは、マウスが複雑な意思決定タスクを学習する様子を観察することで、この仮定を検証することに決めましたが、そこには決定的なひねりがありました。彼らは動物がエキスパートになるのを待つのではなく、学習プロセスのまさに初期段階に注目したのです。マウスは、報酬を見つけるために一連の選択を行わなければならない状況に置かれました。環境はトリッキーでした。報酬への経路は必ずしも単純ではありませんでした。ある時は、選択が予想通りに次のステップへと直接つながりましたが、またある時は、経路が予期せぬ方向へと曲がることがありました。さらに、経路の終点で見つかる報酬の可能性は固定されておらず、時間の経過とともに変化したため、マウスは常に期待を更新し続けなければなりませんでした。研究者たちは、マウスが過去の報酬に単に反応しているだけなのか、それともタスクの隠れた構造を理解し始めているのかを追跡しながら、トレーニングセッションが進むにつれてマウスの行動を注意深く観察しました。

結果は、学習がどのように展開するかという従来の視点に異を唱える、驚くべきパターンを明らかにしました。マウスが練習を重ねるにつれ、彼らの行動は、単に習慣を形成しているだけではないことを示す特定の方法で変化しました。マウスが予期せぬ方向に進む状況に遭遇した際、彼らは経路が予想通りに進んだ場合とは異なる方法で、将来の選択を調整しました。この行動の分岐は、動物がタスクの構造に関する知識を用いて意思決定を導き始めた明確な兆候です。異なる学習スタイルの数学的モデルをマウスの行動に適合させることで、研究者たちは、マウスがこの構造的知識を用いた戦略にますます依存していることを発見しました。このシフトは、マウスがタスクに多大な時間を費やすずっと前、トレーニングプロセスの早い段階で起こりました。

この発見は、単純で反応的な学習から、複雑で構造に基づいた意思決定への移行が、これまで考えられていたよりもずっと早く起こることを示唆しています。以前の研究は、動物が長い時間を練習した後に何が起こるかに焦点を当てており、脳は最終的に思考をやめてオートパイロットで行動するようになるとしばしば結論づけてきましたが、今回の新しい研究は、脳がほぼ即座にルールのメンタルモデルを構築し始めることを示しています。マウスは、習慣化するのを待ってからゲームを理解し始めたのではなく、過去の報酬だけに頼ることから素早く離れ、より良い選択をするために、タスクがどのように組み立てられているかという理解を利用し始めたのです。これは、ルールや報酬が変化し得る動的な環境において、基礎となる構造を理解する能力が生存のための主要な道具であり、脳が初期段階から頻繁に活用するものであることを証明しています。