Reward changes the use and structure of predictive spatial maps

技術要約：報酬は予測的空間マップの使用法と構造を変化させる

問題と動機
海馬のプレイスセル（場所細胞）活動における報酬関連の変化には、根本的な曖昧さが存在する。それは、既存の空間マップの「使用法」が変化したのか（行動方策の変化によるサンプリングの変化）、あるいはマップそのものが「再構築」されたのか（報酬依存的な可塑性）という点である。先行研究では、プレイスフィールドが報酬付近に蓄積したり、ゴールに向かってシフトしたりすることが示されているが、標準的な行動観察では、これら2つのメカニズムを混同してしまう。なぜなら、方策の変化は、マップをサンプリングするために用いられる軌跡や感覚履歴をも変化させてしまうからである。著者らは、「マップがいかに使われるか」と「いかに書き換えられるか」を区別することは、特にサクセッサー表現（successor representation）のような予測的枠組みにおいて、方策の変化がパラメータの変化なしに状態占有予測を本質的に変えてしまうことを踏まえると、海馬のコーディングを理解する上で不可欠であると主張している。

手法
著者らは、これらの寄与を分離するために、2つの経路を持つ計算モデルを構築した：

1. 予測的リカレントネットワーク（フェーズA）： 512個の隠れユニットを持つリカレントニューラルネットワーク（RNN）が、現在の観測量と行動から、次の自己中心的な感覚観測（視野内の物体ベクトルおよび壁までの距離）を予測することを学習する。このネットワークは、報酬やゴールの信号なしに、感覚予測のみを通じて空間表現（プレイスセル様のチューニング）を発達させる。
2. ゴール条件付きコントローラー（フェーズB）： RNNの隠れ状態と、明示的に供給されるアロセントリック（外中心的）なゴール置換ベクトルを組み合わせ、行動を選択するためのアクター・クリティック型強化学習コントローラーが、後段に追加される。コントローラーは、近接最適化ポリシー（PPO）を用いて、報酬のある場所に到達するように訓練される。
3. 実験的コントロール：
   • 行動的対比： 学習前の探索（ランダムウォーク）によるレートマップと、学習後のゴール指向行動によるレートマップを比較する。ここでは、ネットワークのパラメータとサンプリングされる軌跡の両方が異なる。
   • 固定軌跡リプレイ： パラメータ依存的な変化を孤立させるため、学習前後で、保存された同一の探索的観測・行動軌跡をネットワークにリプレイさせた。これにより、位置、方位、および感覚履歴を一定に保ち、学習されたパラメータのみによって引き起こされる変化を分離した。
   • ティーチング信号： 「報酬近接ティーチング信号」（報酬への距離のスムーズな関数を予測するように訓練された補助デコーダー）の役割と、リカレントな可塑性の役割（可塑的な重みと、ほぼ硬直した重みを比較）をテストした。
   • 比較： モデルは、マウスを用いた報酬欠如および報酬再配置実験から再解析された実験データと比較された。

主な結果

• サンプリングと可塑性の分離： ゴール指向の行動は、プレイスフィールドの報酬付近への強い集中を生じさせた。しかし、固定軌跡リプレイによれば、パラメータ依存的なシフトは大幅に小さく（行動的なシフトのわずか16〜19%しか保持していない）、かつ変動性が高かった。これは、行動中に観察されるフィールドの集中現象の大部分が、既存のマップの「使い方の変化（方策の変化）」に起因しており、マップの大規模な再配線によるものではないことを示している。
• ティーチング信号の役割： 学習目的関数に報酬近接ティーチング信号を追加すると、固定軌跡リプレイにおけるパラメータ依存的なシフトはより大きくなり、より一貫して報酬方向へと向かった。これは、可塑性がマップの変化を可能にする一方で、その変化を報酬に向けて確実に方向付けるには、特定のティーチング信号が必要であることを示唆している。
• 可塑性の役割： リカレントな可塑性を制限（ほぼ硬直した重みに設定）すると、パラメータ依存的なシフトが1桁減少した。これは、ティーチング信号が変化を指示する場合であっても、マップが再編成されるためには可塑性が不可欠であることを裏付けている。
• 再配置ダイナミクス： 報酬が再配置された際、ゴールに関連する方向チューニングは、プレイスフィールドのピーク位置よりも完全に適応した。フィールドのピークは以前に学習された報酬位置の影響を保持していたが、フィールド全体の質量は新しいゴールへと再中心化した。これは、方向チューニングは迅速に更新できる一方で、ピーク位置は歴史的な影響を保持するという解離を示唆している나。
• 報酬の撤回： 環境報酬と近接ティーチング信号の両方を撤回すると、学習されたフィールドの集中は逆転し、ベースラインへと戻った。これは、報酬による組織化が永久に「凍結」されているのではなく、これらの信号によって能動的に維持されていることを示している。
• データとの比較： モデルは、フィールドの蓄積、報酬欠如時の組織化の喪失、および再配置時におけるプレイスアンカー型応答と報酬相対型応答の共存など、海馬の報酬コーディングの特徴を定性的に再現した。ただし、モデルは報酬撤回時のマップの信頼性低下が実験データよりも小さくなっており、モデルが特定のメカニズムを捉えているものの、他のメカニズム（潜在状態の推論など）が欠けている可能性を示唆している。

意義と主張
本論文は、予測的空間マップの「行動的な表現」と、報酬依存的な学習による「マップの修正」を区別するための具体的な枠組みを提供すると主張している。

• メカニズムの区別： 結果は、報酬が予測的空間マップに影響を与える際、報酬関連のティーチング信号がマップ自体を形成する（可塑性）一方で、ゴール情報は既存のマップの「使い方」を変える（サンプリング）という、分離可能なメカニズムを通じて作用するという見解を支持している。
• 予測コーディング： 感覚予測によって報酬に先んじて空間表現を確立でき、それがゴール指向のナビゲーションに動員され得ることを示している。マップはその全体的な組織化を保持しながら、行動の要求に応じて形作られる。
• 限界： 著者らは、本モデルが回路モデルではなく、計算論的な抽象化であることを明示している。モデルは、経験から学習するのではなく、明示的なゴール置換信号と外部定義された近接ティーチング信号を想定している。また、報酬活動の試行ごとの逆行的な進行や、報酬欠如実験で見られるマップの不安定化の全容を再現できていない。
• 今後の方向性： 今後の実験では、報酬情報、可塑性、および行動を分離することに焦点を当てるべきであり、例えば、報酬関連のティーチング信号を抑制することが、ナビゲーションを損なう以上にフィールドの集中を減少させるかどうかをテストするために、カテコールアミン入力（VTA/LC）を操作することなどが挙げられる。また、システムが感覚履歴のみからゴールを発見し、ティーチング信号を構築できるかどうかを検証することも求められている。