Reward predictability shapes decision making states and exploitative control in marmosets

あなたは森の中を歩きながら、一番おいしいベリーを探しているところだと想像してください。時には、どこに最高のパッチ（集まり）があるか正確に分かっているので、その道を進み続けて採り続けます（これは**搾取（exploitation）です）。また別の時には、もっと良いパッチが隠れているかもしれないと考えて、新しいエリアをチェックするために道から外れて歩き回ることもあります（これは探索（exploration）**です）。

この論文は、マーモセット（人間と遺伝的に似ている部分があり、非常に賢く社会的な小型の猿）が、いつ既知のことに固執し、いつ新しいことに挑戦すべきかをどのように判断しているかについてのアプローチを扱っています。

研究者が行ったことと、その発見を分かりやすく分解して説明します：

1. 猿たちのための新しい「ジム」
以前は、これらの猿の意思決定を研究することは困難でした。多くの場合、彼らを住処から連れ出し、報酬を求めて喉を渇かせ、短時間のストレスフルな状況下でテストする必要があったからです。
研究者たちは、猿たちの飼育ケージの中に、自動化された新しい「ジム」を構築しました。それは、まるでハイテクなタッチパネル式のゲーム機のようなもので、猿たちはストレスを感じたり水を制限されたりすることなく、いつでも好きな時に、好きなだけ遊ぶことができます。これにより、彼らの自然な意思決定の習慣を、長期間にわたって研究することが可能になりました。

2. トレーニング・ゲーム
猿たちは画面上で一連のゲームを行いました：

• 逆転学習（Reversal Learning）： 赤いボタンを押すと常に報酬が得られるゲームを想像してください。しかし、突然ルールが変わり、青いボタンが報酬を与えるようになります。猿たちは戦略を切り替える方法を学ばなければなりませんでした。
• 「二本腕のバンディット（Two-Armed Bandit）」： これは最後に行われた、最も難しいテストでした。スロットマシンのようなもので、2つのレバーがあります。時には片方のレバーの方が頻繁に報酬を与えますが、ルールはトリッキーでランダムに変化します。どちらのレバーが良いのかを示すヒントや手がかりは一切なく、彼らは試行錯誤することによって、それを解明しなければなりませんでした。

3. 猿たちの思考法（「メンタル・モード」）
研究者たちは、コンピューターモデルを用いて猿たちの脳を理解しようとしました。その結果、猿たちは単にランダムな選択をしているのではなく、2つの明確な「メンタル・モード」の間を切り替えていることが分かりました：

• 「固執モード」（搾取/Exploitation）： 確信を持っているとき、猿は通常うまくいく選択肢を使い続けます。
• 「お試しモード」（探索/Exploration）： 不安を感じているとき、猿は新しい情報を集めるために、異なる選択肢をテストし始めます。

4. 大きな発見：予測可能性がゲームを変える
最も興味深い発見は、報酬の予測可能性に関するものでした。

• 世界が予測可能なとき（決定論的/Deterministic）： もし間違った選択をしたときに「常に」報酬が得られないのであれば、猿は自分の間違いに即座に気づきます。それはまるで電球がパッと灯るようなもので、彼らは非常に素早く進路を修正しました。
• 世界が予測不能なとき（確率論的/Probabilistic）： もし間違った選択をしたとしても、運良く「時々」報酬が得られるのであれば、猿は自分が間違いを犯していると気づくのが遅くなります。

この研究は、環境が予測可能であれば、猿は「固執モード」で過ごす時間が長くなり、エラーの修正も非常に速くなることを示しました。逆に、環境が混沌としていて予測不能な場合、彼らは「お試しモード」で歩き回る時間が長くなります。

まとめ
この論文は、私たちがどのように学習し、決定を下すかというメカニズムを理解するための新しい方法を提示しています。それは、猿たちの脳には探索と搾取のための特定の「スイッチ」が存在すること、そしてゲームのルールがいかに明確であるか（予測可能かランダムか）によって、それらのスイッチの切り替え方が完全に変わってしまうことを示しています。これは、私たちに近い種における、賢い意思決定の仕組みを理解するための設計図なのです。