Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

私たちは毎日、決して静止することのない世界の中で選択を行っています。今朝は最良の選択肢だったコーヒーショップが、明日には混雑しているかもしれません。昨日までは早かった通勤ルートが、今日は通行止めになっていることもあります。このように変化し続ける風景をナビゲートするために、私たちの脳は、知っている情報を常に更新し、行動を調整しなければなりません。この「ルールが変わる中で経験から学ぶ」というプロセスは、人間の思考や意思決定を研究する科学者たちにとって中心的な謎となっています。研究者がこの方法を探索する強力な手段の一つに、「レストレス・バンディット（落ち着きのないスロットマシン）」と呼ばれる設定があります。4つのスロットマシンの前に座っているところを想像してみてください。標準的なゲームでは、最も配当が多いものを見つけ出し、それに固執することを学ぶかもしれません。しかし、レストレス版では、プレイしている最中にマシンの配当率が変化します。ついさっきまで配当が良かったマシンが突然止まってしまう一方で、それまで静かだった別のマシンが配当を始めることもあるのです。うまく立ち回るためには、固定されたルールに頼るだけでなく、リアルタイムで観察し、学び、選択を適応させ続けなければなりません。

研究者であるErfan Jaripourによる新しい研究は、このような動的な課題に対して人間がどのように対処するかについて、新たな視点を提供しています。この研究は、人々がこれらの決定を下す際に用いる隠れた「頭の中の計算」を推測しようとするのではなく、観察可能で測定可能なもの、すなわち、実際に行われた選択、得られた報酬、反応の速さ、そしていつ異なる選択肢へと注意を切り替えたかという点に完全に焦点を当てています。約1,000人がプレイした4択バージョンのこのゲームから得られた膨大なデータのコレクションを分析することで、研究者は行動が次の瞬間へとどのように変化していくのかを正確に描き出しました。その目的は、脳の複雑なコンピュータモデルを構築することではなく、環境が一定の状態を維持しようとしないときに、人間の意思決定がいかに進化するかについての、精密な統計的肖像を描くことでした。

研究者は、合計139,000回以上の個別の選択を行った965人の参加者のデータを調査しました。各参加者は、4つの選択肢から一つを繰り返し選ぶゲームを行いました。これらの選択肢の価値は時間の経過とともに変化し、変化のパターンがわずかに異なる3つの異なるバージョンのゲームが用意されました。研究者は4つの特定の要素を追跡しました。それは、現在最も配当が高い選択肢を選んだかどうか、実際にいくらのお金を獲得したか、選択にどれくらいの時間を要したか、そして直前に選んだものとは異なる選択肢に切り替えたかどうかです。この膨大なデータを理解するために、彼らは個々人の違いを考慮できる高度な統計手法を用いました。このアプローチにより、グループ全体の一般的な傾向を把握すると同時に、変化するルールに適応する各個人のユニークな方法をも尊重することができました。

最も驚くべき発見は、人々は単に直線的かつ着実にゲームが上手くなっていくのではない、ということでした。もし誰かが「最善の選択肢を選ぶ確率」を時間の経過とともにプロットしたならば、その線は一定の角度で上昇することはありません。代わりに、それは曲線を描きます。研究によれば、この曲線の形状は、プレイされているゲームの特定のバージョンに大きく依存していました。あるバージョンのゲームでは、最善の選択肢を選ぶ確率は、加速的な改善を示唆する上方への曲線を描きました。また別のバージョンでは、経路が下方へと湾曲しており、これは人々が初期段階では改善を見せるものの、最善の選択肢に固執する能力が最終的にプラトー（停滞）に達するか、あるいは異なる形で変化することを示していました。これは、人間の適応方法は単一の普遍的なプロセスではなく、置かれている環境の具体的な構造によって深く形作られるものであることを意味しています。

また、この研究は、人々が「どのように開始し、どのように変化するか」において大きく異なることも明らかにしました。一部の参加者は、最初から最善の選択肢を選ぶ傾向が高い状態でゲームを開始しましたが、他の参加者は低い状態からスタートしました。より重要なのは、時間の経過に伴う変化の仕方が、一人ひとり固有のものであるという点です。初期の段階で急速な改善を見せ、その後緩やかになる人もいれば、異なる学習パターンを示す人もいました。統計モデルは、ベースラインとなるパフォーマンスや学習の速度および形状におけるこれらの違いが、単なるランダムなノイズではなく、実在し一貫したものであることを裏付けました。これは、人間が適応する方法には一般的なパターンがある一方で、その適応の軌跡は極めて個人的な体験であることを浮き彫りにしています。

他の指標を見ることで、さらに細かなニュアンスが見えてきました。人々が実際に獲得した金額は、必ずしも彼らの選択のパターンと一致しませんでした。たとえ人々が最善の選択肢をより頻繁に選んでいたとしても、受け取る総報酬額は、ゲームのバージョンに応じて異なる変化を見せることがありました。これは、動的な環境においては、「正しい」選択をすることと「高い報酬」を得ることは、関連してはいるものの、異なる結果であることを示しています。同様に、意思決定の速度も時間の経過とともに変化しました。ゲームが進むにつれて、人々は一般的に速くなり、選択に要する時間が短くなりました。しかし、このスピードアップはどのバージョンのゲームであっても同様の割合で起こっており、特定の戦略としての最善の選択肢選びは異なっていても、意思決定を行うという一般的な習熟は全員にとって効率的になったことを示唆しています。

研究者は、人々がどの程度の頻度で選択を切り替えたのかについても調査しました。全般的に、ゲームが進むにつれて人々は選択の切り替えを減らしており、何らかのリズムに落ち着いていったことが示唆されます。しかし、切り替えを止める速度はゲームのバージョンによって異なっていました。あるバージョンでは、人々は別のバージョンよりもはるかに急激に切り替えを減少させていました。これは、環境そのものが、プレイヤーに対して「現在の選択肢に固執すべきか、それとも新しいものを探索すべきか」を判断する信号を送っていることを示しています。本研究は、これらのパターンが「人々が実際に何をしたか」を記述しているに過ぎないことを慎重に注記しています。つまり、人々の頭の中でどのような思考や信念、計算が行われていたかについては説明していません。彼らは単に、出力である選択、速度、および報酬を測定したのです。

この区別は極めて重要です。本研究は、動的な世界における観察可能な行動が、個人や環境によって異なる、複雑で非線形なパターンに従うことを証明しています。適応とは単純な直線的な向上ではなく、曲線的で変化し続けるプロセスであることを示しています。このような精密さをもってパターンをマッピングすることで、本研究は将来の研究のための強固な基礎を提供しています。科学者たちは今後、これらの詳細な現実世界の行動記述を用いて、脳がどのように学習するかという理論をテストすることができます。彼らは、特定の学習コンピュータモデルが、このデータに見られる正確な曲線や変動を再現できるかどうかを問うことができるのです。それまでは、本研究は、周囲の世界が静止することを拒むとき、人間の行動がいかに屈曲し、変化するかについての、明確で定量的な記述として存在し続けます。それは、レストレスな世界において、私たちの選択は静的なものではなく、ゲームのルールとプレイヤー独自の精神の両方によって形作られる、継続的で進化し続ける適応のダンスであることを裏付けているのです。