Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

論文「大規模言語モデル（LLM）と人間の探索・利用戦略の比較：標準的な多腕バンディット実験からの知見」の詳細な技術的要約を以下に示す。

1. 問題提起

本論文は、不確実性下における複雑な逐次環境において、大規模言語モデル（LLM）が人間の意思決定を信頼性高くシミュレートできるかどうかという、理解上の重要なギャップに取り組んでいる。具体的には、エージェントが既知の報酬オプションを活用すること（利用）と、より良い結果をもたらす可能性のある新たな可能性を追求すること（探索）との間でバランスを取る必要があるという、基本的な認知課題である「探索・利用（E&E）のトレードオフ」を検証している。

LLM は人間の行動をシミュレートする「デジタルツイン」としてますます利用されているが、特に非定常環境において、それらが人間と同じ「適応的、目的指向的、かつ認知に根ざした」戦略を示すかどうかは依然として不明である。著者らは、LLM は人間の E&E 行動を信頼性高くシミュレートできるか、また「思考」能力（例：思考連鎖、内部推論痕跡）がこれらの戦略にどのように影響するかを問うている。

2. 方法論

実験デザイン

著者らは、認知科学および精神医学で広く用いられる標準的な多腕バンディット（MAB）実験 2 種類を採用し、人間データとの比較可能性を確保した。

1. 定常 2 腕バンディット: 10 ラウンドずつの 20 試行を伴う単純な設定。報酬は確率的であるが定常的（平均固定）である。
2. 非定常 4 腕バンディット: 報酬の平均が減衰するガウスランダムウォーク（拡散過程）に従う 300 ラウンドを伴う複雑な設定。これは変化する環境への適応性をテストする。

エージェントと条件

本研究では、3 種類のエージェントカテゴリを比較した。

• 人間参加者: 制御された実験室実験（Gershman 2018; Chakroun et al. 2020a）からのデータ。それぞれ 45 名および 31 名の参加者が関与。
• LLM エージェント: 3 つの商用モデルファミリー（ChatGPT、Gemini、DeepSeek）を 2 つの構成でテスト。
  • 基本モデル: 標準的な推論（例：GPT-4o-mini、Gemini-2.0-flash、DeepSeek-V3）。
  • 思考モデル: 明示的な推論能力を備えたモデル（例：GPT-o3-mini、Gemini-2.5-flash、DeepSeek-R1）。
  • プロンプト変異: 基本モデルについては、**思考連鎖（CoT）**プロンプト（「声に出して考える」）対、直接回答をテスト。思考モデルについては、内部思考モードの切り替えや思考予算の調整を行った。
• アルゴリズム的ベースライン: 上限信頼区間（UCB）、トンプソンサンプリング（TS）、$\epsilon$-greedy などの標準的な MAB アルゴリズム。

行動モデリングと推定

意思決定戦略を特徴づけるため、認知科学からの解釈可能な選択モデルを使用した。

• 学習則: 各腕の期待報酬（$Q$）と不確実性（$S$）を推定するためのベイズ学習者（カルマンフィルター）。
• 選択則:
  • ソフトマックスベースモデル（SM-1, SM-2, SM-3）: 確率的探索（$\beta$）、指向的探索/不確実性ボーナス（$\phi$）、選択の持続性（$\rho$）のパラメータを組み込んだもの。
  • プロビット回帰: 2 腕タスクにおいて、価値の差と不確実性をモデル化するために使用。
• 推定: 個体差を考慮しつつ集団レベルのパラメータを推定するために、階層ベイズアプローチが使用された。モデル選択は、Leave-One-Out Cross-Validation（LOO-CV）によって行われた。

3. 主要な貢献

1. 複雑な環境における人間と LLM の直接比較: 以前の研究が単純な 2 腕設定やアルゴリズムベンチマークに限定されていたのに対し、本作業は整合した実験条件を用いて、定常および非定常の 4 腕バンディットタスクにおいて LLM と人間を初めて直接比較した。
2. 「思考」能力の解離: 本研究は、CoT プロンプトを適用した基本モデルと、内部推論を切り替えたネイティブな「思考」モデルを比較することで、推論の影響を体系的に分離した。これは単なるパフォーマンス指標を超え、意思決定のメカニズムを分析するものである。
3. 行動のパラメータ化: 単に後悔（regret）を測定するのではなく、著者らは LLM の行動を確立された認知パラメータ（$\beta, \phi, \rho$）にマッピングし、LLM がどの程度パフォーマンスを発揮するかだけでなく、どのように（ランダムに、それとも指向的に）探索するかを詳細に分析できるようにした。
4. モデルの誤指定分析: 著者らは、これらの認知モデルが非人間のエージェント（アルゴリズム/LLM）に適用された場合でも、解釈可能な行動シグネチャを抽出するための有効な「投影フレームワーク」として機能することを示した。

4. 主要な結果

探索戦略

• 基本 LLM: 人間と比較して、有意に高い確率的探索と低い指向的探索を示す。人間に見られる一貫した「選択の持続性」（選択の繰り返し）が欠如している。
• 思考の影響: 思考機能（CoT または内部推論による）を有効にすると、LLM の行動は人間のようなパターンへとシフトする。
  • 定常環境: 思考機能付き LLM は指向的探索（$\phi$）を有意に増加させ、確率的探索（$\beta$）を減少させ、しばしば人間のレベルに匹敵するかそれを超える。
  • 非定常環境: 思考はパフォーマンスを向上させるが、LLM は依然として人間のような適応性に追いつくことができない。複雑で変化する環境において効果的な指向的探索に従事できず、$\phi$値が負またはほぼゼロになるのに対し、人間は正の指向的探索を維持する。

パフォーマンス指標（後悔と利用）

• 定常（2 腕）: 基本 LLM は、人間およびアルゴリズムと同等の後悔レベルを達成する。思考モデルは同程度、あるいはわずかに優れたパフォーマンスを示す。
• 非定常（4 腕）:
  • 人間: 累積後悔が最も低く、変化する報酬構造への優れた適応性を示す。
  • 基本 LLM: 人間よりもはるかに速く後悔を蓄積し、不安定な利用率（早期の腕への過度なコミットメント）を示す。
  • 思考モデル: 基本モデルと比較して後悔を有意に減少させ、パフォーマンスを人間のレベルに近づける（例：Gemini-2.5-flash および DeepSeek-R1）。しかし、最も複雑なシナリオでは、依然として人間の適応性には及ばない。

長期的ダイナミクス

• 延長された定常タスク（300 ラウンド）において、思考モデルは時間とともに行動パラメータを安定させるのに対し、基本モデルは高い変動を示す。
• QCARE フレームワークを用いた分析により、基本モデルは構造的ノイズの減衰がない「過剰探索」に苦しむ傾向があることが明らかになった。一方、思考モデルは理論的な最適値（$\alpha \approx 0.5$）に近い、より良いトレードオフを達成する。

5. 意義と含意

• 人間シミュレーションの限界: LLM は「考える」ようプロンプトされた場合、単純で静的な環境では人間の E&E 戦略を模倣できるが、現在、複雑で非定常な現実世界のシナリオに必要な堅牢な適応性を欠いている。環境が変化する際に、目的指向的な探索を維持することが困難である。
• 推論の役割: 本研究は、LLM における E&E 戦略の改善の主要な駆動力は、生成のランダム性ではなく推論能力であることを実証的証拠として示している。思考痕跡を有効化することは、アーキテクチャ変更なしに LLM の行動を人間のような意思決定に整合させるための、低コストかつ効果的な方法である。
• 実用的応用: 自動意思決定システム（例：科学発見、動的リソース配分）において、非定常環境で基本 LLM に依存することは、最適ではない結果をもたらす可能性がある。しかし、明示的な推論モジュールの統合やプロンプトエンジニアリングにより、これらのリスクを大幅に軽減できる。
• 今後の方向性: 本論文は、将来の研究において、非定常性への対処を改善するために LLM のファインチューニングを行い、シミュレーションプロンプトに人口統計学的・個体差の可変性を組み込むことで、「デジタルツイン」の忠実度を向上させるべきであると示唆している。

要約すると、本論文は、LLM が人間の行動を強力にシミュレートするものである一方で、現在の「思考」能力は両刃の剣であることを確立している。すなわち、単純なタスクではギャップを埋めるが、人間の直感と比較して、複雑で動的な不確実性への適応における根本的な限界を露呈している。