💬 NLP

Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

本研究比较了大型语言模型、人类和算法在多臂老虎机任务中的探索与利用策略，发现尽管引入“思考”机制使大型语言模型在静态环境中更接近人类行为，但在复杂非静态环境中，它们仍难以匹敌人类的适应能力和定向探索能力。

原作者： Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正穿行在一片巨大而神秘的森林中，面前有四条不同的路径。你不知道哪条路通向宝箱（高回报），哪条路通向死胡同（低回报）。为了找到最佳路径，你必须每隔几分钟就做出一次选择：

利用（Exploit）： 坚持走那条你已经走过且感觉尚可的路，希望它就是最好的。
探索（Explore）： 尝试一条新的、未知的路径，看看它是否可能更好。

这就是“探索 - 利用”权衡。这是一个决策的基本谜题，人类通常凭直觉解决，往往是通过将随机猜测与明智的、经过计算的风险相结合来实现的。

本文提出了一个简单的问题：大型语言模型（LLMs）——即 ChatGPT 等工具背后的 AI 大脑——能否像人类一样解决这个森林谜题？

实验：数字老虎机

研究人员并没有仅仅让 AI 猜测，而是将其置于一个“多臂老虎机”（Multi-Armed Bandit）游戏中。你可以将其想象成一排老虎机。

简单游戏： 两台机器。其中一台的 payout 略高于另一台，但金额是随机的。你拉动杠杆 10 次。
困难游戏： 四台机器。最佳的机器会随时间变化（就像每隔几分钟重置一次赔率的老虎机）。你拉动杠杆 300 次。

他们测试了三组对象：

人类： 在实验室中真实参与游戏的人。
标准 AI： 顶级模型（如 GPT-4o-mini 或 Gemini）的“基础”版本，它们直接输出答案。
“思考”AI： “智能”版本（如 GPT-o3-mini 或 DeepSeek-R1），它们被强制在回答前写出推理步骤，或开启了特殊的“思考模式”。

发现：AI 的表现如何

1. “基础”AI 像个紧张的赌徒

当标准 AI 模型参与游戏时，它们表现得有点像紧张的赌徒。

过多的随机猜测： 它们在机器之间毫无计划地剧烈跳跃。
过少的智能搜索： 它们很少使用“定向探索”。这是指人类会想：“我有一会儿没尝试 C 机器了，也不确定它表现如何，所以我试试它来获取更多信息。”基础 AI 大多只是随机猜测或固守已知内容。
结果： 在简单游戏中，它们表现尚可。但在复杂、变化的游戏中，它们迷失了方向，不断犯错，最终获得的“宝藏”（即遗憾值更高）远少于人类。

2. “思考”AI 是更好的侦探

当研究人员开启“思考”功能（迫使 AI 写出其想法或使用推理引擎）时，其行为发生了巨大变化。

转变： AI 开始表现得更像人类。它停止了随机猜测，转而使用“定向探索”。它开始说出这样的话：“我不确定这台机器，所以我要测试它以了解更多。”
简单游戏： 在简单的双机游戏中，“思考”AI 变得几乎与人类无法区分。它迅速找出最佳机器并坚持使用。
困难游戏： 在复杂的多机游戏中，“思考”AI 显著改善，更接近人类的表现，但仍不完美。当游戏规则改变时，它难以像人类那样迅速适应。

3. “遗憾”分数

研究人员测量了“遗憾”，即玩家因未每次都选择最佳机器而“损失”的金额（或积分）。

人类： 始终拥有最低的遗憾值。他们在尝试新事物和坚持赢家之间取得了最佳平衡。
基础 AI： 在复杂游戏中遗憾值很高。它们在糟糕的机器上浪费了大量时间。
思考 AI： 遗憾值大幅降低。通过在行动前“思考”，它们减少了错误，更接近人类的表现水平。

核心结论

该论文得出结论：AI 在探索方式上并非天生像人类。 默认情况下，它往往要么过于随机，要么过于僵化。

然而，赋予 AI 一个“思考轨迹”（即让它大声推理）就像是一种超能力。 它迫使 AI 放慢速度，计算不确定性，并以更聪明、更像人类的方式进行探索。

在简单、稳定的情境中： 思考型 AI 可以完美模仿人类。
在复杂、变化的情境中： 思考型 AI 表现大幅提升，但人类在适应性方面仍略胜一筹。

研究人员强调，这并不意味着 AI 已准备好在每一个复杂决策中取代人类，但这确实表明，提示 AI 去“思考”是一种强大的方法，能够使其决策策略更加可靠且更像人类。

以下是论文《比较大型语言模型与人类的探索–利用策略：来自标准多臂老虎机实验的见解》的详细技术总结。

1. 问题陈述

本文旨在解决一个关键的研究空白：大型语言模型（LLM）能否在不确定性的复杂序列环境中可靠地模拟人类的决策行为。具体而言，它探讨了探索–利用（E&E）权衡，这是一个基本的认知挑战，要求智能体在利用已知的高回报选项（利用）与寻求可能带来更好结果的新机会（探索）之间取得平衡。

尽管 LLM 正越来越多地被用作模拟人类行为的“数字孪生”，但它们是否表现出与人类相同的适应性、目标导向且基于认知的策略，特别是在非平稳环境中，仍不明确。作者提出：LLM 能否可靠地模拟人类的 E&E 行为？“思考”能力（如思维链、内部推理轨迹）如何影响这些策略？

2. 方法论

实验设计

作者采用了认知科学和精神病学中广泛使用的两个经典多臂老虎机（MAB）实验，以确保与人类数据的可比性：

平稳 2 臂老虎机：一个简单设置，包含 20 次试验，每次试验 10 轮。奖励是随机的但具有平稳性（均值固定）。
非平稳 4 臂老虎机：一个复杂设置，包含 300 轮，其中奖励均值遵循衰减的高斯随机游走（扩散过程）。这测试了对变化环境的适应性。

智能体与条件

该研究比较了三类智能体：

人类参与者：来自受控实验室实验的数据（Gershman 2018; Chakroun et al. 2020a），分别涉及 45 名和 31 名参与者。
LLM 智能体：三个商业模型系列（ChatGPT、Gemini、DeepSeek）在两种配置下进行了测试：
- 基础模型：标准推理（例如 GPT-4o-mini、Gemini-2.0-flash、DeepSeek-V3）。
- 思考模型：具有显式推理能力的模型（例如 GPT-o3-mini、Gemini-2.5-flash、DeepSeek-R1）。
- 提示变体：对于基础模型，作者测试了**思维链（CoT）**提示（“大声思考”）与直接回答。对于思考模型，他们切换了内部思考模式或调整了思考预算。
算法基线：标准 MAB 算法，包括上置信界（UCB）、汤普森采样（TS）和 $\epsilon$ -贪婪算法。

行为建模与估计

为了刻画决策策略，作者使用了认知科学中的可解释选择模型：

学习规则：使用贝叶斯学习器（卡尔曼滤波）来估计每个臂的预期奖励（ $Q$ ）和不确定性（ $S$ ）。
选择规则：
- 基于 Softmax 的模型（SM-1, SM-2, SM-3）：包含随机探索参数（ $\beta$ ）、定向探索/不确定性奖励参数（ $\phi$ ）和选择坚持参数（ $\rho$ ）。
- Probit 回归：用于 2 臂任务，以建模价值差异和不确定性。
估计：采用分层贝叶斯方法来估计群体水平参数，同时考虑个体异质性。模型选择通过留一法交叉验证（LOO-CV）进行。

3. 主要贡献

复杂环境下的直接人机比较：与以往仅限于简单 2 臂设置或算法基准的研究不同，本研究在匹配的实验条件下，首次在平稳和非平稳4 臂老虎机任务中直接比较了 LLM 与人类。
解构“思考”能力：该研究通过比较带有 CoT 提示的基础模型与具有切换内部推理功能的原生“思考”模型，系统地隔离了推理的影响。这超越了简单的性能指标，深入分析了决策的机制。
行为参数化：作者不再仅仅测量遗憾值，而是将 LLM 的行为映射到既定的认知参数（ $\beta, \phi, \rho$ ）上，从而能够细致地分析 LLM 如何进行探索（随机还是定向），而不仅仅是表现得有多好。
模型误设分析：作者证明，即使应用于非人类智能体（算法/LLM），这些认知模型也能作为有效的“投影框架”，以提取可解释的行为特征。

4. 主要结果

探索策略

基础 LLM：与人类相比，表现出显著更高的随机探索和更低的定向探索。它们缺乏人类中常见的“选择坚持”（重复选择同一选项）行为。
思考的影响：启用思考（通过 CoT 或内部推理）使 LLM 的行为向类人模式转变：
- 平稳环境：启用思考的 LLM 显著增加了定向探索（ $\phi$ ）并减少了随机探索（ $\beta$ ），通常达到或超过人类水平。
- 非平稳环境：虽然思考提高了性能，但 LLM 仍难以匹配人类的适应性。在复杂多变的环境中，它们未能进行有效的定向探索，表现出负值或接近零的 $\phi$ 值，而人类则保持正向的定向探索。

性能指标（遗憾值与利用）

平稳（2 臂）：基础 LLM 的遗憾值水平与人类和算法相当。思考模型的表现相似或略好。
非平稳（4 臂）：
- 人类：实现了最低的累积遗憾，表现出对变化奖励结构的卓越适应性。
- 基础 LLM：遗憾值积累速度远快于人类，表现出波动的利用率（过早地过度承诺于早期臂）。
- 思考模型：与基础模型相比显著降低了遗憾值，使性能更接近人类水平（例如 Gemini-2.5-flash 和 DeepSeek-R1），但在最复杂的场景中，它们仍落后于人类的适应性。

长期动态

在延长的平稳任务（300 轮）中，思考模型随时间推移稳定了其行为参数，而基础模型则表现出高方差。
使用 QCARE 框架的分析显示，基础模型常受“过度探索”困扰（结构噪声无衰减），而思考模型实现了更接近理论最优值（ $\alpha \approx 0.5$ ）的更好权衡。

5. 意义与启示

人类模拟的局限性：虽然 LLM 在被提示“思考”时可以在简单、静态的环境中模仿人类的 E&E 策略，但它们目前缺乏应对复杂、非平稳现实场景所需的稳健适应性。当环境发生变化时，它们难以维持目标导向的探索。
推理的作用：该研究提供了实证证据，表明推理能力（而不仅仅是生成的随机性）是 LLM 中 E&E 策略改善的主要驱动力。启用思考轨迹是一种低成本且有效的方法，可以在不改变架构的情况下使 LLM 行为与类人决策保持一致。
实际应用：对于自动化决策系统（如科学发现、动态资源分配），在非平稳环境中依赖基础 LLM 可能导致次优结果。然而，整合显式推理模块或提示工程可以显著降低这些风险。
未来方向：论文建议未来的工作应专注于微调 LLM 以更好地处理非平稳性，并将人口统计/个体差异纳入模拟提示中，以提高“数字孪生”的保真度。

总之，本文确立了一个观点：虽然 LLM 是强大的人类行为模拟器，但它们当前的“思考”能力是一把双刃剑：它们弥合了简单任务中的差距，但也揭示了与人类直觉相比，在适应复杂、动态的不确定性方面存在根本性的局限。