Humans use a dual policy to improve inferences during epistemic information… — 通俗解释

这篇论文探讨了一个非常有趣的问题：当我们纯粹为了“搞懂”某件事而探索时，我们的大脑是如何运作的？

为了让你轻松理解，我们可以把这项研究想象成一场**“寻宝游戏”**，而科学家们通过观察人类和电脑（人工智能）在这个游戏中的不同表现，发现了一个令人惊讶的“人类专属策略”。

以下是这篇论文的通俗解读：

1. 两个不同的游戏模式

研究人员设计了两个场景，让 700 多名参与者玩同一个“猜宝石颜色”的游戏。两个场景里，袋子里的宝石颜色分布是一模一样的，但玩法的动机不同：

模式 A（奖励模式）： 就像在自动贩卖机买零食。你有一个目标颜色（比如蓝色），每抽到一个蓝色宝石就能得分。你的目标是赚分。这时候，你会倾向于一直抽那个看起来最像蓝色的袋子，直到确定它就是蓝色的。
模式 B（纯求知模式）： 这里没有分数，也没有目标颜色。你的任务仅仅是搞清楚：哪个袋子主要装蓝色？哪个主要装橙色？就像你在一个陌生的城市迷路了，你只是想知道每条路通向哪里，而不是为了去某个具体的景点。

2. 人类的“双段式”策略：先“死磕”，再“摇摆”

研究发现，在**模式 B（纯求知）**中，人类的大脑采取了一种独特的“两步走”策略，而在模式 A 中则没有：

第一步：死磕（Streaking）—— 像试吃新菜
当你面对两个完全陌生的袋子时，你并不会立刻在它们之间来回切换。相反，你会连续从第一个袋子里抽好几次（比如抽了 5 次），直到你对这个袋子的颜色有了大概的把握，然后再切换到第二个袋子，再连续抽几次。
- 比喻： 这就像你去一家新餐厅，面对两道新菜，你不会吃一口 A 再吃一口 B。你会先专心把 A 菜吃几口，尝出它的味道，然后再去专心尝 B 菜。这种“先集中火力攻克一个”的行为，作者称之为“死磕”或“连击”。
第二步：摇摆（不确定性导向）—— 像侦探找线索
当你把两个袋子都“死磕”了一遍，心里有了底之后，你的策略就变了。你会开始专门去抽那个你心里最没底的袋子。
- 比喻： 就像侦探破案，如果你已经排除了两个嫌疑人的大部分嫌疑，但还有一个人的行踪最模糊，你就会把剩下的时间都花在这个人身上，因为查清楚他最能帮你破案。

关键点： 这种“先死磕，再摇摆”的策略，虽然从纯数学角度看可能不是最高效的，但它让人类在充满噪音（记性不好、容易分心）的大脑里，能更准确地推断出真相。

3. 电脑（AI）的困惑：它学不会“死磕”

为了验证这种策略是不是人类特有的，研究人员训练了**人工智能（神经网络）**来玩同样的游戏。

结果： 电脑非常聪明，它很快学会了“摇摆”策略（专门查最没底的线索），因为它能完美地计算出哪个选项最不确定。
但是： 无论怎么训练，电脑完全学不会第一步的“死磕”策略。电脑总是倾向于在两个选项间快速切换，或者随机尝试，它不会像人类那样“死盯着一个看”。
启示： 这说明“死磕”是人类特有的认知习惯，可能是因为我们的大脑处理信息时会有“噪音”（容易忘、容易乱），而“死磕”这种连续确认的方式，能帮我们在大脑里把信息“熨平”，减少混乱。

4. 为什么有的人更爱“死磕”？

研究还发现，不同的人在“死磕”程度上不一样，这跟他们的性格和能力有关：

性格因素（认知闭合需求）： 那些不喜欢模棱两可、急着要个结果的人（高认知闭合需求），往往不太愿意“死磕”。他们可能还没尝够味道就急着换下一个，或者急着下结论。
能力因素（推理能力）： 那些推理能力强的人，更擅长在“死磕”之后进行精准的“摇摆”探索，从而获得更高的准确率。

总结：这个发现告诉我们什么？

探索不仅仅是为了奖励： 我们探索世界不仅仅是为了得到糖果（奖励），很多时候是为了满足好奇心（求知）。在这种纯粹求知的时刻，我们的大脑会启动一套独特的“双引擎”模式。
人类的“笨拙”其实是智慧： 我们喜欢“死磕”一个选项，看起来好像不够灵活，但这其实是我们对抗大脑“记性差、容易乱”的一种聪明策略。它帮我们在信息模糊时，先把一个点看准了，再去看下一个。
AI 还没完全懂人类： 即使是最先进的人工智能，如果只教它“如何算得最准”，它也学不会人类那种“先专注再切换”的直觉。这提醒我们，人类的认知中有一些独特的、基于生物特性的智慧，是纯数学优化所不具备的。

一句话概括：
当我们纯粹为了“搞懂”而探索时，人类会先像尝菜一样连续尝试同一个选项（死磕），然后再像侦探一样去调查最模糊的线索（摇摆）。这种看似有点“轴”的策略，其实是我们大脑在嘈杂世界中保持清醒的独门秘籍，而目前的 AI 还学不会这一招。

这是一份关于论文《Humans use a dual policy to improve inferences during epistemic information seeking》（人类在认知信息寻求中使用双重策略以提高推断能力）的详细技术总结。

1. 研究问题 (Problem)

传统的决策研究主要关注“探索 - 利用”（explore-exploit）权衡，即为了最大化即时或预期奖励而进行的探索。然而，现实生活中的许多探索行为是认知性的（epistemic），旨在获取知识或构建环境模型，而非直接获取奖励（例如学习新语言、探索陌生城市）。
本研究旨在解决以下核心问题：

当剥离了奖励价值（prospective valuation），仅为了获取信息时，人类的信息寻求策略（policy）与传统的奖励驱动策略有何不同？
人类在认知信息寻求中是否存在特定的、非最优的局部策略？这些策略在存在认知噪声（noisy belief updating）的情况下是否具有适应性？
这种策略是可以通过优化目标（如人工神经网络）自然习得的，还是反映了人类特有的认知约束？

2. 方法论 (Methodology)

2.1 实验设计

参与者：总样本量 N=702（主要分析 N=420），通过 Prolific 平台招募。
任务范式：顺序采样任务（Sequential Sampling Task）。参与者面对两个“袋子”（选项），每个袋子包含不同形状的宝石，且每种宝石的颜色分布不同（例如，三角形袋子主要是橙色，但混有蓝色）。
两种条件：
1. MATCH 条件（奖励驱动）：参与者被要求收集与目标颜色（如蓝色）匹配的宝石。目标是最大化即时奖励（收集到的匹配宝石数量）。
2. GUESS 条件（认知/信息驱动）：没有目标颜色。参与者需要采样以学习每个袋子对应的优势颜色。游戏在 8-20 次采样后随机结束，参与者需猜测其中一个袋子的优势颜色。此条件下，采样过程本身无奖励，仅最终猜测的准确性决定表现。
控制变量：两种条件的视觉统计特性完全一致，仅指令不同，从而分离了奖励驱动与纯信息寻求策略。

2.2 计算建模

亚最优证据积累模型：构建了一个包含以下组件的计算模型来拟合人类行为：
- 全局策略：通过参数 $\beta_c$ （不确定性敏感度）和 $\beta_v$ （奖励敏感度）控制。
- 局部策略（Streaking/连选）：引入一个初始采样阶段，当累积证据低于阈值 $\theta$ 时，参与者倾向于重复选择同一选项（概率 $\epsilon$ ），直到证据积累超过阈值。
- 认知噪声：包含学习噪声（ $\sigma$ ，信念更新时的随机误差）和记忆泄漏（ $\delta$ ，证据随时间衰减）。
模型比较：使用贝叶斯模型选择（BMS）和证据下界（ELBO）比较不同模型（如是否包含连选机制、噪声或泄漏）对数据的解释力。

2.3 人工神经网络 (RNN) 模拟

训练循环神经网络（RNN）在相同任务上优化不同目标：
- MATCH RNN：优化奖励最大化。
- GUESS RNN (State-only)：仅优化隐藏状态（袋子颜色）的预测准确性。
- GUESS RNN (Meta-policy)：优化状态预测准确性 + 元认知确定性（减少表示不确定性）。
目的：检验在纯优化目标下，RNN 是否能自发涌现出人类观察到的“连选”策略。

2.4 个体差异分析

结合心理测量数据：认知闭合需求（NFCS，Need for Cognitive Closure）和一般认知能力（ICAR）。
分析这些特质与计算模型参数（连选倾向 $EoS $和不确定性敏感度$ \beta_c$）及任务表现的关系。

3. 主要结果 (Key Results)

3.1 行为发现：双重策略架构

MATCH 条件：参与者主要采用奖励引导采样，倾向于选择最符合目标颜色的选项。
GUESS 条件：参与者表现出双重策略：
1. 早期连选（Early Streaking）：在接触新选项的初期，参与者会连续多次采样同一选项（如 AAAAABBBBB），而不是交替采样。这是一种局部的、基于阈值的策略，用于快速验证假设。
2. 不确定性引导探索：在连选阶段之后，参与者转向不确定性引导采样（选择当前不确定性最高的选项），这符合贝叶斯最优策略。
这种“先连选，后探索”的模式在 MATCH 条件中不存在，仅在纯信息寻求（GUESS）中出现。

3.2 计算模型拟合

包含“连选”机制和“学习噪声”的模型最能拟合人类数据。
噪声的作用：在 GUESS 条件下，学习噪声（ $\sigma$ ）是导致次优决策的主要来源。模型模拟显示，在存在噪声的情况下，连选策略（Streaking）实际上提高了推断准确性。通过连续采样同一选项，可以稳定信念，减少随机噪声对信念更新的稀释。
参数估计：GUESS 条件下的不确定性敏感度（ $\beta_c$ ）显著高于 MATCH 条件；连选阈值（ $\theta$ ）和强度（ $\epsilon$ ）在 GUESS 中显著更高。

3.3 人工神经网络的对比

RNN 在优化目标下成功习得了不确定性引导采样（在 GUESS 条件下）。
关键差异：无论训练目标如何，RNN 均未自发涌现出“早期连选”策略。
这表明“连选”并非优化任务的必然结果，而是人类特有的、受认知约束（如处理噪声、降低切换成本）影响的策略。

3.4 个体差异与心理特质

双重策略的共存：表现出更强连选倾向（高 $EoS $）的个体，同时也表现出更强的不确定性引导采样（高$ \beta_c$），且两者都提升了任务表现。
特质解离：
- 认知闭合需求 (NFCS)：负向预测连选倾向（$EoS$）。高 NFCS 的人更急于得出结论，因此连选较少，导致在噪声环境下表现较差。
- 一般认知能力 (ICAR)：正向预测不确定性敏感度（ $\beta_c$ ）。高 ICAR 的人能更有效地利用不确定性信息进行探索。
这表明连选和全局探索分别对应不同的心理机制和认知特质。

4. 主要贡献 (Key Contributions)

揭示认知信息寻求的双重策略：首次明确区分并量化了人类在纯信息寻求任务中的“全局不确定性引导”与“局部连选”策略。
重新定义“次优”策略的适应性：证明了看似非理性的“连选”行为（Streaking）在存在认知噪声（人类信念更新的典型特征）时，实际上是一种适应性的、能提高推断准确性的策略。它通过集中采样来稳定信念，对抗噪声。
人类与 AI 的策略解离：通过 RNN 实验证明，标准的优化算法（即使优化元认知确定性）无法自发产生连选策略。这突显了人类信息寻求策略受到特定的认知约束（如噪声处理、切换成本）的塑造，而不仅仅是目标优化的结果。
心理特质的计算映射：建立了从宏观心理特质（NFCS, ICAR）到微观计算参数（连选阈值、不确定性敏感度）再到行为表现的完整映射链条，揭示了不同特质如何独立影响信息寻求的不同阶段。

5. 意义与启示 (Significance)

理论意义：挑战了传统的“探索 - 利用”框架，提出在认知信息寻求中，人类采用了一种分层策略：利用局部启发式规则（连选）来应对认知噪声，同时保持全局的优化目标（不确定性最小化）。
认知科学：强调了“噪声”在塑造人类策略中的积极作用。人类并非试图消除噪声，而是发展出特定的采样模式（如连选）来在噪声环境中生存。
人工智能：指出当前基于纯优化目标的 AI 代理可能缺乏人类在不确定环境下的鲁棒性策略。未来的 AI 设计可能需要引入类似人类的“结构化采样”或“认知约束”机制，以在噪声环境中更好地进行主动学习。
应用价值：理解个体在信息寻求中的策略差异（如高认知闭合需求者可能过早停止探索），有助于设计更好的教育工具、决策辅助系统或针对特定认知障碍的干预措施。

总结：该论文通过严谨的行为实验、计算建模和神经模拟，揭示了人类在纯信息寻求任务中独特的“连选 + 探索”双重策略。这一策略虽然在规范意义上看似次优，但在人类充满噪声的认知系统中却是高度适应的，且受到个体心理特质的精细调节。这一发现为理解人类智能与机器智能在信息处理上的根本差异提供了新的视角。

Humans use a dual policy to improve inferences during epistemic information seeking