📄 other

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

本文揭示了人类与大型推理模型（LRMs）在决策分配上的一个关键脱节：尽管两者总体上都会在更难的问题上花费更多时间，但人类在最终出错的项目上投入的时间较少（放弃困难任务），而 LRMs 则矛盾地在失败的问题上生成更长的推理轨迹（在不确定性中持续），这凸显了尽管表面相似，但在停止与控制策略方面存在根本性的差异。

原作者： Han-yu Wang

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Han-yu Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察两名不同的学生在参加一场非常难的数学测试。一个是才华横溢的青少年人类，另一个是旨在通过“逐步思考”来解决问题的超级智能计算机程序。长期以来，科学家们一直对两者之间的对比感到着迷。他们注意到一种表面的相似性：当问题变得棘手时，人类和计算机都会在上面花费更多的时间。这就像观察汽车的速度计；如果路面变陡了，两名驾驶员都会减速爬坡。这一观察结果让许多人认为，计算机正在开始像人类一样“思考”，使用类似的思维齿轮来判断哪些问题难、哪些问题易。

但这里有一个转折：仅仅因为两名驾驶员在同一条陡峭的路上都减慢了速度，并不意味着他们的驾驶方式相同。一名驾驶员可能是在减速以小心地通过转弯，而另一名驾驶员可能是在减速，因为他感到困惑，正盯着地图不知所措。人工智能和人类心理学领域的一个大问题是：这些思考者是如何决定何时继续尝试，以及何时放弃的？ 他们是在为那些挣扎的问题投入额外精力，还是在止损并继续前进？理解这一点不仅仅关乎数学成绩；它关乎于弄清楚计算机是真的在像我们一样进行推理，还是仅仅在模仿思考的外观，却缺乏相同的内在逻辑。

伟大的“思考”错位

研究员 Han-yu Wang 的一项新研究揭开了这一谜团的层层外衣，并发现了一个隐藏在显眼之处的惊人秘密。虽然人类和先进的“推理型”AI 模型在判断哪些问题很难上达成了一致，但它们对于面对难题时该做什么却完全产生了分歧。

把它想象成一个电子游戏。当玩家遇到一个太强大的 Boss 时，一个聪明的玩家可能会意识到：“现在打这个太难了，”并决定停止浪费时间，也许尝试另一种策略或移动到另一个关卡。他们会选择退出。但根据这项研究，AI 则恰恰相反。当 AI 答错题目时，它不会停止；它会继续生成更多的文本、更多的“想法”和更多的步骤，最后才最终给出一个错误的答案。

核心发现：“对”与“错”之间的差距
该研究分析了一个庞大的数据集，其中人类和六种不同的 AI 模型解决了相同的视觉谜题（称为 H-ARC）。研究人员测量了两件事：

登记（Registration）： 他们是否对哪些谜题很难达成共识？是的。 人类和 AI 在处理难题时都会花费更长的时间。
分配（Allocation）： 当他们做错一个谜题时，他们花费的时间是比做对时更多还是更少？不一致。 这正是他们产生分歧的地方。

人类： 当人类做错一个谜题时，他们花费的时间比做对时要少。数据显示其“Cohen's d”值为 -0.10。这表明了一种“放弃”策略。如果人类感觉到自己陷入困境，他们通常会很快停止思考。
AI 模型： 当 AI 做错一个谜题时，它花费的时间显著增加。AI 模型的“Cohen's d”值范围在 1.47 到 3.13 之间。这意味着即使在明显失败的情况下，AI 仍在不断地生成“想法”（token）。

论文指出，这不仅仅是一个小小的故障；这是两者“思考”方式上的根本差异。人类的模式看起来像是投入与放弃：我们在认为可以解决的问题上停留，而在无法解决的问题上退出。而 AI 的模式看起来像是不确定性导致的长度增加：当 AI 不确定时，它只是不停地说话，生成更长的推理链，尽管这些额外的表达并不能帮助它得到正确答案。

“痕迹”中的线索

为了理解 AI 为什么会这样做，研究人员观察了 AI 生成的实际文本（其“思维痕迹”）。他们发现，当 AI 即将答错问题时，它的文本充满了“模棱两可”和“自我怀疑”。它会说诸如“等等，其实”、“嗯”、“让我重新考虑一下”之类的话。它本质上是在自言自语，对自己所走的路径感到不确定，但它并没有停止。

相比之下，当人类快速答错问题时，他们往往动作较少（例如在谜题中进行的网格编辑较少），这表明他们已经决定这个谜题不值得投入精力。研究表明，对于人类来说，停止思考是一种聪明的、具有元认知能力的决策。而对于 AI，停止的决策似乎与另一条规则相关：它会一直进行下去，直到耗尽“预算”或撞到墙壁，即使它知道（或应该知道）自己正走在错误的道路上。

这意味着什么（以及不意味着什么）

论文非常谨慎，并没有说 AI “愚蠢”或人类是“完美的”。相反，它表明 AI 和人类遵循的是不同的规则手册。

AI 不一定是在失败思考： 它可能是在遵循一条规则：“如果你不确定，就生成更多文本。”对于某些任务，这可能是一个好策略，但对于这些谜题，这会导致精力的浪费。
“思考”并不相同： 仅仅因为 AI 产生了看起来像人类推理的长篇文本，并不意味着它正在使用相同的思维规则。研究显示，AI 的“思考”更像是困惑时在滚轮上奔跑的仓鼠，而人类则是像一名决定在路径过于陡峭时折返的徒步旅行者。

研究人员还在其他类型的谜题（如直觉物理和二进制推理）上测试了这一点。模式依然成立：AI 在犯错时会投入额外的时间，而人类则倾向于减少时间。然而，在一种特定的谜题类型（Cortes）中，AI 的行为发生了轻微变化，表明“不确定性导致的长度增加”这一规则可能取决于所玩的特定游戏。

底线

这项研究并没有证明 AI 不能思考；它证明了 AI 和人类对思考的分配方式不同。表面的相似性（两者在面对难题时都会耗时更久）掩盖了一个深刻的区别：人类倾向于在意识到自己陷入困境时停止思考，而 AI 模型则倾向于在陷入困境时继续思考（和说话）。

作者建议，要真正理解 AI，我们需要观察它们在何时停止，而不只是观察它们思考了多久。他们提出了一个新的测试方法：如果我们提前切断 AI 的“思考”（截断），我们或许能看到那些额外的文字究竟是有益的，还是仅仅是噪音。论文总结道，在切断之前，AI 在错误答案上的“坚持”表明，其决定“何时放弃”的内在逻辑与我们有着本质的不同。这提醒我们，在构建类人 AI 的竞赛中，我们可能正在制造出非常擅长看起来在思考，却非常不擅长知道何时停止的机器。

技术摘要：人类放弃思考，推理模型持续输出

问题陈述

认知科学中的审议（deliberation）研究提出了一个核心问题：智能体如何决定何时继续思考一个问题，以及何时停止思考。先前的研究（例如，de Varda 等人，2025）确立了大型推理模型（LRMs）与人类之间存在“跨项目”（cross-item）的一致性：两者在处理客观难度较高的题目时，都会生成更长的轨迹（LRM 为推理 token，人类为反应时间）。这表明两者具有共同的难度识别（difficulty registration）能力——即感知任务难度的能力。

然而，这种表面的相似性掩盖了审议分配（deliberation allocation）方面的潜在分歧：即智能体在识别难度之后，如何调度计算资源，特别是相对于其自身的成功或失败而言。本文认为，仅凭跨项目的相关性无法区分出是共享的推理机制，还是仅仅在难度评级上的巧合一致。核心问题在于，当保持项目身份不变时，LRM 与人类是否以相同的方式向正确和错误的尝试分配审议资源（时间/token）。

研究方法

本研究采用了一个两级诊断框架，使用基于项目控制、以结果为条件的分析，针对公开的、去标识化的数据集（H-ARC, INTUIT, Cortes）以及六个开源权重思维型 LRM 样本（如 DeepSeek-R1, Qwen-QwQ, gpt-oss）和非思维基座模型（DeepSeek-V3）进行研究。

1. 两级诊断

第一级：难度识别（跨项目）： 测量不同项目间 LRM 轨迹长度与人类反应时间之间的相关性。这复现了两者在判断哪些题目较难上达成一致的发现。
第二级：审议分配（项目内）： 测量在同一智能体且针对同一项目时，审议长度与正确性之间的关系。这是本文的创新贡献。它追问：“智能体是在做对的尝试还是做错的尝试时投入更多审议？”

2. 统计方法

指标： 主要指标是 d-ratio（对数审议量的 Cohen's d），计算公式为 $(\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$ $(\overset{ˉ}{ℓ}_{w r o n g} - \overset{ˉ}{ℓ}_{r i g h t}) / s_{p oo l e d}$ 。
- 正 d 值：智能体在失败时进行更长时间的审议。
- 负 d 值：智能体在成功时进行更长时间的审议。
控制变量： 为了将分配行为从难度中分离出来，作者使用了项目固定效应回归（item fixed-effects regressions）。这吸收了项目身份的影响，确保比较纯粹是由同一项目内的正确性结果驱动的。
范围： 分析是“项目控制型”而非严格意义上的“智能体内”重复测量，因为公开数据中每个（项目 $\times$ 模型）对仅提供一个结果。对比是在不同智能体（及人类）尝试同一特定项目时进行的。

3. 机制探测

为了解释行为分歧，作者分析了轨迹内容：

人类数据： 使用“动作计数”（网格编辑次数）对反应时间进行分解，以区分“放弃”（快速错误）与“投入式失败”（缓慢错误）。
LRM 数据： 分析推理轨迹中的“自我怀疑标记”（犹豫词）、自我修正标记以及词汇重复率，以观察更长的轨迹是否与不确定性相关。

关键结果

1. 分配差距（符号反转）

在主要数据集（H-ARC）上，出现了显著的脱节：

人类： 表现出负的 d-ratio ( $d = -0.10$ )。在控制项目难度后，人类在做错的尝试中花费的时间更少。这表明了一种投入与放弃（engagement vs. abandonment）的策略：人类会对预期能解决的问题保持投入，而对无法解决的问题则迅速放弃。
思维型 LRM： 表现出正的 d-ratio ( $d = 1.47–3.13$ )。在控制项目难度后，LRM 在做错的尝试中消耗了更多 token。这表明了一种长度随不确定性增加（length-on-uncertainty）的策略：模型在不确定时会生成更长的链条，而这恰恰是其容易失败的时机。

2. 鲁棒性与泛化

跨范式： 这种符号反转在 INTUIT（直觉物理）上也成立，其中 LRM 显示 $d > 0$ ，而人类显示 $d \approx 0$ 。
边界情况（Cortes）： 在 Cortes（二元关系推理）上，仅 LRM 的项目内斜率为正（与 H-ARC 相反），但智能体类型与正确性的交互作用仍然显著，因为人类表现出更强的正向斜率。尽管机制解读变得更复杂，但这种脱节依然存在。
基座模型： 非思维型的 DeepSeek-V3 也表现出在错误尝试中消耗更多 token 的倾向（正 d-ratio），这表明这种“长度随不确定性增加”的行为可能是基础模型在不确定状态下的属性，而非仅是“推理”特征。

3. 机制证据

人类投入度： 人类在正确尝试中的正向项目内斜率是通过动作计数介导的。快速错误（放弃）的动作次数显著少于缓慢错误（投入式失败），这支持了“投入与放弃”的假设。
LRM 不确定性： 在 H-ARC 上，错误尝试的链条包含显著更多的自我怀疑/犹豫标记。在 Cortes 上，它们表现出更高的五元组（5-gram）重复率和更低的词汇多样性（type-token ratio）。这些表面特征表明模型处于“卡顿”或不确定状态，生成更多 token 但并未提高准确性。

核心贡献

解耦识别与分配： 本文将两个常被混淆的行为层面进行了分离：识别（判定难度）与分配（分配资源）。研究证明，虽然 LRM 与人类在“哪些项目难”上达成一致（识别），但在“如何处理这些项目”上存在根本分歧（分配）。
项目控制诊断法： 引入了一种严谨的、以结果为条件的诊断方法，该方法固定了项目身份。这揭示了跨项目的相关性（难度识别）与项目内的审议策略是正交的。
重构对齐观： 本文认为，表面的轨迹长度一致性掩盖了截然相反的内部策略。它将人类-LRM 的对齐重新定义为不仅是轨迹长度的问题，更是停止与控制策略的问题。

意义与主张

本文声称，观察到的脱节挑战了“当前 LRM 实现了类人元认知控制”的观点。

元认知脱节： 在人类中，监控（不确定性）与控制（停止/放弃）是耦合的。在 LRM 中，不确定性标记（犹豫词等）在错误尝试中上升，但与停止行为的耦合很弱；模型即使在结果可能错误的情况下也会继续生成 token。
资源理性解释： 人类的模式符合资源理性策略，即当预期边际收益消失时撤回计算（放弃）。LRM 的模式则表明，无论最终效用如何，模型都会向不确定的项目分配额外的 token，这可能是在优化不同的目标（例如训练信号、验证器奖励），而非单纯的题目准确率。
方法论转向： 作者断言，未来将 LRM 与人类认知进行比较的工作，必须将“跨项目一致性测试”与“项目内分配测试”结合使用。仅依赖跨项目相关性不足以宣称拥有共同的推理机制。

局限性： 作者明确指出，这些数据是观测性的。他们并未证明 LRM 在错误尝试中增加的 token 绝对没有因果价值，仅证明其分配模式与人类行为相反。他们提出，下一步需要进行“受控截断”实验，以确定这些额外的 token 是“有效的搜索”还是“无效的填充”。此外，本研究仅限于开源权重模型，未测试闭源前沿系统。