Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture
本文表明，尽管核心认知能力可以从极简架构的梯度下降中涌现，但关键的元认知功能（如自适应停机和基于价值的资源分配）并不会自发涌现，而是必须经过显式计算才能获得显著的性能提升，实验结果显示，在高风险场景下，显式价值分配带来的收益高达平滑估计值的七倍。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在构建能够思考的机器的探索过程中，科学家们长期以来一直在争论智能的火花究竟源自何处。一种观点认为，如果你建立一个足够庞大的系统，并让它从海量数据中学习，复杂的推理和决策能力就会自然而然地显现出来，就像孩子在没有被教授平衡机制的情况下学会走路一样。相反的观点则认为，思考是一个经过精心设计的过程，需要专门的、独立的部件来处理感知、记忆和判断，就像一座拥有专门流水线的工厂一样。多年来，这一直是一场哲学上的拉锯战，但一项新的研究将这场对话从理论转向了实验室地面。研究人员致力于构建一个微小但完整的思考机器，然后严格测试每一个组成部分，以观察它是通过经验学习到了自己的职责，还是必须通过显式编程才能完成任务。他们的目标不仅是看机器能否解决问题，还要理解它究竟是如何决定何时停止思考、如何判断任务的重要性，以及它是否能够学会管理自身的精神能量。
团队构建了一个极简但完整的认知系统，这是一个由几个关键组件协同工作的数字大脑。其核心是一个推理器，该模块可以逐步解决问题。围绕在它周围的是辅助其决定思考时长、管理能量的控制系统，以及判断任务重要性的价值模块。他们利用一系列逻辑谜题对该系统进行了训练，具体是涉及符号重排的任务，这类任务对于无法陷入僵局的标准计算机模型来说非常困难。随后，研究人员对这台机器的每个部分进行了一系列测试，针对每个部分提出了一个简单的问题：这种能力是从训练过程中自然涌现的，还是必须通过特定的、预先设计的机制来计算得出的？他们发现的答案非常尖锐且往往令人惊讶，揭示了虽然解决问题的能力可以涌现，但决定何时停止以及如何分配精力的能力却不能。
最显著的发现涉及机器如何决定何时停止思考。在许多现代人工智能系统中，模型会被允许运行尽可能长的时间，直到它感到自信为止。研究人员发现，他们的系统确实学会了停止，但这种能力是一种测量上的错觉，而非真正的技能。当他们强迫机器在与“聪明”版本完全相同的点停止时，表现是完全一致的。这种具备自我停止能力的机器所展现出的优势，完全来自于其最终答案读取方式的一个偏差，而非源于对任务更深层的理解。一旦研究人员修正了这种读取方法，机器观察自身思考过程所带来的价值几乎降为零。事实证明，了解哪些特定谜题比其他谜题需要更多时间，对性能的提升贡献仅为极小的百分比。机器的内部监控器实际上并没有做出更好的决策；它只是系统构建过程中的一个副产品。
这为真实的决策能力存在于何处描绘了更清晰的图景。研究人员测试了如果仅仅通过训练机器去在意结果，它是否能学会优先处理重要的任务。他们发现，训练过程实际上让机器变得更糟了。当系统被教导去权衡答案的后果时，它变得困惑且准确度下降。投入多少精力处理任务的能力完全没有从学习过程中涌现出来。相反，它必须由一个显式的、独立的计算器来计算，该计算器在机器开始工作之前就观察问题并决定精力水平。这种“计算出的决策”比任何试图让机器自主学习任务价值的尝试都更为有效。机器的内部状态在训练过程中自然地丧ég掉了用于做出这些基于价值的决策所需的信息，使得显式计算器成为完成工作的唯一途径。
这项研究还考察了这些发现如何应用于当今流行的超大规模语言模型。研究人员使用类似的方法测试了一个大型的、冻结状态的语言模型（即无法被重新训练的模型），以观察它是否能管理自身的思考时间。他们发现，通过生成多个不同答案并进行投票以选出最佳答案的常见策略，几乎没有什么改进空间。模型倾向于在错误时也对自己保持一致，这意味着要求它思考更久或增加投票次数很少能带来帮助。就像那个较小的机器一样，观察自身思考并决定何时停止的能力几乎毫无价值。研究人员得出结论，在我们尝试治理这些大型模型的思考方式之前，必须首先衡量我们用来控制它们的工具是否真的有效。在许多情况下，我们试图拉动的杠杆根本无法对机器产生实质性的影响。
研究的最后一章探讨了一种特定类型的困难问题，在这种问题中，思考的成本直到最后才会显现，就像走在一条只有到达终点才知道距离远近的小路上。在这些“悬崖”场景中，研究人员预测，预先决定价值的重要性将会飙升。他们的预测得到了证实：在这种情况下，在开始前就获知任务的价值变得极其重要，与仅仅知道难度相比，这提供了巨大的性能提升。然而，这种提升并非因为机器突然理解了问题，而是因为做对问题的潜在回报变得如此之大。研究表明，问题的规模与信息的结构是两回事。机器不需要学习一种新的思考方式；它只需要一个清晰的、预先计算好的计划来应对高风险情况。
最终，这项研究的蓝图展示了认知并不存在于何处。它既不在机器观察自身思考的能力中，也不在通过训练教导其重视任务的过程中。相反，管理精力以及对重要性做出二阶决策的能力，必须作为一种独立的、显式的计算被构建进来。机器学会了解谜，但必须由一个单独的机制告知它该如何努力。研究人员发现，他们工作中最多可复用的部分不是一种新型的智能，而是一种用于衡量什么是真实、什么是幻觉的严谨方法。通过证明许多被假定的能力实际上是测量方式产生的伪影，他们为构建真正能够思考的机器提供了一个更清晰、更诚实的基石。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。