Reasoning Models of Artificial Intelligence Think Like Humans Do

几十年来，科学家们一直在争论大脑是如何解决那些从未被明确教授过的问题的。当一个孩子通过图片识别出一辆汽车，或者当一名学生在没有被展示具体步骤的情况下解出一道新的数学题时，这往往让人觉得大脑中似乎突然出现了一种隐藏的、“派生”的联系。一些理论认为，这些联系是自发产生的，绕过了直接教学。然而，另一种观点则认为，如果没有强化历史，任何东西都不会真正产生。这种被称为“中介理论”（mediational theory）的观点认为，看似突然出现的洞察力实际上是一系列微小的、中间步骤的结果。这些步骤——通常是无声的词语或心理图像——通过它们自身的后果得到练习和加强，即使教师或研究者从未打算专门训练它们。这是一个关于大脑是通过看不见的、被强化的习惯来建立思想之间的桥梁，还是通过某种神秘的逻辑飞跃来建立桥梁的问题。

这个问题最近已经超越了人类行为的研究，进入了人工智能的核心领域。来自克莱蒙特研究生大学、佛罗里达理工学院和加州州立大学洛杉矶分校的研究人员提出了一个新观点，认为最先进的计算机程序现在正在证明行为科学家长期以来所主张的观点。通过检查现代大语言模型如何解决复杂任务，作者表明这些机器并不直接跳向答案。相反，它们参与了一个循序渐进的过程，镜像了人类行为中所描述的中介理论。研究人员认为，这些系统表现出的“推理”并非魔法或智能的突然涌现，而是通过训练强化了通往答案的每一个中间步骤，就像人类学习者强化自己的内在思维一样。

论文首先回顾了“派生关系”（derived relations）的概念，即人们尚未被直接教授去联系的事物之间的联系。在传统的实验中，一个孩子可能会被教导一张汽车的图片与“汽车”这个词相对应，随后在没有进一步训练的情况下，当被要求在其他物体中寻找“汽车”时，他们可能会正确地指向那辆车。这通常被称为“刺激等价”（stimulus equivalence）。作者挑战了这种联系是未经训练或未经过强化的观点。他们提出，当孩子听到“汽车”这个词时，他们会在心里或大声地对自己重复这个词。重复这个词的行为是一种中介行为。因为孩子处于汽车的存在之下，说出“汽车”这个词会因为听到的声音与所说的词语相匹配而得到强化。这种强化是直接发生的，即使研究者并没有明确计划奖励孩子说出这个词。这种联系并不是一个谜团；它是孩子自身行为被环境加强的直接结果。

作者将这一逻辑扩展到了计算机如何学习思考的方式上。早期的人工智能版本类似于简单的预测机器。它们会观察一个句子，并根据统计模式猜测下一个词，就像一个人在熟悉的短语中猜测下一个词一样。这些系统可以回答问题，但它们是在一次快速的冲刺中完成的，而没有将其分解。它们缺乏通过逻辑推理处理复杂问题的能力。向“推理模型”的转变发生在工程师们意识到，强制计算机展示其解题过程可以提高其性能时。与其仅仅给出答案，不如提示计算机生成一条“思维链”（chain of thought），即通向解决方案的一系列步骤。这种改变计算机训练方式的做法，与人类行为的中介理论完美契合。

这些推理模型的训练分为多个阶段，每个阶段都在精炼机器的学习方式。首先，模型接触大量的文本，学习语言的基本模式。然后，它通过人类专家提供的有益且安全的答案进行微调。最后，也是对这一论点最重要的，模型经历了“强化学习”。在这个阶段，计算机不仅被告知最终答案是对是错，还会对其得出该答案所采取的步骤进行评估。当模型正确解决一个问题时，系统会强化导致该答案的整个步骤链。然而，在仅奖励最终答案的标准模型中，系统会将整个链条作为一个整体进行强化，这意味着如果最终答案碰巧正确，一个错误的步骤也可能被加强。为了解决这个问题，研究人员开发了特定的“过程奖励”（process reward）模型，用于检查每一步的准确性。在这些先进系统中，如果某一步是错误的，即使最终答案正确，该步骤的概率也会降低，从而确保机器学会采取正确的中间步骤，而不是靠运气得到正确结论。

研究人员指出，这正是人类解决问题的方式。当一个人面对一项困难的任务时，他们通常不会通过一次不间断的爆发产生最终答案。相反，他们会将问题分解，通过自言自语或写下步骤来解决。每一步都作为下一步的线索，并通过其在解决问题过程中取得的进展得到强化。作者指出，当计算机工程师观察到他们的模型突然开始检查自己的工作或纠正自己的错误时，他们称之为“涌现”（emergent）行为。研究人员认为，这是一个误称。没有任何东西是在没有被强化的前提下涌现出来的。模型之所以学会检查自己的工作，是因为这样做能更频繁地导致正确答案，并且系统奖励了那些行为链。所谓的“涌现”仅仅是观察者对其训练历史了解不足造成的认知偏差，而非机制本身的缺口。

计算机科学与行为科学的这种汇合提供了一个深刻的见解。构建这些系统的工程师得出了与行为科学家相同的结论：解决复杂问题最有效的方法是使用一系列在过程中得到强化的中介步骤。论文指出，这并非巧合，而是无论是人类大脑还是硅芯片，在解决问题时的一个基本真理。我们在这些先进模型中看到的“推理”，仅仅是由于训练历史强化了达成目标所需的中间行为。通过理解这一点，我们可以看到，我们在人类和机器身上所钦佩的复杂、循序渐进的思考，都是建立在学习和强化的基本原则之上的。我们思考的奥秘不在于某种隐藏的逻辑飞跃，而在于我们为到达目标所采取的那些安静且被强化的步骤。