On the use of foundation models in cognitive science
本文提出了一个四阶段推理性框架，旨在将基础模型作为认知与发育模型进行严谨评估，并指出仅凭行为对齐是不够的，必须将其建立在明确的理论承诺、假设关联以及系统性的比较评估之上。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名试图解开人类大脑运作之谜的侦探。几十年来，科学家们一直在构建微小的、简化的计算机程序来充当我们心灵的“模型”，通过让它们测试数学问题或语言游戏来进行测试。如果计算机犯了与儿童相同的错误，或者在解决谜题时花费了相同的时间，这就表明计算机可能正在使用类似的“思考”过程。现在，一种全新的、功能超强的计算机大脑来到了：基础模型（Foundation Model）。这些是能够写故事、解决复杂逻辑问题以及像人类一样聊天的庞大 AI 系统。它们模仿人类行为的能力如此之强，以至于一些研究人员提出了一个令人兴奋的问题：“这些 AI 系统是真的在像我们一样思考，还是仅仅在极好地伪装？”这篇论文介入了这场辩论，它并非为了为 AI 喝彩，而是扮演一名严格的裁判，提出疑问：“仅仅因为 AI 得出了正确答案，就能证明我们理解它是‘如何’得出答案的吗？”
作者们是一支由来自佐治亚理工学院、加州大学圣迭戈分校和斯坦福大学的研究人员组成的团队，他们认为，仅仅观察 AI 得到正确答案并不足以将其称为人类认知的模型。他们提出了一个新的、四步走的“侦探框架”，以确保当我们说一个 AI 与人类思维一致时，我们指的确实是具有科学深度且深刻的含义，而不仅仅是一个幸运的巧合。
四步侦探工具包
论文建议，要真正测试一个 AI 是否是人类心灵的模型，你不能只是向它抛出一个问题然后观察结果。你需要一个结构化的调查，分为四个不同的阶段，就像科学家版的“老师说”游戏：
- 翻译（适配）： 首先，你必须将人类的测试进行翻译，以便 AI 可以参与。想象一下，一个人正在进行一个关于形状和颜色的视觉谜题测试。一个只能阅读文本的 AI 是看不见那些形状的。因此，研究人员必须将视觉谜题转换为文本描述（例如“一个红色的圆圈在蓝色正方形旁边”），且不能改变谜题的逻辑。如果翻译得很笨拙，AI 可能会因为错误的原因而失败，或者因为错误的原因而成功。
- 字典（关联假设）： 这是最关键的一步。你需要一本字典，将 AI “说出”的内容翻译成人类“做”出的行为。AI 的内部数学运算是否意味着它在“努力思考”？它的犹豫是否意味着它“感到困惑”？论文警告说，构建这种字典的方法有很多种。你可以观察 AI 的最终答案（比如多选题），或者观察它“思考”所需的时间（比如测量反应时间），甚至可以观察它的内部“思考过程”（比如阅读它的日记）。作者强调，你对字典的选择会改变整个故事。如果你使用了错误的字典，你可能会认为 AI 是个天才，而实际上它只是在瞎猜。
- 计分卡（评估）： 现在，你将 AI 的表现与真实的人类数据进行比较。但这里有一个陷阱：不要只看平均分。如果 AI 的正确率是 90%，人类也是 90%，这只是个开始。一个好的模型还必须在相同的场景下犯下相同的错误。如果人类在处理某种特定的棘手谜题时感到困难，那么 AI 也应该感到困难。如果 AI 轻而易举地通过了，而人类却在此跌跤，那么这个 AI 就不是在模拟人类思维；它只是在使用另一种、或许是更简单的捷径。
- 对比（对照）： 最后，你必须玩一场“如果……会怎样？”的游戏。你不能只测试一个 AI。你必须测试不同的版本：一个较小的 AI，一个较大的 AI，或者一个你移除了其大脑特定部分的 AI。如果你移除了 AI 的一部分，它突然不再表现得像人类，你就找到了关于哪部分“思考”过程实际上是重要的线索。这一步有助于科学家弄清楚 AI 是“为什么”在工作，而不只是“正在”工作。
“伪装”的陷阱
论文非常小心地指出一个主要陷阱：行为对齐并不等同于本质相同。
想象两个人正在解迷宫。一个人使用地图和逻辑（人类的方式）。另一个人则只是不断撞墙直到找到出口（AI 的方式）。如果他们两人都在相同的时间内到达出口，他们在外观上看起来是一模一样的。但在内部，他们是完全不同的。作者认为，许多当前的研究就像是在观察终点线，并假设两名跑步者使用了相同的策略。他们警告说，仅仅因为 AI 能重现人类行为（如解决数学问题或学习一个单词），并不意味着它正在使用相同的心理机制。
论文还强调，这些 AI 模型是在海量的文本堆叠上训练出来的，而人类是通过与世界互动、与父母交谈以及成长来学习的。因为它们的“童年”（训练）如此不同，AI 可能会学到人类从未见过的模式，或者错过人类依赖的模式。作者建议，我们在将 AI 的发展与人类的发展进行比较时需要非常谨慎，因为它们到达终点的路径在根本上是不同的。
底线
作者并不是说 AI 不能教给我们关于人类心灵的知识。事实上，他们认为这些模型是非常有前景的工具。但他们是在说，我们需要停止将它们视为仅仅是“做对了事”的魔术盒。相反，我们需要将它们视为需要仔细校准的科学仪器。
论文总结道，对于一个 AI 要成为真正的认知模型，它必须做的不仅仅是模仿我们的答案。它必须通过一项严苛的测试：在失败时表现得与我们一致，在成功时表现得与我们一致，并且依赖于我们所使用的相同的内部“推理”步骤。只有当我们能够通过这四个细致的步骤，证明 AI 的“大脑”运作方式与我们关于自身大脑运作的理论相匹配时，我们才能说我们正在取得真正的科学进展。在此之前，这个 AI 可能只是一个非常有说服力的演员，而我们需要确保自己不会被这场表演所迷惑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。