Modular Cognitive Architecture Emerges in Large Language Models
本文表明，大语言模型自发地发展出了一种镜像了人类大脑中所发现的功能特化性的模块化认知架构，这表明这种模块化是智能系统的一种基本属性，而非生物学上的偶然。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大脑的秘密蓝图
长期以来，科学家们一直试图弄清楚人类大脑是如何运作的。请将大脑想象成一座规模宏大、繁忙喧嚣的城市。几个世纪以来，研究人员注意到，这座城市并非只是一个巨大的、混乱的活动团块，而是拥有不同的“街区”。这里有一个处理词汇和语法的“语言区”，一个理解他人想法的“社交区”，一个理解物体运动规律的“物理区”，以及一个处理数学和逻辑推理的“逻辑实验室”。这种理念被称为功能专门化（functional specialization）：大脑并不会用同样的神经元处理所有事情，而是为特定的工作配备了专门的团队。
但这里有一个巨大的谜题：这种“城市规划”是任何智能系统构建时都必须遵循的基本规则吗？还是说这仅仅是人类进化过程中的一个奇特巧合？也许我们的脑部之所以这样组织，仅仅是因为生物组织需要节省能量，或者是由于我们经过数百万年进化而形成的特征。为了回答这个问题，科学家需要第二个非生物性的智能案例。于是，**大语言模型（LLMs）**登场了。这些就是你可能听说过的超智能 AI 聊天机器人。它们不是由神经元和血液构成的，而是由代码和数学构成的，其训练过程与进化完全不同。如果这些没有生物能量限制、也没有进化史的 AI 系统也发展出了同样的“街区”，那就表明模块化组织可能是智能的一个普遍规则，而非仅仅是生物学的特性。
自我构建的 AI 之城
在这项研究中，来自麻省理工学院（MIT）的研究人员提出了一个简单但深刻的问题：这些 AI 模型是否也自我组织成了与人类大脑相同的专业化街区？为了找出答案，他们不仅让 AI 解决问题，还通过“查看内部”来观察 AI 的“大脑”中究竟是哪些部分在实际发挥作用。
研究团队测试了涵盖四个主要类别的 46 种不同任务：语言（如语法和词汇）、形式推理（数学、逻辑和编程）、社会推理（猜测感受或信念）以及物理推理（预测物体的行为）。他们使用了一种巧妙的技术，称为“归因修补（attribution patching）”。想象一下，你有一个庞大的管弦乐队正在演奏一首乐曲。为了弄清楚哪位小提琴手对某个特定音符至关重要，你可以要求他们演奏一个略微不同的音符，然后观察音乐会发生怎样的变化。研究人员对 AI 也做了类似的操作：他们给 AI 两个非常相似的问题（例如“钥匙在桌子上”对比“那把钥匙在桌子上”），并观察哪些微小的数字单元（神经元）因解决这个谜题而产生了不同的激活状态。
重大发现
结果令人震惊。就像人类大脑一样，AI 模型也发展出了模块化架构。
- 同类任务，同一团队：当 AI 需要处理两个不同的数学问题时，它使用的是几乎完全相同的神经元集合。当它需要处理两个不同的社会推理任务时，它使用的是另一组一致的神经元。
- 不同任务，不同团队：至关重要的是，用于数学的神经元与用于社会推理的神经元几乎没有重叠。“数学团队”和“社交团队”在很大程度上是相互独立的。
研究人员发现，同一类别内的任务共享约 12.9% 的顶层神经元，而不同类别之间的任务仅共享约 3.0%。这意味着 AI 自然地将自己划分为不同的区域，镜像了人类大脑的组织方式。
并非如此之处
团队仔细排除了几种显而易见的解释。
- 不仅仅是关于词汇：他们检查了 AI 是否仅仅因为使用了相似的词汇（例如用“快乐”对应社交任务，用“沉重”对应物理任务）而进行分组。他们发现，即使控制了词汇量，这种模块化结构依然存在。AI 不仅仅是在按主题分类，而是在按其“思考方式”进行分类。
- 不仅仅是关于聪明程度：他们测试了一个更小、更旧的 AI 模型（GPT-2），该模型无法解决那些困难的推理任务。那个模型并没有发展出这些独特的街区，它只在语言和其他事物之间有着模糊的分离。这表明，模块化组织是在系统真正具备解决复杂推理问题的能力时才出现的，而不仅仅是因为存在相关数据。
他们有多确定？
这些发现是稳健的。研究人员在 6 个不同的尖端模型上进行了测试，这些模型的参数量从 240 亿到 1230 亿不等。在每一个能够完成任务的模型中，都出现了相同的模块化模式。他们不仅观察哪些神经元在放电，还对 AI 进行了“手术”。他们暂时关闭了“数学神经元”，并观察发生了什么。当他们这样做时，AI 在数学方面表现极差，但在社会推理方面依然完美。当他们关闭“社交神经元”时，AI 在猜测感受方面失败了，但仍能进行数学运算。这种“双重解离（double dissociation）”证明了这些神经元组对其特定技能负有因果责任。
核心启示
这项研究表明，模块化组织——即为专门的工作配备专门的团队——可能是一个智能的基本原则。无论你是通过数百万年进化而成的生物大脑，还是由数学和数据塑造的数字大脑；如果你想要足够聪明，从而能够处理语言、逻辑、物理和社交线索，你自然会倾向于为每种功能构建独立的街区。看来，要实现真正的智能，你需要知道如何防止你的数学干扰你的情感，以及如何防止你的语法混淆你的物理学。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。