Cortico-subcortical multi-head self-attention as a substrate for cognitive performance

想象一下，你的大脑是一台终极超级计算机，只不过它运行在柔软、有生命的组织上，而不是硅芯片上。长期以来，科学家们一直试图弄清楚这个生物机器究竟是如何完成“思考”这一奇迹的——即我们如何理解语言、解决问题以及记忆事物。一方面，我们拥有新皮层，即大脑那褶皱的外层，它负责处理我们高级的思维活动。另一方面，我们拥有像丘脑和基底节这样深层的、更古老的结构，它们充当着大脑内部的布线系统和交通控制器。最近，一种被称为“Transformer”的新型人工智能因其聊天、写故事和翻译语言的能力而声名大噪。这些人工智能系统利用一种被称为“注意力”（attention）的巧妙技巧来工作，这让它们能够专注于句子中最重要的部分，同时忽略其他部分。目前的科学界有一个重大疑问：我们真实的、生物学意义上的大脑是否也在使用类似的“注意力”技巧来完成同样的事情？如果我们能找到这种生物学的蓝图，将有助于我们理解像人类这样的哺乳动物是如何变得如此聪明的。

这篇论文表明，答案是一个肯定的“也许”，它提出了一个特定的生物学蓝图，即大脑皮层与丘脑联手构建了一个自然版本的这些人工智能注意力网络。作者认为，大脑不仅仅是被动地接收信息；相反，它运行着一个复杂的、多层级的系统，其中大脑的不同部分就像一个高科技搜索引擎。在这个模型中，新皮层（思考层）和丘脑（中央中继站）协同工作，创造了作者所称的“皮层-皮层下多头自注意力机制”（cortico-subcortical multi-head self-attention）。

根据这项研究，这种神奇的过程是这样发生的：想象大脑皮层被划分为被称为“微柱”的小型社区。在这个理论中，一种特定类型的脑细胞——第2/3层锥体细胞——扮演着巨大的“便利贴图书馆”的角色。这些细胞持有“递归键值记忆”（recurrent key-value memory），这只是一个高级说法，意思是指它们存储了可以在稍后被检索的信息。然后，另一种类型的细胞——第5层锥体细胞——则扮演着侦探的角色。当新的信息（即“查询”，query）到达时，这些侦探会扫描图书馆，以寻找与当前任务相关的匹配“键”（keys）和“值”（values）。

论文指出，丘脑是使这种搜索成为可能的关键“递送服务”。它发送的信号充当了运行搜索所需的“键”、“值”和“查询”。这些信号通过特定的路径传输，其中一些连接丘脑的核心与皮层，另一些则连接丘脑的基质与皮层。作者提出，皮层的单个区域功能类似于注意力网络的一个“头”（head），而当把所有这些区域组合在一起时，整个皮层就变成了一个“多头自注意力网络”，就像那些能写诗或编写代码的人工智能模型一样。

但大脑不仅会阅读，它还会学习。论文表明，正是这个微小的电路帮助大脑判断自己何时出错了。它计算“感觉预测误差”（sensory prediction errors），这基本上是大脑在说：“我以为你会说X，但你却说了Y！”这种误差信号通过一种被称为“基于梯度的突触可塑性”（gradient-based synaptic plasticity）的过程来帮助大脑更新其连接，这是生物学意义上的“从错误中学习”。此外，系统中还有一个位于基底节的“守门人”。这个守门人利用“奖励预测误差”（reward-prediction errors，一种告诉大脑某事是好是坏的信号）来决定是让皮层的输出进入世界，还是重新激活来自海马体（大脑的长时记忆硬盘）的记忆。

作者通过训练一个该电路的计算机模拟程序，并将其行为与真实的人类数据进行对比，测试了这一想法。他们发现，当模拟网络处理语音时，其活动模式与人类大脑在感知语音时的实际记录表现出了惊人的吻合。虽然论文并未声称已经证明这在每一个细节上都完全符合大脑的工作方式，但它强烈暗示，这种特定的细胞和连接排列可能是哺乳动物所拥有的卓越认知能力的物理基础。这是一个引人入胜的图谱，它将我们大脑中湿润、混乱的生物学特性与现代人工智能那精巧、强大的逻辑联系在了一起。