Thalamocortical credit routing from the basal ganglia and cerebellum: anatomical constraints and circuit principles

为了理解动物如何学习选择正确的行动以获得奖励，科学家们长期以来一直关注着两个深层脑结构：基底节和小脑。这些区域充当着学习引擎的角色。基底节根据过去的奖励来决定哪些行动值得追求，而小脑则微调动作的时机与精准度。这两个结构都接收来自大脑皮层的指令，大脑皮层是负责复杂思考与规划的大脑外层。在处理完这些信息后，它们将信号传回皮层以更新未来的行为。这创造了一个连续的循环，使大脑能够不断检查自身的表现。然而，这个谜题中一个关键的部分一直不明确：这些学习信号是如何传回到皮层中实际产生该行动的具体神经元群体的？如果没有精确的传递系统，大脑就不知道应该加强或削弱哪些神经元，从而导致学习效率低下甚至无法进行。

日本的一个研究小组现在绘制了小鼠的这一传递路径，揭示了一个确保学习信号到达精确正确目的地的复杂系统。他们发现，虽然基底节和小脑通过丘脑（大脑中的一个中央中继站）内的两条大致独立的通道发送信息，但这些通道在到达皮层时会再次合并。具体而言，研究人员发现来自这两个系统的信号汇聚在次级运动皮层的最顶层，该区域对于规划和学习新技能至关重要。这种汇聚使得大脑能够结合不同类型的学习信息，并将它们直接引导至负责某项行动的具体神经元。通过结合详细的大脑成像技术与计算机模拟，该团队展示了这种解剖学排列对于大脑正确分配“功劳”至关重要，确保了那些对成功行动做出贡献的神经元能够得到强化。

研究人员首先通过追踪小鼠大脑中的物理路径，观察这些学习信号的去向。他们在基底节和小脑中注射了微量的荧光示踪剂，并观察信号如何穿过丘脑到达皮层。他们发现，接收来自基底节输入的丘脑神经元主要位于一个区域，而接收来自小脑输入的神经元则位于另一个区域。这证实了这两个系统在通过丘脑时保持着高度的独立性。然而，当研究人员观察轴突（即从丘脑向皮层传递信号的长纤维）最终停留在哪里时，情况发生了变化。尽管起始于丘脑的不同位置，来自这两个系统的轴突却拥有一个惊人一致的目的地：次级运动皮层的最上层。这一层包含了控制运动的神经细胞极其延伸的末梢。研究人员还发现丘脑中有一个微小的区域，来自两个系统的信号会在那里混合，但最重要的发现是皮层中这个共同的到达点。

为了理解为什么这个共同目的地如此重要，团队构建了一个包含皮层、丘脑、基底节和小脑在内的完整大脑回路的详细计算机模型。在模拟中，他们测试了当信号路由正确与被扰乱时，大脑的学习情况如何。他们发现，当反馈来自基底节和小脑并被送回协助产生该行动的具体神经元组时，学习效果最好。如果信号被发送到错误的神经元，学习就会失败。该模型还显示，大脑使用两种不同的方式来发送这些信号。一类信号就像一个“音量旋钮”，使神经元现有的活动变得更强或更弱；另一类则像一个“直接推动”，为神经元增加新的活动。研究人员发现，大脑需要这两种机制协同工作才能高效学习。“音量旋钮”效应发生在皮层的这一上层，有助于大脑放大正确的信号，而“直接推动”则有助于驱动行动向前。

该研究还探讨了大脑最初是如何确定哪些神经元应该接收这些学习信号的。在计算机模型中，研究人员展示了大脑可以通过观察自身在静止期间的活动来学习如何对齐其反馈。通过比较一个神经元的活跃程度与其触发行动的可能性，大脑可以调整其连接，从而使学习信号被发送到正确的位置。他们称这一过程为“局部校准”，该过程使得模型即使在初始连接设置并不完美的情况下，也能恢复其学习能力。此外，研究人员还测试了该系统是否能处理复杂的任务，例如在脑机接口实验中，多名神经元需要同时接受训练，比如一个人通过思想控制电脑光标。他们发现，当大脑向整个网络发送单一的全局奖励信号时，如果目标需要向相反方向移动，大脑在同时训练多个目标时会遇到困难。然而，当反馈通过独立的并行通道路由时，大脑可以成功地同时训练多个神经元。这表明，大脑学习复杂的多部分任务的能力，取决于拥有这些能够将“功劳”分配给特定神经元组而不产生干扰的独特并行路径。

这些发现为我们看待大脑如何学习提供了一种全新的视角。研究人员认为，基底节和小脑并非仅仅是简单叠加输出的独立系统，而是作为一个协调的团队，利用一条共享的高速公路来传递学习信号。这条汇聚于运动皮层顶层的“高速公路”允许大脑整合不同类型的信息，并将其精确地引导至所需之处。这项研究表明，这些连接的物理布局不仅仅是一个被动的布线图，更是学习过程本身的一个活跃组成部分。通过确保学习信号能够到达负责某项行动的具体神经元，大脑可以有效地优化其行为并适应新的挑战。这项工作为理解大脑如何解决“信用分配”（credit assignment）问题提供了一个具体的解剖学和计算学框架，这一问题不仅适用于动物，也适用于人工智能系统的发展。研究人员通过对小鼠的直接观察和严谨的计算机模拟得出的结果强调了，层级汇聚（laminar convergence）和模块化反馈对于实现大脑学习复杂行为的重要性。