A Mechanistic Theory Unifying Value and Schema in the Prefrontal Cortex
本文提出了一个统一的前额叶皮层机制模型，其中价值作为一种控制信号，通过门控结构化工作记忆表征来赋能灵活且可泛化的决策，该理论已通过元训练的循环神经网络得到验证，这些网络在不需要额外突触可塑性的情况下重现了这一行为。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
动物是适应的大师。松鼠不需要在每次发现新坚果时都重新学习如何啄开它，人类也不需要因为路线改变了就重新学习如何开车。这种在陌生情境下做出明智选择的能力，依赖于大脑中一个被称为前额叶皮层的特定区域。科学家早已知晓该区域对于两件事至关重要：一是计算一个选择会有多好（价值），二是理解情境中的隐藏规则或结构（比如知道无论在什么街道，红灯时左转总是错误的）。几十年来，这两项功能一直作为独立的谜题被研究。一方面的研究关注大脑如何从奖励中学习，另一方面的研究则关注大脑如何构建世界的心理地图。核心问题始终在于：大脑究竟是如何在当下将这两个工具结合使用来进行决策的？
来自伦敦大学学院和牛津大学的一个研究小组提出了一个新的答案。他们认为，大脑并不仅仅是为每一个可能的行动计算一个分数，然后从中挑选出最高的一个。相反，他们发现大脑很可能像整理一份排名列表一样组织其选项，其中选择的“价值”充当了一个对列表进行重排的控制信号。为了测试这一点，研究人员构建了神经网络的计算机模型，并训练它们解决各种决策游戏。这些模型并没有被预设规则；它们必须学习游戏本身的结构，就像动物一样。结果显示，最成功的模型开发出了一种特定的内部机制：它们将可用的行动存储在不同的心理“槽位”中，并根据每个行动看起来有多好，不断地重新排列这些槽位。
研究人员发现，在这些成功的模型中，大脑并不把每种行动视为带有固定分数的固定项目。相反，它创造了一个动态系统，其中的行动本身是流动的。想象一组里面的内容可以被互换的抽屉。该模型学会了将最好的选项放在顶层抽屉，次好的放在中间，最差的放在底层。至关重要的是，模型中的“价值”信号不仅仅是一个静止的数字；它起到了开关的作用。当模型收到反馈称其首选不再是最佳选项时，价值信号会触发一次交换，将旧的首选向下移动，并将新的最佳选项向上拉。这使得模型能够无需从头开始重新学习规则，就能立即适应新情况。如果游戏的规则发生了变化，模型只需重新排列现有的选项列表，使用其之前学到的相同底层逻辑即可。
这一发现挑战了神经科学中一个长期存在的观点。传统上，科学家认为大脑是通过加强特定行动与奖励之间的连接来进行学习的，就像狗学习某个特定动作可以换取零食一样。在旧观点中，如果狗学会了“坐下”会有回报，那么这种连接就是硬连线的。新模型则提出了不同的看法。研究人员发现，他们的模型并没有学会将价值与特定行动挂钩，而是学会了将价值与“排名”挂钩。在这种视角下，大脑学习的是识别“最佳选项”和“次佳选项”的概念，而不在乎这些选项具体是什么。这解释了为什么动物能够如此快速地泛化它们的学习能力。如果一只猴子学到了在某种情境下某种特定的水果是最佳选择，它就可以通过基于相同内部规则对新选项进行重新排名，从而立即将同样的逻辑应用于完全不同的水果组合。
为了证明这种机制是真实的而非仅仅是计算机代码的巧合，研究人员对模型进行了一系列“手术”实验。他们深入到网络的隐藏层，手动更改了存储在心理槽位中的信息。当他们把顶层槽位的内容与底层槽位的内内容互换时，模型的行为完全符合预期。它立即开始选择那个被移动到顶部的行动，而忽略了之前的那个。这证实了模型不仅仅是在计算分数并挑选赢家，它确实在根据价值信号物理性地移动行动指令。研究人员还将模型用于更复杂的任务，例如规则按可预测模式变化的比赛，或者其中一个选择的价值能告知另一个选择价值的任务。在所有这些案例中，使用这种排名重排系统的模型都是能够高效解决问题并适应新变化的模型。
这项研究还观察了其与真实动物大脑的对比。研究人员指出，他们模型组织信息的方式与在猴子前额叶皮层记录到的神经元放电模式相吻前。在那些真实的脑部中，科学家观察到某些神经元专门为“最佳”选项放电，另一些则为“次佳”选项，还有一些为“最差”选项，而不管实际选项是什么。这种生物学证据支持了大脑使用排名系统的观点。研究人员还指出，这个系统非常高效，因为它将“什么”（行动）与“有多好”（价值）分离开来。这种分离意味着大脑可以利用相同的学习规则来处理全新的问题集，而这种能力对于在变化的世界中生存至关重要。
通过统一价值与结构的概念，这项工作为大脑如何实现灵活性提供了一个更清晰的图景。它表明，前额叶皮层的作用与其说是一个计算奖励总和的计算器，不如说是一个不断重新组织信息流的交通控制器。一个选择的价值不仅仅是一个被读取的数字，它是一个重新排列大脑内部工作空间的指令。这种机制实现了快速推理，即动物可以在仅获得一次反馈后，就能推导出最佳行动方案，而不是需要尝试每一种可能性。研究人员的模拟表明，这不仅仅是一个理论上的可能性，而是在系统被训练以具备灵活性时自然涌现的一种稳健解决方案。虽然这项研究是使用计算机模型进行的，但其与现有生物学数据的吻合程度表明，这种排名重排机制很可能正是人类大脑解决日常生活中复杂且不断变化的问题的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。