Reward changes the use and structure of predictive spatial maps
本文表明，奖励通过两种不同的机制影响海马体的预测性空间图谱：目标信号主要改变现有图谱被用于引导行为的方式，而特定的奖励相关教学信号则驱动了重塑图谱结构的实际塑性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
大脑包含一个专门的制图系统，使动物能够在其世界中导航。在位于大脑深处的海马体中，存在着被称为“位置细胞”的神经元。每当动物处于特定位置时，这些细胞就会放电，有效地照亮内部地图上的一个坐标。几十年来，科学家们一直知道这张地图并非静止不变的；它会根据经验而改变。当动物得知奖励隐藏的位置时，这些位置细胞的活动通常会发生偏移，在奖品所在位置附近更加密集地聚集。但一个根本性的问题一直悬而未决：大脑仅仅是改变了对现有地图的使用方式以聚焦于奖励，还是在物理上重写了地图本身，通过改变神经元之间的连接来创造一个新的空间表征？
为了回答这个问题，研究人员建立了一个模拟大脑学习过程的计算机模型。他们创建了一个数字智能体，让它在一个虚拟的正方形竞技场中进行探索，该智能体仅接收关于其前方视觉信息的输入，例如到墙壁的距离以及物体的存在。智能体的内部网络被训练去基于当前的视野和移动来预测下一个视觉场景。通过这个预测过程，该网络自发地发展出了一个空间地图，其中不同的神经元群体在特定位置放电，非常类似于真实动物中发现的位置细胞。在智能体得知奖励信息之前，这张地图就已经存在了。
随后，研究人员在环境中引入了一个奖励，并训练了一个独立的控制系统来引导智能体走向奖励。随着智能体学习如何导航至奖励，研究人员观察到了一个显著的变化：地图中的位置细胞开始紧密地聚集在奖励位置周围。然而，当研究人员使用新训练的网络，重新播放智能体在学习奖励前所走过的完全相同的路径时，这种聚集现象变得微弱得多。这表明，在目标导向行为中所看到的强烈的活动集中，很大程度上是因为智能体采取了不同的路线并从不同的角度接近奖励，而不是由于底层地图结构的彻底重构。地图确实发生了变化，但变化幅度很小。
该研究进一步探讨了驱动这些变化的因素，方法是加入一种特定的教学信号，告知网络它距离奖励有多近。当存在这种信号时，地图的变化变得更大且更具一致性，使位置场更可靠地向奖励方向偏移。研究人员还测试了当奖励被移动到新位置时会发生什么。他们发现，智能体前进的方向能快速适应新目标，但位置场的物理位置移动得较慢，并保留了对旧奖励位置的部分记忆。最后，当奖励和教学信号被完全移除后，原奖励位置附近的细胞集中现象便会消退，地图会恢复到原始状态。
这些发现表明，大脑使用两种不同的机制来处理奖励。一种机制改变了现有地图的使用方式，使动物能够将注意力及行为聚焦于目标。第二种机制由特定的学习信号驱动，它在物理上重塑地图本身，但这种重塑是一个比即时行为转变更为微妙且渐进的过程。这项研究提供了一个清晰的框架，用以理解大脑的空间地图既是世界的稳定表征，也是一个可以根据动物所重视的事物进行微调的灵活工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。