Embodied reinforcement learning in the primate cortico-basal ganglia system
通过记录猕猴皮层-纹状体系统的神经活动，本研究表明价值表征是特定于运动系统的而非是不变的，从而挑战了现有的强化学习生物学解释，并支持了行为植根于智能体物理结构的具身框架。
原始论文根据 CC0 1.0（https://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
大脑的双轨系统：为什么你的手和眼睛的学习方式不同
想象一下，你的大脑就像一个超级聪明的视频游戏机，正试图弄清楚哪些按键能为你赢得最多的分数。几十年来，科学家们一直认为这种“积分系统”运作起来就像一种单一、通用的货币。他们认为，无论你如何玩这款游戏——是使用摇杆、键盘还是语音指令——大脑都会在一个中心位置计算出奖励的价值，然后仅仅是将同一个“做得好！”的信号发送到需要执行动作的具体肌肉群。这种被称为“强化学习”的概念，暗示大脑的奖励计算器与执行动作的身体部位是完全分离的。这是一个简洁、整齐的理论：一个大脑，一种价值，多种运动方式。
但如果大脑并不像单一的货币兑换系统那样工作呢？如果你的学习方式与你的“移动方式”有着深刻的联系呢？这就是“体现认知”（embodied cognition）的核心概念，该概念认为我们的思想和学习是植根于物理身体之中的，而不是漂浮在它们之上的抽象云端。如果这是真的，那么学习用手抓取饼干在大脑中的感觉和表现，可能与学习用眼睛盯着饼干看完全不同，即便两者面对的是同一块饼干。理解这一点至关重要，因为它改变了我们看待一切的方式——从动物如何在野外生存，到我们如何制造更智能的机器人，或者如何帮助人们从脑损伤中康复。如果大脑将不同的身体部位视为不同的学习通道，这意味着我们的思维比我们曾经认为的更加具有“物理性”，而非仅仅是“抽象”的。
伟大的猴子实验：眼睛 vs. 手
在这项研究中，研究人员弗兰科·贾罗科（Franco Giarrocco）和布鲁诺·阿维贝克（Bruno Averbeck）决定通过让两只猕猴成为“超级学习者”来测试这个想法。他们设计了一个游戏：猴子必须在两张图片之间做出选择，以赢得果汁奖励。有时，猴子必须通过注视正确的图片（即眼跳，或眼球运动）来做出选择；而有时，它们必须伸手触摸正确的图片（即伸手，或手臂运动）。难点在于：猴子必须通过试错法，学习识别哪张图片是“好的”（80% 的概率获得果汁），哪张是“坏的”（20% 的概率获得果汁）。
在猴子玩这个游戏的过程中，科学家记录了分布在八个不同脑区的 4,843 个神经元的活动。他们观察了从负责情绪的杏仁核到大脑“首席执行官”前额叶皮层，再到大脑“动作中心”基底节的所有区域。他们想看看，无论猴子是使用眼睛还是手，大脑是否使用同一种“神经语言”来交流奖励的价值。
重大发现：两种不同的语言
研究结果打破了旧有的理论。科学家发现，大脑并没有使用一种单一、通用的语言。相反，它会根据正在工作的身体部位，说出两种完全不同的方言。
想象一下大脑的神经元是一个庞大的管弦乐团。如果“通用价值”理论成立，那么无论猴子是用眼睛还是手，管弦乐团演奏的旋律应该是相同的，只是音量可能稍大或稍小。但研究人员发现的情况更像是管弦乐团在同时演奏两首完全不同的歌曲。当猴子使用眼睛时，神经元会以特定的模式放电，表达“这张图片很有价值！”；而当猴子使用手时，另一组神经元会以另一种不同的模式放电，表达完全相同的意思。
研究人员使用了一种叫做“群体几何学”（population geometry）的数学工具，测量了这两个神经模式之间的“角度”。他们发现，这两个模式几乎处于直角位置——就像一个“T”字形。用数学术语来说，它们是正交的，或者说是几何独立的。在使用眼睛时的价值信息与在使用手时的价值信息差异巨大，以至于如果你尝试用“手部”解码器去读取“眼睛”的信号，你会感到非常困惑。价值信息在翻译过程中基本上丢失了。
这种分离发生在脑部的各个地方，甚至包括像腹侧纹状体和杏仁核这样深层的、与情绪相关的部分——科学家曾认为这些地方是“通用价值中心”。唯一一个大脑保留了一点点共同语言的地方是在腹外侧前额叶皮层（vlPFC），这是一个以处理抽象规则而闻名的区域。但即便是在那里，这种分离也非常显著。
为什么这很重要：身体塑造思维
这项研究表明，大脑是“体现化”的。它不仅仅是计算出一个奖励，然后再告诉身体该做什么；你的移动方式实际上塑造了奖励是如何被学习和存储的。研究人员发现，猴子在用手（伸手）进行学习时，实际上比用眼睛（眼跳）进行学习的效果更好，学习速度更快，且做出的选择更优。这暗示了我们不同的身体部位可能已经进化到了能够处理不同类型的学习任务。
至关重要的是，研究人员排除了这些差异仅仅是因为猴子在某项任务上表现更好的可能性。即便在研究人员仅观察猴子在眼部和手部表现同样出色时的实验数据时，大脑依然使用了两种独立的语言。这证明了这种分离并非错误，也不是因为任务表现不佳而产生的副作用，而是大脑结构的一个基本特征。
所以，下次当你学习新事物时，请记住：你的大脑可能会把你的手和眼睛视为同一间教室里的两个不同学生，他们各自都有自己的笔记本，也有各自理解课程的方式。大脑不是一个单一的、抽象的计算器；它是一个物理机器，你的移动方式本身就是你思考的一部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。