Learning Options for Compositional Motor Control with Adapter Banks
本文提出了一种新颖的架构，该架构利用由一组残差适配器调制的共享循环核心来学习作为涌现低秩扰动的灵活运动原语，从而使冻结的高层策略能够对这些适配器进行序列化编排，与多任务基准相比，实现对新颖运动序列的卓越泛化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
熟练的动作——从钢琴家流畅的音阶到体操运动员复杂的跳跃——都依赖于一种隐藏的能力：大脑并不会从零开始学习每一个新动作。相反，它会构建一个可重用的构建模块库，即“原语”（primitives），这些模块可以被混合、匹配和重塑，从而创造出无穷无尽的新动作。这种将有限的技能组合成新颖序列的能力是人类灵巧性的标志。几十年来，科学家们一直试图教会人工智能代理这种灵活性，希望创造出无需从头开始重新训练就能适应新任务的机器人。挑战在于，如何让一个学习系统能够自主发现这些构建模块，并在组合它们时避免旧技能对新技能的干扰。最近的神经科学理论表明，大脑可能是通过使用一个共享的神经元网络来解决这一问题的，该网络通过不同的输入进行微调，使得相同的核心机制能够产生截然不同的行为。
哥伦比亚大学和纽约大学的研究人员的一项新研究通过计算机模型将这一生物学理论付诸实践，展示了一个人工系统如何从零开始学习组合复杂的动作。团队创建了一个数字大脑，旨在控制一个模拟的双关节手臂，该手臂拥有六块肌肉，类似于人类的肢体。他们要求这个系统学习各种动作，包括直线伸展、圆周运动以及绘制“8”字形图案。研究人员并不只是想让系统死记硬背这些路径，而是希望系统能发现每个动作背后的底层组成部分，并学习如何将它们缝合在一起，以执行从未见过的任务。为此，他们构建了一个受大脑运动皮层与丘脑之间连接启发而设计的架构，丘脑是一个帮助选择和切换不同运动程序的深层脑结构。
研究人员设计了一个包含共享“核心”网络的系统，该核心负责处理动作的基础机械原理，类似于运动皮层。在核心网络之上，连接着一组专门的模块，即“适配器”（adapters），它们充当可调节的小旋钮，可以微调核心的行为。在大脑中，这些适配器对应于来自丘脑的信号，这些信号会轻微改变运动皮层的活动，从而产生特定的运动。研究人员并没有编程规定系统何时使用哪个适配器；相反，他们让系统通过观察专家教师执行任务来学习识别并选择正确的模块。教师是一个独立的、经过预训练的网络，它确切地知道每种运动应遵循哪条规则。然而，学生系统必须学会如何将教师的行为分解为片段，并决定在何时激活哪个适配器，且整个过程无需明确的规则指导。
当学生系统在这些复合运动上进行训练时，神奇的事情发生了。尽管适配器在设计上是完全灵活且复杂的，但系统自然而然地学会了将它们作为简单的、低秩（low-rank）的调整来使用。通俗地说，系统发现它不需要为每一个新任务都重写整个大脑；它只需要对共享的核心进行细微且精确的微调。这使得系统能够将不同的运动分解到其内部状态中截然不同的、独立的子空间内。虽然依赖显式规则输入的教师网络将其所有的任务表示都纠缠在一起，并存在于一个共享的空间中，但学生系统却将它们组织成了高度分离的区域。每种运动类型，如直线伸展或圆弧运动，都占据了系统内部景观中各自独特的角落，这使得在不同运动间切换时不易产生混淆。
这一方法的真正考验来自于研究人员要求系统执行一项全新的任务：一个结合了其已学动作部分的“双瓣轨迹”，这种组合方式是它从未见过的。这条新路径需要将直线延伸与曲线收缩进行缝合，然后再将曲线延伸与直线收缩进行缝合，从而创造出一个教师和学生系统都未曾练习过的“不连续性”。研究人员冻结了两个系统的内部网络，并尝试寻找组合现有构建模块以匹配这一新目标的最佳方式。具有分离且模块化架构的学生系统取得了极高的精度，其追踪新路径的误差约为0.005米。而依靠纠缠且单一子空间方法的教师系统则表现得非常吃力，其误差比学生系统高出十倍。
研究结果表明，灵活运动控制的关键不仅在于拥有一个共享网络，还在于该网络由能够将不同任务保持在独立内部空间的、截然不同的低秩调整所调制。这种几何上的分离使得系统能够混合并匹配其学到的原语，从而在解决新颖问题时避免通常困扰人工学习的干扰。这项研究提供了一个具体的论证，证明受大脑丘脑皮层回路启发的架构可以学会发现自身的、可重用的构建模块，并将其重新组合以应对分布外（out-of-distribution）的挑战。通过展示一个系统如何学会将其行为分解为不同的子空间，该研究为创造能够像人类运动员一样轻松且富有创造力地适应新物理任务的机器提供了一条充满前景的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。