✨ 要点🔬 技术摘要
想象一下这样一个世界：机器人可以通过观察我们做家务来学习，就像孩子通过模仿父母来学习系鞋带一样。这就是一个被称为“机器人学习”的领域的核心，特别是其中一种被称为“模仿学习”的方法。要教机器人完成一项任务，你首先需要向它展示如何操作，这个过程被称为“遥操作”，即人类从远处控制机器人。这就像玩电子游戏，你的角色是一个巨大的机械臂，但你使用的不是手柄，而是你自己的身体动作。然而，大问题在于，大多数这类“控制器”就像是定制的盔甲：它们是为某一个特定的机器人和某一个特定的工作而打造的。如果你想教另一台机器人做稍微不同的任务，你通常必须从头开始构建一套全新的盔甲。这使得整个过程缓慢、昂贵且难以分享我们所学到的知识。科学家们正在寻找一种让这些控制系统变得灵活的方法，就像乐高积木一样，这样我们就可以轻松地更换部件，从而在无需每次都重建整个机器的情况下教给机器人新的技巧。
于是，ModPack 诞生了。这是来自斯坦福大学研究人员的一项巧妙的新发明，旨在成为机器人老师的终极“瑞士军刀”。他们没有为每台机器人构建一个新的控制器，而是创建了一个单一的、可穿戴的背包，作为整个系统的“大脑”和动力源。你可以把这个背包想象成一个通用的适配插头。一旦你拥有了这个背包，你就可以根据需要“扣上”不同的“模块”。如果你需要带着机器人在房间里走动，你可以夹上一个追踪你走路轨迹的手机；如果你需要用双手抓取物体，你可以连接一对模仿你自身动作的机械臂；如果你需要让机器人绕过角落观察，你可以连接一个高科技头显，让机器人通过你的眼睛来看世界。神奇之处在于，所有这些部件都通过这个背包进行通信，从而创造出一个统一的系统，能够适应不同的机器人和任务，而无需进行彻底的重新设计。
研究人员通过使用 ModPack 教导两台截然不同的机器人完成现实世界的家务，测试了这一想法。在其中一个实验中，他们教机器人捡起一块布，找到一个篮子，然后将布丢进篮子里。为了帮助机器人找到篮子，他们使用了“主动感知”模块，该模块让操作者能像人转头寻找隐藏物体一样，通过机器人的头部摄像头观察四周。在另一个测试中，他们教另一台机器人拿起一个盒子并将其放在架子上。为此，他们使用了一个“触觉反馈”模块，这就像是一个力反馈摇杆；当机器人按压盒子力量过大时，人类操作员会感觉到手臂受到轻微的反作用力，这有助于他们学习使用多大的压力。
结果表明，这种模块化的方法效果很好。当研究人员使用 Mod-Pack 收集的数据来训练机器人策略（即机器人的“大脑”）时，机器人完成任务的表现非常出色。对于布料任务，使用头部摄像头观察四周的机器人，在 25 次尝试中成功了 22 次，而仅靠观察双手的机器人则大多失败了。对于盒子任务，能够感受到自身动作力量（使用触觉反馈）的机器人，在 20 次尝试中成功了 12 次，表现优于仅使用摄像头的版本。作者发现，结合不同类型的信息——比如视觉和触觉——可以帮助机器人学习得更快，并减少错误。
然而，该系统目前还不完美。作者指出，机械臂的电机存在局限性；如果机器人在试图感受力量的同时还要用力推挤，电机可能会遇到困难。此外，背包需要一个相当大的电池来驱动所有的计算机和电机运行很长时间，这使得它穿戴起来有点重。尽管存在这些小障碍，团队仍将整个设计（包括 3D 打印部件和软件）免费公开。这意味着其他研究人员可以构建自己的版本，更换不同的部件，并在无需从零开始的情况下帮助教导机器人新的技能。通过将一个僵化的、一成不变的问题转变为一个灵活的、即插即用的解决方案，ModPack 暗示了这样一个未来：教导机器人可能就像给相机换上一个新的镜头一样简单。
技术摘要：ModPack —— 一种用于双臂移动操作的可扩展遥操作接口
问题陈述
现有的机器人遥操作系统通常是为特定的硬件形态和任务领域量身定制的，这导致了设计空间的碎片化。这种专业化限制了可扩展性和适应性，因为添加新功能（例如主动感知或移动底座控制）通常需要对硬件和软件流水线进行大规模的重新设计。此外，系统在简洁性与功能能力之间存在内在的权衡：功能强大的系统往往会为简单任务引入冗余开销，而简单的系统则缺乏处理复杂长程任务所需的高保真度。作者指出，需要一个统一的、模块化的框架，将核心系统基础设施与特定于任务或机器人的功能解耦，以促进跨不同平台的灵活数据采集和策略学习。
方法论
作者引入了 ModPack ，这是一个以自包含的、可穿戴“背包”单元为中心的模块化且可扩展的遥操作系统。该单元集成了车载计算、电源分配、数据存储和通信功能，作为即插即用能力模块的通用基质。
核心架构
硬件： 背包由 3D 打印部件制成，前后面板通过搭扣固定。它内置了可拆卸的搁板，用于放置车载计算设备（微型 PC）、移动电源及配件。设计遵循人体工程学原则，将重量垂直分布在胸部区域附近，以减轻负担。软件： 一个轻量级的双向“桥接” API 通过消息队列服务器抽象了背包与目标机器人之间的通信。这实现了核心堆栈与特定于具身形态实现的解耦，使得同一套系统能够支持不同的机器人和不同的模块子集。
可扩展模块
该系统支持三个主要的即插即用模块：
主臂（关节级控制）：
系统使用 3D 打印的主臂（6 自由度或 7 自由度变体），这些主臂在运动学上与从动机器人臂等效，从而实现直接的关节空间遥操作。
重力补偿： 为了减轻操作者疲劳，系统使用 Orocos KDL 库计算重力转矩向量 (τ g \tau_g τ g 触觉反馈： 对于配备力/力矩（F/T）传感器（如 RB-Y1m）的机器人，系统通过雅可比转置将末端执行器力矩映射到关节空间转矩。这种反馈被叠加在重力补偿转矩之上。一种电流预算策略在确保电机安全和长寿命的同时，保持了透明度。
移动底座控制：
安装在背包上的 iPhone 通过改进的 WebXR 会话追踪操作者的 SE(2) 位姿。
系统实现了一种自我中心映射程序，将操作者的身体运动与背包上的传感器解耦。它通过应用连续偏移量来恢复操作者的真实旋转中心，确保机器人的底座平移对应于操作者在其局部坐标系中的位移。
主动感知：
Apple Vision Pro 将操作者的头部位姿流式传输为机器人颈部指令。
解耦： 为了防止在同步导航与感知时出现冗余指令，系统会对当前的移动底座位姿 (T b a s e T_{base} T ba se T n e c k = T b a s e − 1 T t a r g e t T_{neck} = T_{base}^{-1}T_{target} T n ec k = T ba se − 1 T t a r g e t
策略学习
作者使用通过 ModPack 采集的演示数据训练基于 Transformer 的扩散策略（Diffusion Policy）模型。输入包括来自头部和腕部摄像头的 RGB-D 及 RGB 观测数据，以及可选的关节转矩数据。视觉特征使用经过 CLIP 预训练的 ViT 进行编码，而转矩数据则通过顺序因果卷积（CausalConv）层进行处理。
实验结果
作者在两个不同的机器人平台（一个定制的移动机器人配有 ARX5 手臂，以及一个 RB-Y1m 机器人）上评估了 ModPack。
任务 1：带主动感知的布料放置
设置： 机器人抓取一块布料，并导航至位于左侧或右侧的篮子。发现： 仅使用头部摄像头的策略取得了最高的成功率（25 次运行中成功 22 次），优于仅使用腕部摄像头（25 次中成功 3 次）或所有摄像头（25 次中成功 20 次）的策略。作者假设头部摄像头提供了更广阔的自我中心视角和深度上下文，这对于篮子的定位至关重要；而腕部摄像头由于布料变形和姿态变化，容易受到分布外（out-of-distribution）观测的影响。
任务 2：带触觉反馈的箱体转移
设置： 机器人从柜子中拿起一个箱子，并将其放置在空闲的架子上（顶部或底部）。发现： 以所有摄像头视图加关节转矩信息为条件的策略（“全相机 + 转矩”）取得了最高的成功率（20 次运行中成功 12 次），相比之下，仅头部摄像头策略为 11/20，仅视觉策略为 6/20。分析： 注意力可视化表明，受转矩约束的策略会更强烈地关注任务相关区域（例如箱子边缘），并在接触关键阶段越来越多地依赖转矩 Token。作者认为，投影的关节转矩提供了一个粗略的对齐信号，用于辅助抓取时机和深度，缓解了仅靠视觉策略时常见的错误抓取姿态问题。
核心贡献
ModPack 系统： 一个统一且可扩展的遥操作接口，围绕可穿戴背包构建，支持关节级控制、移动底座追踪和主动感知的即插即用模块。解耦控制架构： 一种将操作者运动分解为臂部操纵、底座运动和主动感知组件指令的方法，解决了同步控制中的歧义问题。高保真可穿戴触觉： 一种使用带有重力补偿的电动主臂实现的关节级触觉反馈的可穿戴实现方案，在反馈保真度与便携性之间取得了平衡。开源框架： 作者承诺开源完整的硬件设计、软件堆栈和策略学习框架，以支持未来的研究。
意义与主张
论文声称 ModPack 通过提供一个灵活且可复用的框架，解决了系统简洁性与功能能力之间的权衡。通过在两个截然不同的机器人平台以及现实世界的双臂移动操作任务中进行成功部署，作者验证了 ModPack 是一个实用的学习接口。该系统能够采集高质量的演示数据，支持训练鲁棒的策略，特别是在结合触觉反馈和主动感知等多模态输入时。作者将 ModPack 定位为解决由僵化的、特定任务的遥操作设计所导致的扩展性瓶颈的解决方案，为实现跨任务和跨机器人具身的统一控制系统提供了路径。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。