💻 computer science

XRoboToolKit-T: Teleoperation with High Stability and Precision with Tactile Sensing for Contact-rich Manipulation

本文提出了 XRoboToolKit-T，这是一个通用的遥操作系统，它将触觉感知力控与触觉辅助模块相结合，旨在为具有挑战性的接触密集型操控任务实现高频、稳定且精确的数据采集。

原作者： Xiwen Dengxiong, Xueting Wang, Ke Jing, Rui Li, Yunbo Zhang

发布于 2026-09-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiwen Dengxiong, Xueting Wang, Ke Jing, Rui Li, Yunbo Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人正变得越来越能够穿梭于物理世界，但它们在处理人类无需思考即可完成的细微物理交互时，仍然显得力不从心。虽然机器可以轻松地在房间内导航或拿起一个刚性盒子，但在面对需要通过“感觉”来摸索情况的任务时，它们往往会出错。这在“富接触”（contact-rich）操作中尤为明显，即机器人必须处理像橡胶球或医疗针头这样柔软、有弹性或脆弱的物体。在这些场景中，仅靠视觉是不够的。摄像头可以看到针头正在接触表面，但它无法感受到那种能告诉人类手指该停止施压或稍微移动以避免金属弯曲的微小压力。为了教会机器人这些精细的技能，科学家需要收集大量人类专家执行任务时的相关数据。然而，目前记录这些人类动作的方法往往无法捕捉到必要的力和压力细节，导致机器人的尝试显得笨拙，要么损坏物体，要么完全停止工作。

一个研究团队开发了一种新系统，旨在弥补这一差距，让人们能够以一种此前难以实现的稳定性和精准度来引导机器人。这个名为 XRoboToolKit-T 的系统充当了一个先进的遥操作工具。遥操作简单来说就是从远处控制机器人的行为，但这个新版本增加了一个至关重要的“触觉”感知层。该系统不仅仅依赖于操作者的手部动作和机器人的摄像头画面，它还会“倾听”机器人的触觉。它利用机器人手指上的特殊传感器，实时测量施加在物体上的压力和力量。当机器人遇到压力过高或接触不稳定的情况时，系统会自动介入提供帮助。它通过两种方式实现：首先，如果操作者推得太用力或移动得太快，系统会产生轻微的阻力来限制操作者的手，从而防止机器人犯错；其次，它利用先进的计算机模型，根据压力数据和特定的任务需求，向机器人的位置建议微小的修正调整。

研究人员在一些对机器人而言最具挑战性的任务上测试了该系统。在一项实验中，操作者必须引导机械臂拿起一个医用注射器，取下其保护帽，然后小心地将针头插入一个模拟人类皮肤的柔软训练垫中。针头非常细，而垫子很软，这意味着即使是力量或角度上的轻微误差，也会导致针头弯曲或触发机器人的紧急停止。如果没有这种新的触觉辅助，机器人会表现得很挣扎，经常弄弯针头并无法成功抽取内部液体。在系统激活的状态下，机器人能够进行微调，保持针头稳定并成功完成任务。在另一个测试中，机器人必须抓取一个可变形的橡胶滴管以转移液体。由于橡胶球极易被挤压，施加过大的力会将其压碎，而力量过小则会导致其滑脱。该系统帮助操作者找到了完美的平衡点，使机器人能够在不损坏物体的情况下稳固地抓取物体。

测试结果显示，该系统在数据采集的质量和工作的速度上都有显著提升。当研究人员将这种带有触觉反馈的新系统与不使用触觉反馈的旧方法进行比较时，他们发现新系统能在相同时间内实现更多的成功尝试。在十五分钟的时间窗口内，带有触觉辅助的系统帮助机器人成功抓取了 138 个纸杯，而旧系统仅完成了 128 个。该系统在更新机器人动作方面也表现得快得多。旧系统每秒大约更新机器人的位置 20 次，而新系统在使用控制器时，每秒可以更新近 100 次，这使得机器人的动作感觉更加流畅且响应迅速。这种高速度至关重要，因为它让机器人能够几乎瞬间对压力的变化做出反应，而不是滞后于操作者的意图。

这一成功的核心在于系统如何处理来自机器人触觉传感器的数据。它不仅仅是向操作者展示压力的图像，而是主动利用这些数据来控制机器人。系统的一部分充当“稳定器”，不断分析机器人手指上的压力分布。如果它检测到力量变得不均匀或物体即将滑脱，它会自动抑制操作者的指令，以防止突然的破坏性动作。另一部分充当“精炼器”。它使用一种既能理解视觉压力图又能理解任务文字描述（例如“插入注射器”）的人工智能。基于这种理解，它会预测完成任务所需的最佳微小动作，并将该调整建议传达给机器人。通过结合这两层辅助，该系统创造了一种协作关系：人类提供意图，而机器提供稳定且敏感的执行。

这项工作表明，机器人学习的未来可能不再仅仅取决于完善机器人的视觉，而在于赋予其可靠的触觉。通过让人们更容易通过物理交互而非仅仅通过视觉观察来教导机器人，研究人员可以收集更高质量的数据，从而训练机器人胜任那些需要细腻手感的复杂现实工作。该系统在处理医疗工具和脆弱家用物品等特定任务上进行了测试。虽然它目前还不是适用于每个工厂中每台机器人的通用解决方案，但它展示了向前迈出的重要一步。它表明，通过将触觉直接整合进控制回路，我们可以帮助机器人以一种此前无法企及的自信心，去应对那个混乱且不可预测的物理世界。

技术摘要：XRoboToolKit-T

问题陈述

收集高质量的机器人数据对于实现接触密集型操作任务（特别是涉及柔性或可变形物体）至关重要，这对于使机器人获得现实世界技能必不可少。然而，现有的遥操作解决方案面临显著局限。目前主流的方法往往缺乏获取稳定、高频触觉反馈的能力。由于缺乏这种反馈，人类操作者难以精确控制接触力；激进的操作或无意的手部移动可能导致过大的力应用，从而引发任务失败（例如损坏脆弱物体）或触发机器人的紧急停止。此外，仅仅将触觉信号可视化通常不足以让操作者进行快速调整，且现有的触觉反馈机制（如数据手套）可能反应过慢，无法防止操作失败，或缺乏精细调节所需的精度。核心挑战在于设计一种能够利用触觉信息不仅用于操作者反馈，还用于对操作进行主动、早期阶段控制的遥操作系统，以确保稳定性和精度。

方法论

作者提出了 XRoboToolKit-T (XRT-T)，这是一个基于 PICO 的 XRoboToolkit 构建的多功能遥操作系统，旨在提供基于触觉驱动的辅助，以实现稳定的精确力控制。该系统集成了高分辨率触觉感知与双模块控制架构：

1. 系统架构与感知

硬件集成： 该系统支持并行双指夹持器（通过第三方触觉传感器增强）和灵巧手（集成触觉阵列）。它利用通用传感器读取模块来抽象特定厂商的协议，将原始测量值转换为统一的压力网格格式 ( $x \times y$ )。
数据同步： 触觉信号与机器人运动学进行同步并带有时间戳，以保持各感知通道之间的时间一致性。系统向 XR 设备或 PC 服务发布压力分布、力细节以及派生的接触特征。

2. 触觉驱动控制模块

其核心创新在于两个互补的模块，通过处理触觉数据来辅助操作者：

接触力稳定器（实时）：
- 功能： 该模块分析触觉阵列捕捉到的法向力分布的时间变化。它通过计算连续帧之间最大压力位置的位移来估计伪剪切力 (pseudo shear force)。
- 机制： 它计算一个与估计的剪切量成反比的稳定控制因子 ( $I_f$ )。如果剪切力超过阈值或接触方向发生剧烈变化（表明不稳定）， $I_f$ 会趋于零，从而有效地抑制操作者的遥操作指令，以防止滑动或损坏。如果力处于稳定状态， $I_f$ 则趋于一，允许正常控制。
- 频率： 以约 20 Hz 的频率运行。
基于 VLA 的动作精炼器（高层）：
- 功能： 该模块利用视觉-语言-动作 (VLA) 模型进行高层纠正性调整。
- 输入： 该模型不使用标准的 RGB 图像，而是将触觉图像（空间压力分布）作为视觉观测，并结合任务级语言指令（例如“将医用注射器插入……”）。
- 输出： 模型预测一个纠正动作向量 ( $\delta_{refine}$ )，代表用于精炼末端执行器位姿的小型笛卡尔位移。
- 频率： 以约 7 Hz 的较低频率运行，仅在有新的精炼信号可用时进行更新。

3. 控制融合

最终的机器人指令 ( $U_{final}$ ) 是操作者原始输入 ( $U_{current}$ )、稳定器的调制以及精炼器的纠正的融合：
$U_{final} = U_{current} + I_f \cdot \delta_{teleop} + I_s(t) \cdot \delta_{refine}$
其中 $I_s(t)$ 是同步指示器，确保精炼仅在更新时应用。

核心贡献

XRoboToolKit-T 系统： 一种高频、具备触觉能力的遥操作系统，适用于涉及可变形物体的接触密集型任务中的夹持器及灵巧手操作。
双模块辅助： 提出了一个接触力稳定器（通过伪剪切力估计实现实时稳定性）和一个基于 VLA 的动作精炼器（通过触觉图像推理实现精度），两者共同辅助操作者实现稳定且精确的力控制。
实验验证： 在具有挑战性的任务中进行了全面实验，包括抓取用于液体转移的变形橡胶移液管、将医用注射器插入血管训练垫以及抓取水瓶/纸杯，验证了系统的有效性和高效性。

结果

作者针对最先进的基准方案（特别是原始的 XRT 和 Twist2）在多个指标上对 XRT-T 进行了评估：

操作效率： 在一个 15 分钟的纸杯抓取任务中，使用双指夹持器的 XRT-T 实现了 138 次成功操作，优于非触觉基准 Twist2 (128) 和使用灵巧手的 XRT-T (132)。这表明数据采集效率得到了提升。
控制频率： 系统在控制更新速率方面表现出显著改进。虽然原始配备手部追踪的 XRT 以约 20.2 Hz 运行，但配备手部追踪的 XRT-T 达到了 48.6 Hz。当启用触觉感知时，控制频率增加到 96.4 Hz，这归功于触觉模块提供了独立于视觉流水线的直接接触反馈。
任务成功率（定性）： 在医用注射器插入任务中，基准 XRT 系统因针头弯曲和由不受控接触力引起的紧急停止而失败。相比之下，XRT-T 通过进行微调并保持稳定接触，成功完成了任务并顺利提取液体。
消融研究： 结合稳定器和精炼器可获得最高性能（每分钟 9.6 次操作），优于仅有精炼器 (9.0) 或仅有稳定器 (8.8) 的配置。这种组合使系统能够在谨慎接触阶段和快速传输阶段之间进行动态切换。

重要性

论文声称 XRoboToolKit-T 通过在视觉信息不足的接触密集场景中实现稳定且精确的力控制，填补了机器人数据采集的关键空白。通过将触觉感知直接集成到控制回路中（通过实时稳定和高层精炼），该系统不仅防止了操作失败（如紧急停止或物体损坏），还显著提高了数据采集的效率。作者认为，这种方法对于训练处理涉及可变形物体和精细物理接触的复杂现实世界交互的鲁棒机器人策略至关重要，为医疗培训和组装等应用中的可靠遥操作铺平了道路。