💻 computer science

TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

本文介绍了 TacSE3，这是一种等变 SE(3) 运动估计流程，它利用双传感器低纹理视触觉数据将三维力场解耦为平面平移和基于剪切的旋转，从而无需重新训练即可实现机器人操作中的鲁棒夹持器内跟踪与扰动补偿。

原作者： Zhongyuan Liao, Junzhe Wang, Qingyang Liu, Zhenmin Huang, Jun Ma, Yi Cai, Fei Meng, Haobo Liang, Michael Yu Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongyuan Liao, Junzhe Wang, Qingyang Liu, Zhenmin Huang, Jun Ma, Yi Cai, Fei Meng, Haobo Liang, Michael Yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你闭着眼睛，试图在手掌中移动一颗光滑、闪亮的弹珠。如果你仅凭触摸手掌光滑的皮肤来猜测弹珠是如何滚动的，那将极其困难。你的大脑找不到任何“点”或“线”来追踪，因此它会困惑于弹珠是在侧向滑动，还是在原地旋转。

这正是机器人在尝试使用“触觉相机”操控光滑、无纹理物体（如抛光球体或金属齿轮）时所面临的难题。这些被称为视觉触觉传感器（Visuotactile Sensors）的相机，会拍摄物体压在机器人指尖上的图像。但如果物体是光滑的，图像看起来就像一团空白、模糊的斑块。传统的计算机视觉方法会失效，因为它们依赖于识别图案，而这里根本没有图案可供识别。

“TacSE3"登场：机器人的“触觉”系统

这篇论文介绍了一种名为TacSE3的新方法，它帮助机器人精确判断物体在其抓握中是如何运动的，即使物体是光滑的且机器人无法看见它。

以下是其工作原理，分解为简单的概念：

1. 停止观察图像，开始感知“推力”

TacSE3 不像人类通过尾灯追踪移动车辆那样去追踪模糊的图像，而是将触觉传感器视为一张压力图。

类比：想象你将拇指按进一个柔软、可挤压的枕头。如果你滑动拇指，枕头会向一个方向拉伸；如果你扭转拇指，枕头会呈螺旋状拉伸。
方法：机器人不在图像中寻找“特征”。相反，它计算一个3D 力场。它将压力分解为两部分：
- 法向力：物体向手指内部推压的力度（就像按按钮）。
- 剪切力：物体在手指表面拖拽的力度（就像在桌子上摩擦手掌）。

2. “质心”技巧（区分滑动与旋转）

机器人面临的最大难题之一，是区分物体是在侧向滑动还是在旋转。在单个光滑的手指上，这两种运动看起来非常相似。

类比：想象桌上的一枚旋转硬币。如果你从侧面推硬币，它会滑动；如果你拨动边缘，它会旋转。但如果你只看硬币的中心，就很难区分这两者。
解决方案：TacSE3 使用了一个巧妙的技巧。
- 为了检测滑动，它观察接触区域（即“质心”）的中心。如果压力中心向左移动，物体就向左滑动。
- 为了检测旋转，它观察围绕该中心的扭转力（剪切力）。
- 通过分离这两种计算，机器人避免了混淆。这就像拥有一个专门负责“我要去哪里？”的大脑部分，以及另一个专门负责“我是否在转弯？”的部分。

3. “双指”超能力

论文表明，使用两个触觉传感器（夹爪的每根手指上一个）是一个游戏规则的改变者。

类比：想象试图仅凭一根手指的感觉来猜测球是否在滚动。这很模糊。但如果你用两根手指在相对两侧去感受，线索就会变得显而易见。
- 如果球向前滑动，两根手指都会感受到相同方向的推力。
- 如果球旋转，一根手指感受到向前的推力，而另一根感受到向后的推力（就像跷跷板）。
结果：通过比较两根手指，机器人可以立即消除混淆。即使物体完全光滑，它也能确定物体是在旋转还是滑动。

4. “残差”助手（副驾驶）

作者测试该系统时，并非用它取代机器人的主脑，而是将其作为副驾驶添加进去。

类比：想象一辆自动驾驶汽车，它擅长驾驶，但当一阵突如其来的侧风吹偏它的路线时会感到困惑。你不需要重建汽车的引擎；你只需要一个小传感器说：“嘿，我们被向左推了 5 度，让我们转回去。”
应用：机器人有一个主 AI 策略（驾驶员），试图执行任务（如将销子插入孔中）。如果人类意外地碰触了夹爪内的物体，主 AI 可能会感到困惑并失败。TacSE3 充当“残差”信号。它检测到碰撞，计算出微小的旋转，并告诉机器人：“稍微调整你的手以进行补偿。”
结果：在实验中，当人类试图干扰机器人的抓握时，使用 TacSE3 的机器人在恢复并完成任务方面，比未使用该系统的机器人表现好得多。它不需要重新训练；它只需要这一额外的“触觉”层。

总结

TacSE3 是一种让机器人“感知”运动的新方法。它不依赖视觉图案（光滑物体上不存在图案），而是：

将触觉图像转化为3D 压力图。
分离滑动（中心移动）与旋转（扭转力）。
使用两根手指进行交叉验证并消除混淆。
充当实时校正信号，帮助机器人在物体于抓握中移位时保持稳定。

它使机器人能够以与抓握有纹理物体时相同的信心，处理光滑、滑腻或无特征的物体，这仅仅是通过理解触觉的物理原理，而非图像的外观来实现的。

技术摘要：TacSE3 – 基于低纹理视触觉图像的等变 SE(3) 运动估计

问题陈述
机器人手内操作经常遇到因遮挡或缺乏显著视觉特征而导致视觉跟踪失败的场景。虽然基于视觉的触觉传感器（VBTS）为富含接触交互提供了一种有前景的替代方案，但依赖图像纹理、标记跟踪或密集光流的传统运动估计管线在处理低纹理或对称物体（例如抛光球体）时往往表现不佳。在这些条件下，微小的旋转运动引起的视觉外观变化极小，使得基于对应点的方法不可靠。此外，单传感器设置通常难以区分平移和旋转运动，因为两者可能产生相似的局部变形模式。本文旨在解决直接从低纹理触觉图像构建可靠的 SE(3) 运动估计的挑战，且无需依赖显式的纹理匹配。

方法论：TacSE3 管线
所提出的方法 TacSE3 将触觉图像重新定义为接触几何测量，而非纹理视觉输入。该管线通过以下阶段进行：

解耦的 3D 力场构建：
该方法不跟踪图像特征，而是处理原始触觉观测数据以重建致密的 3D 力场。利用致密彩色图案 VBTS（具体为 DM-Tac），系统将触觉响应分解为切向（剪切）和法向分量。这是通过对平面位移场进行亥姆霍兹 - 霍奇（Helmholtz–Hodge）分解实现的，将无旋（散度）和无散（旋度）分量分离，从而推导出法向力和剪切力的空间分布。
接触点与运动代理生成：
系统基于显著的法向响应识别活跃接触区域。对于每个有效像素，在局部触觉坐标系中构建一个 3D 接触点。切向和法向力响应经过校准，用作局部速度代理，近似接触点的瞬时运动。
SE(3) 刚体估计：
局部速度代理使用刚体旋量方程（ $v = \omega \times q + t$ ）进行建模。估计过程采用特定的解耦策略：
- 平移： 平面平移严格源自传感器平面上接触质心的运动，而非与旋转联合拟合。
- 旋转： 旋转通过单独将剪切相关的运动约束拟合到刚体模型中进行估计。
  这种分离避免了耦合平移 - 旋转最小二乘问题中常见的病态条件，并提供了一个具有物理可解释性的信号。
时间积分与等变性：
估计的瞬时旋量利用 SE(3) 流形上的指数映射进行时间积分，以生成连续的位姿轨迹。该方法确保等变坐标一致性：估计的运动定义在末端执行器坐标系中，确保无论机器人的全局位姿如何变化或传感器上的接触点位于何处，相同的底层物体运动都能产生一致的估计。
双传感器融合：
为了解决平移 - 旋转模糊性，系统利用安装在相对夹爪手指上的两个触觉传感器。通过应用符号矩阵变换以考虑镜像坐标系，系统融合旋量估计。这使得系统能够区分平移运动（在所有传感器上产生一致的力方向）和旋转运动（产生相反的力模式）。
残差控制集成：
估计的 SE(3) 运动被视为触觉几何残差。它作为一个轻量级后处理信号（ $u_{final} = u_{policy} + \Delta u_{tactile}$ ）与现有的基础策略（例如基于 Transformer 的动作分块）融合，以在不重新训练基础策略的情况下优化机器人动作。

主要贡献

几何状态公式化： 本文将低纹理传感的触觉到 SE(3) 估计公式化为以局部刚体运动为中心的几何状态估计问题，摆脱了对纹理依赖的对应点匹配。
力场解耦： 提出了一种管线，将原始触觉观测解耦为 3D 力场，并通过基于物理的 SE(3) 模型重建刚体旋量，具体将基于质心的平移与基于剪切的旋转分离。
双传感器模糊性降低： 工作表明，与单传感器设置相比，双传感器配置显著降低了平移与旋转之间的模糊性。
轻量级补偿： 该方法提供了一种旋转信号，可作为后处理模块附加使用，以提高下游操作任务中的抗干扰能力，而无需修改基础控制策略。

实验结果
实验使用配备双 DM-Tac 传感器的 UR5 机器人进行：

旋转精度： 在对抓取的球体进行受控旋转（30°、60°、90°）跨越三个轴（ $r_x, r_y, r_z$ ）的情况下，该方法实现的平均角度误差范围从 30°旋转时的约 3°到 90°旋转时的约 12°。误差增长归因于大角度下的积分漂移和接触非线性。
单传感器与双传感器对比： 在纯平移运动测试中，单传感器配置表现出显著的旋转漂移（约 9–10°），而双传感器配置将此漂移降低至约 1.1–1.5°，证明了有效的解耦。
泛化能力： 该方法在不同几何形状（球体、圆柱体、不规则形状）和表面纹理（光滑、有纹理、木材、塑料）的多样化物体上保持了低误差率（2.6°–4.0°），证实了对低纹理条件的鲁棒性。
策略级性能： 在涉及人为干扰的任务（绘图、齿轮插入、销孔装配）中，启用触觉后处理器相较于仅使用基础策略，提高了干扰下的成功率（例如，齿轮插入任务在干扰下的成功率从 20% 提升至 35%）。

意义与主张
本文主张 TacSE3 在低纹理视触觉传感与富含接触的手内操作之间提供了一个实用的几何桥梁。通过优先考虑接触几何而非图像外观，该方法在传统视觉或基于纹理的触觉方法失效的地方实现了可靠的运动估计。作者强调，该方法并非旨在替代全局视觉，也非为长时程内新物体提供完整的物体级状态估计。相反，它作为一个稳健、可解释且轻量级的模块，用于局部运动跟踪和补偿，特别适用于视觉不可靠的光滑、对称或被遮挡物体。输出的等变性质确保了无论接触点位置或机器人位姿如何，该信号对下游控制始终保持一致。

1. 停止观察图像，开始感知“推力”

2. “质心”技巧（区分滑动与旋转）

3. “双指”超能力

4. “残差”助手（副驾驶）

总结

类似论文