💻 computer science

ViTac-Tracing: Visual-Tactile Imitation Learning of Deformable Object Tracing

本文提出了一种名为 ViTac-Tracing 的视觉 - 触觉模仿学习方法，通过融合局部加权损失与全局任务损失，在低成本遥操作系统中实现了对一维和二维可变形物体的高泛化性追踪。

原作者： Yongqiang Zhao, Haining Luo, Yupeng Wang, Emmanouil Spyrakos Papastavridis, Yiannis Demiris, Shan Luo

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongqiang Zhao, Haining Luo, Yupeng Wang, Emmanouil Spyrakos Papastavridis, Yiannis Demiris, Shan Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个让机器人学会“摸”着变形物体（比如绳子、毛巾）走路的聪明方法。为了让你更容易理解，我们可以把这项技术想象成教一个盲人朋友在黑暗中沿着一条弯曲的绳子或毛巾边缘行走。

以下是用大白话和生动比喻对这篇论文的解读：

1. 核心难题：为什么这很难？

想象一下，你要让机器人去整理一堆乱糟糟的鞋带（一维物体）或者皱巴巴的毛巾（二维物体）。

难点一：它们太“软”了。 不像桌子或杯子，绳子或毛巾没有固定的形状，你碰一下，它就变个样。这就像试图用机械手去“抚摸”一团果冻，很难预测它下一秒会怎么动。
难点二：眼睛看不全。 当机器人的手指抓住物体时，手指会挡住视线，就像你用手捂住眼睛看东西一样，摄像头（视觉）根本看不到手指和物体接触的具体细节。
难点三：容易滑脱。 如果抓得太偏，物体就会从指尖滑走，任务就失败了。

以前的方法要么太依赖复杂的数学建模（像是要先算出绳子的每一个原子怎么动，太难了），要么只能在模拟器里练，到了真世界里就“水土不服”。

2. 解决方案：给机器人装上“触觉”和“直觉”

作者提出了一种叫 ViTac-Tracing 的新方法，核心思想是模仿学习（Imitation Learning）。

什么是模仿学习？ 就像教小孩学骑车。我们不需要告诉小孩“大腿肌肉收缩多少度”，而是让小孩看着大人骑（专家演示），然后自己模仿。
视觉 + 触觉（ViTac）： 这是关键。
- 眼睛（视觉）： 看大局，知道绳子大概在哪里，还要走多远。
- 指尖（触觉）： 就像你闭着眼睛摸东西，能感觉到物体是在指尖正中间，还是快要滑到边缘了。

3. 两大“独门秘籍”：局部微调与全局导航

为了让机器人学得更好，作者设计了两个特殊的“训练规则”（损失函数）：

秘籍一：局部中心损失（Local Center Loss）—— “把东西捏在正中间”

比喻： 想象你在用两根手指夹住一根面条。如果面条在手指正中间，很稳；如果偏到指尖边缘，一抖就掉了。
做法： 机器人手指上装了一个像“皮肤”一样的触觉传感器。在训练时，系统会惩罚那些让物体滑到指尖边缘的动作，奖励那些把物体保持在触觉图像正中心的动作。
效果： 这就像教机器人：“不管怎么动，都要把东西牢牢捏在手指肚的正中间，别让它溜到指甲盖那边去。”

秘籍二：全局任务损失（Global Task Loss）—— “知道什么时候该停”

比喻： 就像你在走迷宫，不仅要走对路，还要知道终点在哪里。如果走过头了（Over-tracing）或者没走到头就停了（Early stopping），都不行。
做法： 机器人不仅要学怎么动，还要学会“数数”。它需要实时计算：“我已经走了绳子的百分之多少？”
效果： 这给机器人装了一个“进度条”，让它知道什么时候该停下来，比如把绳子完全拉直，或者把毛巾铺平。

4. 实验过程：像教人一样教机器人

** teleoperation（遥操作）：** 研究人员并没有直接写代码控制机器人。他们戴着手套，通过一个特殊的系统，一边看着屏幕上的实时画面，一边感受手指传来的触觉反馈（甚至有点震动提醒），亲自演示怎么沿着绳子走。
数据收集： 机器人记录了人类专家的所有动作、看到的画面和摸到的感觉。
训练： 机器人看着这些记录，利用上面提到的两个“秘籍”进行自我学习，直到它自己也能完美地走完。

5. 结果如何？

看得见的物体（训练过的）： 成功率高达 80%。不管是鞋带还是毛巾，它都能处理。
没见过的物体（新挑战）： 换成没见过的绳子或餐巾纸，成功率也有 65%。这说明它真的学会了“摸”东西的通用技巧，而不是死记硬背某根绳子的形状。
对比实验： 如果去掉触觉，机器人容易把东西弄丢；如果去掉视觉，机器人容易走过头。只有两者结合，效果最好。

总结

这篇论文就像是在教机器人学会像人类一样“手感”好。
它不再依赖死板的数学公式去计算软绵绵的物体怎么动，而是通过看（视觉） 和 摸（触觉） 的结合，加上把物体捏在正中间和看清进度条这两个聪明的策略，让机器人能够灵活地整理各种乱糟糟的软物体。

一句话概括： 这是一个让机器人学会“盲摸”并精准控制软物体（如绳子、布料）的新技术，让它像熟练的裁缝或接线员一样，能灵活地把乱糟糟的东西理顺。

ViTac-Tracing: 视觉 - 触觉变形物体追踪的模仿学习技术总结

1. 研究背景与问题定义 (Problem)

背景：
变形物体（如线缆、绳索、衣物、毛巾等）在现实世界中常以非结构化状态出现（如折叠、揉皱），其几何形状和任务相关特征难以直接观测。为了进行下游操作任务（如穿线、折叠、整理），通常需要将物体从非结构化状态转换为扩展状态（Extended State）。这一过程被称为“追踪（Tracing）”，即通过手指沿物体边缘从一端滑动到另一端。

现有挑战：

通用性差： 现有的追踪方法通常针对特定类别的物体（仅1D线性物体或仅2D平面物体），缺乏跨类别的统一模型。
建模困难： 基于模型的控制方法需要精确的物体动力学建模，而变形物体具有无限自由度（DoF），难以建立通用模型。
仿真到现实的差距（Sim-to-Real Gap）： 强化学习（RL）方法通常依赖仿真训练，难以直接迁移到真实世界，且需要精心设计的奖励函数。
感知局限： 仅靠视觉信息容易因手指遮挡而丢失关键的接触状态信息，导致物体滑落。现有的低成本遥操作系统往往缺乏触觉反馈。

问题定义：
本文旨在解决1D线性物体（如线缆）和2D平面物体（如毛巾）的通用追踪任务。任务目标是在保持连续接触的前提下，将夹爪沿物体边缘滑动至末端，同时确保物体不滑落且任务能准确终止。

2. 方法论 (Methodology)

作者提出了一种名为 ViTac-Tracing 的**视觉 - 触觉模仿学习（Imitation Learning, IL）**框架，通过单一统一策略实现1D和2D物体的追踪。

2.1 硬件系统：低成本多模态遥操作

为了收集高质量的专家演示数据，作者设计了一套包含视觉和触觉反馈的遥操作系统：

机器人端（Follower）： 使用双臂 ABB YuMi 机器人。末端夹爪集成了基于视觉的触觉传感器（源自 GelSight Wedge），用于获取高分辨率的接触纹理；顶部安装 ZED 2 立体相机提供全局视觉。
操作端（Leader）： 操作员通过屏幕实时接收视觉和触觉图像流。
多模态反馈： 除了视觉/触觉图像，系统还通过夹爪上的振动电机提供触觉反馈。当机械臂接近奇异点（Singularity）时，通过雅可比矩阵的可操作性指标（Yoshikawa Manipulability Index）触发振动警报，帮助操作员感知姿态风险。

2.2 策略学习网络

采用基于 Transformer 的 Action Chunking Transformer (ACT) 算法作为策略网络：

输入： 机器人运动学状态 ( $o^K$ )、视觉图像 ( $o^V$ )、触觉图像 ( $o^T$ )。
输出： 预测的动作序列（末端执行器位姿）以及任务完成度序列。
本体感知表示： 实验表明，使用**末端执行器位姿（EE Poses）**而非关节角度作为输入，能更有效地对齐任务空间，减少冗余，提高追踪精度。

2.3 核心创新：双重损失函数设计

为了提升策略在局部接触控制和全局任务进度上的表现，作者在标准重建损失和正则化损失的基础上，引入了两个关键损失函数：

局部中心损失 (Local Center Loss, $L_{center}$ )：
- 目的： 解决物体在触觉传感器边缘容易滑落的问题。
- 机制： 通过图像处理提取接触点在触觉图像中的位置。如果接触点偏离传感器中心，则增加该动作的权重损失。
- 作用： 强制策略学习将物体保持在触觉传感器中心附近，从而进行更精细的调整，降低滑落风险。
全局任务损失 (Global Task Loss, $L_{task}$ )：
- 目的： 解决任务何时停止的问题（例如：线缆插入卡扣前停止，或毛巾折叠前停止）。
- 机制： 定义一个“任务完成度指数”（Completion Index），表示当前接触点距离固定点的长度与总长度的比例。网络不仅预测动作，还预测完成度序列。
- 作用： 通过监督学习让策略理解任务进度，避免“过度追踪（Over-tracing）”或“过早停止（Early stopping）”。

总损失函数：
$L = L_{center} + \lambda_{reg}L_{reg} + \lambda_{task}L_{task}$

3. 主要贡献 (Key Contributions)

统一的模仿学习框架： 提出了首个能够同时处理1D和2D变形物体追踪的统一视觉 - 触觉模仿学习模型，无需针对每种物体重新设计控制器。
多模态遥操作系统： 构建了一套低成本、高效的视觉 - 触觉遥操作系统，集成了实时图像流和振动反馈，显著提升了演示数据的质量和一致性。
双重损失机制： 创新性地引入了“局部中心损失”和“全局任务损失”，分别优化了接触稳定性和任务终止的准确性，解决了变形物体操作中的关键痛点。
广泛的实验验证： 在多种1D和2D物体上进行了大量消融实验和对比实验，验证了各组件的有效性，并展示了模型在未见物体上的泛化能力。

4. 实验结果 (Results)

4.1 数据集与设置

训练物体： 2种1D物体（鞋带、编织线缆）和2种2D物体（面巾、超细纤维布），共100次演示（每种25次）。
测试物体： 包括训练集中的物体以及2种未见物体（合成绳索、棉质餐巾）。

4.2 性能指标

总体成功率： 在**已见物体（Seen Objects）上达到 80% 的平均成功率；在未见物体（Unseen Objects）**上达到 65% 的成功率。
对比实验（消融研究）：
- 本体感知： 使用末端执行器位姿（Cartesian Space）比关节空间（Joint Space）成功率更高（80% vs 70%），且物体掉落率更低。
- 模态缺失： 去除视觉导致“过度追踪”增加；去除触觉导致“物体掉落”显著增加且任务完成率下降。
- 损失函数缺失： 去除中心损失导致掉落率上升；去除任务损失导致过度追踪和过早停止增加。
多物体训练： 统一训练模型（混合所有数据）与单独训练模型相比，性能没有显著下降，证明了统一模型的有效性。

4.3 失败模式分析

主要失败原因包括：

机器人因接触力过大或缠绕导致碰撞。
物体末端视觉遮挡导致的过早停止或过度追踪。
触觉反馈不足或抓握不稳定导致的物体掉落（2D物体因重力影响，掉落率略高于1D物体）。

5. 意义与展望 (Significance)

科学意义：

证明了通过模仿学习结合多模态感知（视觉+触觉），可以克服变形物体动力学建模难、自由度高的问题，实现跨类别的通用操作。
揭示了在遥操作中引入触觉反馈（特别是振动反馈）对于提高人类操作员演示质量的重要性。
提出的“局部中心”和“全局任务”损失函数为其他精细操作任务（如穿针、折叠）提供了新的优化思路。

应用价值：

该方法可应用于家庭服务机器人（整理衣物、线缆管理）、工业装配（柔性线缆布线）以及辅助医疗（如协助穿衣）等场景。
开源的代码、数据集和演示视频（ViTac-Tracing）为社区提供了宝贵的基准和工具。

未来方向：

结合机械智能（如特殊设计的夹爪）与机器学习。
探索更深层次的传感器融合策略。
扩展更多种类的物体和更复杂的任务场景。
将模块化组件（如损失函数、遥操作接口）集成到其他模仿学习算法（如 Diffusion Policy）中。