UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

本文提出了 UMI-Underwater 系统，通过自监督水下数据采集流程结合基于深度的仿射表示，成功将从陆地人手演示中习得的抓取知识零样本迁移至水下环境，显著提升了水下机械臂在复杂光照和背景变化下的抓取性能与泛化能力。

要点

这篇论文介绍了一种让水下机器人在没有人类远程遥控的情况下，也能学会“抓东西”的聪明方法。我们可以把它想象成教一个从未下过水的潜水员如何在水下工作。

通常，教机器人水下抓东西有两个大难题：

1. 水下太黑太浑浊：摄像头拍出来的照片模糊不清，颜色也变了（比如红色的鱼看起来是黑的），机器人很容易“晕头转向”。
2. 收集数据太贵太累：让人类在水下拿着遥控器教机器人抓东西，既危险又耗时，而且很难收集到足够多的“成功抓握”案例。

这篇论文提出的解决方案叫 UMI-Underwater，它用两个绝招解决了这些问题：

第一招：让机器人自己“试错”学习（自助式数据收集）

想象一下，如果你要教一个小孩怎么抓地上的玩具，你不会一直手把手教他，而是让他自己多试几次。

• 传统做法：人类操作员在水面上通过缆绳，像玩遥控车一样，小心翼翼地控制机器人去抓东西。这很慢，而且操作员很累。
• UMI 的做法：他们设计了一套自动程序。机器人自己下水，看到东西就试着去抓。
  • 如果抓到了，系统就记录：“好，这次成功了！”
  • 如果没抓到（比如滑掉了），机器人不会放弃，它会自动退后、换个角度、再试一次（就像你抓不住球时，会调整站位再抓一样）。
  • 系统会自动判断哪些是成功的，哪些是失败的，只把成功的“抓握瞬间”存下来。

比喻：这就像机器人自己在游泳池里玩“抓娃娃机”，它自己不断尝试，只有抓到了才把视频存进“记忆库”，完全不需要人类在水下盯着它操作。

第二招：用“陆地经验”教“水下技能”（零样本迁移）

这是最精彩的部分。既然水下很难教，那我们就在陆地上教，然后直接用到水下。

• 问题：在陆地上抓东西和在水下抓东西，看起来完全不一样（光线、颜色、水的阻力都不同）。直接套用陆地经验通常会失败。
• UMI 的妙招：他们发明了一个手持式抓握器（叫 UMI-Aquatic），就像给机器人装了一个“人形手柄”。人类拿着这个手柄在陆地上抓各种东西（比如抓杯子、抓玩具）。
• 核心魔法——“深度地图”与“ affordance（功能提示）”：
  • 普通的机器人看的是RGB 照片（彩色的），但在水下，照片里的颜色会乱套（比如红变黑）。
  • UMI 让机器人不看颜色，而是看深度图（就像给物体画了个 3D 轮廓，不管它是红是蓝，只看它凸出来多少）。
  • 他们在陆地上收集了大量人类抓握的数据，训练出一个**“抓握热力图”模型**。这个模型不关心物体是红色的还是蓝色的，它只关心：“哪里是凸起的？哪里适合下嘴？”
  • 因为“凸起的形状”在水下和陆地上是一样的（几何结构没变），所以这个在陆地上学会的“抓握直觉”，可以直接零成本地用到水下，不需要重新训练。

比喻：
想象你要教一个盲人（水下机器人）抓苹果。

• 传统方法：你给他看苹果的照片，但他在水下看不清颜色，所以学不会。
• UMI 方法：你让他在陆地上摸苹果，告诉他：“摸到这种圆圆的、凸出来的地方，就是抓握点。”
• 当他到了水下，虽然苹果看起来黑乎乎的，但他依然能感觉到“哦，这里有个圆圆的凸起”，于是就能成功抓住。这就是**“不看颜色看形状”**的智慧。

实验结果：它有多厉害？

研究人员在游泳池里做了测试，结果非常惊人：

1. 抗干扰能力强：如果游泳池背景换了（比如贴了木纹壁纸），普通的机器人（只看彩色照片）直接0% 成功率，因为它被背景颜色搞晕了。而 UMI 机器人依然能80% 成功率抓住目标，因为它只看物体的形状和位置。
2. 举一反三：如果给机器人抓它从未见过的物体（比如只在陆地上见过的手电筒，水里没见过），UMI 机器人依然能75% 成功率抓住，而普通机器人只有 50%。这说明它真的学会了“抓握”的通用逻辑，而不是死记硬背。

总结

这篇论文就像给水下机器人装上了**“自动驾驶”和“跨物种直觉”**：

1. 自动驾驶：让它自己下水练习，自动筛选成功数据，省去了昂贵的人力遥控。
2. 跨物种直觉：利用在陆地上收集的人类抓握数据，通过“深度形状”这一通用语言，让机器人直接学会水下抓东西，不管水多浑、背景多花哨。

这就好比一个在陆地练过武术的功夫大师，跳进海里后，虽然水阻力大、看不清脸，但他依然能凭肌肉记忆和身体感知，精准地抓住目标。

技术摘要

UMI-Underwater: 无需水下遥操作的学习型水下机械臂抓取技术总结

1. 研究背景与问题定义

水下机器人操作（Underwater Robotic Manipulation）在生态采样、碎片清理和基础设施检查等领域具有重要应用价值，但实现鲁棒的自主操作面临巨大挑战：

• 感知退化与多变性：水下环境存在波长依赖性衰减、散射、浑浊度以及光照和焦散效应的快速变化，导致图像质量严重下降且外观高度可变。
• 数据收集成本高昂：传统方法依赖人工遥操作（Teleoperation）收集演示数据，过程耗时、昂贵且难以获取多样化的成功抓取样本。
• 泛化能力差：现有的端到端视觉运动策略（Visuomotor Policies）在面对分布偏移（如背景变化、新物体）时往往表现脆弱。

本文提出了 UMI-Underwater 系统，旨在通过自监督数据收集和零样本跨域知识迁移，解决水下抓取的数据瓶颈和泛化难题。

2. 核心方法论

该系统主要由两个互补部分组成：自监督的水下数据收集流水线，以及基于 UMI-Aquatic 的跨域 affordance（功能示能）表示学习。

2.1 自监督水下数据收集流水线

为了消除对人工遥操作的依赖，作者设计了一套自主收集成功抓取演示的流水线：

• 启发式控制器：利用 PD 控制器和分割模型（SAM2-tiny）自动选择目标并引导机械臂进行多阶段抓取（偏航对齐 -> 前向接近 -> 深度调整 -> 近距离接近）。
• 深度感知与抓取：使用单目深度估计器（Depth Anything V2）辅助判断距离，当距离满足条件时闭合夹爪。
• 自动成功验证：通过“拖拽验证”（Drag Verification）机制，即抓取后执行短距离后退，若物体未滑落则标记为成功。
• 失败恢复策略：
  • 重抓（Regrasp）：失败后后退、施加随机侧向偏移并重新尝试。
  • 防越界（Overshoot Recovery）：当目标接近图像边缘时，自动后退以重新获取目标。
• 数据规模：在泳池实验中，系统自主运行约 15 小时，收集了 536 次尝试，其中 233 次成功用于训练策略。

2.2 UMI-Aquatic 与跨域 Affordance 表示

为了解决水下数据稀缺和域差异问题，系统引入了陆地上的手持演示接口 UMI-Aquatic：

• 硬件设计：基于通用操作接口（UMI）的手持夹爪，集成 iPhone 相机（模拟水下视角）和 AprilTags（用于精确跟踪夹爪状态）。
• 零样本迁移（Zero-shot Transfer）：
  • 在陆地上收集多样化的抓取演示（800 次），训练一个基于深度的 Affordance 预测器。
  • 深度作为输入：Affordance 模型仅使用深度图（Depth Map）而非 RGB 图像作为输入，从而规避了水下与陆地之间巨大的光照和颜色差异。
  • 几何对齐：通过平面重映射（Plane-at-depth warp）将陆地 iPhone 视角的图像几何变换到水下相机视角，实现跨域对齐。
  • 无需微调：Affordance 模型完全在陆地数据上训练，直接零样本部署到水下，无需混合训练或微调。

2.3 基于 Affordance 条件的扩散策略（Diffusion Policy）

• 输入：策略接收多模态输入，包括预测的 Affordance 热力图（指示抓取位置）、单目深度图以及机器人本体状态（罗盘、俯仰角、深度）。
• 架构：采用扩散策略（Diffusion Policy），通过迭代去噪生成未来 16 步的动作序列（偏航、前后、上下、左右、开合）。
• 训练：在自监督收集的水下成功演示数据上进行行为克隆（Behavior Cloning）。

3. 主要贡献

1. 自监督水下数据收集流水线：提出了一种实用的自主收集方案，利用恢复行为和自动成功过滤机制，大幅降低了水下操作对人工遥操作的依赖。
2. 跨域感知接口（Affordance Heatmaps）：开发了基于 UMI-Aquatic 的手持接口，利用深度条件化的 Affordance 预测器，实现了从陆地到水下的零样本知识迁移。该方法无需混合训练或微调，有效 bridging 了域差异。
3. 鲁棒性与泛化评估：在分布内（ID）、背景偏移（OOD Visual）和新物体泛化（OOD Novel-Object）三个场景下进行了验证，证明了该方法在复杂水下环境中的优越性。

4. 实验结果

实验在 2x4 米的泳池中进行，对比了不同感知输入的策略（仅 RGB、RGB+Depth、Aff+Depth 等）：

• 分布内性能 (ID)：

  • DP + Aff + Depth (本文方法)：成功率 85%。
  • DP + RGB (基线)：成功率 65%。
  • 分析：Affordance 热力图提供了明确的空间目标信号，有效减少了多物体场景中的目标混淆。

• 未见背景泛化 (OOD Visual)：

  • DP + Aff + Depth：成功率 80%。
  • DP + RGB：成功率 0%。
  • DP + RGB + Aff + Depth：成功率 0%。
  • 分析：当背景纹理发生剧烈变化（如从蓝色池底变为木纹壁纸）时，基于 RGB 的策略完全失效。即使加入了 Affordance 和 Depth，若同时输入 RGB，策略仍会因 RGB 的干扰而崩溃，证明了仅依赖深度和 Affordance对于抗干扰的重要性。

• 新物体泛化 (OOD Novel-Object)：

  • 测试对象为仅在陆地数据中出现过的物体（如水壶、易拉罐、电钻），水下从未见过。
  • DP + Aff + Depth：成功率 75%。
  • DP + RGB：成功率 50%。
  • 分析：基于陆地数据预训练的 Affordance 模型成功将抓取知识迁移到水下新物体上，展现了强大的零样本泛化能力。

5. 局限性与未来工作

• 深度估计的噪声：当前方法主要依赖单目深度估计，若深度估计不准（如物体几何相似但材质不同），可能会丢失颜色/纹理提供的关键线索。未来可探索深度优先融合 RGB 特征（需进行域不变性正则化）。
• 底层控制限制：当前使用简单的 PID 控制器，在接近和后退时容易产生超调（Overshoot），导致视角变化引发目标切换错误。未来计划引入模型预测控制（MPC）以更好地处理水下动力学。
• 任务范围：目前主要局限于“抓取 - 拖拽”任务，未来可扩展至更长的任务序列。

6. 总结与意义

UMI-Underwater 提出了一种解耦目标定位与控制的新范式：

1. 利用Affordance 热力图解决“抓哪里”的问题，通过深度表示实现跨域（陆地->水下）的零样本迁移，极大提升了鲁棒性。
2. 利用自监督收集解决“数据哪里来”的问题，摆脱了昂贵的人工遥操作。

该工作证明了通过适当的表示学习（深度 + Affordance）和数据收集策略，可以有效克服水下环境的感知退化问题，为低成本、高泛化性的水下机器人自主操作提供了新的技术路径。代码和视频已开源。