Wat3R: Underwater 3D Geometry Learning without Annotations

想象一下，你正试图构建一艘沉船的 3D 地图，但你被蒙上了眼睛，周围的水中充满了浓雾、旋转的沙尘和奇特的色彩，让一切看起来都模糊不清。这就是计算机试图理解水下场景时每天面临的挣扎。多年来，教计算机观察水下的最佳方法是向它展示数百万张带有完美、手工绘制的 3D 标签的照片。但问题在于：没有人拥有这些海洋标签。由于制作这些标签是不可能的，因为水质太浑浊，且光线表现得非常诡异。

于是有了 Wat3R，一种全新的方法，它就像一个聪明的学生，无需老师递给他们地图，就能学会如何潜水。

问题所在：“陆地大脑”

大多数现代 3D 视觉模型就像是在阳光明媚、清晰明亮的教室里学习的学生（在陆地上）。它们在处理干燥物体方面表现出色，但当你把它们丢进大海时，它们就会感到困惑。水会吸收光线、散射光线，并将一切变成蓝色或绿色。如果你尝试在水下使用“陆地训练”的模型，它会踉跄跌倒。而且，由于我们无法仅仅为了每一段视频就雇佣一支潜水员团队来绘制海底的 3D 地图，因此我们无法用传统的方式重新训练这些模型。

解决方案：深海中的老师与学生

该论文的作者创建了一个名为 Wat3R 的系统，它利用“教师-学生”技巧，在不需要任何水下标签的情况下解决这个问题。

可以这样理解：

1. 老师： 想象一个超级聪明的机器人，因为它研究了数百万张清晰、干燥的照片，所以它完美掌握了 3D 几何学。但它不知道水是如何运作的。
2. 模拟： 研究人员获取老师的清晰照片，并对它们进行数字化的“溺水”处理。他们使用物理公式添加虚假的雾气、颜色偏移和光线散射，将清晰的陆地照片变成虚假的水下场景。现在，老师拥有了一个带有“标签”的虚假水下场景数据集。
3. 学生： 这是我们想要训练的模型。它首先通过老师的虚假水下照片进行学习。
4. 真正的潜水： 然后，学生去观看 5,504 段真实的视频片段（约 359,000 张图像），这些视频完全没有标签。它只是观察鱼类、岩石和气泡。

其中的魔力在于：老师（它是学生的一个稍旧、更稳定的版本）观看相同的真实视频并猜测 3D 形状是什么样的。学生尝试去匹配这些猜测。如果学生做对了，它就学习；如果做错了，它就进行调整。这个过程不断重复，让学生通过观察真实的视频来学习“水下几何规则”，而无需任何人告诉它答案是什么。

秘密武器：“跨视图一致性”

在水下，单张照片可能因为过于模糊而让你什么也看不见。但如果你有一段视频，你就拥有了许多角度。论文引入了一个特殊的规则，称为跨视图一致性（Cross-View Consistency）。

想象你正透过一扇脏兮兮的窗户看一块石头。你看不清它。但如果你从稍微不同的角度，透过窗户较干净的部分看同一块石头，你就能看得更清楚。Wat3R 在数学上实现了这一点。如果模型在某个视角被雾气干扰而感到困惑，它会查看视频中的其他视角，以确定那块石头“应该”是什么样子。它利用视频中清晰的部分来修复模糊的部分。这有助于模型忽略水的“噪声”，专注于实际的形状。

他们证明了什么（以及没能证明什么）

作者不仅是在猜测，他们还进行了严格的测试。

• 数据集： 他们构建了一个新的数据集 Water3D，其中包含 42 个具有准确 3D 地图（姿态和深度）的真实水下场景，用于测试他们的工作。这是一件大事，因为正如他们所指出的，现有的水下数据集通常规模过小或缺乏适当的 3D 标签。
• 结果： 当他们在标准水下数据集（如 Sea-thru 和 FLSea Stereo）上测试 Wat3R 时，它击败了现有的最佳模型（如 VGGT、DA3 和 MapAnything）。
  • 在 Sea-thru 数据集上，在 10 视图测试中，Wat3R 比之前的最佳模型 (VGGT) 降低了约 12.1% 的错误率。
  • 在深度准确度方面，它在某些指标上提高了 23.7%。
  • 即使在只看单张照片（单目深度）时，Wat3R 也优于专门针对单张图像训练的模型，这证明了“跨视图”学习确实帮助它更好地理解了水。

他们明确排除了什么

论文非常明确地说明了哪些方法是无效的：

• 先增强图像： 他们尝试先用现有工具（如 “Sea-thru” 或 “PSPL”）清理水下照片，然后再将它们喂给 3D 模型。这种做法未能显著改善结果。作者认为，清理图像往往会引入新的误差或不一致性，从而使 3D 模型感到困惑。更好的办法是教模型学会“看穿”混乱，而不是试图先去“修复”混乱。
• 仅靠合成数据： 虽然他们使用了虚假的水下数据作为开始，但他们表明，仅使用虚假数据是不够的。你需要真实的、无标签的视频才能让模型真正具备鲁棒性。

他们有多确定？

作者对他们的数字充满信心，因为他们在 四个 不同的公开数据集以及他们自己的 Water3D 数据集上进行了测试。他们不仅仅是模拟结果，还在有真实真值（ground truth）可用处衡量了结果。

• 他们展示了 Wat3R 在“轻微”到“严重”退化情况下表现更好，尽管他们承认，在极度浑浊（泥泞）的水中或有快速移动物体的情况下，模型仍然会挣扎，因为那里根本没有足够的视觉信息可以利用。
• 他们明确指出，他们的这种方法是第一个无需水下 3D 标注即可泛化到水下场景的半监督框架。

核心结论

Wat3R 就像一名潜水员，它学习在深海中航行，不是通过阅读地图，而是通过观察光线如何弯曲、物体从不同角度看起来如何，同时忽略掉那些雾气。它证明了你不需要完美的标签来教计算机观察水下世界；你只需要一种聪明的方法，让它从真实的视频混沌中学习。代码和他们全新的 Water3D 数据集均已开放供任何人尝试，这为更好的水下机器人、考古学和测绘技术打开了大门，而无需完成为每一滴水都打上标签的这项不可能的任务。