⚡ electrical engineering

GraphSeg: Segmented 3D Representations via Graph Edge Addition and Contraction

GraphSeg 是一个通过将分割问题表述为图边添加与收缩问题，从而在无需深度数据的情况下从稀疏 2D 图像中生成一致的 3D 物体分割的框架，进而实现非结构化环境中稳健的机器人操作。

原作者： Haozhan Tang, Tianyi Zhang, Oliver Kroemer, Matthew Johnson-Roberson, Weiming Zhi

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhan Tang, Tianyi Zhang, Oliver Kroemer, Matthew Johnson-Roberson, Weiming Zhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一个试图从杂乱的桌子上拿起咖啡杯的机器人。为了做到这一点，你需要准确知道杯子在哪里，以及杯子的边缘在哪里，桌子的边界又在哪里。但问题在于，你的机器人大脑只能看到从不同角度拍摄的一堆扁平的 2D 照片，而且它没有内置的尺子来测量深度。

这就是 GraphSeg 所解决的问题。

“过度热情的”艺术家

首先，让我们聊聊机器人通常用来观察世界的工具。有一些超级智能的 AI 模型（比如著名的“Segment Anything”）会观察一张照片并尝试在所有物体周围画出轮廓。它们很棒，但有一个有趣的习惯：它们变得过于兴奋了。

想象一下，如果你给这个 AI 看一个红色的苏打罐。AI 不仅仅是在整个罐子周围画一个整洁的圆圈，它可能会画出十个细小、锯齿状的小圆圈，认为闪亮的顶部是一个物体，标签是另一个物体，底部又是第三个。它对物体进行了“过度分割”（over-segments），将一个整体拆解成了许多令人困惑的碎片。

更糟糕的是，如果你从另一个角度对同一个罐子拍第二张照片，AI 可能会画出一套完全不同的、混乱的碎片。这就像是在拼凑一个拼图，而每当你换个角度看时，拼图块的形状都在不断变化。机器人会感到困惑：“第一张照片里的那块碎片和第二张照片里的那块是同一个吗？还是说它们是两个不同的罐子？”

GraphSeg 的解决方案：一场关于连接的派对

论文的作者 Haozhan Tang 及其团队想出了一个巧妙的方法来修复这个混乱。他们将这种方法称为 GraphSeg。

把 AI 画出的每一个微小、混乱的碎片想象成派对上的每一位宾客。起初，每个人都孤零零地站着，一脸困惑。GraphSeg 的工作就是搞清楚哪些宾客其实是戴着不同帽子的同一个人（或者在这种情况下，是同一个物体在不同角度下的样子）。

他们通过使用两种类型的线索，举办了一场“连接派对”来完成这项工作：

“像素对像素”的握手： 系统会观察这些 2D 照片，并询问：“这两个图像碎片是否共享相同的像素？”如果 A 照片中的罐子碎片与 B 照片中的某个碎片在像素上完美匹配，它们就会握手。用论文中的术语来说，这会在图中为它们添加一条“边”（edge）来连接它们。
“3D 结构”的拥抱： 有时 2D 照片会很棘手，碎片看起来并不相似。因此，GraphSeg 使用了一个特殊的“3D 基础模型”（一个能从扁平照片中推测 3D 形状的神奇工具）将这些扁平的碎片提升到 3D 空间中。现在，它不再仅仅观察扁平的像素，而是检查这些 3D 形状是否像拼图一样契合。如果两个碎片占据了相同的 3D 空间，它们就会得到一个大大的拥抱，并被强制合并。

伟大的合并

一旦所有的这些连接（或“边”）建立完毕，GraphSeg 就会执行一次“收缩”（contraction）。想象一下，所有握手或拥抱过的宾客都被要求合并成一个“超级宾客”。

之前： 对于一个苏打罐，你有 50 个细小且令人困惑的掩码（masks）。
之后： 所有 50 个掩码都合并成了一个干净、完整的苏打罐 3D 表示。

该论文表明，即使你只有稀疏的一组图像（仅有 3 到 5 张照片），这种方法依然有效。虽然其他方法在照片不足时可能会失败或放弃，但 GraphSeg 能够通过结合 2D 线索和 3D 结构线索来填补空白，从而保持高效运作。

它的证明（以及它没能证明的事）

作者在名为 GraspNet-1Billion 的大规模数据集上测试了该方法，该数据集拥有超过 97,280 张 物体图像。他们不仅仅是凭感觉，而是测量了结果。

结果： GraphSeg 在最终的 3D 模型中保留了 93.05% 的有用像素（即“像素效用”）。相比之下，另一种名为 MaskClustering 的方法仅保留了约 2.68% 的像素，因为它太害怕处理不确定的区域。
准确性： 当他们将 GraphSeg 与真实情况（ground truth，即完美答案）进行比较时，它在主要数据集上实现了 0.5945 的 IoU（交并比），显著超越了之前的最优方法。
现实世界测试： 他们不仅在计算机上运行，还将它应用到了一个真实的机器人手臂（Unitree Z1）上。机器人拍摄照片，利用 GraphSeg 找到物体，并成功抓取了诸如锤子、电池组和遥控器之类的物品。

他们排除了什么

论文非常明确地说明了 GraphSeg 不是什么。它不是一种需要机器人配备特殊深度传感器（如 LiDAR 来测量距离）的方法。它仅依靠标准的 RGB 摄像头即可工作。它还反对那些依赖于“闭集”（closed-set）学习的方法（即机器人只被教去识别特定的、预定义的物体）。GraphSeg 是为“开放词汇”（open-vocabulary）世界设计的，这意味着它可以处理它看到的任何物体，即使是它从未见过的物体。

总结

GraphSeg 就像是一个混乱房间里的聪明整理员。它将一堆混乱、破碎的笔记（过度分割的 2D 掩码）收集起来，利用视觉线索和 3D 逻辑，将它们整理成整齐、单一的文件夹（一致的 3D 物体）。作者证明了这种方法可以让机器人在只有极少数照片的情况下，也能更清晰地观察世界，并成功完成桌面操作任务。

虽然论文也暗示，未来的研究可以涉及让机器人通过拍摄更多照片（以提高质量），但目前的方法已经展示出了在桌面操作任务中的鲁棒性和有效性。

技术摘要：GraphSeg

问题陈述

在非结构化环境中运行的机器人需要准确、一致的对象级表示，以支持抓取和运动生成等下游任务。虽然最近的基础模型（如 Segment Anything (SAM)）在 2D 图像分割方面表现出色，但它们无法直接转化为物理 3D 世界。当应用于多视图 2D 图像时，这些模型经常会出现过度分割（将单个一致的对象拆分为多个掩码）的问题，并且无法在不同视图之间建立一致的掩码对应关系。此外，现有的 3D 实例分割方法通常依赖于预定义的类别集（闭集），需要大量的 3D 训练数据，或者在视觉重叠有限的稀疏视图设置下表现不佳。本文解决的核心挑战是：如何在不依赖深度传感器或预定义物体类别的情况下，从一组稀疏的 2D RGB 图像中生成一致且统一的 3D 物体分割。

方法论：GraphSeg

作者提出了 GraphSeg，一个将多视图 3D 分割问题视为图边添加与收缩问题的框架。该方法处理由机器人机械臂拍摄的一组稀疏 RGB 图像，并利用 3D 基础模型在没有深度传感器的情况下恢复场景几何结构。

1. 核心框架

该过程首先使用预训练的开放词汇模型（例如 SAM）为每张输入图像生成 2D 分割掩码。随后，该框架构建双重对应图（dual correspondence graphs），以将这些可能存在过度分割的 2D 掩码合并为统一的 3D 物体：

图构建： 每个 2D 掩码被视为图中的一个顶点。
边添加（双重对应）：
- 2D 像素级图 ( $G_{2D}$ )： 基于像素到像素的特征匹配，在不同图像的掩码之间添加边。如果两个掩码之间的匹配像素比例超过阈值 ( $\tau_{2D}$ )，则建立一条边。
- 3D 结构图 ( $G_{3D}$ )： 为了解决由表面细节引起的过度分割问题，该方法利用 3D 基础模型（例如 DUST3R）将 2D 图像提升（lift）为 3D 点云。基于其对应 3D 点云之间的定向 Chamfer 距离，在“超顶点”（来自 2D 步骤的聚合掩码）之间添加边。如果距离低于阈值 ( $\tau_{3D}$ )，则连接这些顶点。
图收缩： 使用**随机星形收缩（Randomized Star Contraction）**算法对构建的图进行收缩。通过边连接的顶点会被合并为“超顶点”。这个过程迭代地减少图，直到每个超顶点代表一个单一且一致的 3D 物体。

2. 实现启发式规则

背景过滤： 明确定义了一个背景类，用于过滤掉桌面表面及机器人触及范围之外的区域，从而提高效率。
稀疏视图优化： 为了避免不必要的计算，仅在来自“临近”相机姿态的图像之间计算像素到像素的对应关系，过滤掉由于视角差异过大而不太可能产生对应关系的图像。

核心贡献

论文概述了三个主要的项技术贡献：

GraphSeg 框架： 一种能够从稀疏 2D 图像集合中生成清晰分割的 3D 场景表示的新颖系统，且无需深度信息。
图公式化： 将 3D 分割公式化为图边添加与收缩问题，并结合了高效的算法来解决收缩问题。这种方法显式地建模了掩码跨视图的对应关系。
实证验证： 通过广泛的评估证明了其在 3D 分割方面的先进性能，并证明了该方法对于下游机器人操作任务的实用性。

实验结果

作者在 GraspNet-1Billion 数据集（包括 main、similar 和 unseen 子集）上对 GraphSeg 进行了评估，并将其与最先进的基准模型 MaskClustering 和 SAM3D 进行了对比。

分割质量： GraphSeg 在 GraspNet-1B-main 数据集上实现了最高的 IoU (0.5945) 和 F1 分数 (0.7595)，显著优于 SAM3D 和 MaskClustering。虽然不带 3D 边添加的基准版本 GraphSeg $^-$ 虽然实现了较低的 Chamfer 距离，但其代价是过度分割了物体。完整的 GraphSeg 方法通过在保持高 IoU 的同时保持较低的 Chamfer 距离 (0.0142)，实现了两者的平衡。
像素效用： 一个关键发现是，与 MaskClustering（其激进地过滤不确定点导致效用低于 3%）和 SAM3D（约 86%）相比，GraphSeg 保留了显著更高比例的非背景像素（中位数效用 >90%）。这使得生成的 3D 点云更加密集且完整。
稀疏视图鲁棒性： 在仅有 3 张图像 ( $N=3$ ) 的情况下对该方法进行了测试。即使在其他方法难以寻找 3D 空间关系的稀疏条件下，GraphSeg 仍能保持可靠的性能。
下游操作： 作者在真实的 Unitree Z1 机械臂上演示了该系统。利用分割后的点云，抓取生成器成功为各种物体（如锤子、遥控器、杯子）生成了可行的抓取路径，机器人随后成功执行了抓取。

重要性与主张

论文声称 GraphSeg 为从多视图图像构建分割的 3D 场景提供了一种鲁棒的解决方案，克服了直接从 2D 到 3D 转换的局限性。其重要性在于：

对过度分割的鲁棒性： 通过将问题公式化为图收缩，该方法有效地将破碎的 2D 掩码合并为连贯的 3D 物体。
数据效率： 它在极少的图像（稀疏视图）下也能有效运行，且不需要深度传感器或 3D 训练数据，而是依靠 3D 基础模型进行几何恢复。
实际应用价值： 生成的密集对象级表示可直接应用于机器人操作，使机器人在非结构化桌面环境中实现成功的抓取。

作者总结道，虽然目前的系统非常有效，但未来的工作可以引入具有不确定性感知行为的系统，允许机器人针对模糊区域主动拍摄更多照片，以进一步提高分割质量。