PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

本文提出了首个基于大规模原生 3D 数据训练的提示性部件分割模型 PartSAM，它通过三平面双分支编码器架构和自研的模型循环标注管线，克服了现有基于 2D 迁移方法的局限，实现了对 3D 物体表面及内部结构的高精度开放世界部件分割。

要点

这篇论文介绍了一个名为 PartSAM 的新技术，你可以把它想象成给 3D 世界装上了一双“超级透视眼”和一把“智能手术刀”。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的故事：

1. 以前的难题：只能看皮，不能看骨

在电脑视觉领域，想要把一个 3D 物体（比如一把椅子、一辆车）自动拆分成它的各个零件（椅背、轮子、引擎），一直是个大难题。

• 旧方法像“贴贴纸”：以前的技术（比如把 2D 的分割模型强行用到 3D 上）就像是在一个 3D 模型表面贴了很多张 2D 的贴纸。它们只能看清物体表面的样子。如果你让它去识别汽车内部的方向盘，或者被衣服遮住的机器人手臂，它们就“瞎”了，因为那些东西在表面看不见。
• 旧方法像“盲人摸象”：还有些方法靠“猜”（聚类），就像让一群人闭着眼睛摸大象，然后猜哪里是耳朵、哪里是腿。如果大象形状奇怪，或者没有明确的边界，他们就会把大象切成一堆乱七八糟的碎片，根本分不清什么是“腿”，什么是“尾巴”。

2. PartSAM 的绝招： native 3D 的“原生大脑”

PartSAM 的厉害之处在于，它不是靠“贴贴纸”或“瞎猜”，而是直接在 3D 世界里长大的。

• 吃的是“真 3D 大餐”：以前的模型是吃 2D 图片长大的，而 PartSAM 吃的是500 万个真实的 3D 模型和它们的零件标签。这就像是一个厨师，以前只能看菜谱（2D 图片）做菜，现在直接进了食材仓库（3D 数据），亲手摸过、切过几百万个真实的物体。所以，它不仅能看懂表面，还能理解内部结构（比如汽车里的引擎、被遮挡的零件）。
• 双引擎驱动：它的“大脑”有两个部分。
  • 一个部分继承了 2D 模型（SAM）的直觉，擅长看表面细节。
  • 另一个部分专门学习3D 空间感，擅长理解物体的内部和整体结构。
  • 这两个部分联手，既保留了看表面的敏锐，又拥有了理解 3D 深度的智慧。

3. 怎么教它？：AI 自己当老师（Model-in-the-Loop）

要训练这样一个超级模型，需要海量的数据。但是，给 500 万个 3D 模型一个个手动标注零件，人类根本忙不过来。

• 以前的困境：很多 3D 模型是艺术家做的，零件碎得像拼图一样，或者连在一起分不清。
• PartSAM 的解法：作者设计了一个"AI 互教互学"的流水线。
  1. 先用一部分好数据训练一个基础模型。
  2. 让基础模型去尝试分割那些很难的、破碎的模型。
  3. 再用一个更聪明的模型去检查基础模型的分割结果。如果基础模型切得准，就保留；切得烂，就扔掉。
  4. 就这样，AI 自己给自己“洗数据”，最终整理出了500 多万个高质量的 3D 零件对。这就像是一个学徒在师傅的指导下，自己整理出了几百万本完美的教科书。

4. 它能做什么？：指哪打哪，自动拆解

PartSAM 有两个超能力模式：

• 模式一：指哪打哪（交互式分割）

  • 就像你在手机上点一下“分割”一样。你在 3D 模型上点一下“椅背”，它立马就把椅背高亮显示出来。
  • 厉害之处：以前的模型点一下可能只切出一小块，或者切错。PartSAM 只需要点一下，就能精准地把整个“椅背”（包括被遮挡的部分）完整地切出来。它的准确率比之前的冠军模型高了**90%**以上！

• 模式二：自动拆解（Segment-Every-Part）

  • 如果你不想点，直接说“把这个车拆了”，它就能自动把车拆成轮子、车门、引擎等所有零件。
  • 厉害之处：它不仅能拆表面，还能拆内部。比如给一个穿着长袍的机器人，它能自动把长袍下面的身体、手臂、甚至藏在里面的机械结构都拆分开，而不会像以前的模型那样只看到长袍。

5. 总结：为什么这很重要？

这就好比以前我们看 3D 模型只能看个“皮囊”，现在 PartSAM 让我们能直接看到 3D 物体的“骨骼”和“内脏”。

• 对游戏和电影：可以快速把复杂的 3D 角色拆分成零件，方便动画师单独调整手臂或表情。
• 对机器人：机器人能更清楚地理解它抓取的物体是由哪些部分组成的，从而更灵活地操作（比如只拿杯子把手，不碰杯身）。
• 对 AI 生成：现在 AI 生成的 3D 模型往往是一团乱麻，PartSAM 能帮它们自动理清结构，让 AI 生成的模型变得真正可用。

一句话总结：
PartSAM 是一个在 3D 世界里“土生土长”的超级分割专家，它通过海量数据训练，不仅能一眼看穿物体的表面，还能透视内部结构，无论是你点一下让它切，还是让它自动把物体拆得七零八落，它都能做得又快又准。这是迈向"3D 世界通用人工智能”的一大步。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
将 3D 对象分割为语义部件（Part Segmentation）是计算机视觉和图形学中的长期难题。现有的方法主要面临以下局限性：

• 封闭世界限制： 传统方法（如基于 ShapeNet-Part 或 PartNet 的训练）依赖预定义的部件分类体系，无法泛化到未见过的类别或不同的部件粒度定义。
• 2D 到 3D 的迁移缺陷： 为了应对开放世界场景，近期工作尝试将 2D 基础模型（如 SAM）的知识迁移到 3D。然而，这种“间接范式”存在严重问题：
  • 表面理解局限： 通过多视图掩码提升（Lifting）到 3D 的方法往往只能捕捉表面几何，无法理解对象的内部结构（如被遮挡的部件或内部组件）。
  • 缺乏可控性： 基于聚类的方法（如 PartField）缺乏类似 SAM 的用户中心控制能力，难以通过提示点（Prompt）灵活交互。
  • 泛化能力弱： 依赖 2D 监督导致模型在面对 AI 生成的网格或复杂内部结构时表现不佳。

目标：
构建一个原生 3D 训练、可扩展且**支持提示（Promptable）**的部件分割模型，使其能够像 2D 的 SAM 一样，在开放世界中对任意 3D 形状进行灵活、准确的部件分解，包括表面和内部结构。

---

2. 方法论 (Methodology)

作者提出了 PartSAM，这是第一个在大规模原生 3D 数据上训练的提示式部件分割模型。其核心架构包含三个主要部分：

2.1 输入编码器 (Input Encoder)

• 双分支架构 (Dual-Branch Encoder)：
  • 冻结分支 (Frozen Branch)： 继承自 PartField 的预训练权重，保留了从 SAM 蒸馏而来的强大 2D 先验知识（通过对比学习获得）。
  • 可学习分支 (Learnable Branch)： 专门用于学习大规模原生 3D 数据的部件表示。该分支接受额外的输入属性（法线、RGB 颜色），并通过零卷积层（Zero Convolution）增强局部形状细节的表示。
• 三平面特征场 (Triplane-based Feature Field)： 将 3D 形状编码为连续的三平面特征场（类似 3D Gaussian Splatting 或 NeRF 中的表示），而非离散的点云网络。这使得模型能够高效地查询任意 3D 坐标的特征，支持大规模数据训练。
• 采样与聚合： 使用最远点采样（FPS）选取中心点，从三平面中提取特征并聚合为输入 Token。

2.2 提示引导的掩码解码器 (Prompt-Guided Mask Decoder)

• 架构设计： 借鉴 SAM 的编码器 - 解码器设计。
• 交互机制： 将用户提示点（正/负点击）编码为提示 Token，与输入特征 Token 一起输入到双向 Transformer 中。
• 输出机制：
  • 多掩码生成： 引入多个输出 Token（Output Tokens），在单次提示下生成多个候选掩码，以处理 3D 部件边界的模糊性。
  • IoU 预测： 引入 IoU Token 预测每个掩码与真实标签的重叠度，用于筛选最佳掩码。
• 自动分割模式 ("Segment Every Part")： 训练完成后，模型具备自动分解能力。通过采样大量点作为提示，生成候选掩码，利用非极大值抑制（NMS）和 IoU 阈值过滤，自动输出所有有意义的部件（包括内部结构）。

2.3 数据构建管线 (Data Curation Pipeline)

为了训练大规模模型，作者构建了一个包含超过 500 万个 3D 形状 - 部件对 的数据集：

1. 第一阶段（整合现有标签）： 从 Objaverse 等数据集中提取艺术家标注的场景图或连通分量，过滤掉碎片化严重或语义不明确的部件，获得约 18 万个形状。
2. 第二阶段（模型内循环标注 Model-in-the-Loop）：
   • 利用预训练的 PartSAM 和 PartField 处理第一阶段未包含的高度碎片化网格。
   • PartField 生成多尺度聚类掩码作为伪标签。
   • PartSAM 进行多轮交互式模拟，根据 IoU 阈值（第一轮 >60% 或第十轮 >90%）筛选出高质量的部件掩码。
   • 最终将训练数据规模扩展至 50 万个形状和 500 万个部件。

---

3. 关键贡献 (Key Contributions)

1. 首个原生 3D 提示式分割模型： 提出了 PartSAM，是第一个在大规模原生 3D 数据上训练的 Feed-forward 提示式部件分割模型，实现了开放世界下的灵活分割。
2. 高效的双分支编码器设计： 设计了结合 2D 先验（SAM）与 3D 原生特征的双分支编码器，既保留了强大的泛化能力，又实现了对大规模 3D 监督的有效扩展。
3. 大规模模型内循环数据管线： 提出了一种自动化的数据清洗与标注策略，从海量 3D 资产中挖掘出 500 万 + 高质量部件对，解决了 3D 部件标注稀缺的问题。
4. 卓越的性能与泛化性： 在多个基准测试中显著优于现有最先进方法（SOTA），特别是在处理 AI 生成网格、内部结构分割以及单点提示的准确性上。

---

4. 实验结果 (Results)

• 交互式分割 (Interactive Segmentation)：
  • 在 PartObjaverse-Tiny 和 PartNet-E 数据集上，PartSAM 在单点提示（IoU@1）下的表现比 Point-SAM 提升了 91%（相对提升）。
  • 随着提示点增加，性能持续领先，证明了其强大的细粒度控制能力。
• 自动分割 (Automatic Segmentation)：
  • 在“分割所有部件”任务中，PartSAM 在 PartObjaverse-Tiny 和 PartNet-E 上分别达到了 69.5% 和 72.4% 的 IoU，比第二名（PartField）高出 20% 以上。
  • 内部结构理解： 在 AI 生成的网格（如 Hunyuan3D 生成）上，PartSAM 能成功分割出被遮挡的内部结构（如汽车座椅、机器人内部），而基于 2D 提升的方法（如 SAMesh）因无法看到内部而失败。
• 可扩展性分析： 实验表明，随着训练数据量从 4 万增加到 50 万，模型性能持续线性提升，证明了其架构对大规模 3D 数据的可扩展性。
• 推理效率： 相比需要每形状优化的方法（如 SAMesh 需数分钟），PartSAM 采用前馈推理，单形状推理时间仅需约 12 秒（编码器 1.2 秒 + 解码器），效率显著提升。

---

5. 意义与影响 (Significance)

• 范式转变： PartSAM 标志着 3D 部件分割从“依赖 2D 先验迁移”向“原生 3D 大规模训练”的范式转变。它证明了直接在 3D 数据上训练基础模型可以捕捉到 2D 方法无法获得的内在几何结构。
• 开放世界理解： 该模型打破了固定分类体系的限制，能够处理任意类别、任意粒度的 3D 对象，为 AR/VR 内容编辑、机器人操作和 3D 资产创建提供了强大的基础工具。
• 内部结构感知： 它是少数能够准确分割 3D 对象内部和遮挡部件的模型之一，填补了当前 3D 理解在“全貌”理解上的空白。
• 未来方向： 这项工作为构建更通用、更具可解释性的 3D 感知基础模型奠定了基础，未来的研究可进一步探索结合语义标签的 3D 基础模型。

总结： PartSAM 通过结合创新的三平面双分支架构、大规模原生 3D 数据管线以及模型内循环标注策略，成功解决了 3D 部件分割中的泛化性、可控性和内部结构理解难题，是目前该领域的 SOTA 模型。