PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

이 논문은 2D 모델의 간접적 전수가 아닌 대규모 3D 데이터와 모델 기반 주석 파이프라인을 활용하여 학습된 최초의 프롬프트 기반 3D 부분 분할 모델인 PartSAM 을 제안하며, 이를 통해 기존 방법론을 크게 능가하는 정밀한 표면 및 내부 구조 분해 능력을 입증합니다.

핵심

PartSAM: 3D 물체를 '조립'하고 '분해'하는 새로운 마법사

이 논문은 컴퓨터 비전 분야에서 오랫동안 해결되지 않았던 난제, **"3D 물체를 의미 있는 부분으로 나누는 일"**을 해결한 획기적인 모델 PartSAM을 소개합니다.

기존의 방법들이 왜 실패했는지, 그리고 PartSAM 이 어떻게 그 문제를 해결했는지 일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

---

1. 기존 방법들의 문제점: "2D 사진으로 3D 를 유추하는 실수"

지금까지 3D 물체를 분해하는 AI 들은 주로 **2D 이미지 모델 (예: SAM)**의 도움을 받았습니다. 마치 "3D 인형의 사진을 여러 각도에서 찍어서, 그 사진들을 이어 붙여 3D 인형을 재구성하는" 방식이었습니다.

하지만 이 방식에는 치명적인 결함이 있었습니다.

• 표면만 보는 눈: 사진은 3D 물체의 '겉면'만 보여줍니다. 인형의 속을 파고들거나, 옷 안의 장난감, 혹은 의자 다리 안쪽의 구조를 볼 수 없습니다.
• 잘게 찢어지는 문제: 2D 사진을 이어 붙이다 보니, 물체가 조각조각 나거나 엉뚱한 부분끼리 붙는 경우가 많았습니다.
• 새로운 물체에는 무력: 훈련받지 않은 새로운 형태의 3D 물체 (예: AI 가 만든 이상한 모양의 의자) 가 나오면 아예 분해하지 못했습니다.

비유: 마치 레고 블록으로 만든 성을 분해하려는데, 성벽의 그림자만 보고 "여기서 저기까지가 문이야"라고 추측하는 것과 같습니다. 안쪽의 기둥이나 숨겨진 방은 전혀 알 수 없죠.

---

2. PartSAM 의 등장: "3D 세계 태생의 마법사"

PartSAM 은 2D 사진을 빌려오는 대신, 수백만 개의 3D 데이터로 직접 학습한 최초의 모델입니다. 마치 3D 세계 자체에서 태어나 자란 마법사처럼, 물체의 속까지 꿰뚫어 봅니다.

핵심 기술 1: "투명한 유리로 된 지도" (Triplane Encoder)

PartSAM 은 물체를 점 (Point) 나면 (Mesh) 으로만 보지 않습니다. 대신 물체 전체를 **투명한 3D 공간 (트라이플레인)**으로 감싸고, 그 공간 안에 물체의 모든 특징을 저장합니다.

• 비유: 3D 물체를 투명한 유리상자 안에 넣고, 그 상자 벽에 물체의 모든 디테일 (색깔, 모양, 질감) 을 그려 넣은 것과 같습니다. 그래서 유리상자를 비추면 안쪽의 복잡한 구조까지 한눈에 보입니다.

핵심 기술 2: "두뇌의 두 가지 모드" (Dual-Branch Encoder)

PartSAM 은 두 가지 지식을 동시에 활용합니다.

1. 고정된 지능 (Frozen Branch): 2D 이미지에서 배운 풍부한 지식 (예: "바퀴는 둥글다", "문은 네모다") 을 그대로 가져옵니다.
2. 학습 중인 지능 (Learnable Branch): 3D 데이터에서 직접 배운 새로운 지식 (예: "이 AI 가 만든 이상한 의자의 다리는 어떻게 생겼지?") 을 습득합니다.

• 비유: 经验丰富的 요리사가 새로운 레시피를 배우는 상황입니다. 기존에 익힌 기본기 (2D 지식) 는 그대로 유지하면서, 새로운 재료 (3D 데이터) 에 맞춰 요리법을 발전시키는 것입니다.

핵심 기술 3: "스스로 학습하는 데이터 공장" (Model-in-the-Loop)

이 모델은 500 만 개 이상의 3D 물체를 학습했습니다. 하지만 이런 데이터는 사람이 일일이 손으로 분할하기엔 너무 많습니다.

• 해결책: PartSAM 이 먼저 대략적으로 분할하고, 그 결과를 다시 모델이 스스로 검토하며 "이건 맞다/틀리다"를 판단하는 자동 공장을 가동했습니다.
• 비유: 스스로 자라나는 정원에서, AI 가 "이 꽃은 꽃잎이 5 장이니까 5 개로 나누자"라고 스스로 판단하고, 틀린 부분은 스스로 고쳐가며 거대한 데이터 정원을 만들어낸 것입니다.

---

3. PartSAM 의 놀라운 능력

이 모델은 두 가지 방식으로 작동합니다.

① "한 번 클릭으로 완벽 분해" (Interactive Segmentation)

사용자가 물체의 어느 한 점만 클릭하면, PartSAM 은 그 점을 기준으로 물체의 해당 부분을 정확히 찾아냅니다.

• 예시: 자동차 모델의 '바퀴' 한 점을 클릭하면, 바퀴 전체가 선택됩니다. 심지어 바퀴 안쪽의 숨겨진 볼트나 내부 구조까지 정확히 인식합니다.
• 기존 모델과의 차이: 기존 모델은 클릭하면 바퀴만 선택하거나, 바퀴와 차체가 섞여 선택되곤 했습니다. PartSAM 은 **"이건 바퀴야, 저건 차체야"**를 명확히 구분합니다.

② "모든 부분을 자동으로 찾아내기" (Segment Every Part)

사용자가 아무것도 클릭하지 않아도, PartSAM 은 물체를 **의미 있는 부분들 (바퀴, 문, 손잡이, 내부 구조 등)**로 자동으로 쪼개줍니다.

• 비유: 레고 상자를 열자마자, AI 가 "이건 바퀴, 이건 창문, 이건 지붕"이라고 말하며 완벽하게 분류해 주는 것과 같습니다.
• 특이점: AI 가 만든 이상한 3D 모델이나, 안쪽이 보이지 않는 물체 (예: 옷을 입은 로봇) 의 속까지 분해할 수 있습니다. 기존 모델은 옷을 입은 로봇의 속을 볼 수 없었지만, PartSAM 은 옷을 벗겨내지 않아도 속을 볼 수 있습니다.

---

4. 왜 이것이 중요한가요?

이 기술은 미래의 3D 세상을 바꿀 것입니다.

• AR/VR: 가상 현실에서 물건을 고장 나게 하거나, 부품을 교체할 때 정확한 분해가 가능해집니다.
• 로봇 공학: 로봇이 물건을 잡을 때, "손잡이" 부분을 정확히 인식하여 안전하게 들 수 있습니다.
• 게임/영화: 복잡한 3D 캐릭터나 배경을 자동으로 분해하여 애니메이션을 만들거나 수정하는 작업이 훨씬 쉬워집니다.

요약

PartSAM은 **"2D 사진으로 3D 를 추측하던 시대"**를 끝내고, **"3D 세계 자체를 이해하고 분해하는 시대"**를 열었습니다. 마치 투명한 유리상자를 통해 물체의 속까지 꿰뚫어 보며, 한 번의 클릭이나 자동 분해로 어떤 3D 물체든 의미 있는 부분으로 나누어주는 초능력의 마법사라고 생각하시면 됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 3D 부분 분할의 한계: 3D 객체를 구성 요소 (부분) 로 분할하는 작업은 컴퓨터 비전과 그래픽스의 핵심 문제이나, 기존 방법들은 고정된 분류 체계 (Taxonomy) 에 의존하여 미처 보지 못한 객체나 새로운 부분 정의에 대한 일반화 능력이 부족했습니다.
• 기존 2D 기반 접근법의 결함: 최근 연구들은 SAM(Segment Anything Model) 과 같은 2D 기초 모델을 3D 로 확장 (Lifting) 하려는 시도를 했습니다. 그러나 이 방식은 다음과 같은 근본적인 한계가 있습니다.
  • 표면만 이해: 다중 뷰 2D 마스크를 3D 로 투영하는 과정은 객체의 내면 구조 (Interior structure) 를 포착하지 못해 표면만 이해하는 수준에 그칩니다.
  • 제어력 부족: 클러스터링 기반의 분할 방식은 사용자가 원하는 특정 부분을 정확히 지시하기 어렵고, 분할 결과가 파편화되거나 불필요한 세분화가 발생할 수 있습니다.
  • 확장성 문제: 3D 데이터에 직접 학습되지 않아 대규모 3D 데이터셋에 대한 확장성이 떨어집니다.

2. 제안 방법론 (Methodology)

저자들은 PartSAM을 제안하며, 이는 2D 기반의 간접 학습이 아닌 대규모 3D 데이터 (Native 3D Data) 에 직접 학습된 최초의 프롬프트 기반 (Promptable) 3D 부분 분할 모델입니다.

A. 아키텍처 (Architecture)

• 삼면 (Triplane) 기반 이중 분기 인코더 (Dual-branch Encoder):
  • 구조: 입력 3D 형상을 연속적인 삼면 (Triplane) 특징 필드로 인코딩합니다.
  • 이중 분기 설계:
    1. 동결된 분기 (Frozen Branch): SAM 에서 학습된 2D 사전 지식 (Prior) 을 보존하기 위해 PartField 의 가중치를 동결하여 사용합니다.
    2. 학습 가능한 분기 (Learnable Branch): 대규모 3D 데이터에서 고유한 3D 부분 표현을 학습합니다. 좌표뿐만 아니라 법선 벡터 (Normal) 와 RGB 색상 정보를 추가 입력받아 국소적인 형상 디테일을 강화합니다.
  • 효과: 2D 의 강력한 사전 지식을 유지하면서 대규모 3D 데이터에 대한 확장성을 확보하고, 3D 기하학적 구조를 정밀하게 이해합니다.
• 프롬프트 가이드 마스크 디코더 (Prompt-Guided Mask Decoder):
  • SAM 의 아키텍처를 차용하여, 사용자 프롬프트 (양/음성 클릭 포인트) 를 기반으로 이진 분할 마스크를 생성합니다.
  • IoU 토큰: 예측된 마스크의 품질을 추정하는 IoU 토큰을 도입하여, 여러 후보 마스크 중 가장 신뢰할 수 있는 것을 선택합니다.
  • 상호작용: 단일 프롬프트로도 정확한 분할이 가능하며, 다중 프롬프트를 통해 점진적으로 분할을 정제할 수 있습니다.

B. 데이터 큐레이션 파이프라인 (Data Curation Pipeline)

대규모 3D 부분 분할 데이터 부족 문제를 해결하기 위해 모델 인 더 루프 (Model-in-the-loop) 주석을 도입했습니다.

1. 1 단계 (기존 데이터 정제): Objaverse 등 기존 3D 자산에서 아티스트가 주석한 장면 그래프나 연결 요소를 활용하여 약 18 만 개의 형상과 200 만 개의 부분 쌍을 추출합니다.
2. 2 단계 (모델 기반 확장): 1 단계 데이터로 사전 학습된 PartSAM 을 활용하여, 기존에 분할이 어려웠던 과도하게 파편화된 (Over-fragmented) 고해상도 메쉬에 대해 PartField 를 사용하여 후보 마스크를 생성합니다.
3. 필터링: 생성된 마스크를 PartSAM 이 상호작용 시뮬레이션을 통해 검증합니다. (예: 초기 프롬프트로 IoU > 60 또는 10 회 상호작용 후 IoU > 90 인 경우만 유효한 주석으로 채택).
4. 결과: 최종적으로 500 만 개 이상의 3D 형상 - 부분 쌍으로 구성된 대규모 고품질 데이터셋을 구축했습니다.

C. 자동 분할 모드 ("Segment Every Part")

• 단일 프롬프트가 없는 상태에서도 전체 형상을 자동으로 분해하는 기능을 제공합니다.
• FPS(Farthest Point Sampling) 를 통해 점들을 샘플링하고, 이를 프롬프트로 사용하여 여러 후보 마스크를 생성한 후, IoU 점수와 비최대 억제 (NMS) 를 적용하여 중복을 제거하고 의미 있는 부분들을 자동으로 추출합니다.

3. 주요 기여 (Key Contributions)

1. Native 3D 학습 모델: 2D 마스크를 3D 로 투영하는 기존 방식과 달리, 대규모 3D 데이터에 직접 학습된 최초의 프롬프트 기반 3D 부분 분할 모델 (PartSAM) 을 제안했습니다.
2. 확장 가능한 아키텍처: 2D 사전 지식 (SAM) 과 3D 고유 표현을 동시에 학습하는 이중 분기 인코더를 설계하여, 대규모 3D 데이터에 대한 확장성과 일반화 능력을 극대화했습니다.
3. 대규모 데이터 구축: 모델 인 더 루프 주석 파이프라인을 통해 500 만 개 이상의 고품질 3D 부분 데이터셋을 구축하여 데이터 부족 문제를 해결했습니다.
4. 성능 및 적용성: 인터랙티브 분할 및 자동 분할 모두에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 보였으며, 3D 객체의 내부 구조까지 정확하게 분할할 수 있는 능력을 입증했습니다.

4. 실험 결과 (Results)

• 인터랙티브 분할 (Interactive Segmentation):
  • PartObjaverse-Tiny 및 PartNet-E 데이터셋에서 Point-SAM 을 포함한 기존 방법들을 압도했습니다.
  • 특히 단일 프롬프트 (IoU@1) 기준에서 Point-SAM 대비 약 91% 의 상대적 개선을 보였습니다 (PartObjaverse-Tiny 에서 29.4 → 56.1).
  • 단일 클릭으로도 occlusion(가려진 부분) 을 포함한 완전한 부분 분할이 가능함을 시각적으로 증명했습니다.
• 클래스 무관 자동 분할 (Class-Agnostic Automatic Segmentation):
  • "Segment Every Part" 모드에서 SAMesh, PartField 등 기존 방법들보다 20% 이상의 IoU 향상을 기록했습니다.
  • AI 생성 메쉬 (Hunyuan3D 등) 와 복잡한 내부 구조를 가진 객체에서도 SAMesh 가 표면만 분할하는 반면, PartSAM 은 내부 구조 (예: 자동차 내부, 가방 안쪽) 를 정확하게 분할했습니다.
• 확장성 분석: 학습 데이터 크기가 4 만 개에서 50 만 개로 증가함에 따라 모델 성능이 지속적으로 향상되어, 대규모 3D 데이터의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 3D 기초 모델의 새로운 방향: PartSAM 은 2D 기초 모델 (SAM) 의 성공을 3D 영역으로 성공적으로 확장하면서도, 2D 의 한계 (표면만 이해) 를 극복하고 3D 기하학적 구조와 내부 부분을 이해하는 진정한 3D 기초 모델의 토대를 마련했습니다.
• 실용적 응용: AR/VR 콘텐츠 편집, 로봇 조작, 3D 자산 생성 등 다양한 다운스트림 작업에 즉시 적용 가능한 유연한 인터랙션과 높은 일반화 능력을 제공합니다.
• 미래 전망: 대규모 3D 데이터 학습이 3D 부분 이해의 새로운 패러다임을 열었으며, 향후 더 풍부하고 일반화된 3D 지각 모델 개발의 기반이 될 것으로 기대됩니다.

요약하자면, PartSAM은 2D 기반의 간접 학습을 버리고 대규모 3D 데이터에 직접 학습된 아키텍처와 데이터 파이프라인을 통해, 3D 객체의 내부 구조까지 정확하게 분할할 수 있는 획기적인 모델입니다.