1. 연구 배경 및 문제 정의 (Problem)

• 배경: 컴퓨터 그래픽스, 로봇 공학, 가상 현실 등 다양한 분야에서 객체의 개별 부품 (Part) 을 분리하고 조작할 수 있는 구조화된 3D 생성에 대한 수요가 급증하고 있습니다.
• 기존 방법의 한계:
  • 암시적 분할 (Implicit Segmentation): 잠재 벡터 (Latent vectors) 를 그룹화하는 방식은 분할의 세밀함 (Granularity) 을 제어하기 어렵고, 부품 수준의 기하학적 정밀도가 낮습니다.
  • 명시적 분할 (Explicit Segmentation): 생성 후 분할 (Generate-then-segment) 방식을 사용하는 경우, 대규모 주석 데이터로 학습된 외부 분할기 (Segmenter) 에 의존해야 하며, 이는 계산 비용이 크고 오류 전파의 원인이 됩니다.
  • 기하학적 열화: 작은 부품이나 얇은 구조물의 경우, 생성 과정에서 기하학적 정밀도가 손실되는 문제가 빈번하게 발생합니다.
• 핵심 관찰: 전체 객체의 기하학을 학습하는 과정에서 부품 인식 (Part Awareness) 이 자연스럽게 발현됨을 발견했습니다. (Hunyuan3D-2.1 의 어텐션 맵 분석을 통해 동일한 의미론적 부품 내의 잠재 변수들이 강하게 상관관계를 가진다는 것을 확인)

2. 제안 방법론 (Methodology)

저자들은 UniPart라는 이미지 기반의 2 단계 잠재 확산 (Latent Diffusion) 프레임워크를 제안합니다.

가. Geom-Seg VecSet (통합 잠재 표현)

• 개념: 객체의 전체 기하학과 부품 수준의 구조를 동시에 인코딩하는 통합 잠재 공간입니다.
• 구현: 기존 VecSet 기반 VAE 를 기반으로 하되, 기하학적 특징과 분할 정보를 결합합니다.
  • 인코더: 메쉬에서 샘플링된 점 (위치 + 법선 + 부품 라벨) 을 입력받아 잠재 벡터 $Z$를 생성합니다.
  • 디코더: $Z$를 두 가지로 디코딩합니다.
    1. 기하학적 디코더: 메쉬 재구성을 위한 임시 필드 (SDF 등).
    2. 분할 디코더: SAM2 기반의 프롬프트 가능 분할 마스크를 생성합니다.
• 효과: 외부 분할기 없이도 전체 생성 학습 과정에서 부품 이해를 가능하게 하며, 재구성 품질을 유지하면서 명시적인 부품 추론을 지원합니다.

나. 2 단계 확산 파이프라인

1. 1 단계: 전체 수준 확산 (Whole-level Latent Diffusion)

   • 입력 이미지를 조건으로 하여 Geom-Seg VecSet을 생성합니다.
   • 이 과정에서 전체 객체의 기하학적 잠재 벡터와 해당 잠재 벡터에 매핑된 **부품 분할 마스크 (Latent Part Segmentation)**가 동시에 생성됩니다.
   • 명시적인 분할 마스크를 생성함으로써 분할 세밀도를 유연하게 제어할 수 있습니다.

2. 2 단계: 부품 수준 확산 (Part-level Latent Diffusion)

   • 1 단계에서 생성된 전체 잠재 ($\hat{Z}_0$) 와 분할된 부품 잠재 ($X_i$) 를 조건으로 사용하여 각 부품의 고정밀 기하학을 생성합니다.
   • 이중 공간 생성 (Dual-Space Generation): 각 부품에 대해 두 가지 공간에서 잠재 변수를 예측합니다.
     • 전체 좌표 공간 (Global Coordinate Space): 부품의 크기, 위치, 전체 객체 내 배치 관계를 인코딩.
     • 정규화 표준 공간 (Normalized Canonical Space): $[0,1]^3$ 좌표계 내에서 부품의 고충실도 기하학적 디테일을 인코딩.
   • 이중 공간의 장점: 표준 공간에서 생성된 고품질 기하학을 전체 공간의 위치/크기 정보로 변환하여 조립함으로써, 부품의 기하학적 열화를 방지하고 일관된 조립을 가능하게 합니다.
   • Attention Mechanism: 전체 객체와 부품 간의 관계를 학습하기 위해 'Global-Local Attention'을 도입하여 두 공간의 정보를 결합합니다.

3. 주요 기여 (Key Contributions)

1. Geom-Seg VecSet 도입: 전체 객체 생성 학습으로부터 효율적인 부품 수준 이해를 가능하게 하는 통합 기하학 - 분할 잠재 표현을 처음 제안했습니다.
2. UniPart 프레임워크 개발:
   • 기하학 생성과 잠재 분할을 동시에 수행하는 1 단계.
   • 전체 및 부품 잠재에 조건부인 이중 공간 확산을 통해 원활한 부품 조립과 고정밀 기하학을 생성하는 2 단계.
3. 성능 입증: 기존 방법들 (PartPacker, PartCrafter, HoloPart 등) 보다 우수한 분할 제어력과 부품 수준의 기하학적 품질을 달성함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: 30 만 개의 3D 객체 (부품 분할 주석 포함) 를 구축하여 학습 및 평가에 사용했습니다.
• 정량적 평가:
  • 기하학적 품질: Chamfer Distance (CD), F-Score, IoU 지표에서 모든 베이스라인 방법 (HoloPart, OmniPart, X-Part 등) 을 압도적으로 상회했습니다. 특히 CD 에서 0.72 로 가장 낮은 오차를 기록했습니다.
  • 분할 정확도: 인간 어노테이터가 평가한 50 개 객체 데이터셋에서 mIoU 0.7222 를 기록하여 기존 SOTA 분할 모델 (SAMesh, PartField 등) 보다 높은 성능을 보였습니다.
• 정성적 평가:
  • 복잡한 구조의 객체에서도 일관된 부품 분할과 자연스러운 조립이 가능함을 시각적으로 확인했습니다.
  • Ablation Study 를 통해 '정규화 표준 공간 (NCS) 생성', '로컬 어텐션', '공간 임베딩 주입'이 각각 부품의 디테일, 공간적 일관성, 조립 성공률에 결정적인 역할을 함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 외부 의존성 제거: 별도의 대규모 주석 데이터로 학습된 외부 분할기 없이, 생성 모델 내부에서 자연스럽게 부품 구조를 학습하고 분할할 수 있음을 증명했습니다.
• 고품질 부품 생성: 기존 방법들이 겪던 기하학적 열화 (특히 작은 부품) 문제를 이중 공간 생성 기법으로 해결하여, 편집 가능하고 물리적으로 타당한 3D 콘텐츠 생성을 가능하게 했습니다.
• 응용 가능성: 로봇 조작, 모듈형 디자인, 물리 시뮬레이션 등 부품 단위의 제어가 필요한 다양한 3D 애플리케이션에 핵심 기술로 활용될 수 있습니다.

이 논문은 3D 생성 모델이 단순히 형태를 만드는 것을 넘어, 객체의 **구조적 의미 (Semantic Structure)**를 내재화하고 이를 통해 제어 가능한 고품질 3D 콘텐츠를 생성할 수 있는 새로운 패러다임을 제시합니다.