기술 요약: PartMat: 단일 전역 잠재 변수를 이용한 재질 인식 3D 파트 분해

문제 정의

현재의 3D 생성 및 분해 방법들은 주로 기능적 의미론(예: 의자 다리, 좌석)이나 기하학적 구조에 집중합니다. 그러나 인테리어 디자인이나 체화된 시뮬레이션(embodied simulation)과 같은 실질적인 응용 분야에서는 편집 가능한 재질 경계(예: 패브릭, 나무, 금속, 유리 영역의 분리)를 기준으로 한 분해가 필요합니다. 기존 방식들은 두 가지 결정적인 한계에 직면해 있습니다:

1. 비효 efficiency(비효율성): 파트를 독립적으로 생성하는 방식(예: PartCrafter, PartPacker)은 파트의 수에 따라 계산 비용이 선형적으로 증가하여, 재질 영역이 많은 객체에 대해 비효율적입니다.
2. 불일치성(Inconsistency): 별도의 구성 요소 표현 방식은 전역적인 조율 능력을 약화시켜, 재질 영역이 잘못 할당되거나, 동일한 재질의 연결된 구성 요소가 분리되거나, 부품이 겹치거나 중복되는 문제를 초래합니다. 또한, 텍스처를 먼저 생성한 후 이를 분할하는 계단식 파이프라인은 외관 생성에서 기하학적 분해로 오류를 전파합니다.

본 연구의 목표는 재질 인식 3D 파트 분해입니다. 즉, 참조 이미지와 (파트 주석이 없는) 단일 전체 객체 기하 구조 메쉬가 주어졌을 때, 객체를 편집 가능한 재질 할당을 엄격히 따르는 경계를 가진 파트로 분해하여 독립적인 편집과 속성 할당을 가능하게 하는 것입니다.

방법론

PartMat는 단일 전역 잠재 변수(global latent)를 사용하여 멀티 파트 기하 구조를 표현하도록 설계된 3단계 프레임워크로, 추론 비용을 파트의 수로부터 분리합니다.

단계 I: PartVAE (통합 표현)

저자들은 멀티 컴포넌트 기하 구조를 위한 통합 표현을 학습하는 변이형 오토인코더인 PartVAE를 도입합니다.

• 아키텍처: Hunyuan3D 2.1 ShapeVAE 아키텍처를 변형했습니다. Part-aware Point Encoder는 표면 포인트(위치, 법선, 재질 ID, 날카로운 모서리 지표)를 처리하고, 이를 크로스 어텐션을 통해 **단일 전역 잠재 벡터($z$)**로 집계합니다.
• 디코딩: 파트를 순차적으로 디코딩하는 방식과 달리, PartVAE는 Multi-channel SDF Decoder를 채택합니다. 이 디코더는 단일 전역 잠재 $z$를 입력받아 $K$(예: 32)개의 부호 거리 함수(SDF) 채널을 단 한 번의 포워드 패스로 공동 디코딩합니다. 각 채널은 잠재적인 재질 파트에 대응합니다.
• 효율성: 잠재 변수의 크기와 디코더 패스 횟수가 실제 활성화된 파트의 수($M \le K$)와 관계없이 고정되어 있기 때문에, 디코딩 지연 시간은 파트 수와 무관하게 일정합니다.
• 학습 목적 함수: 모델은 유효한 파트에 대한 재구성 손실(reconstruction loss)과 존재하지 않는 파트가 제로 레벨 셋(zero level set)에서 벗어나도록 보장하는 억제 손실(suppression loss)을 사용하여 학습됩니다.

단계 II: PartDiT와 RL 정렬 (생성)

조건부 확산 모델인 PartDiT는 참조 이미지와 입력된 전체 객체 기하 구조로부터 전역 잠재 변수를 생성합니다.

• 아키텍처: Hunyuan3D 2.1 DiT를 기반으로 하며, 이미지 토큰(DINOv2로부터 추출)과 기하 토큰(동결된 PartVAE 인코더로부터 추출)에 각각 어텐션하는 별도의 크로스 어텐션 레이어를 사용합니다.
• RL 정렬: 파트 중첩 및 부정확한 재질 할당 문제를 해결하기 위해, 저자들은 **직접 그래디언트 강화 학습(Direct-Gradient Reinforcement Learning, RL)**을 사용합니다. 모든 샘플을 평가하기 위해 매번 메쉬로 디코딩하는 비용이 큰 대신, 동결된 PartVAE의 암시적 SDF 공간 내에서 직접 **미분 가능한 보상(differentiable reward)**을 계산합니다.
  • 매칭 보상 ($R_{match}$): 예측된 채널이 소프트 점유 유사도(soft occupancy similarity)와 미분 가능한 할당을 사용하여 그라운드 트루스 재질 영역과 일치하도록 유도합니다.
  • 중첩 페널티 ($R_{overlap}$): 서로 다른 예측된 구성 요소에 의한 동시 점유를 억제합니다.
  • 모델은 이 미분 가능한 보상을 최대화하는 손실 함수를 사용하여 미세 조정되며, 이를 통해 중첩을 억제하고 재질 경계를 정교화합니다.

단계 III: 파트 인식 희소 기하 구조 정밀화 (Refinement)

PartVAE는 일관된 기하 구조를 제공하지만, 압축된 잠재 변수로 인해 얇은 구조가 뭉개질 수 있습니다.

• 접근 방식: 고해상도 희소 복셀 플로우 매칭(sparse-voxel flow-matching) 모델이 거친 컴포넌트들을 정밀화합니다.
• 메커니즘: 정밀화 네트워크는 거친 파트, 전체 기하 구조, 그리고 참조 이미지에 의해 조건화됩니다. 결정적으로, 이 모델은 풀 셀프 어텐션(full self-attention)과 파트 내부 어텐션(within-part attention) 레이어를 교차 배치하는 Part Attention을 도입합니다. 이는 각 재질 슬롯의 정체성을 유지하면서도 재질 인터페이스 간의 통신을 허용하여, 매끄러운 경계를 보장하고 고주파 기하학적 세부 사항을 복구합니다.

주요 기여

1. PartVAE: 단일 전역 잠재 변수로 멀티 컴포넌트 기하 구조를 표현하는 최초의 VAE로, 디코딩 지연 시간을 파트 수로부터 성공적으로 분리했습니다.
2. PartMat 프레임워크: 다음을 통합하는 3단계 파이프라인을 제공합니다:
   • 정밀한 재질 분해 및 중첩 억제를 위한 직접 그래디언트 강화 학습.
   • 매끄러운 컴포넌트 경계를 갖춘 고해상도 기하 구조를 복구하기 위한 파트 인식 희소 플로우 정밀화 모델.
3. 성능: 약 300K 개의 재질 주석이 달린 객체에 대한 광범적인 실험을 통해, 기존 베이스라인과 대등한 기하학적 품질을 유지하면서도 최첨단(SOTA) 재질 분해 정확도(Sem-IoU)를 입증했습니다.

실험 결과

저자들은 약 300K 개의 가구 및 가전제품 데이터셋을 통해 PartMat을 평가했습니다.

• VAE 재구성: PartVAE는 단일 객체 VAE(Hunyuan2.1, TRELLIS2)와 비교하여 경쟁력 있는 기하 재구성(CD 및 F1 점수)을 달면서도 편집 가능한 재질 채널을 제공합니다. PartCrafter와 달리, 디코딩 지연 시간이 파트 수에 따라 선형적으로 증가하지 않고 거의 일정하게 유지됩니다(예: 32개 컴포넌트에 대해 약 1.7초).
• 이미지 투 3D 생성: 이미지 조건부 생성에서 PartMat은 재질 분해 정확도(Sem-IoU: RL 적용 시 50.51%, X-Part는 43.00%)와 기하학적 충실도(CD: 3.67 vs 5.13) 측면에서 베이스라인(X-Part, PartCrafter, PartPacker, HoloPart, OmniPart)을 크게 앞섭니다.
• 어블레이션 연구(Ablation Studies):
  • 표현 방식: 전역 멀티 채널 전략은 로컬 박스(얇은 구조에서 어려움을 겪음)나 팩킹된 세미(jagged한 경계를 생성함) 방식보다 우수한 성능을 보였습니다.
  • RL 정렬: 매칭 보상과 중첩 보상의 결 조합은 그라운드 트루스에 가장 근접한 분해를 구현하여, 공간적 충돌과 흐릿한 경계를 줄였습니다.
  • 정밀화: 희소 플로우 정밀화 모델은 압축된 잠те 변수에서 손실된 날카로운 모서리와 미세 구조를 성공적으로 복구했습니다.

의의 및 주장

본 논문은 PartMat이 3D 에셋 생성의 중요한 공백, 즉 구조화되고 재질 편집이 가능한 에셋을 효율적으로 생성하는 능력을 해결한다고 주장합니다. 기능 기반의 의미론에서 재질 경계로 전환함으로써, 이 방법은 인테리어 디자인(예: "도색된 나무"나 "브러시드 브라스"와 같은 특정 재질 교체) 및 물리 시뮬레이션(특정 영역에 별도의 마찰력이나 밀도 속성 할당)과 같은 다운스트림 애플리케이션을 가능하게 합니다.

저자들은 이 접근 방식이 파트의 복잡성과 관계없이 일정한 디코딩 지연 시간을 유지한다는 점을 강조하며, 이는 자기회귀(autoregressive) 또는 파트별 생성 방식에 비해 큰 장점입니다. 저자들은 PartMat을 단순한 기하학적 정확성을 넘어, 사실적인 렌더링과 상호작용에 필요한 물리적 재질과 의미론적으로 일치하는 3D 에셋을 만들기 위한 기초적인 단계로 포지셔닝합니다.

인정된 한계점:
이 방법은 고정된 컴포넌트 용량($K=32$)을 가정하며 고품질의 재질 주석에 의존합니다. 약지도 학습(weakly supervised) 대안은 경계 노이즈를 유발할 수 있습니다. 또한, 극도로 작은 세부 사항을 재구성하는 것은 여전히 도전 과제이며 추가적인 정밀화가 필요합니다.