기술 요약: Home3D 1.0

문제 정의

인테리어 디자인 및 이커머스 애플리케이션은 단순히 "그럴듯한" 일반적인 객체를 생성하는 것을 넘어, 고충실도의 3D 에셋 생성을 요구합니다. 임의의 3D 생성 작업과 달리, 가구와 홈 데코는 정확한 실루엣, 비율, 구조적 논리, 그리고 눈에 보이는 마감 처리를 포함한 특정 제품의 정체성을 보존해야 합니다. 현재의 방식들은 불안정한 메쉬 품질(노이즈가 있는 표면, 끊어진 얇은 부품, 약한 대칭성), 제한된 텍스처 충실도(흐릿한 직물, 일관되지 않은 패턴), 그리고 부정확한 재질 표현(알베도, 거칠기, 금속성 반응과 같은 실제 PBR 속성 복구 실패)으로 인해 이 분야에서 한계를 보입니다. 또한, 기존의 파트 생성 방식은 일반적으로 재질(예: 패브릭, 나무, 금속)이 아닌 기능(예: 다리, 좌석)에 따라 객체를 분해하므로, 재질 영역을 기준으로 에셋을 편집하는 인테리어 디자이너들의 활용도를 제한합니다.

방법론

Home3D 1.0은 단일 참조 이미지를 통해 워터타이트(watertight) 메쉬와 완전한 PBR 재질 커버리지, 그리고 재질 인식형 시맨틱 파트를 생성하도록 설계된 모듈형 4단계 이미지 투 3D 생성 시스템입니다. 이 파이프라인는 의존성에 따라 기하학(geometry), 텍스처, 재질, 파트를 순차적 또는 병렬적으로 처리합니다.

1. 기하학적 재구성 (Geometry Reconstruction)

시스템은 Geometry VAE와 Flow-Matching Diffusion Transformer (DiT)를 결합한 조대-정밀(coarse-to-fine) 잠재 SDF 생성 파이프라인을 채택합니다.

• 데이터 처리: 학습 데이터에는 오픈 소스 모델(ObjaverseXL)과 고품질 프라이빗 가구 모델이 포함됩니다. 에셋은 엄격한 클리닝, 정준 방향(canonical orientation)으로의 정규화, 그리고 희소 SDF 및 Marching Cubes를 이용한 워터타이트 재구성을 거칩니다.
• 아키텍처:
  • Geometry VAE: Perceiver 스타일의 교차 주의(cross-attention) 메커니즘을 사용하여 표면 포인트(날카로운 모서리 지표 포함)를 압축된 잠재 표현으로 인코딩합니다. 디코더는 연속적인 부호 거리 함수(Signed Distance Field, SDF)를 예측합니다.
  • Coarse DiT: 위상(topology)과 비율을 보존하면서 전역적으로 일관된 잠재 형상을 생성합니다.
  • Refine DiT: Coarse 기하학을 공간적 사전 정보(voxelized)로 받아 로컬 디테일, 날카로운 경계, 얇은 구조를 정교화합니다.
• 학습: VAE는 SDF 회귀 및 KL-divergence 손실 함수로 학습됩니다. DiT 단계는 점진적 학습 스케줄을 갖춘 flow-matching 목적 함수를 사용합니다.

2. 텍스처 생성 (Texture Generation)

이 단계는 멀티뷰 알베도를 예측하고 보이지 않는 영역을 완성함으로써 완전한 3D 텍스처를 생성합니다.

• 프레임워크: 모델은 참조 이미지와 기하학에 조건화되어 여러 정준 뷰포인트로부터 알베도 맵을 공동으로 예측합니다. 이는 교차 뷰 일관성을 보장하고 조명 아티팩트를 줄여줍니다.
• 완성(Completion): 예측된 맵은 메쉬에 재투영됩니다. 이후 3D 텍스처 완성 모듈은 텍스처를 3D 공간 내의 연속적인 컬러 필드로 모델링하여 누락된 표면 색상을 추론하며, 이를 통해 UV 레이아웃 민감도를 완화합니다.
• 학습: 모델은 확산 손실(diffusion loss), 일관성 정규화, 이미지 수준의 재구성 제약 조건, 그리고 로컬 디테일을 보존하기 위한 그래디언트 기반 정규화를 결합하여 학습됩니다.

3. 파트 인식형 PBR 재질 검색 (Part-Aware PBR Material Retrieval)

Home3D는 PBR 맵을 처음부터 생성하는 대신, 큐레이션된 라이브러리에서 고품질 재질을 검색하여 물리적 일관성을 확보합니다.

• MatWeaver (세그멘테이션): 합성 멀티뷰 시퀀스에 대한 비디오 기반 세그멘테이션(SAM2)을 사용하여 3D 메쉬를 시맨틱 구성 요소로 분해합니다. 세그멘테이션 트랙은 mIoU를 통해 병합되며, UV 공간 투표를 통해 3D로 다시 투영되어 깨끗한 페이스 마스크를 생성합니다.
• 계층적 검색:
  1. 정렬(Alignment): 포즈 추정 모듈가 3D 파트 마스크를 입력 스튜디오 이미지와 정렬합니다.
  2. 추론(Reasoning): 시각-언어 모델(VLM)이 각 구성 요소에 대한 설명을 생성합니다.
  3. 임베딩 및 재순위화(Embedding & Reranking): 교차 모달 임베딩(Qwen3-VL)을 통해 계층적 재질 데이터베이스(Fabric, Leather, Wood 등으로 분류됨)에서 상위 후보를 검색합니다. 동결된 VLM이 전문가 판사 역할을 하여 시각적 및 시맨틱 일관성을 바탕으로 후보를 재순위화합니다.
• 베이킹(Baking): 선택된 PBR 속성(metallic, roughness, normal)은 Draco 압축이 적용된 엔진 준비 완료된 통합 텍스처 맵으로 베이킹됩니다.

4. 재질 인식형 파트 생성 (Material-Aware Part Generation)

이 모듈은 참조 이미지와 재구성된 기하학에 조건화되어 시맨틱 파트 메쉬를 생성하며, 이를 통해 재질 수준의 편집을 가능하게 합니다.

• 아키텍처: 순차적 파트 생성기와 달리, Home3D는 PartVAE와 PartDiT를 사용하여 단일 포워드 패스(forward pass) 내에서 여러 파트별 SDF 필드를 디코딩합니다.
  • PartVAE: 멀티 파트 포인트 클라우드를 공유 잠재 코드(latent code)로 인코딩하며, 여기서 파트 ID는 기하학적 특징과 함께 임베딩됩니다.
  • PartDiT: 확산 트랜스포머는 이미지 토큰(DINOv2)과 기하학 잠재 변수에 조건화되어 잠재 공간을 디노이징합니다. 디코더는 고정된 세트의 SDF 채널(예: 32개 헤드)을 출력하며, 각 채널은 특정 파트에 대응합니다.
• 효율성: 이 설계는 각 파트에 대해 별도의 디코더를 실행하는 확장 비용을 피하여, 재질 편집 가능한 구성 요소를 효율적으로 생성할 수 있게 합니다.

주요 기여 (Key Contributions)

1. 제품 충실도가 높은 기하학 및 텍스처: 가구 벤치마크에서 기존 시스템보다 얇은 지지대와 날카로운 경계를 더 잘 보존하며 우수한 기하학 점수(CD 0.4936, EMD 5.174, F1@0.01 0.6329)를 달성하는 조대-정밀 잠재 SDF 파이프라인을 제공합니다.
2. 고품질 PBR 재질 생성: MatWeaver와 계층적 멀티모달 검색을 사용하는 검색 기반 프레임워크를 통해 정확하고 엔진 준비가 된 PBR 재질을 할당함으로써, 생성형 PBR 맵 합성의 불안정성을 해결합니다.
3. 재질 인식형 파트 생성: 단일 포워드 패스로 시맨틱 파트 메쉬를 생성하는 새로운 멀티 헤드 SDF 디코더를 도입하여, 기능적 파트가 아닌 재질 영역(패브릭, 나무, 금속 등) 단위로 에셋을 편집하는 인테리어 디자인 워크플로우를 용이하게 합니다.
4. 모듈형 시스템 설계: 특정 실패 모드(기하학 노이즈, 텍스처 불일치, 재질 정체성, 파트 분해)를 전문화된 모듈로 격리하여 독립적인 평가와 최적화가 가능한 파이프라인을 구축했습니다.

평가 결과

시스템은 세 가지 폐쇄형 소스 이미지 투 3D 시스템(Hunyuan3D-3.0, Seed3D 1.0, Tripo 3.0)을 대상으로 큐레이션된 100개의 가구 벤치마크에서 평가되었습니다.

• 기하학: Home3D 1.0은 모든 지표에서 가장 좋은 점수(최저 CD 및 EMD, 최고 F1)를 기록하며, 특히 뒷면 지지대나 내부 프레임과 같이 가려진 영역에서의 우수한 구조적 완결성을 입증했습니다.
• 외관: PBR 렌더링 측면에서 Home3D 1.0은 CLIP-I 및 LPIPS 지표에서 앞서며, 패브릭 직조나 나무 결과 같은 고주파 디테일을 더 잘 보존했습니다.
• 파트 분해: PartVAE는 효율적인 디코딩(단일 포워드 패스)을 보여주었으며, 재질을 뒤섞거나 파트를 시맨틱하게 분리하지 못하는 베이스라인 모델들에 비해 더 깨끗하고 재질 일관성이 있는 파트 분할을 생성했습니다.

의의

Home3D 1.0은 일반적인 3D 개연성보다 제품의 정체성과 재질 편집 가능성을 우선시함으로써 인테리어 디자인 및 이커머스의 구체적인 제약 조건을 해결합니다. 생성 과정을 전문화된 모듈로 분리함으로써, 본 시스템은 단일 이미지 기반 3D 생성과 프로덕션 준비가 된 에셋 생성 사이의 간극을 메웁니다. 가구를 재질 편집 가능한 파트로 분해하는 능력은 디자이너가 수동 재세그멘테이션 없이도 구성 요소(예: 패브릭을 가죽으로 교체)를 교체할 수 있게 하여, 전문적인 디자인 애플리케이션에 필요한 높은 충실도를 유지하면서 대규모 에셋 생산을 위한 확장 가능한 솔루션을 제공합니다.