기술 요약: Seed3D 2.0

문제 정의

Seed3D 1.0 은 시뮬레이션 준비가 된 3D 애셋 생성의 기반을 마련했으나, 두 가지 중요한 격차로 인해 XR, 로봇공학, 3D 프린팅과 같은 고정밀 생산 환경에서의 배포가 방해받았습니다:

1. 품질 격차: Seed3D 1.0 을 포함한 기존 모델들은 날카로운 모서리를 가진 기하학적으로 규칙적인 형태와 다양한 조명 조건에서 일관성을 유지하는 물리 기반 렌더링 (PBR) 재질을 생성하는 데 어려움을 겪습니다. 단일 단계 생성 파이프라인은 종종 글로벌 구조 학습과 고주파 세부 사항 복원 간의 균형을 맞추지 못합니다.
2. 기능 격차: 하위 응용 프로그램들은 점점 더 일관된 다중 객체 장면, 기능적으로 분해된 객체, 그리고 부분 수준의 물리적 상호작용을 지원하는 애셋을 요구합니다. Seed3D 1.0 은 부분 수준의 분해나 관절화 기능이 없는 정적 전체 메시에 국한되었습니다.

방법론

Seed3D 2.0 은 엄격한 데이터 파이프라인을 지원하며, 기하학, 텍스처, 시뮬레이션 준비 기능을 포괄하는 시스템 업그레이드를 통해 이러한 격차를 해소합니다.

1. 기하학 생성

시스템은 글로벌 구조 학습과 고주파 세부 사항 복원을 분리하기 위해 거칠기에서 정밀함으로의 2 단계 파이프라인을 사용합니다:

• Seed3D-VAE: 국소성 인식 변분 오토인코더가 연속적인 3D 기하학을 컴팩트한 VecSet 표현으로 압축합니다. 이는 기하학적으로 복잡한 영역에 표현 능력을 집중시키기 위해 국소성 인식 잠재 집계를 활용하고, 재구성 충실도를 유지하면서 디코딩 지연 시간을 줄이기 위해 콘텐츠 적응형 희소 라우팅 메커니즘을 사용합니다.
• Seed3D-DiT: 정류 흐름 기반 확산 트랜스포머가 두 단계로 작동합니다:
  • 1 단계 (거친 구조): 이미지 조건부 입력으로부터 기하학적 기반을 생성하여 글로벌 위상을 확립합니다.
  • 2 단계 (세부 사항 정밀화): 1 단계 출력을 정밀화하여 고주파 세부 사항을 복원합니다. 이 단계는 거친 형태 사전 지식(부분적으로 확산된 1 단계 잠재 변수) 과 거친 기하학에서 파생된 보정된 위치 인코딩으로 정규화되어 구조적 규칙성과 날카로운 모서리 복원을 보장합니다.

2. 텍스처 및 재질 생성

Seed3D 2.0 은 이전 모델의 캐스케이드 파이프라인을 통합 PBR 모델로 대체합니다:

• 직접 생성: 모델은 참조 이미지와 3D 기하학으로부터 다중 뷰 알베도 및 메탈릭-러프니스 (MR) 맵을 직접 생성하여, 다중 뷰 RGB 합성으로 인한 중간 오류 누적을 제거합니다.
• 혼합 전문가 (MoE): MoE 아키텍처는 비례적인 계산 오버헤드 없이 더 높은 해상도의 생성과 풍부한 시각적 패턴 (텍스트 및 미세한 텍스처 포함) 을 가능하게 합니다.
• VLM 기반 조건부 입력: 알려지지 않은 조명 하에서 재질 추정의 불완전성을 해결하기 위해, 비전 - 언어 모델 (VLM) 이 재질 유형, 표면 특성 등의 의미적 사전 지식을 조건부 토큰으로 제공하여 생성을 안정화하고 물리적 타당성을 향상시킵니다.

3. 시뮬레이션 준비 생성 모델 스위트

정적 생성과 인터랙티브 시뮬레이션 간의 격차를 해소하기 위해 Seed3D 2.0 은 세 가지 학습 불필요 또는 미세 조정 모듈을 도입합니다:

• 장면 레이아웃 계획: 텍스트, 이미지 또는 비디오 입력으로부터 공간적으로 일관된 객체 레이아웃을 추론합니다. 시각적 입력의 경우 깊이 추정과 VLM 을 활용하여 글로벌 구조를 복원하며, 텍스트 입력의 경우 미세 조정된 LLM 이 공간 추론을 처리하여 객체 설명과 레이아웃을 생성합니다.
• 부분 수준 생성: Seed3D-PartSeg(표면 분할용) 와 Seed3D-PartDiT(부분 인식 재구성용) 를 사용하는 "인지 후 생성" 파이프라인을 통해 애셋을 문맥적으로 의미 있는 구성 요소 (예: 문, 손잡이) 로 분해합니다.
• 관절화 애셋 생성: VLM 의 의미적 사전 지식, 분해된 메시의 기하학적 사전 지식, 이미지 - 비디오 생성 모델의 동적 사전 지식을 결합하여 운동학적 구조 (관절 유형, 축, 운동 범위) 를 추론합니다. 출력은 물리 엔진을 위해 URDF 와 같은 표준 형식으로 내보내집니다.

4. 데이터 및 학습

• 데이터 파이프라인: 형식 표준화, 카테고리별 시각적 중복 제거, VLM 점수 매기기/캡션 작성, 애셋 큐레이션, $L_\infty$-영감 형식을 사용한 날카로움 보존 수밀 리메싱, 조건부 렌더링을 포함한 6 단계 전처리 프레임워크가 데이터 품질을 보장합니다.
• 학습 전략:
  • 기하학: 사전 학습 (PT), 해상도가 증가하는 지속 학습 (CT), 그리고 지도 미세 조정 (SFT) 을 포함하는 계층적 점진적 파이프라인입니다. 2 단계는 특히 보정된 인코딩을 통한 정규화를 포함합니다.
  • 텍스처: MoE 기반 PBR 모델을 다양한 데이터로 사전 학습한 후, 복잡한 조명 하에서 재질 추정을 정밀화하기 위해 VLM 생성 재질 설명으로 SFT 를 수행하는 2 단계 전략입니다.
• 추론 효율성: 점진적 증류 파이프라인이 추론 비용을 줄이기 위해 사용됩니다. 먼저 분류기 없는 가이드 (CFG) 메커니즘을 증류한 후, 점진적 단계 증류를 적용하여 샘플링 단계를 반복적으로 반으로 줄여 시각적 충실도와 일관성을 유지합니다.

주요 기여

1. 향상된 기하학: 국소성 인식 VAE 를 갖춘 2 단계 DiT 파이프라인은 단일 단계 접근법보다 우수한 기하학적 날카로움과 구조적 정밀도를 달성합니다.
2. 통합 PBR 텍스처: MoE 확장 및 VLM 조건부 입력을 갖춘 통합 모델은 더 높은 해상도의 텍스처, 정확한 재질 경계, 그리고 향상된 텍스트 렌더링 충실도를 제공합니다.
3. 시뮬레이션 준비 기능: 장면 레이아웃 계획, 부분 인식 분해, 학습 불필요 관절화 생성의 도입은 일관된 장면 구성과 부분 수준의 물리적 상호작용을 가능하게 합니다.
4. 생산 확장성: 점진적 증류 전략은 품질을 유지하면서 추론 비용을 크게 줄여 생산 규모 배포를 용이하게 합니다.

결과

대규모 인간 선호도 연구에서 Seed3D 2.0 은 Hunyuan3D-2.5, Hunyuan3D-3.1, Tripo 3.0, Rodin Gen2 v1.9, HiTem v2.0 등 최근 5 개의 상업적 모델과 비교되었습니다:

• 형상 전용 생성: Seed3D 2.0 은 Hunyuan3D-3.1 대비 **55.2%**에서 Seed3D 1.0 대비 **98.3%**까지의 승리율을 달성했습니다.
• 종단간 텍스처링 애셋 생성: Seed3D 2.0 은 모든 기준 모델 간에 **69.0%**에서 **89.9%**까지 일관된 승리율을 달성했습니다.
  정성적 비교는 Seed3D 2.0 이 날카로운 구조적 세부 사항을 가진 고정밀 기하학과 신뢰할 수 있는 텍스트 렌더링을 포함한 우수한 텍스처 분해를 생성함을 확인시켜 줍니다.

의의

Seed3D 2.0 은 정적 애셋 생성을 넘어 생산 등급, 시뮬레이션 준비 출력으로 나아가는 3D 콘텐츠 생성의 체계적 발전을 나타냅니다. 품질과 기능 격차를 해소함으로써, 이 시스템은 XR, 로봇공학, 그리고 embodied AI 의 실제 배포 요구 사항 간의 간극을 메우는 생성형 3D 모델링과 현실 세계 배포 요구 사항 사이의 가교 역할을 합니다. 의미적 조건부 입력, 부분 수준 분해, 그리고 관절화 추론의 통합은 인터랙티브하고 물리적으로 타당한 3D 환경을 생성하기 위한 통합된 기반을 제공합니다.