기술 요약: CubePart: 오픈-어휘 기반 부분 제어 가능 3D 생성기

문제 정의

게임 및 시뮬레이션의 인터랙티브 3D 자산은 애니메이션, 물리, 그리고 스크립트된 동작을 지원하기 위해 특정 의미론적 부분으로 분해되어야 합니다. 그러나 현재 생성형 3D 모델들은 대개 단일 메쉬(monolithic meshes)를 생성하거나 응용 프로그램별 스키마와 일치하지 않는 임의의 부분 분해를 생성합니다. 2D 기반 (예: 이미지 분할) 에 의존하는 기존 방법들은 뷰 의존성으로 인해 숨겨진 부분을 제어하거나 완전한 3D 의미론적 구조를 정의하는 데 실패합니다. 또한, 기존 부분 인지 생성 접근법들은 고정된 분류 체계나 폐쇄형 어휘에 의존하는 경우가 많아, 다양한 하위 응용 프로그램에서 요구하는 다양하고 개방적인 부분 정의에 대응하는 능력이 제한적입니다. 따라서 생성 과정에서 사용자가 명시적으로 오픈-어휘 목록의 의미론적 부분을 지정할 수 있는 3D 네이티브, 스키마 기반 인터페이스가 시급히 필요합니다.

방법론

CubePart는 전역 텍스트 프롬프트와 사용자 정의 부분 스키마 (개방형 부분 이름 목록) 를 조건으로 다중 부분 3D 메쉬를 합성하도록 설계된 2 단계 생성 프레임워크입니다.

1. 데이터 엔진

오픈-어휘 학습을 지원하기 위해 저자들은 약 462 만 개의 자산과 202 만 개의 부분으로 구성된 대규모 데이터셋을 구축했습니다. 이 파이프라인은 다음과 같은 기법을 사용하여 비정형 메쉬에서 부분 레이블이 지정된 데이터를 자동 생성합니다:

• 전처리: 퇴화된 기하학을 필터링하고 2~32 개의 부분을 가진 자산만 유지합니다.
• VLM 기반 품질 필터링: 비전 - 언어 모델 (VLM) 을 사용하여 메쉬 결함, 스캔 아티팩트, 장면 수준의 콘텐츠를 식별합니다.
• 마크의 집합 (Set-of-Mark, SoM) 렌더링: 14 개의 궤도 뷰를 짝지어진 이미지로 렌더링하는 새로운 주석 전략입니다. 한 이미지는 부분 윤곽과 번호가 매겨진 마커가 있는 텍스처 뷰이고, 다른 이미지는 각 부분이 고유한 단색으로 표시된 부분 색상 뷰입니다. 이 짝짓기는 의미론적 맥락과 명확한 부분 식별을 모두 제공합니다.
• VLM 기반 클러스터링 및 명명: VLM 은 모든 뷰 쌍을 동시에 처리하여 기능이나 논리적 관계에 기반하여 관련 부분을 클러스터링하고 간결하고 설명적인 이름 (예: 일반적인 캡션 대신 "앞쪽 왼쪽 바퀴") 을 할당합니다.
• 후처리: 부호화 없는 거리 필드 (unsigned distance fields) 에서 듀얼 마칭 큐브 (Dual Marching Cubes) 를 사용하여 부분을 학습용 방수 메쉬 (watertight meshes) 로 변환합니다.

2. 생성 아키텍처

이 프레임워크는 VecSet (벡터 집합) 잠재 표현을 기반으로 한 2 단계 확산 과정을 사용합니다:

• 1 단계: 단일 부분 메쉬 생성 (전역 합성)

  • 텍스트 프롬프트를 조건으로 하는 멀티모달 확산 트랜스포머 (MM-DiT) 를 사용합니다.
  • 텍스트 프롬프트는 구성 부분을 명시적으로 나열하도록 구조화됩니다 (예: "이 객체는 다음 부분들을 포함합니다: {목록}").
  • 이 단계는 약 470 만 개의 메쉬 - 텍스트 쌍으로 사전 학습되고, 생성된 전역 형태가 입력 스키마와 구조적으로 일치하도록 보장하기 위해 큐레이션된 부분 레이블 데이터셋으로 미세 조정됩니다.

• 2 단계: 다중 부분 메쉬 생성 (분해)

  • 1 단계에서 얻은 전체 형태 잠재 변수를 받아 distinct 부분 잠재 변수로 분해합니다.
  • 부분 인지 프롬프팅: 모델은 전체 부분 목록과 특정 대상 부분 이름을 조건으로 하여 분할 경계를 안내받습니다.
  • 교차 부분 어텐션 (Cross-Part Attention): 기하학적 경계를 해결하고 중첩을 방지하기 위해, 저자들은 사전 학습된 1 단계 가중치에 전용 제로 초기화 트랜스포머 블록 (Cross-Part Attention Residual Blocks) 을 삽입합니다. 이러한 블록은 학습된 전역 기하학적 사전 지식을 방해하지 않으면서 효율적인 부분 간 통신을 가능하게 합니다.
  • 출력은 각 스키마 요소에 대한 distinct 메쉬 집합으로, 일관된 객체를 구성합니다.

주요 기여

1. 확장 가능한 데이터 엔진: VLM 과 Set-of-Mark 프롬프팅을 사용하여 오픈-어휘, 부분 레이블이 지정된 3D 데이터셋을 구축하는 완전 자동화 파이프라인으로, 이전 시도 (PartVerse-XL) 보다 11 배 이상 큰 데이터셋을 산출합니다.
2. 스키마 기반 아키텍처: 전역 형태 합성과 부분 수준 디코딩을 분리하는 2 단계 생성 모델로, 전역 기하학적 일관성을 유지하면서 오픈-어휘, 부분 제어 가능 생성을 가능하게 합니다.
3. 엔드 - 투 - 엔드 통합: 생성된 다중 부분 메쉬가 수동 후처리 없이 게임 엔진에 직접 통합되고 행동 스크립트 (예: 주행, 비행, 캐릭터 관절 운동을 위한 Lua 스크립트) 로 구동될 수 있음을 시연합니다.

결과 및 평가

• 정량적 성능: PartObjaverse-Tiny 벤치마크에서 CubePart는 전체적 및 부분 수준 지표 (Chamfer Distance 및 F-score) 모두에서 베이스라인 (HoloPart, OmniPart, PartCrafter, PartPacker 포함) 보다 우수한 성능을 발휘했습니다. 구체적으로, 이 방법은 전체 F-score 0.974 및 부분 수준 F-score 0.743 을 달성했습니다.
• 애블레이션 연구:
  • 스키마 인지 미세 조정을 제거하면 누락되거나 잘못 강조된 부분이 발생합니다.
  • 교차 부분 어텐션 메커니즘을 제거하면 부분 수준 정확도가 심각하게 저하되어, 경계 해결을 위한 부분 간 통신의 필요성이 확인됩니다.
  • 다른 연구에서 수행된 것처럼 사전 학습된 로컬 어텐션 레이어를 수정하는 것은 전용 제로 초기화 블록을 사용하는 것보다 성능을 저하시킵니다.
• 정성적 결과: 이 시스템은 특정 부분 (바퀴, 포탑, 프로펠러 등) 이 사용자의 스키마에 부합하는 별개의 구조적으로 완전한 메쉬로 생성되는 복잡한 객체 (예: 성이 있는 거북이, 전차, 드론) 를 성공적으로 생성합니다. 또한 입력 스키마에 따라 부분의 세분화 정도를 변경하는 능력 (예: 펜더를 바퀴에 병합하거나 분리) 을 시연합니다.

중요성 및 주장

이 논문은 CubePart가 단일 생성에서 스키마 기반, 부분 제어 가능 합성으로 전환함으로써 게임 준비 자산 (game-ready assets) 생산을 위한 중요한 진전을 나타낸다고 주장합니다. 사용자가 텍스트를 통해 객체의 의미론적 구조를 명시적으로 정의할 수 있게 함으로써, 이 방법은 생성형 AI 와 인터랙티브 3D 환경의 경직된 요구 사항 사이의 간극을 메웁니다. 저자들은 그들의 접근 방식이 수동 분해 및 아티스트의 레이블링 없이 생성된 자산을 스크립트되거나 물리적으로 시뮬레이션된 동작에 직접 사용할 수 있게 한다고 강조합니다. 이 연구는 3D 구조를 제어하기 위한 보편적 인터페이스로서 텍스트를 위치시켜, 고정된 분류 체계나 뷰 의존적 2D 제어에 대한 유연한 대안을 제시합니다.