LoST: 3D 형상을 위한 의미론적 토큰화 (Level of Semantics Tokenization for 3D Shapes) 기술 요약

본 논문은 3D 생성 모델, 특히 자기회귀 (Autoregressive, AR) 모델의 핵심 요소인 토큰화 (Tokenization) 방식을 혁신한 LoST (Level of Semantics Tokenization) 를 제안합니다. 기존 기하학적 세부사항의 점진적 추가에 의존하던 방식에서 벗어나, 의미론적 중요도 (Semantic Salience) 에 따라 토큰을 순서화하여 3D 형상을 표현하는 새로운 패러다임을 제시합니다.

1. 문제 정의 (Problem)

기존 3D AR 생성 모델들은 주로 기하학적 세부사항의 수준 (Level-of-Detail, LoD) 을 기반으로 한 토큰화 (예: 옥트리, 점군, 메시의 에지 컬랩스 등) 를 사용했습니다. 그러나 이러한 공간적 계층 구조는 렌더링이나 압축을 위해 설계된 것으로, AR 모델링에는 다음과 같은 근본적인 한계가 있었습니다:

• 토큰 비효율성: 초기 단계에서도 객체의 기본 골격을 잡기 위해 많은 수의 공간적 토큰이 필요하여, 모델의 퍼플렉시티 (Perplexity) 가 높아지고 샘플 효율성이 떨어집니다.
• 사용 불가능한 초기 디코딩: 기하학적 단순화가 과도하게 이루어진 초기 계층은 최종 형상의 기하학적/의미론적 세부사항을 전혀 반영하지 못합니다. 따라서 "어떤 접두사 (any-prefix) 로도 생성"이 불가능하며, 초기 단계의 생성물은 추상적인 뼈대에 불과해 실용성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 3D 형상 토큰 시퀀스를 의미론적 중요도에 따라 재구성하는 LoST를 제안합니다.

A. LoST 인코더 (Semantic Tokenization)

• 구조: 3D 형상을 VAE 를 통해 Triplane 잠재 공간으로 인코딩한 후, 이를 ViT(Vision Transformer) 기반 인코더를 통해 1D 토큰 시퀀스로 변환합니다.
• Register Tokens: Triplane 패치 토큰과 함께 학습 가능한 Register Tokens를 도입합니다. 이 레지스터 토큰은 원본 토큰을 참조할 수 있지만 역방향은 차단 (Causal Masking) 되어, 중첩 드롭아웃 (Nested Dropout) 기법과 결합하여 토큰이 의미론적으로 계층화되도록 강제합니다.
• 결과: 짧은 접두사 (Prefix) 만으로도 전체적이고 의미 있는 3D 형상이 복원되도록 설계됩니다.

B. RIDA (Relational Inter-Distance Alignment)

3D 형상에는 2D 이미지와 달리 직접적인 의미론적 레이블이 없어, 기존 이미지 토큰화에서 사용되던 DINO 기반의 REPA 손실 함수를 직접 적용하기 어렵습니다. 이를 해결하기 위해 RIDA를 제안합니다.

• 개념: 3D Triplane 잠재 공간과 DINO(2D 이미지 의미 특징) 공간 간의 상대적 거리 관계 (Relative Distances) 를 정렬합니다.
• 구현:
  • Teacher: DINOv2 를 사용하여 생성된 2D 이미지에서 추출한 의미 특징.
  • Student: 3D Triplane 인코더.
  • Loss: 절대값 회귀가 아닌, 글로벌 관계적 대비 (Global Relational Contrast), 인스턴스 간 순위 증류 (Inter-Instance Rank Distillation), 공간 구조 증류 (Spatial Structure Distillation) 를 결합하여 두 공간 간의 위상적 관계를 정렬합니다.
• 효과: 3D 잠재 공간이 기하학적 유사성이 아닌 의미론적 유사성에 따라 재구성됩니다.

C. LoST-GPT (Autoregressive Generation)

• 연속 공간 모델링: 기존과 달리 토큰을 이산화 (Quantization) 하지 않고 연속 공간에서 유지합니다.
• 생성 모델: GPT 스타일 Transformer 를 사용하여 다음 토큰을 예측하되, MAR(Masked Autoregressive) 방식을 차용하여 확산 손실 (Diffusion Loss) 을 적용합니다.
• 디코더: AR 모델이 생성한 토큰 시퀀스 (접두사) 를 조건으로 하여, Diffusion-Transformer (DiT) 가 전체 Triplane 잠재 벡터를 복원하고, 이를 다시 3D 메시로 디코딩합니다.

3. 주요 기여 (Key Contributions)

1. LoST 토큰화: 의미론적 중요도에 따라 토큰을 순서화하여, 짧은 접두사만으로도 완전하고 인식 가능한 3D 형상을 생성할 수 있게 했습니다.
2. RIDA 손실 함수: 3D Triplane 잠재 공간과 DINO 의미 공간 간의 관계적 거리를 정렬하는 새로운 3D 의미 정렬 손실 함수를 설계하여, 3D 생성에 의미론적 지도를 제공했습니다.
3. 효율적인 SOTA 생성: LoST 기반 AR 모델은 기존 SOTA 모델 대비 0.1%~10% 수준의 토큰 수 (약 128 토큰) 만으로도 더 높은 품질의 3D 생성과 의미론적 일관성을 달성했습니다.

4. 실험 결과 (Results)

• 재구성 성능 (Tokenizer Reconstruction):
  • 기존 LoD 기반 방법 (OctGPT, VertexRegen) 과 비교했을 때, 동일한 토큰 수에서 기하학적 (Chamfer Distance) 및 의미론적 (FID, DINO Similarity) 정확도가 압도적으로 높았습니다.
  • 특히 1~4 개의 토큰만으로도 LoD 방법은 추상적인 구조만 생성하는 반면, LoST 는 객체의 주된 의미 (예: 산, 배, 사람) 를 가진 완전한 형상을 생성했습니다.
• AR 생성 성능 (Autoregressive Generation):
  • LoST-GPT는 128 토큰으로 훈련되어 ShapeLLM-Omni, OctGPT, Llama-Mesh 등 기존 SOTA 모델들을 모든 지표 (FID, DINO Similarity) 에서 능가했습니다.
  • 조기 종료 (Early Stopping): 생성되는 형상의 복잡도에 따라 토큰 수를 동적으로 조절할 수 있어, 간단한 객체는 적은 토큰으로 빠르게 생성 가능합니다.
• 의미 검색 (Semantic Retrieval):
  • RIDA 를 적용한 3D 특징은 기하학적 유사성이 아닌 의미론적 유사성에 기반한 검색 (예: 물고기를 닮은 잠수함 검색 시 물고기 형태 검색) 에서 기존 Triplane 특징보다 월등히 높은 Recall@K 및 mAP 성능을 보였습니다.

5. 의의 및 결론 (Significance)

LoST 는 3D 생성 분야에서 토큰화의 패러다임을 '기하학적 LoD'에서 '의미론적 LoS (Level of Semantics)'로 전환시켰습니다.

• 효율성: 고비용의 3D 생성을 위해 필요한 토큰 수를 획기적으로 줄여, LLM 과의 통합 및 실시간 응용을 가능하게 합니다.
• 유연성: "어떤 접두사 (Any-prefix)"도 의미 있는 생성물로 해석될 수 있어, 대화형 3D 생성, 점진적 정제 (Progressive Refinement), 의미 기반 검색 등 다양한 다운스트림 태스크에 활용 가능합니다.
• 확장성: Triplane 외에도 Voxel(Octree), Gaussian Splat 등 다양한 3D 표현 방식에 적용 가능한 범용 토큰화 프레임워크임을 증명했습니다.

결론적으로, LoST 는 3D AR 모델의 한계를 극복하고, 의미론적으로 구조화된 고품질의 3D 생성을 가능하게 하는 새로운 표준을 제시했습니다.