1. 문제 정의 (Problem)

최근 3D 생성 모델 (Native 3D Generative Models) 은 텍스트나 이미지 프롬프트로부터 고화질의 3D 자산을 빠르게 생성하는 데 성공했습니다. 그러나 이러한 모델들은 **정밀한 구조적 제어 (Precise Structural Control)**에 있어 치명적인 한계를 가지고 있습니다.

• 구조적 모호성: 텍스트 프롬프트는 고수준의 의미 (예: "개") 를 전달할 수 있지만, "무릎을 60 도 구부린다"와 같은 정밀한 관절 각도나 비정형적인 해부학적 토폴로지를 정의하기 어렵습니다.
• 2D 투영의 한계: 기존 2D 생성 모델 (ControlNet 등) 의 성공을 3D 로 확장하려는 시도 (예: SKDream) 는 3D 스키레톤을 2D 로 투영하여 다중 뷰 (Multi-view) 생성을 유도한 후 3D 로 복원하는 방식을 취했습니다. 이 방식은 깊이 정보 손실, 자기 가림 (self-occlusion) 으로 인한 공간적 모호성, 그리고 다중 단계 복원 과정에서 발생하는 기하학적 왜곡과 텍스처 품질 저하를 초래합니다.
• 핵심 과제: 생성 품질을 저하시키지 않으면서, 3D 공간 내에서 스키레톤 (뼈대) 을 직접적인 제어 신호로 사용하여 정밀한 구조적 제어를 가능하게 하는 방법론이 필요합니다.

2. 제안 방법론: SK-Adapter

저자들은 SK-Adapter를 제안하며, 이는 3D 생성의 기본 공간 (Native 3D Domain) 내에서 스키레톤을 직접 제어 신호로 활용하는 경량화되고 효율적인 프레임워크입니다.

가. 핵심 아키텍처

• 베이스 모델: 사전 훈련된 대규모 3D 생성 모델인 Trellis를 베이스로 사용합니다.
• 파라미터 효율적 미세 조정 (PEFT): 베이스 모델의 파라미터는 동결 (Freeze) 하고, 새로운 경량 어댑터 모듈 (Skeleton Encoder 및 Cross-Attention Layer) 만 학습합니다. 이를 통해 원본 모델의 생성 능력 (Generative Priors) 을 유지하면서 구조 제어 능력을 추가합니다.
• 토폴로지 인식 인코딩 (Topology-Aware Encoding):
  • 입력된 3D 스키레톤 (관절 좌표 $J$와 위상 그래프 $G$) 을 **Graph Relative Positional Encoding (GRPE)**을 사용하여 학습 가능한 토큰으로 인코딩합니다.
  • 거리 임베딩 ($D_{ij}$): 관절 간의 위상적 거리 (예: 부모 - 자식, 2 홉 등) 를 인코딩합니다.
  • 관계 임베딩 ($R_{ij}$): 관절 간의 관계 (부모, 자식, 형제, 말단 등) 를 인코딩합니다.
  • 이를 통해 모델은 단순한 좌표뿐만 아니라 관절 간의 계층적 구조와 토폴로지를 이해하게 됩니다.
• 스케레톤 크로스 어텐션 (Skeletal Cross-Attention):
  • 인코딩된 스키레톤 토큰을 크로스 어텐션 (Cross-Attention) 메커니즘을 통해 고정된 베이스 모델의 볼륨 (Voxel) 특징 맵에 주입합니다.
  • 볼륨 특징 (Query) 이 스키레톤 정보 (Key, Value) 에 주의를 기울이도록 하여, 3D 공간의 각 위치가 가장 관련 있는 관절 구조에 맞춰 생성되도록 유도합니다.
  • Zero-initialized Linear Layer: 크로스 어텐션 출력을 0 으로 초기화된 선형 계층을 통해 베이스 모델에 잔차 연결 (Residual Connection) 하여, 학습 초기에는 원본 생성 능력을 유지하다가 점차 스키레톤 제어를 학습하도록 설계되었습니다.

나. 데이터셋: Objaverse-TMS

• 구조 기반 3D 생성을 위한 데이터 부족 문제를 해결하기 위해 Objaverse-TMS라는 대규모 데이터셋을 구축했습니다.
• 구성: 텍스트 (Text), 메쉬 (Mesh), 스키레톤 (Skeleton) 의 3 중 쌍 (Triplet) 으로 구성되며, 총 24,000 개의 고품질 데이터를 포함합니다.
• 특징: 기존 자동 생성 스키레톤 데이터와 달리, 인간 전문가가 주석 (Expert-annotated) 을 달아 해부학적 일관성과 물리적 타당성을 보장합니다.

다. 편집 기능 (Editing)

• 생성뿐만 아니라 기존 3D 자산의 **지역적 편집 (Local Editing)**도 지원합니다.
• 마스크가 지정된 영역에서 스키레톤 프롬프트 (예: 다리 각도 변경, 새로운 부위 추가) 를 기반으로 재생성 (Repaint) 을 수행하여, 배경은 유지하면서 스키레톤에 따라 구조를 변경하거나 부품을 추가할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 네이티브 3D 생성용 스키레톤 제어 프레임워크: 2D 투영을 거치지 않고 3D 공간 내에서 직접 스키레톤을 제어하여 구조적 정밀도와 생성 품질을 동시에 달성했습니다.
2. Objaverse-TMS 데이터셋 구축: 텍스트 - 메쉬 - 스키레톤 3 중 쌍으로 구성된 대규모 고품질 데이터셋을 공개하여 구조 기반 3D 생성 연구의 데이터 병목 현상을 해소했습니다.
3. 유연한 3D 편집 능력: 스키레톤 프롬프트를 기반으로 한 지역적 추가 (Addition) 및 자세 변경 (Re-posing) 이 가능한 튜닝 없는 (Tuning-free) 편집 기능을 구현했습니다.

4. 실험 결과 (Results)

TMS-eval (140 개 테스트 인스턴스) 에서 기존 SOTA 방법론 (SKDream, SpaceControl) 과 비교한 결과, SK-Adapter 가 모든 지표에서 압도적인 성능을 보였습니다.

• 구조적 정렬 (Structural Alignment):
  • ReRigging Score (낮을수록 좋음): SK-Adapter 는 0.2228로, SKDream(0.2818) 과 SpaceControl(0.2740) 보다 훨씬 낮았습니다. 이는 생성된 3D 모델이 입력된 스키레톤 구조를 훨씬 정확하게 따르고 있음을 의미합니다.
  • CLIP Score (높을수록 좋음): 텍스트와 생성물의 의미적 일치도에서도 최고 점수 (26.16) 를 기록했습니다.
• 시각적 충실도 (Visual Fidelity):
  • PickScore: 인간 선호도 기반 점수에서 21.01로 가장 높았습니다.
  • KD-DINO (낮을수록 좋음): 생성된 이미지 분포와 실제 참조 간의 차이를 측정하는 지표에서 0.7778로 가장 낮아, 기하학적 왜곡이나 텍스처 열화가 거의 없음을 입증했습니다.
• 효율성: 하드웨어 환경이 동일할 때, SK-Adapter 는 15 초 이내에 3D 자산을 생성하는 반면, SKDream 은 약 40 초가 소요되었습니다.

5. 의의 및 결론 (Significance)

• 3D 생성의 패러다임 전환: 텍스트나 이미지뿐만 아니라 **스키레톤을 1 급 제어 신호 (First-class control signal)**로 인정하고, 이를 3D 생성의 핵심 공간에 직접 통합함으로써, 애니메이션 및 게임 파이프라인에서 즉시 사용 가능한 (Production-ready) 정교한 3D 자산 생성을 가능하게 했습니다.
• 해석 가능성과 제어력: 추상적인 의미 생성과 명시적인 토폴로지 제어 사이의 간극을 메웠으며, 3D 콘텐츠 제작 과정에서 인간의 의도 (구체적인 자세, 구조 변경) 를 정밀하게 반영할 수 있는 새로운 기준을 제시했습니다.
• 확장성: 경량 어댑터 방식을 사용하여 대규모 모델의 재학습 없이도 다양한 구조 제어 작업을 수행할 수 있어, 실제 산업 적용에 매우 유리합니다.

이 논문은 3D 생성 AI 가 단순한 시각적 묘사를 넘어, 구조적으로 정밀하고 편집 가능한 3D 객체를 생성하는 단계로 도약하는 중요한 이정표로 평가됩니다.