SMAL-pets: SMAL Based Avatars of Pets from Single Image

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 가상 현실, 게임, 디지털 콘텐츠 제작 분야에서 아바타의 중요성이 커지고 있으나, 인간 아바타 (SMPL 모델 등) 와 달리 동물 아바타 생성은 데이터 부족과 형태적 다양성 (품종, 크기, 비율 차이) 으로 인해 큰 과제로 남아있습니다.
• 주요 문제점:
  1. 데이터 부족: 대규모로 주석 처리된 동물 데이터셋이 부족하며, 기존 데이터는 단일 카메라 비디오로만 구성되어 있어 모든 각도와 포즈를 캡처하기 어렵습니다.
  2. 세부 묘사의 한계: 기존 재구성 방법들은 실제 털 (fur) 과 같은 미세한 질감을 표현하는 데 어려움을 겪으며, 생성된 3D 모델은 종종 인위적이거나 플라스틱 같은 외관을 보입니다.
  3. 애니메이션 및 편집의 어려움: 고충실도 3D 모델을 생성하더라도 이를 자연스러운 동작으로 애니메이션 하거나 텍스트로 외형을 수정하려면 수동 리깅 (rigging) 과 전문가 수준의 작업이 필요합니다.
  4. 단일 이미지 재구성의 난이도: 단일 이미지에서 3D 모델을 생성하는 것은 본질적으로 ill-posed 문제이며, 기존 생성 모델들은 구조적 일관성 (해부학적 정확성) 을 유지하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 SMAL-pets라는 새로운 프레임워크를 제안하여 단일 RGB 이미지에서 애니메이션 가능한 3D 강아지 아바타를 생성합니다. 이 방법은 **3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS)**의 높은 렌더링 품질과 SMAL(Skinned Multi-Animal Linear) 모델의 해부학적 구조적 제약을 결합한 하이브리드 아키텍처를 사용합니다.

핵심 파이프라인:

1. 데이터 준비 및 합성:

   • 입력된 단일 이미지를 기반으로 TripoSG 와 같은 최신 이미지 -to-3D 모델을 사용하여 다중 뷰 (multi-view) 의 합성 데이터셋 (pseudo ground truth) 을 생성합니다.
   • 필요시 입력 이미지의 포즈를 표준화 (canonical pose) 하는 전처리 단계를 거칩니다.

2. 2 단계 최적화 과정 (Joint Training):

   • 1 단계 (Bound Optimization): 3D 가우스 프라임 (Gaussian primitives) 을 SMAL 메시의 표면에 강하게 결합합니다. 가우스의 위치는 메시 면의 바리센트릭 좌표로 파라미터화되며, SMAL 파라미터 (모양, 포즈) 와 가우스 파라미터를 함께 최적화하여 전체적인 신체 형태를 정렬합니다.
   • 2 단계 (Unbound Optimization): 15,000 회 반복 후 가우스를 메시에서 분리 (decouple) 합니다. 3DGS 의 적응형 밀도 제어 (adaptive density control) 를 활성화하여 털과 같은 고주파수 세부 사항을 재구성합니다. 이때 메시와의 거리 손실 (point-to-mesh distance) 을 추가하여 구조적 무결성을 유지하면서도 가우스가 세부 사항을 자유롭게 표현하도록 합니다.

3. 애니메이션 및 스키닝 (Skinning):

   • 최적화가 완료된 후, 가우스를 SMAL 메시의 면 (face) 에 다시 바인딩하여 스키닝 가중치 (skinning weights) 를 구합니다.
   • Face-Based Skinning: 메시 면의 로컬 좌표계를 정의하고, 가우스의 위치, 회전, 크기를 해당 면의 변형에 따라 선형 블렌드 스키닝 (LBS) 방식으로 변형시킵니다. 이를 통해 SMAL 파라미터를 조작하여 자연스러운 포즈 변경이 가능합니다.

4. 편집 및 애니메이션 생성:

   • 직접 포즈 조작: SMAL 파라미터를 변경하여 아바타의 포즈를 직접 제어합니다.
   • 이미지 기반 수정 (Image Driven): FramePack 과 HunyuanVideo 를 사용하여 시작 이미지와 목표 이미지 (또는 텍스트 프롬프트) 간의 자연스러운 모션 비디오를 생성한 뒤, ActionMesh 를 통해 이를 3D 메시 변형으로 매핑합니다.
   • 텍스트 기반 외형 편집: Direct Gaussian Editor (DGE) 를 활용하여 "고품질의 강아지", "털이 더 풍성하게" 등의 텍스트 프롬프트로 아바타의 질감과 외형을 수정합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 표현 프레임워크: 단일 이미지에서 고충실도 시각적 표현과 엄격한 해부학적 구조를 동시에 제공하는 3DGS 와 SMAL 의 통합 모델을 제안했습니다.
2. 멀티모달 편집 파이프라인: 비전 - 언어 모델을 활용하여 텍스트 프롬프트를 통해 아바타의 표면 질감 (털 등) 을 의미론적으로 (semantically) 수정할 수 있는 시스템을 도입했습니다.
3. 자동화된 모션 합성 워크플로우: 수동 리깅 없이 텍스트 명령이나 이미지 기반 지시를 통해 정적인 3D 재구성을 애니메이션으로 변환하는 자동화 프로세스를 개발했습니다.

4. 실험 결과 (Results)

• 비교 평가: 기존 SOTA 방법 (DogRecon, GART, AnimalAvatar 등) 과 비교하여 단일 이미지 기반 재구성 및 애니메이션 성능을 평가했습니다.
• 정성적 결과:
  • 세부 묘사: 기존 방법들이 겪는 "플라스틱 같은" 외관을 개선하고, 털과 같은 미세한 질감을 훨씬 더 사실적으로 재현했습니다 (Fig. 4, Fig. 5).
  • 애니메이션: 다양한 포즈 (앉기, 걷기, 발 내밀기) 로의 전환이 자연스럽고 구조적으로 일관성이 있었습니다.
• 정량적 결과:
  • CLIP-Score: 입력 이미지와 생성된 렌더링 간의 유사성을 측정하여, TripoSG 백본을 사용할 때 가장 높은 점수를 기록했습니다 (Table 2, Table 3).
  • PSNR: 2 단계 최적화 및 Final(DGE 적용) 단계를 거치며 재구성 품질이 크게 향상됨을 확인했습니다 (Table 4).
• 백본 분석: TripoSG 가 SAM3D 나 Trellis 보다 더 일관된 질감과 기하학적 구조를 제공하여 SMAL-pets 파이프라인에 더 적합함을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 접근성: 단일 이미지만으로 애니메이션 가능한 고품질 동물 아바타를 생성할 수 있어, 데이터가 부족한 동물 분야에서의 3D 콘텐츠 제작 장벽을 낮췄습니다.
  • 유연성: 구조적 정확성 (SMAL) 과 표현력 (3DGS) 을 모두 갖춘 하이브리드 방식은 향후 가상 현실, 게임, 디지털 트윈 등 다양한 응용 분야에 활용 가능합니다.
  • 자연어 인터페이스: 텍스트 프롬프트를 통한 외형 및 동작 제어가 가능하여 비전문가도 쉽게 아바타를 커스터마이징할 수 있습니다.
• 한계:
  • 초기 이미지 -to-3D 모델의 오류 (예: 귀가 3 개 달린 강아지 등) 가 합성 데이터셋에 그대로 전이될 수 있습니다.
  • 생성된 비디오의 극단적인 카메라 회전 시 ActionMesh 추적 실패로 인해 메시 정렬이 깨질 수 있습니다.

결론적으로, SMAL-pets 는 단일 이미지에서 구조적으로 정확하고 시각적으로 사실적이며, 텍스트와 이미지로 제어 가능한 3D 동물 아바타 생성을 가능하게 하는 획기적인 프레임워크입니다.