Gaussian Wardrobe: Compositional 3D Gaussian Avatars for Free-Form Virtual Try-On

이 논문은 다중 뷰 비디오에서 신체와 의복을 분리하여 학습하는 '가우시안 워드robe' 프레임워크를 제안함으로써, 복잡한 자유형 의복의 동적 표현과 다양한 인체 간 의복 재사용이 가능한 고품질 3D 가상 의상 입기 기술을 구현했습니다.

핵심

가우시안 옷장 (Gaussian Wardrobe): 당신의 가상의 옷장, 이제 자유롭게 바꿔 입어보세요!

이 논문은 **"가우시안 옷장 (Gaussian Wardrobe)"**이라는 멋진 기술을 소개합니다. 쉽게 말해, 다양한 사람들에게 똑같은 옷을 입히거나, 한 사람이 옷을 갈아입는 것을 3D 로 아주 자연스럽게 만들어주는 기술입니다.

기존의 기술들은 사람과 옷을 '하나의 덩어리'로만 생각했습니다. 마치 점토 인형에 옷을 입힌 뒤, 옷을 벗기면 점토 인형이 변형되어 버리는 것처럼요. 하지만 이 새로운 기술은 옷과 몸을 완전히 분리해서, 옷을 다른 사람에게도 똑같이 입힐 수 있게 해줍니다.

이 기술을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 기존 기술 vs. 새로운 기술: "점토 인형"과 "마법 옷장"

• 기존 기술 (점토 인형):
  예전에는 3D 아바타를 만들 때 사람과 옷을 하나로 합쳐서 만들었습니다. 마치 점토로 만든 인형에 옷을 입힌 뒤, 그 옷을 떼어내면 옷이 인형의 모양에 맞춰 찌그러져 버리는 상황과 비슷합니다. 그래서 A 라는 사람에게 입혔던 옷을 B 라는 사람에게 입히면, 옷이 B 의 몸매에 맞춰 변형되면서 모양이 망가집니다.

• 가우시안 옷장 (마법 옷장):
  이 연구는 옷을 독립된 '마법 옷'처럼 다룹니다. 옷은 사람의 몸 모양과 상관없이 제자리를 지키는 투명한 유령 같은 옷으로 만들어집니다. 그래서 A 가 입었던 치마를 B 가 입어도, 치마는 원래의 흐르는 듯한 모양을 유지하면서 B 의 몸 위에 자연스럽게 걸립니다. 마치 옷장 속 옷을 꺼내서 다른 사람에게 입혀도 옷이 변형되지 않는 마법과 같습니다.

2. 핵심 원리: "투명한 구슬들"로 옷을 재구성하다

이 기술은 '3D 가우시안 (3D Gaussian)'이라는 것을 사용합니다. 이를 쉽게 비유하자면, **수백만 개의 아주 작고 투명한 '구슬' (또는 반짝이는 입자)**이라고 생각하시면 됩니다.

• 몸과 옷을 나누기:
  컴퓨터는 비디오를 보고 사람을 분석할 때, 몸통을 만드는 구슬과 옷을 만드는 구슬을 따로따로 분류합니다.
• 옷을 '공통된 공간'으로 보내기:
  옷을 만든 구슬들은 사람의 몸 크기를 무시하고, **가상의 '제로 (Zero) 공간'**으로 보내집니다. 여기서 옷은 어떤 사람도 입지 않은 '원형'의 상태를 기억하게 됩니다.
• 다시 입히기:
  이제 새로운 사람 (예: 키가 크거나 작은 사람) 이 나타나면, 이 '원형' 옷 구슬들이 그 사람의 몸 크기에 맞춰 유연하게 늘어나거나 줄어들며 입힙니다. 옷의 질감, 주름, 흔들림은 그대로 유지되면서요.

3. 실제 활용: "가상의 옷장"과 "착의 (Try-on) 게임"

이 기술로 무엇을 할 수 있을까요?

• 나만의 디지털 옷장:
  한 번 학습된 옷들은 디지털 옷장에 저장됩니다. 이 옷장은 사람과 무관하므로, 어떤 사람이든 자유롭게 옷을 꺼내 입을 수 있습니다.
• 실시간 착의:
  사용자가 원하는 옷을 선택하면, 시스템이 그 옷을 사용자의 3D 아바타에 입혀줍니다.
• 자연스러운 움직임:
  옷이 몸에 꽉 끼거나 뚫리는 (Penetration) 이상한 현상이 생기지 않도록, 시스템이 실시간으로 옷과 몸 사이의 간격을 감시합니다. 만약 옷이 몸속으로 들어가는 듯한 오류가 생기면, 시스템이 즉시 수정해서 옷이 자연스럽게 몸 위에 걸쳐진 것처럼 보여줍니다.

4. 왜 이것이 중요한가요?

이 기술은 XR(확장 현실), 메타버스, 온라인 패션 쇼핑의 미래를 바꿀 수 있습니다.

• 온라인 쇼핑: "이 옷이 내 몸에 어떻게 보일까?"라고 고민할 때, 2D 사진이 아니라 3D 아바타에 입혀보고 움직여 볼 수 있습니다.
• 게임과 영화: 캐릭터에게 옷을 입히는 작업이 훨씬 쉬워지고, 옷이 자연스럽게 흐르는 모습을 구현할 수 있습니다.
• 개인화: 내 몸매에 딱 맞는 옷을 입은 나만의 아바타를 만들어서 친구들에게 보여줄 수 있습니다.

요약

**"가우시안 옷장"**은 사람과 옷을 분리해서, 옷을 독립된 존재로 만들어주는 기술입니다. 마치 옷장 속 옷을 꺼내어 누구에게나 입혀도 모양이 변하지 않는 마법처럼, 우리는 앞으로 더 자유롭고 현실적인 3D 가상 의상을 경험하게 될 것입니다.

이제 3D 아바타는 단순히 '사람'을 모방하는 것을 넘어, **우리의 스타일을 표현하는 진정한 '디지털 옷장'**이 될 것입니다!

기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 신경 아바타 생성 방법들은 주로 인간 몸통과 의류를 분리할 수 없는 단일 엔티티로 취급하는 한계를 가지고 있었습니다.

• 동역학 모델링의 실패: SMPL-X 와 같은 파라메트릭 바디 모델에 기반한 기존 방법들은 의류가 몸통의 뼈 움직임에 직접적으로 변형된다고 가정합니다. 이로 인해 치마, 재킷, 드레스 등 몸통의 토폴로지와 다르거나 뼈 움직임과 약하게만 상관관계가 있는 자유형 (free-form) 의류의 복잡한 동역학을 정확하게 포착하지 못합니다.
• 재사용성 부족: 의류와 몸통이 분리되지 않아, 학습된 의류 모델을 다른 사람 (Subject) 에게 재사용하거나 다른 의류와 조합하는 것이 어렵습니다. 이는 확장 가능한 디지털 의류 시스템의 구축을 방해합니다.

2. 방법론 (Methodology)

Gaussian Wardrobe 는 Animatable Gaussians 프레임워크를 기반으로 하되, 구성적 (compositional) 인 3D 가우시안 표현을 도입하여 위 문제를 해결합니다.

2.1. 구성적 가우시안 표현 (Compositional Gaussian Representation)

• 템플릿 분해 및 정규화: 입력된 다중 뷰 비디오의 첫 번째 프레임에서 3D 메시 템플릿을 재구성한 후, 이를 **신체 (Body)**와 **의류 레이어 (Garment Layers: 상의, 하의, 외투 등)**로 분할합니다.
• Zero-Shape Space (형태 무관 공간): 학습된 의류가 특정 인체의 체형 (Shape) 에 의존하지 않도록, 템플릿에서 인체별 모양 파라미터 ($\beta$) 를 제거하여 Zero-Shape Space로 정규화합니다. 이를 통해 학습된 의류는 형태에 구애받지 않고 다양한 인체에 적용 가능합니다.
• 레이어별 U-Net 학습: 각 레이어 (신체, 상의, 하의 등) 마다 별도의 U-Net 을 학습시켜, 주어진 포즈 (Pose) 조건에서 3D 가우시안 원시 (Primitives) 의 파라미터 (위치 오프셋, 회전, 불투명도, 스케일, 색상) 를 예측하도록 합니다.

2.2. 학습 프레임워크 및 손실 함수 (Learning Framework & Loss Functions)

다중 뷰 비디오로부터 각 레이어를 분리하고 학습하기 위해 다음과 같은 손실 함수들을 결합합니다:

• 광도 손실 (Photometric Loss): 렌더링된 이미지와 실제 비디오 프레임 간의 L1, SSIM, LPIPS 손실을 최소화합니다.
• 분할 손실 (Segmentation Loss): 각 레이어 (신체, 의류 등) 가 올바르게 분리되었는지 확인하기 위해 분할 마스크의 정확도를 평가합니다.
• 규제 손실 (Regularization):
  • 관통 방지 손실 (Penetration Loss): 내층 (신체) 과 외층 (의류) 간의 가우시안이 서로 침투하는 것을 방지하기 위해 정규화 벡터를 기반으로 한 손실을 적용합니다.
  • 기하학적 규제: 가우시안의 과도한 이동 방지, 이웃 가우시안 간의 일관성 유지, 신체 레이어의 불투명도 보장 등을 위한 손실을 추가합니다.

2.3. 관통 인식 렌더링 (Penetration-aware Rendering)

학습 중에는 관통을 억제하지만, 훈련 분포 밖의 포즈 (Out-of-distribution poses) 에서 렌더링 시 여전히 시각적 아티팩트 (관통) 가 발생할 수 있습니다. 이를 해결하기 위해 온라인 관통 감지 및 수정 알고리즘을 렌더링 파이프라인에 통합했습니다.

• 분할 마스크를 기반으로 레이어 간의 불연속 영역을 탐지하고, 깊이 값을 비교하여 내층이 외층 위에 잘못 렌더링된 경우를 식별합니다.
• 식별된 픽셀의 색상을 올바른 외층의 색상으로 대체하여 시각적 아티팩트를 실시간으로 제거합니다.

3. 주요 기여 (Key Contributions)

1. 구성적 3D 가우시안 아바타: 복잡한 자유형 의류를 모델링할 수 있는 새로운 3D 가우시안 기반 접근법을 제안했습니다.
2. 의류 분해 및 동역학 모델링: 다중 뷰 비디오로부터 아바타를 신체와 별도의 신경 의류 레이어로 분해하고, 각 레이어의 동적 변형을 학습하는 재구성 방식을 개발했습니다.
3. 주체 무관 (Subject-Agnostic) 가상 의류 착용: 학습된 의류가 특정 인체에 의존하지 않도록 설계하여, 다양한 체형의 사용자에게 의류를 자유롭게 전이 (Transfer) 하고 조합할 수 있는 디지털 Wardrobe 시스템을 구현했습니다.

4. 실험 결과 (Results)

• 데이터셋: 4D-DRESS 및 ActorsHQ 데이터셋에서 평가 수행.
• 성능: 새로운 포즈 합성 (Novel Pose Synthesis) 작업에서 기존 최첨단 방법들 (Animatable Gaussians, LayGA) 보다 PSNR, SSIM, LPIPS 모든 지표에서 우수한 성능을 보였습니다.
  • 예시 (4D-DRESS): PSNR 28.06 (본 방법) vs 27.75 (Animatable Gaussians).
• 정성적 평가: 치마의 흐름, 재킷의 주름 등 자유형 의류의 복잡한 동역학을 더 정확하게 모델링하며, 얼굴 디테일과 의류 경계선에서의 아티팩트를 줄였습니다.
• 가상 의류 착용: 다양한 체형의 새로운 인체에 학습된 의류를 적용했을 때, 의류의 형태가 왜곡되지 않고 자연스럽게 적응되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

Gaussian Wardrobe 는 3D 가상 인간 아바타 분야에서 **확장성 (Scalability)**과 **재사용성 (Reusability)**을 동시에 달성한 중요한 진전입니다.

• XR 및 메타버스 적용: 디지털 패션, 텔레프레즌스, 엔터테인먼트 등 다양한 XR 응용 분야에서 개인화된 동적 아바타를 생성하는 데 필수적인 기술적 토대를 제공합니다.
• 실용성: 복잡한 물리 시뮬레이션 없이도 고품질의 자유형 의류 애니메이션을 구현하며, 실시간 가상 의류 착용 서비스를 가능하게 합니다.
• 미래 전망: 이 연구는 단일 비디오나 스마트폰 영상으로 확장 가능한 방향을 제시하며, 향후 XR 환경에서의 상호작용과 가상 의류 시장의 발전에 기여할 것으로 기대됩니다.