MV-Fashion: Towards Enabling Virtual Try-On and Size Estimation with Multi-View Paired Data

이 논문은 가상 의류 착용 (VTON) 과 사이즈 추정과 같은 패션 특화 연구를 위해, 실제 착용 상태와 평면 카탈로그 이미지를 쌍으로 포함하는 3,273 개의 시퀀스와 7,250 만 프레임 규모의 대규모 다중 뷰 비디오 데이터셋인 'MV-Fashion'을 제안합니다.

핵심

이 논문은 **'MV-Fashion'**이라는 새로운 데이터셋을 소개하는 연구입니다. 쉽게 말해, 온라인 쇼핑몰에서 옷을 입어보는 '가상 피팅 (Virtual Try-On)'과 '내 몸에 맞는 사이즈 찾기'를 훨씬 더 똑똑하고 정확하게 만들어주기 위해 만든 거대한 옷 입은 사람들의 영상 도서관이라고 생각하시면 됩니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

1. 왜 이 연구가 필요할까요? (문제점)

지금까지 옷을 입어보거나 사이즈를 재는 AI 를 훈련시키기 위해 두 가지 종류의 데이터가 있었지만, 둘 다 불완전했습니다.

• 2D 사진 데이터 (예: 옷장 속 평면 사진): 옷이 어떻게 생겼는지는 알 수 있지만, 사람이 입었을 때 옷이 어떻게 주름지고 움직이는지 (3 차원 정보) 는 알 수 없어요. 마치 평면 지도만 보고 3D 미로를 찾는 것과 비슷합니다.
• 3D/4D 데이터 (예: 입은 사람 영상): 사람이 옷을 입고 움직이는 모습은 잘 보여주지만, 그 옷이 원래 어떤 모양의 평면 옷 (카탈로그 이미지) 이었는지에 대한 정보가 없어요. 마치 완성된 퍼즐은 있는데, 그 퍼즐 조각이 어떤 그림인지 알 수 없는 상태입니다.

이 두 가지를 따로따로 쓰다 보니, "이 옷을 입었을 때 내 몸매에 잘 맞을까?"를 정확히 예측하거나, "이 옷을 입은 채로 옆에서 보면 어떻게 보일까?"를 구현하는 데 한계가 있었습니다.

2. MV-Fashion 이 뭐죠? (해결책)

연구팀은 이 문제를 해결하기 위해 60 대 이상의 카메라가 둘러싼 특수 촬영실을 지었습니다. 여기서 80 명의 다양한 사람들이 3~10 벌씩의 옷을 입고 다양한 포즈로 움직이는 영상을 찍었습니다.

이 데이터셋의 핵심은 **'쌍 (Pairing)'**입니다.

• 한쪽 눈: 옷을 입은 사람이 360 도 돌아가며 움직이는 생생한 영상 (다양한 각도, 주름, 층층이 껴입은 옷 등).
• 다른쪽 눈: 그 옷이 평평하게 펴져 있는 '원본 카탈로그 사진'.

이 두 가지를 완벽하게 연결해 놓았습니다. 마치 옷장 (카탈로그) 과 거울 (입은 모습) 을 동시에 보여주는 마법 같은 공간이라고 생각하세요.

3. 이 데이터로 무엇을 할 수 있나요? (활용)

이 거대한 데이터로 AI 를 훈련시켜 세 가지 놀라운 일을 해냈습니다.

1. 가상 피팅 (Virtual Try-On):

   • 비유: "이 옷을 입으면 내 몸에서 어떻게 보일까?"를 시뮬레이션하는 것.
   • 기존에는 옷을 입힌 뒤에도 옷이 이상하게 늘어나거나 뒤틀리는 경우가 많았지만, MV-Fashion 을 통해 옷이 피부에 자연스럽게 밀착되고, 팔을 들 때 소매가 어떻게 움직이는지까지 매우 사실적으로 구현할 수 있게 되었습니다.

2. 사이즈 예측 (Size Estimation):

   • 비유: "이 옷을 입은 사람을 보고, 그 옷의 실제 치수 (가슴 둘레, 허리 등) 를 재는 것."
   • 옷을 입은 상태에서는 주름 때문에 치수를 재기 어렵습니다. 하지만 이 데이터는 옷의 재질과 신축성까지 알려주므로, 옷을 입은 상태에서도 "이 옷은 M 사이즈구나"라고 AI 가 정확히 추측할 수 있게 됩니다.

3. 새로운 각도에서 보기 (Novel View Synthesis):

   • 비유: "앞에서 찍은 사진만 있는데, AI 가 옆에서 찍은 사진을 만들어내는 것."
   • 옷을 입은 사람의 영상을 여러 각도에서 찍었기 때문에, AI 는 앞면 사진만 있어도 뒷모습이나 옆모습을 매우 정교하게 그려낼 수 있게 되었습니다.

4. 이 연구의 특별한 점 (혁신)

• 실제 옷감의 느낌: 단순히 옷을 입은 게 아니라, 소매를 걷어 올린 상태, 단추를 잠근/풀린 상태, 겉옷을 껴입은 상태 등 다양한 스타일링 변화를 포함했습니다. 마치 옷장 속 옷을 직접 만져보고 입어보는 경험을 데이터로 옮긴 것과 같습니다.
• 실제와 같은 환경: 컴퓨터로 만든 가상의 옷 (Synthetic) 이 아니라, 실제 사람이 입은 옷을 찍었기 때문에 AI 가 현실 세계에서도 잘 작동합니다.

요약하자면

이 논문은 **"온라인 쇼핑에서 옷을 고를 때 '이 옷이 내 몸에 맞을까?'라는 고민을 해결해 줄 똑똑한 AI 를 키우기 위해, 옷을 입은 사람의 모든 각도와 스타일을 완벽하게 기록한 거대한 영상 도서관을 만들었다"**는 이야기입니다.

앞으로 이 데이터를 바탕으로 우리가 온라인에서 옷을 살 때, 거울 앞에서 옷을 입어보듯 정확한 사이즈와 핏을 미리 확인하고, 반품률을 줄여 환경에도 도움이 되는 시대가 올 수 있을 것입니다.

기술 요약

MV-Fashion: 다중 뷰 쌍방향 데이터를 통한 가상 피팅 및 사이즈 추정을 위한 연구

이 논문은 패션 특화 연구 (가상 피팅, 사이즈 추정, 3D 재구성 등) 에 필요한 고품질 데이터의 부재를 해결하기 위해 제안된 대규모 다중 뷰 비디오 데이터셋 MV-Fashion을 소개합니다.

1. 연구 배경 및 문제점 (Problem)

기존의 4D 인간 데이터셋과 패션 관련 데이터셋은 다음과 같은 한계를 가지고 있어 패션 특화 연구에 적합하지 않았습니다.

• 현실성과 주석의 부재: 합성 데이터는 현실적인 의류 역학 (드레이핑, 주름 등) 을 제대로 반영하지 못하며, 실제 촬영 데이터는 가상 피팅 (VTON) 에 필수적인 '평면 카탈로그 이미지'와 '착용된 이미지'의 쌍 (Paired Data) 이 부족합니다.
• 데이터의 단편화: 2D 가상 피팅 데이터셋은 3D 기하학적 정보가 없고, 3D/4D 의류 데이터셋은 카탈로그와의 매칭이 불가능합니다.
• 복잡한 의류 상황 미포함: 기존 데이터셋은 주로 단일 층의 의류나 단순한 포즈에 집중되어 있어, 여러 겹의 옷 (Layered outfits) 이나 소매 말기, 셔츠 tucked-in 등 다양한 스타일링이 포함된 복잡한 상황을 다루지 못합니다.

2. 방법론 및 데이터셋 구축 (Methodology)

저자들은 MV-Fashion 데이터셋을 구축하기 위해 다음과 같은 체계적인 접근 방식을 취했습니다.

• 하드웨어 및 촬영 설정:
  • 다중 뷰 카메라 어레이: 60 대의 Raspberry Pi 글로벌 셔터 카메라 (1.6MP) 와 8 대의 Orbbec Femto Bolt (4K 컬러 및 깊이 정보) 를 총 68 대의 카메라로 구성하여 피사체 주변을 밀집하게 커버합니다.
  • 정밀 동기화: 외부 전자 신호를 통해 모든 카메라를 2ms 미만의 오차로 동기화하여 시간적 정합성을 보장합니다.
  • 조명: 40 개의 고출력 LED 패널을 사용하여 일관된 조명과 모션 블러를 최소화합니다.
• 데이터 수집 프로토콜:
  • 80 명의 참가자: 3~10 개의 의상 (총 474 세트, 754 개 의류 아이템) 을 착용하고 촬영했습니다.
  • 세 가지 시퀀스 유형:
    1. Body Sequence: 최소 의류 착용 시 신체 형태 캡처.
    2. Template Sequence: 고정된 포즈에서 각 의류 아이템의 정적 기하학 캡처.
    3. Motion Sequence: 패션 포즈를 수행하며 의류의 동적 변형 (드레이핑, 주름) 캡처.
  • 스타일링 다양성: 여러 겹의 옷 (Multi-layer), 소매 말기, 셔츠 tucked-in 등 다양한 스타일링 변형을 포함했습니다.
• 풍부한 주석 (Annotations):
  • 쌍방향 데이터: 모든 비디오 시퀀스에 대해 해당 의류의 평면 (Flat/Catalogue) 이미지를 제공합니다.
  • 세밀한 속성: 픽셀 단위 세그멘테이션, SMPL-X 포즈/셰이프 파라미터, 3D 포인트 클라우드, 의류 소재 및 신축성 (Elasticity) 정보, 상세한 사이즈 차트 (Sizing charts), 드레이핑 스타일 레이블 등을 포함합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 다중 뷰 패션 비디오 데이터셋: 68 대 카메라로 촬영된 3,273 개의 시퀀스 (7,250 만 프레임) 를 제공합니다.
2. 복잡한 의류 역학 시나리오: 여러 겹의 옷과 다양한 스타일링 변형을 포함하여 기존 데이터셋보다 훨씬 도전적인 환경을 제공합니다.
3. 다중 모달 데이터: 픽셀 단위 분할, 물리적 속성 (소재, 신축성), 상세 사이즈 정보, 3D 포인트 클라우드 등 패션 애플리케이션에 필수적인 데이터를 제공합니다.
4. 카탈로그 - 다중 뷰 매칭: 모든 비디오 시퀀스에 대응하는 평면 의류 이미지를 제공하여 가상 피팅 (VTON) 과 사이즈 추정을 위한 새로운 연구 방향을 개척합니다.
5. 벤치마크 설정: 가상 피팅, 의류 사이즈 추정, 새로운 뷰 합성 (NVS) 을 위한 기준선 (Baseline) 모델을 구축하고 평가했습니다.

4. 실험 결과 (Results)

저자들은 제안된 데이터셋을 기반으로 세 가지 주요 작업에 대한 벤치마크를 수행했습니다.

• 가상 피팅 (Virtual Try-On):
  • 기존 단일 뷰 VTON 모델 (IDM-VTON, InsertAnything) 을 MV-Fashion 데이터로 학습시켰을 때, 높은 충실도 (High-fidelity) 를 보였습니다.
  • 의미론적 제어 (Semantic Controllability): 드레이핑 스타일 (예: 재킷 단추 잠금/열기) 에 대한 텍스트 프롬프트를 추가하여 학습시킨 결과, 모델이 스타일 지시에 반응하는 능력을 입증했습니다.
  • 다중 뷰 기하학적 분석: 전방과 후방 카탈로그 이미지를 모두 활용하는 'View-Adaptive Try-On' 접근법이 전방 이미지만 사용할 때보다 기하학적 일관성을 향상시킴을 확인했습니다.
• 사이즈 추정 (Size Estimation):
  • 착용된 사람의 이미지에서 의류의 실제 치수를 예측하는 모델을 학습시켰습니다.
  • 단일 그룹별 학습보다 멀티 태스크 학습 (Multi-Task Learning) 방식이 더 낮은 평균 오차 (MAE) 를 보였으며, SwinV2 기반 모델이 가장 우수한 성능 (평균 오차 약 4.28cm) 을 기록했습니다. 이는 MV-Fashion 의 데이터가 실제 이미지 기반 사이즈 추정에 충분한 신호를 제공함을 의미합니다.
• 새로운 뷰 합성 (Novel View Synthesis, NVS):
  • Instant-NGP, Nerfacto, 3D Gaussian Splatting (Splatfacto) 등의 최신 NVS 기법을 평가했습니다.
  • Splatfacto가 가장 우수한 품질을 보였으며, 학습에 사용되는 뷰 (View) 의 수가 증가함에 따라 재구성 품질이 향상되다가 56 개 뷰에서 포화되는 것을 확인했습니다. 이는 60 대 카메라 구성이 최적의 균형을 이룸을 시사합니다.

5. 의의 및 결론 (Significance)

MV-Fashion 은 패션 이해 및 디지털 인간 모델링 연구 분야에서 중요한 이정표가 될 것입니다.

• 데이터 격차 해소: 가상 피팅 (VTON) 과 3D/4D 기하학적 데이터 간의 간극을 메우는 유일한 대규모 데이터셋입니다.
• 실용적 가치: 온라인 쇼핑에서의 반품률 감소, 지속 가능한 패션 (물리적 샘플 감소), 맞춤형 의류 추천 등 실제 산업 응용에 직접적으로 기여할 수 있는 데이터를 제공합니다.
• 연구 기반 마련: 의류의 동적 변형, 복잡한 스타일링, 그리고 정밀한 사이즈 추정을 연구하기 위한 강력한 벤치마크와 검증된 데이터를 공개하여 향후 연구의 표준을 제시합니다.

이 논문은 MV-Fashion 데이터셋과 관련 코드, 벤치마크 모델을 공개하여 커뮤니티의 재현성과 발전을 도모하고 있습니다.