Garments2Look: A Multi-Reference Dataset for High-Fidelity Outfit-Level Virtual Try-On with Clothing and Accessories

1. 문제 정의 (Problem Statement)

가상 의류 착용 (Virtual Try-On, VTON) 기술은 기존에 단일 의류 (Top, Bottom 등) 의 시각화에 중점을 두어 발전해 왔습니다. 그러나 실제 패션은 여러 의류와 액세서리가 층층이 겹쳐진 (Layering) 복잡한 '전체 룩 (Outfit)'을 구성하며, 재킷을 여미거나 셔츠를 속으로 넣는 (Styling) 등의 세부적인 스타일링이 중요합니다.

기존의 VTON 데이터셋과 방법론은 다음과 같은 한계를 가집니다:

• 단일 항목 중심: 대부분의 데이터셋 (VITON-HD, DressCode 등) 이 단일 의류 착용에 최적화되어 있어, 여러 아이템을 동시에 착용하거나 액세서리를 포함하는 시나리오를 처리하지 못합니다.
• 구조적 정보 부족: 의류의 겹침 순서 (Layering order) 나 착용 방식 (Tucked-in, Unzipped 등) 에 대한 텍스트 및 구조적 주석이 부재합니다.
• 다양성 부족: 의류 카테고리나 스타일의 다양성이 제한적이며, 실제 패션의 복잡성을 반영하지 못합니다.

이로 인해 현재 SOTA(최첨단) 모델들은 복잡한 룩을 자연스럽게 합성하거나, 의류 간의 오버랩 (Occlusion) 과 스타일링을 정확히 구현하는 데 실패하고 있습니다.

2. 제안 방법: Garments2Look 데이터셋 (Methodology)

저자들은 이러한 문제를 해결하기 위해 Garments2Look이라는 대규모 멀티모달 데이터셋을 제안합니다. 이 데이터셋은 8 만 개의 '다중 의류 - 단일 룩 (Many-garments-to-one-look)' 쌍으로 구성되며, 40 개의 주요 카테고리 및 300 개 이상의 세분화된 하위 카테고리를 포함합니다.

데이터셋 구축 과정은 다음 4 단계로 이루어집니다:

2.1. 데이터 수집 (Data Collection)

• 데이터 소스: 기존 패션 호환성 학습 연구, 오픈소스 패션 데이터셋 (Maryland PolyVore 등), 공개 웹 이미지, 그리고 생성 모델에 의해 생성된 합성 데이터를 통합합니다.
• 데이터 유형:
  1. Gold Standard: 의류 이미지와 모델 착용 이미지가 완벽하게 짝지어진 데이터 (50.2%).
  2. Paired Outfits: 의류 조합은 있으나 착용 이미지가 없는 데이터.
  3. Unpaired Garments: 의류 이미지만 있는 데이터.
  4. Look Only: 착용 이미지만 있는 데이터.
• 수집된 데이터를 균형 있게 활용하여 품질과 다양성을 확보합니다.

2.2. 데이터 합성 (Data Synthesis)

• Outfit Synthesis (룩 구성 합성):
  • LLM(대형 언어 모델) 을 활용하여 특정 패션 스타일 (예: Minimalist, Y2K 등 65 가지) 과 사용자 컨텍스트 (연령, 직업, occasion) 를 기반으로 의류 리스트를 생성합니다.
  • 생성된 리스트의 각 아이템에 대해 데이터베이스에서 검색을 수행하되, 재가중치 샘플링 (Re-weighted sampling) 전략을 적용하여 인기 있는 아이템의 편향을 줄이고 드문 아이템의 활용도를 높입니다.
• Look Synthesis (착용 이미지 합성):
  • 생성된 의류 리스트를 OOTD(Outfit of the Day) 그리드 이미지로 변환한 후, Nano Banana (Gemini-2.5-Flash-Image) 와 같은 고급 이미지 생성 모델을 사용하여 모델 착용 이미지를 합성합니다.
  • 프롬프트 엔지니어링: 의류의 겹침 순서 (Layering) 와 스타일링 기법 (Tucked-in, Rolled-up 등) 을 명시적으로 지시하여 모델이 세부 사항을 반영하도록 유도합니다.

2.3. 데이터 필터링 (Data Filtering)

• 전문가 검증: 패션 전문가 10 명과 3 명의 전문가가 합성된 데이터를 검증합니다.
• 검증 기준:
  • 개별 의류 이미지의 라벨 일치성 확인.
  • 룩 (Look) 이미지에서 모든 의류가 명확하게 표현되었는지 확인.
  • 겹침 (Occlusion) 과 스타일링이 논리적으로 타당한지 확인.
• 최종적으로 합성된 룩 이미지의 약 40% 만이 엄격한 검증을 통과하여 최종 데이터셋에 포함됩니다.

2.4. 데이터 평가 및 주석 (Evaluation & Annotation)

• 멀티모달 주석: 각 샘플에 대해 아이템 설명, 전체 룩 설명, 겹침 순서, 스타일링 기법, 모델의 자세 및 배경에 대한 상세한 텍스트 주석을 제공합니다.
• 평가 지표: 기존 VTON 지표 (FID, KID, SSIM, LPIPS) 와 함께, VLM(시각 - 언어 모델) 을 활용한 의류 일관성 (Garment Consistency), 겹침 정확도 (Layering Accuracy), 스타일링 정확도 (Styling Accuracy) 를 평가하는 새로운 프로토콜을 도입했습니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 룩 레벨 VTON 데이터셋: 8 만 개의 고품질 쌍과 3~12 개의 참조 의류 (평균 4.48 개) 를 포함하며, 액세서리와 복잡한 겹침 구조를 포괄하는 최초의 대규모 오픈소스 데이터셋입니다.
2. 새로운 태스크 정의: 단순한 의류 교체를 넘어, 텍스트 주석 (겹침 순서, 스타일링 기법) 을 활용하여 다중 참조 아이템을 모델에 적용하는 새로운 VTON 태스크를 정의했습니다.
3. 심층적 벤치마크 및 통찰: 최신 VTON 모델 및 범용 이미지 편집 모델 (Nano Banana, GPT-4o 등) 을 평가하여, 현재 기술이 다중 의류 착용과 세부 스타일링 제어에서 심각한 한계를 겪고 있음을 입증했습니다.

4. 실험 결과 (Results)

• 모델 성능 한계:
  • 기존 VTON 모델 (OmniTry, FastFit 등) 은 참조 아이템이 4 개를 초과하거나 겹침이 복잡해지면 의류가 누락되거나 왜곡되는 현상이 빈번했습니다.
  • 범용 이미지 편집 모델은 VTON 전용 모델보다 유연성이 높았으나, 자세 (Pose) 일관성 유지와 미세한 구조적 제어 (주머니 위치, 버튼 개수 등) 에서는 여전히 부족했습니다.
• 텍스트 주석의 중요성:
  • ablation study 결과, 단순한 카테고리 정보뿐만 아니라 겹침 순서와 스타일링 기법을 포함한 상세한 텍스트 주석을 입력으로 제공할 때 모델의 성능 (FID, KID 등) 이 크게 향상됨을 확인했습니다.
  • 이는 시각적 정보만으로는 복잡한 패션 시나리오를 해결하기 어렵고, 구조화된 텍스트 정보가 필수적임을 시사합니다.
• 데이터 품질: 합성 데이터와 실제 데이터가 1:1 비율로 구성되어 있으며, 인간 평가에서 높은 일관성과 정확도를 보였습니다.

5. 의의 및 결론 (Significance)

Garments2Look 은 가상 의류 착용 기술이 '단일 의류'에서 '복잡한 전체 룩'으로 진화하는 데 필요한 핵심 인프라를 제공합니다.

• 실용성: 실제 이커머스 및 패션 디자인 분야에서 사용자가 원하는 복잡한 스타일링을 시뮬레이션할 수 있는 기반을 마련했습니다.
• 연구 방향 제시: 단순한 이미지 합성을 넘어, 시각적 정보와 구조화된 텍스트 정보 (겹침, 스타일링) 를 융합한 멀티모달 학습의 중요성을 강조합니다.
• 향후 과제: 현재 모델들의 성능 한계를 드러냄으로써, 더 정교한 겹침 제어와 스타일링 이해를 위한 새로운 모델 아키텍처 개발의 필요성을 제기했습니다.

이 논문은 패션 AI 연구의 새로운 기준 (Benchmark) 을 제시하며, 고충실도 (High-Fidelity) 가상 의류 착용 기술의 발전에 중요한 기여를 할 것으로 기대됩니다.