논문 요약: KiseKloset (패션 검색 및 추천을 위한 종합 시스템)

1. 문제 제기 (Problem)

글로벌 패션 이커머스 시장은 급성장하고 있으나, 오프라인 쇼핑에서 온라인으로 전환되면서 다음과 같은 주요 한계점이 발생했습니다.

• 선택의 어려움: 판매원의 도움 없이 방대한 상품 중 원하는 아이템을 찾는 데 시간이 많이 소요됨.
• 착용 경험 부재: 구매 전 옷을 직접 입어볼 수 없어 구매 후 불만족 (반품 등) 이 발생하고, 이로 인한 물류 비용과 폐기물 문제가 대두됨.
• 기존 기술의 한계: 기존 의상 추천 (ORR) 및 가상 착용 (VTON) 시스템은 기능이 분리되어 있거나, 단일 아이템만 추천하거나, 계산 비용이 과도하게 높음.

이러한 문제를 해결하기 위해 사용자의 경험을 극대화하고, 물리적/디지털 쇼핑 간의 간극을 메울 수 있는 **종합적인 패션 시스템 (KiseKloset)**의 개발이 필요했습니다.

2. 제안 방법론 (Methodology)

저자들은 의상 검색 (Retrieval), 추천 (Recommendation), 가상 착용 (Try-on) 기능을 통합한 KiseKloset 시스템을 제안합니다.

A. 의상 검색 및 추천 (Outfit Retrieval & Recommendation)

• 카테고리 내 유사 아이템 검색 (Intra-category):
  • CLIP 모델을 사용하여 의상 이미지의 시각적 임베딩을 추출합니다.
  • **근사 검색 알고리즘 (Approximate Search)**을 적용하여 대규모 데이터셋에서 유사한 아이템을 빠르게 검색합니다.
  • 사용자의 참여도를 높이기 위해 검색 결과에 변형 (Accurate, Approximate, Heuristic) 을 가하여 다양한 아이템을 노출합니다.
• 텍스트 피드백 기반 검색 (Text Feedback-guided):
  • CLIP4Cir 아키텍처를 활용하여 기준 이미지와 자연어 피드백 (예: "소매가 더 긴 것", "색상이 더 밝은 것") 을 결합합니다.
  • 결합 네트워크 (Combiner Network) 를 통해 통합된 임베딩을 생성하고, 이를 기반으로 목표 아이템을 검색합니다.
• 카테고리 간 보완 아이템 추천 (Inter-category Complementary Recommendation):
  • Transformer 아키텍처를 기반으로 한 새로운 네트워크를 제안합니다.
  • 의상을 자연어 문장 생성 문제로 간주하여, 기준 아이템 (Input) 을 바탕으로 나머지 의상 구성 요소 (Output) 를 추천합니다.
  • 일반화된 추천: 기존 연구가 하나의 누락된 아이템만 추천했다면, 본 시스템은 의상 내 누락된 아이템의 수에 구애받지 않고 여러 개의 보완 아이템을 동시에 추천할 수 있습니다.
  • 추천 모드: 'Tone sur tone'(유사한 색상/질감) 과 'Mix and match'(다양한 스타일/색상) 두 가지 모드를 지원합니다.

B. 가상 착용 (Virtual Try-On, VTON)

• 경량화 Teacher-Student 네트워크:
  • 기존 VTON 의 복잡성을 해결하기 위해 DM-VTON을 기반으로 한 경량화 프레임워크를 도입했습니다.
  • Teacher Network: 파서 (Parser) 기반의 고품질 VTON 결과를 생성합니다.
  • Student Network: MobileNetV2 를 기반으로 하여 역잔차 블록 (inverted residual blocks) 을 사용하여 계산 효율성과 모델 크기를 최적화합니다.
  • 지식 증류 (Knowledge Distillation): Teacher 가 생성한 합성 이미지를 통해 Student 를 학습시켜, 인간 표현 (human representation) 에 의존하지 않고도 원본 이미지로 직접 학습이 가능하도록 합니다.
  • 특징: 실시간 작동, 메모리 효율성, 높은 사실성을 동시에 달성합니다.

C. 시스템 최적화

• 대규모 패션 데이터셋 (PolyvoreOutfits, DeepFashion) 에서 HNSW, IVF, ANNOY 등 다양한 근사 검색 알고리즘을 비교 평가하여, 정확도 (Recall) 를 유지하면서 검색 속도와 메모리 사용을 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 시스템: 실세계 응용을 위해 의상 검색 (ORR) 과 가상 착용 (VTON) 기능을 모두 지원하는 최초의 종합 시스템인 KiseKloset을 개발했습니다.
2. 고급 검색 및 추천 알고리즘:
   • 이미지와 텍스트 피드백을 결합한 효율적인 검색 알고리즘을 구현했습니다.
   • 여러 개의 보완 아이템을 추천할 수 있는 일반화된 Transformer 기반 의상 추천 네트워크를 제안했습니다.
3. 성능 최적화: 근사 검색 알고리즘을 도입하여 기존 완전 탐색 (Exhaustive search) 방식보다 훨씬 빠른 속도를 달성했습니다.
4. 실증적 검증: 온라인 사용자를 대상으로 한 실제 배포 및 사용자 연구를 통해 시스템의 유용성과 사용자 만족도를 입증했습니다.

4. 실험 결과 (Results)

• 검색 성능:
  • HNSW 알고리즘이 KNN 대비 **약 19 배 빠른 쿼리 시간 (1.80ms vs 35.24ms)**을 기록하면서도 98% 이상의 Recall 을 유지했습니다.
  • 메모리 사용량은 KNN 과 유사하게 효율적이었습니다.
• 사용자 연구 (User Study):
  • 온라인 사용자를 대상으로 한 엔드 - 투 - 엔드 시스템 테스트 결과, **84.4%**의 참가자가 시스템을 "매우 유용하다"고 평가했습니다.
  • **65.6%**의 사용자가 친구나 가족에게 시스템을 추천할 의사가 있다고 답했습니다.
  • 특히 응답 속도와 사용 편의성이 가장 높은 점수를 받았으며, VTON 기능은 구매 결정에 큰 도움을 주는 것으로 나타났습니다.

5. 의의 및 의의 (Significance)

• 실용적 가치: 이 연구는 패션 이커머스 산업에서 고객 참여도를 높이고, 반품 비용을 줄이며, 매출을 증대시킬 수 있는 실질적인 솔루션을 제공합니다.
• 기술적 진보: Transformer 와 근사 검색, 경량화 VTON 기술을 융합하여 실시간으로 작동하는 고도화된 패션 AI 시스템의 가능성을 입증했습니다.
• 미래 전망: 현재 상의 (Upper-body) 위주로 개발되었으나, 향후 하의 및 전체 의상으로 확장하여 더 포괄적인 패션 경험을 제공할 계획입니다.

이 논문은 단순한 기술적 제안에 그치지 않고, 실제 사용자 경험을 중심으로 시스템을 설계하고 검증함으로써, 디지털 패션 쇼핑의 새로운 표준을 제시한다는 점에서 의의가 큽니다.