기술 요약: VTONQA

문제 정의

이미지 기반 가상 시착(Virtual Try-on, VTON)은 이커머스와 디지털 패션 분야에서 핵심적인 기술이 되었으나, 현재의 모델들은 의류 왜곡, 얼굴 흐림, 신체 구조 불일치와 같은 아티팩트(artifact)로 인해 저품질의 결과물을 생성하는 경우가 빈번합니다. 기존의 평가 방식은 FID(Fréchet Inception Distance), LPIPS(Learned Perceptual Image Patch Similarity)와 같은 객관적 지표나 SSIM, PSNR과 같은 픽셀 수준의 기준에 크게 의존하고 있지만, 이러한 척도들은 인간의 지각과 낮은 상관관관계를 보이는 경우가 많습니다. 또한, 기존의 이미지 품질 평가(IQA) 데이터셋은 자연 이미지나 일반적인 AI 생성 콘텐츠를 위해 설계되었기 때문에, VTON 특유의 왜곡 유형과 참조 정보 형식을 다루지 못합니다. 아울러, 현재의 평가 프로토콜은 단일한 전체 점수만을 제공하는데, 이는 의류 전이(garment transfer)의 미흡함과 신체 부적합성(body incompatibility)의 구분을 포함한 VTON 시스템의 다양한 실패 모드를 진단하기에는 불충분합니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 VTON을 위한 최초의 다차원 품질 평가 데이터셋인 VTONQA를 구축하였습니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다.

1. 데이터셋 구축

• 데이터 생성: 데이터셋은 11개의 대표적인 VTON 모델에 의해 생성된 8,132개의 합성 이미지로 구성됩니다. 이 모델들은 세 가지 범주를 포괄합니다: 고전적인 워프 기반 방식(예: VITON-HD, TPD), 확산 기반(diffusion-based) 접근 방식(예: StableVITON, OOTDiffusion), 그리고 폐쇄형 소스 상용 시스템(예: Kling, LinkFox).
• 입력 다양성: 합성 과정에서는 9가지 인구 통계학적 카테고리(흑인, 백인, 아시아인, 어린이, 청년, 노인, 임산부, 남성, 여성)와 다양한 포즈를 아우르는 184개의 참조 인물 이미지를 활용합니다. 이들은 8가지 카테고리(T셔츠, 셔츠, 스웨터, 반바지, 바지, 맥시스커트, 스커트, 드레스)에 걸친 80개의 의류 이미지와 쌍을 이룹니다.
• 주석 프로토콜: 40명의 독립적인 자원봉사자를 대상으로 주관적 실험을 수행했습니다. 참가자들은 세 가지 별도 차원에 대해 1~5점 척도(정밀도 0.1)로 각 이미지를 평가했습니다:
  1. 의류 적합도(Clothing Fit): 의류 전이의 정확도 및 완전성.
  2. 신체 호환성(Body Compatibility): 시착 후 인간의 체형 및 포즈의 물리적 일관성.
  3. 전반적인 품질(Overall Quality): 인간의 미적 지각과의 일치도.
• 데이터 처리: 신뢰성을 보장하기 위해 이상치 탐지(표준편차 $2\sigma$를 벗어나는 점수 제거)를 수행한 후, 피험자 내 Z-점수 정규화(within-subject Z-score normalization) 및 [0, 100] 범위로의 선형 매핑을 진행했습니다. 최종 평균 의견 점수(MOS)는 정규화된 점수들의 평균을 계산하여 산출되었습니다.

2. 벤치마킹 프레임워크

저자들은 다음을 평가하기 위한 종합적인 벤치마크를 구축했습니다:

• VTON 모델: 11개의 대표 알고리즘을 VTONQA에 대한 미세 조정 없이 추론 전용 설정으로 테스트했습니다.
• IQA 지표: 전통적인 전체 참조(FR) 및 무참조(NR) 방식, 그리고 딥러닝 기반 접근 방식을 포함한 17개의 기존 IQA 지표를 평가했습니다. 제로샷(zero-shot) 평가와 VTONQA 점수로 학습된 미세 조정(fine-tuned) 시나리오를 모두 테스트했습니다.

3. 평가 지표

예측 점수와 실제 ground-truth MOS 사이의 일관성은 Spearman의 순위 상관 계수(SRCC), Kendall의 순위 상관 계수(KRCC), 그리고 Pearson 선형 상관 계수(PLCC)를 사용하여 측정되었습니다.

주요 결과

데이터셋 특성

• 데이터셋은 세 가지 차원에 걸쳐 24,396개의 MOS 주석을 포함합니다.
• 주석자 간 일치도 분석 결과, 모든 차원에서 높은 일관성(SRCC/PLCC가 약 0.73에서 0.79 사이)을 보였습니다.
• 차원별 경향: 분석 결과, 현재 모델들은 의류 적합도(정확한 정렬)보다 신체 호환성(포즈/구조 보존) 측면에서 일반적으로 더 우수한 성능을 보였습니다. 하체 의류(바지, 반바지)는 상의나 전신 의류보다 훨씬 더 큰 어려움을 주는 것으로 나타났습니다.

모델 성능

• 폐쇄형 소스 시스템(Kling, LinkFox)이 모든 카테고리에서 가장 높고 안정적인 성능을 달면했습니다.
• 오픈 소스 방법 중에서는 확산 기반 모델(예: StableVITON)이 고전적인 워프 기반 방법(예: FS-VTON)보다 일반적으로 더 우수한 성능을 보였으며, 다양한 시나리오에서 더 높은 강건성을 보여주었습니다.
• DS-VTON은 고전적인 워프 기반 방법 중 최고의 성능을 기록했습니다.

IQA 지표 성능

• 전통적 지표: 표준 픽셀 수준 지표(MSE, PSNR, SSIM)와 전통적인 NR-IQA 방식은 특히 "의류 적합도" 차원에서 인간의 판단과 낮은 상관관계를 보였습니다.
• 딥러닝 지표: 딥러닝 기반 NR-IQA 방식, 특히 MANIQA가 인간의 점수와 가장 강력한 상관관계를 달성했습니다.
• 미세 조정 효과: VTONQA로 미세 조정된 모델들은 제로샷 모델에 비해 인간의 판단과 유의미하게 향상된 상관관계를 보여, 지각적 평가 모델을 학습시키기 위한 데이터셋의 유용성을 입증했습니다.

의의 및 기여

본 논문은 VTONQA를 VTON 커뮤니티를 위한 기초 자원으로 자리매김하며, 다음과 같은 세 가지 주요 기여를 합니다:

1. 최초의 종합적 주관 연구: 다양한 VTON 시나리오 전반에 걸친 인간의 지각적 선호도에 대한 대규모 분석을 최초로 제공하며, 의류 전이 및 신체 상호작용에서의 구체적인 실패 모드를 강조합니다.
2. 다차원 데이터셋: 단일한 전체 점수를 넘어, VTONQA는 세 가지 별도 차원(의류 적합도, 신체 호환성, 전반적인 품질)을 통해 세밀한 평가를 가능하게 하여 더욱 표적화된 모델 개선을 용이하게 합니다.
3. 벤치마킹 및 통찰력: 11개의 VTON 모델과 17개의 IQA 지표에 대한 광범한 벤치마킹을 통해 현재 객관적 지표의 한계를 밝히고, 지각적으로 정렬된 평가 방법을 개발하기 위한 주관적 감독의 필요성을 강조합니다.

저자들은 VTONQA가 품질 평가 방법론과 더 견고하고 현실적인 VTON 모델 개발 모두를 발전시키는 데 있어 견고한 토대로 기능할 것이라고 결론지었습니다. 본 데이터셋은 추가 연구를 지원하기 위해 공개되어 있습니다.