PROMO: Promptable Outfitting for Efficient High-Fidelity Virtual Try-On

이 논문은 유동 매칭 기반의 DiT 아키텍처와 잠재 공간의 다중 모달 조건 결합 및 자기 참조 메커니즘을 활용하여, 기존 가상 의류 입기 (VTON) 방법들보다 높은 화질과 추론 효율성을 동시에 달성하는 프롬프트 기반 프레임워크 'PROMO'를 제안합니다.

핵심

PROMO: 당신의 옷장 속 '마법 거울'을 소개합니다

안녕하세요! 오늘 소개해 드릴 논문은 **'PROMO'**라는 이름의 새로운 기술에 대한 것입니다. 이 기술은 온라인 쇼핑할 때 "이 옷을 입으면 내 몸에 잘 어울릴까?"라는 고민을 해결해 주는 가상 피팅 (Virtual Try-On) 기술의 차세대 버전입니다.

기존 기술들이 가진 문제점과 PROMO 가 어떻게 이를 해결했는지, 마치 요리사와 요리 도구에 비유해서 쉽게 설명해 드릴게요.

---

1. 기존 기술의 문제점: "거친 요리사들"

과거의 가상 피팅 기술들은 두 가지 큰 문제를 겪고 있었습니다.

• 문제 1: 옷이 찌그러지거나 뚝뚝 끊겨요.
  예전 기술들은 옷을 사람 몸에 붙일 때 마치 종이 인형을 끼우는 것처럼 옷을 늘이거나 구부리는 방식 (Warpping) 을 썼습니다. 하지만 옷은 종이가 아니죠. 그래서 옷이 비틀리거나, 주름이 이상하게 잡히거나, 피부가 옷 밖으로 튀어나오는 어색한 결과가 자주 나왔습니다.
• 문제 2: 느리고 비싸요.
  최근에는 AI(확산 모델) 를 써서 더 현실적인 사진을 만들지만, 이 과정이 매우 느리고 컴퓨터 성능을 많이 잡아먹습니다. 마치 고해상도 영화를 만들 때 컴퓨터가 과열될 정도로 무거운 작업을 해야 했죠. 또한, 옷의 디테일 (단추, 무늬) 이 흐릿해지거나 옷감이 실제처럼 느껴지지 않는 경우가 많았습니다.

2. PROMO 의 등장: "요리 실력도 좋고, 속도도 빠른 천재 셰프"

PROMO 는 이 모든 문제를 해결하기 위해 등장했습니다. 이를 세 가지 핵심 비법으로 나누어 설명해 볼게요.

① "요리 레시피"를 잘 읽는 능력 (프롬프트 기반 스타일 제어)

기존 기술들은 옷을 입히는 것만 신경 썼지, **"어떻게 입을지 (스타일)"**는 무시했습니다. 예를 들어, "셔츠를 허리에 넣어서 깔끔하게 입어" 혹은 "소매를 걷어서 편하게 입어" 같은 세부 지시를 못 했죠.

• PROMO 의 비법: PROMO 는 Qwen 이라는 AI 언어 모델을 훈련시켜서, 옷 사진을 보고 "이 옷은 V 넥이고, 소매는 팔꿈치 위까지 오는 긴팔이야"라고 **자연스러운 설명 (프롬프트)**을 만들어냅니다.
• 비유: 마치 요리사에게 "매콤하게, 약간 매콤하게, 아주 매콤하게" 중 원하는 맛을 말하면 그대로 만들어주는 것처럼, 사용자가 원하는 옷차림 스타일을 텍스트로 지시하면 그대로 구현해 줍니다.

② "여분의 재료"를 줄이는 지혜 (공간 조건 통합)

옷을 입힐 때 필요한 정보 (사람의 자세, 옷의 모양, 마스크 등) 가 너무 많으면 AI 가 처리하느라 지쳐버립니다. 기존 방식은 이 정보들을 하나하나 큰 용량으로 다 넣었습니다.

• PROMO 의 비법: PROMO 는 이 정보들을 중요도별로 다듬어서 압축합니다. 예를 들어, 옷의 전체 모양은 자세히 보지만, 옷이 가린 몸통의 자세 정보는 조금 더 간략하게 처리합니다.
• 비유: 요리할 때 모든 재료를 다 큰 냄비에 넣지 않고, 중요한 건 정성껏 넣고, 부수적인 건 적당히 줄여서 요리하는 것과 같습니다. 이렇게 하면 컴퓨터가 훨씬 빠르게 요리 (이미지 생성) 를 끝낼 수 있습니다.

③ "한 번에 여러 번" 기억하는 기술 (시간적 자기 참조)

가상 피팅을 할 때 AI 는 그림을 그리는 과정을 여러 단계 (시간) 로 나누어 진행합니다. 보통은 매 단계마다 옷의 정보를 다시 다시 확인해야 해서 시간이 오래 걸립니다.

• PROMO 의 비법: PROMO 는 첫 단계에서 옷의 정보를 한 번만 기억 (캐싱) 해두고, 그 뒤의 단계에서는 그 기억을 재활용합니다.
• 비유: 요리할 때 재료를 다 썰어놓고 한 번에 냄비에 넣는 게 아니라, 처음에 다 썰어둔 뒤에는 그 썰어진 재료를 계속 꺼내서 쓰는 것처럼, 불필요한 작업을 줄여서 속도를 2 배 이상 빠르게 만들었습니다.

---

3. PROMO 가 가져온 변화: "실제 입어본 것처럼"

이 기술이 실제로 어떤 효과를 냈는지 요약해 드리면:

1. 실물 같은 옷감: 옷의 주름, 무늬, 재질감이 마치 실제 사진을 찍은 것처럼 선명합니다.
2. 여러 옷 한 번에 입히기: 상의와 하의를 동시에 입히거나, 드레스와 액세서리를 함께 입히는 것도 가능합니다.
3. 빠른 속도: 고화질 이미지를 만드는 데 걸리는 시간이 기존 기술보다 훨씬 짧아져서, 모바일 앱에서도 실시간으로 사용할 수 있게 되었습니다.
4. 현실적인 상황 대응: 배경이 복잡하거나 옷이 헐렁한 경우에도 몸매가 자연스럽게 유지되도록 설계되었습니다.

4. 결론: 당신의 온라인 쇼핑 파트너

PROMO 는 단순히 옷을 입히는 것을 넘어, **"내가 이 옷을 입으면 어떤 스타일이 될지"**까지 상상할 수 있게 해주는 초현실적인 가상 피팅 거울입니다.

앞으로 온라인 쇼핑몰에서 "이 옷을 입어보세요" 버튼을 누르면, AI 가 당신의 몸매와 취향에 맞춰 가장 자연스럽고 빠른 속도로 옷을 입혀드릴 것입니다. 반품을 줄이고, 쇼핑의 즐거움을 더하는 진정한 혁신이라고 할 수 있죠!

기술 요약

논문 요약: PROMO (Promptable Outfitting for Efficient High-Fidelity Virtual Try-On)

1. 문제 제기 (Problem Statement)

가상 피팅 (Virtual Try-On, VTON) 은 온라인 쇼핑에서 반품률을 줄이고 소비자와 판매자 모두에게 혜택을 주는 핵심 기술입니다. 그러나 기존 방법들은 다음과 같은 한계를 가지고 있었습니다:

• 기존 워핑 (Warping) 및 GAN 기반 방법: 비자연스러운 외관, 복잡한 자세나 가려짐 (occlusion) 에서의 성능 저하, 의류의 미세한 질감과 그림자 표현의 부재.
• 기존 Diffusion 기반 방법: 높은 화질을 제공하지만, 보조 참조 네트워크 (Reference Net) 와 같은 복잡한 아키텍처를 사용하여 초기화 및 상호작용 로직이 복잡하고, 추론 (Inference) 속도가 느려 화질과 효율성 간의 트레이드오프가 심화되었습니다.
• 스타일 제어의 부재: 의류의 착용 스타일 (예: "소매를 접다", "타이트하게 입다") 을 텍스트 프롬프트로 제어하는 기능이 부족하거나, 폐쇄형 VLM(Visual Language Model) 에 의존하여 비용과 정확도 문제가 발생했습니다.
• 다중 조건 처리의 비효율성: 여러 의류 아이템이나 조건을 처리할 때 해상도 불일치나 토큰 수 증가로 인한 계산 비용 과다 발생.

2. 방법론 (Methodology)

저자들은 VTON 을 "강력한 조건부 생성이 필요한 구조화된 이미지 편집 문제"로 재정의하고, **Flow Matching Diffusion Transformer (DiT)**를 기반으로 한 PROMO 프레임워크를 제안했습니다.

주요 기술적 구성 요소:

• Flow Matching DiT 백본:

  • U-Net 대신 확장성이 뛰어난 Transformer 아키텍처 (DiT) 를 사용하여 고해상도 의류 디테일을 포착합니다.
  • 잠재 공간 (Latent Space) 에서의 멀티모달 조건 연결 (Concatenation) 을 통해 효율성을 극대화합니다.

• 효율적인 공간 조건 처리 (Precise and Efficient Spatial Conditioning):

  • 지능형 마스크 생성: DWPose 와 인간 파싱 (Human Parsing) 을 결합하여 자동화된 마스크를 생성합니다.
  • 정밀한 신체 형상 추정: 느슨한 옷차림에서도 왜곡되지 않는 신체 형상과 포즈를 추정하기 위해 EOMT 기반의 반복적 이미지 생성 훈련을 적용합니다.
  • 공간 조건 병합 (Spatial Condition Merging): 마스크와 포즈 조건을 하위 해상도로 다운샘플링하고 병합하여 토큰 수를 기존 대비 87.5% (12.5% 로 감소) 줄여 추론 효율성을 높입니다.
  • 영역 인식 손실 가중치 (Region-Aware Loss Weighting): 배경과 신체 영역을 구분하여 의류 디테일 복원에 집중하고 배경 간섭을 줄이는 가중치 손실 함수를 적용합니다.

• 프롬프트 기반 착용 스타일 제어 (Promptable Dressing Style):

  • Style Prompt System: Qwen2.5-VL-7B 모델을 미세 조정 (Fine-tuning) 하여 의류 이미지에서 JSON 형식의 구조화된 스타일 설명을 생성합니다.
  • 이 시스템은 단일 이미지 입력만으로 여러 의류 아이템의 속성과 착용 스타일을 추출하여 텍스트 프롬프트로 변환합니다.

• 시간적 자기 참조 (Temporal Self-Reference):

  • 참조 네트워크를 별도로 두지 않고, 시간 단계 (Timesteps) 를跨跨하여 키/밸류 (K/V) 캐시를 재사용하는 파라미터 없는 메커니즘을 도입했습니다.
  • 3D-RoPE를 활용하여 여러 조건 (의류, 스타일, 포즈) 을 그룹화하고 구분하여, 단일 프론트패스로 다중 의류 피팅을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. PROMO 프레임워크: 대규모 파라미터의 DiT 백본을 기반으로 하되, 시간적 자기 참조, 그룹 어텐션 마스크 변조, 효율적인 토큰 병합을 통해 고속かつ고화질 생성을 실현한 멀티모달 프롬프트 제어 VTON 시스템.
2. 스타일 프롬프트 시스템: Qwen2.5-VL-7B 를 튜닝하여 의류 착용 스타일을 신뢰할 수 있는 텍스트 설명으로 변환하는 시스템을 구축. 이는 프롬프트 제어와 하류 평가 (Downstream evaluation) 를 지원합니다.
3. 성능 입증: VITON-HD, DressCode 및 실제 환경 (In-the-wild) 데이터셋에서 기존 VTON 모델 및 범용 이미지 편집 모델 (Seedream, Qwen Image Edit 등) 을 능가하는 시각적 품질과 추론 속도를 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • VITON-HD 및 DressCode 데이터셋: SSIM, LPIPS, FID, KID 등 모든 지표에서 기존 SOTA 모델 (LaDI-VTON, CatVTON, OOTDiffusion 등) 보다 우수한 성능을 보였습니다.
  • 범용 이미지 편집 모델 비교: Seedream 4.0, Qwen Image Edit 등 최신 상용 모델과 비교했을 때, 색상 불일치와 아티팩트가 적고 더 자연스러운 피팅 결과를 생성했습니다.
• 정성적 평가 및 사용자 연구 (Qualitative & User Study):
  • 복잡한 배경과 다양한 자세를 가진 'In-the-wild' 데이터셋에서 9 명의 어노테이터가 평가한 결과, PROMO 는 의류 질감, 신체 형상, 스타일, 색상 일관성 모든 항목에서 경쟁사 (Huiwa, Kling, Douyin 등) 대비 높은 '우수 (Excellent)' 비율을 기록했습니다.
  • 특히 다중 의류 (Multi-garment) 피팅과 프롬프트 기반 스타일 제어 (예: 소매 길이 조절, 핏 변경) 에서 뛰어난 유연성을 입증했습니다.
• 효율성:
  • Temporal Self-Reference 메커니즘을 통해 추론 시간을 약 22 초에서 9 초 미만으로 단축하면서도 화질 저하 없이 효율성을 극대화했습니다.

5. 의의 및 결론 (Significance)

PROMO 는 가상 피팅 분야에서 화질과 속도의 균형을 성공적으로 달성한 획기적인 모델입니다.

• 기술적 혁신: 복잡한 참조 네트워크 없이 Flow Matching DiT 와 자기 참조 메커니즘을 결합하여 효율적인 고화질 생성을 가능하게 했습니다.
• 실용성: 실제 온라인 쇼핑 환경에서 발생할 수 있는 불완전한 입력 (모델 이미지만 있거나, 의류 이미지만 있는 경우) 을 처리할 수 있는 보조 모듈 (TryOff Model, Style Prompt System) 을 포함하여 상용화 가능성을 높였습니다.
• 확장성: 의류 착용 스타일을 텍스트로 제어할 수 있는 기능은 단순한 피팅을 넘어, 사용자의 취향에 맞는 맞춤형 쇼핑 경험을 제공하는 차세대 e-커머스 솔루션의 기반이 될 것으로 기대됩니다.

결론적으로 PROMO 는 Flow Matching Transformer, 잠재 멀티모달 조건화, 자기 참조 가속화를 결합하여 고품질 가상 피팅을 위한 효율적이고 훈련 효율적인 솔루션을 제시했습니다.