Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

1. 문제 정의 (Problem)

가상 의류 착용 (Virtual Try-On, VTON) 과 가상 의류 탈의 (Virtual Try-Off, VTOFF) 기술은 최근 확산 모델 (Diffusion Models) 과 트랜스포머 아키텍처의 발전으로 사실적인 이미지 합성 능력이 크게 향상되었습니다. 그러나 기존 연구와 데이터셋에는 다음과 같은 한계가 존재했습니다.

• 정적 데이터셋의 한계: 기존 데이터셋 (예: VITON-HD, Dress Code) 은 고정된 사람 - 의류 쌍으로만 구성되어 있어, 사용자의 자연어 지시 (Instruction) 에 따라 의류를 수정하거나 구조를 변경하는 상호작용적이고 제어 가능한 생성이 불가능했습니다.
• 분산된 접근 방식:
  • VTON 데이터셋은 편집 기능 없이 단순 합성에만 집중했습니다.
  • 일반 이미지 편집 데이터셋은 의류 - 사람 간의 일관된 대응 관계가 부족했습니다.
  • 패션 편집 연구들은 특정 하위 작업에만 집중하여 통합된 벤치마크가 부재했습니다.
• 미세 조정의 부재: 색상, 패턴, 소재 변경뿐만 아니라 소매 길이, 목선 등 구조적 (Structural) 변경을 자연어로 지시하며 정밀하게 제어할 수 있는 체계적인 프레임워크가 필요했습니다.

2. 제안 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 **Dress-ED (Dress Editing Dataset)**라는 대규모 벤치마크와 이를 위한 **Dress-EM (Dress Editing Model)**을 제안했습니다.

A. Dress-ED 데이터셋 구축 (Automated Multimodal Pipeline)

수동 주석의 한계를 극복하기 위해 완전 자동화된 멀티모달 파이프라인을 통해 14 만 개 이상의 검증된 데이터를 생성했습니다.

1. 속성 추출 및 지시문 생성 (Stage 1):
   • Qwen3-VL 과 같은 MLLM 을 사용하여 의류 이미지와 착용 이미지를 분석하여 구조화된 JSON 속성 (색상, 패턴, 소재, 목선, 소매 길이 등) 을 추출합니다.
   • 추출된 속성을 기반으로 규칙 기반 템플릿을 사용하여 자연어 편집 지시문 (Instruction) 을 생성합니다.
2. 의류 편집 합성 (Stage 2):
   • FLUX.2 Klein 과 같은 확산 기반 모델을 사용하여 원본 의류 이미지를 지시문에 따라 편집된 의류 이미지로 변환합니다.
3. 편집된 착용 이미지 생성 (Stage 3):
   • FitDiT 와 같은 최신 VTON 모델을 사용하여 편집된 의류를 원본 인물 이미지에 자연스럽게 입힙니다.
4. 자동 품질 검증 (Stage 4):
   • GPT-5 를 사용하여 편집의 정확성과 사실성을 점수화합니다.
   • GPT-5 의 판단을 InternVL-3.5 로 증류 (Distillation) 하여 대량 데이터에 적용 가능한 검증기를 구축하고, 임계값 (Score > 80) 이하의 샘플을 필터링하여 최종 데이터셋을 완성합니다.

데이터셋 통계:

• 총 샘플: 146,460 개 (검증된 4 중체: 원본 의류, 원본 인물, 편집된 의류, 편집된 인물 + 지시문).
• 카테고리: 드레스, 상의, 하의 (3 가지).
• 편집 유형 (7 가지): 색상 변경, 패턴 변경, 소재 변경, 세부 사항 추가, 요소 제거, 구조 수정, 미세 조정 (Fine-grained).

B. Dress-EM 모델 (Unified Multimodal Diffusion Framework)

지시문을 기반으로 VTON 과 VTOFF 를 통합적으로 수행하는 확산 기반 모델을 제안했습니다.

• 아키텍처:
  • MLLM (InternVL-3.5): 시각적 참조 (의류/인물) 와 텍스트 지시를 결합하여 멀티모달 토큰 임베딩을 생성합니다.
  • Connector: MLLM 의 특징을 확산 모델의 조건부 공간으로 연결하는 경량 트랜스포머입니다.
    • Global Guidance Pathway: 편집의 전반적인 의미적 요약 (2048 차원 벡터).
    • Token Refinement Pathway: 세부적인 멀티모달 정보를 보존하는 토큰 시퀀스.
  • Diffusion Transformer (DiT): VAE 잠재 공간에서 노이즈 제거를 수행하며, MLLM 의 조건부 정보와 시각적 특징을 결합하여 최종 이미지를 생성합니다.
• 작동 방식:
  • VTON: 원본 인물 + (페어/언페어) 의류 + 지시문 $\rightarrow$ 편집된 착용 이미지.
  • VTOFF: 착용 인물 + 지시문 $\rightarrow$ 편집된 의류 카탈로그 이미지.

3. 주요 기여 (Key Contributions)

1. Dress-ED 데이터셋: VTON, VTOFF, 텍스트 기반 의류 편집을 단일 프레임워크로 통합한 최초의 대규모 벤치마크입니다. 14 만 개 이상의 검증된 샘플과 7 가지 편집 유형을 포함합니다.
2. 자동화 멀티모달 파이프라인: MLLM 기반 이해, 확산 기반 합성, LLM 기반 검증을 결합하여 고품질의 대규모 데이터셋을 자동으로 생성하는 프로세스를 제시했습니다.
3. 통합 벤치마크 및 모델: VTON 과 VTOFF 모두에서 지시 기반 편집을 평가할 수 있는 표준 프로토콜을 수립하고, 이를 위한 강력한 베이스라인 모델 (Dress-EM) 을 제안했습니다.

4. 실험 결과 (Results)

Dress-ED 데이터셋을 기반으로 Dress-EM 을 평가하였으며, CatVTON, Any2AnyTryon, FLUX.2 Klein, Qwen-Image-Edit 등 기존 SOTA 모델과 비교했습니다.

• 정량적 평가:
  • VTON (페어/언페어): Dress-EM 은 FID, KID, LPIPS, DISTS 등 모든 시각적 충실도 지표에서 가장 낮은 (우수한) 값을 기록했습니다. 특히 DINO-I 점수가 높아 지시문에 따른 의미론적 정확성이 뛰어났습니다.
  • VTOFF: 편집된 의류 이미지 생성에서도 Dress-EM 이 가장 낮은 FID 와 가장 높은 DINO-I 를 기록하여 세부 사항 복원 및 의미론적 일관성에서 우위를 보였습니다.
  • 편집 유형별 분석: 색상/패턴/소재 변경과 같은 외관 편집뿐만 아니라, 소매 길이 변경과 같은 구조적 편집에서도 일관된 성능 향상을 보였습니다.
• 정성적 평가:
  • Dress-EM 은 인물 정체성, 자세, 배경을 유지하면서도 지시문에 정확히 부합하는 사실적인 편집 결과를 생성했습니다. 반면, 일반 편집 모델들은 의류 정체성을 잃거나 지시를 따르지 못하는 경우가 많았습니다.

5. 의의 및 결론 (Significance)

• 패션 AI 의 새로운 패러다임: 단순한 의류 합성을 넘어, 사용자의 자연어 지시에 따라 의류의 디자인과 구조를 자유롭게 수정할 수 있는 상호작용적이고 제어 가능한 패션 생성의 새로운 기준을 제시했습니다.
• 데이터 및 평가 표준: 기존에 부재했던 "의류 - 사람 - 지시문 - 편집 결과"의 4 중체 데이터와 통합 평가 프로토콜을 제공함으로써, 향후 관련 연구의 발전에 필수적인 인프라를 마련했습니다.
• 확장성: 자동화된 파이프라인을 통해 다양한 편집 유형과 도메인으로의 확장이 가능하며, 실제 e-커머스 및 가상 피팅 서비스 등 산업 응용에 큰 잠재력을 가지고 있습니다.

요약하자면, 이 논문은 Dress-ED라는 대규모 데이터셋과 Dress-EM 모델을 통해 자연어 지시에 따른 가상 의류 착용 및 탈의 편집의 새로운 기준을 제시하며, 패션 생성 AI 의 제어 가능성과 상호작용성을 획기적으로 높였습니다.