Multi-Level Conditioning by Pairing Localized Text and Sketch for Fashion Image Generation

이 논문은 스케치와 지역화된 텍스트를 결합하여 패션 이미지 생성의 구조적 일관성과 세부적 의미 정보를 동시에 향상시키는 'LOTS' 프레임워크와 이를 검증하기 위한 새로운 'Sketchy' 데이터셋을 제안합니다.

핵심

이 논문은 **"패션 디자이너의 아이디어를 그림과 말로 설명하면, AI 가 그 옷을 실제로 만들어주는 기술"**에 대한 연구입니다.

기존의 AI 는 "검은색 정장"이라고만 말하면 옷을 만들어주거나, 전체적인 옷의 그림을 그려주면 그 모양대로 옷을 만들어주었습니다. 하지만 문제는 **"재킷은 검은색이고, 바지는 회색이며, 셔츠는 줄무늬"**처럼 옷의 각 부분마다 다른 색상과 무늬를 정밀하게 지시할 때, AI 가 혼란을 겪어 재킷에 줄무늬가 생기거나 바지가 검은색이 되는 등 엉뚱한 결과가 나왔다는 점입니다.

이 논문은 이 문제를 해결하기 위해 LOTS라는 새로운 시스템을 제안했습니다. 이를 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "혼란스러운 지휘자"

기존의 AI 모델들은 마치 한 명의 지휘자가 전체 오케스트라를 지휘하는 것과 같았습니다.

• 상황: 지휘자가 "첫 번째 악기는 피아노, 두 번째는 바이올린"이라고 말하면, 지휘자가 모든 악기를 한 번에 다 기억해야 합니다.
• 문제: 지휘자가 "피아노"라고 말했는데, 그 소리가 바이올린에서 나거나, "검은색"이라고 했더니 전체 악기가 검은색으로 변해버리는 **혼란 (Attribute Confusion)**이 발생합니다. 즉, "어떤 옷에 어떤 특징이 붙어야 하는지"를 AI 가 헷갈리는 것입니다.

2. 해결책: LOTS (로컬라이즈드 텍스트 앤 스케치)

이 연구팀이 만든 LOTS는 지휘 방식을 완전히 바꿨습니다. 이제 각 악기 (옷) 마다 전담 지휘자 (전문가) 가 붙는 방식입니다.

• 비유: "맞춤형 건축 팀"
  • imagine you are building a house.
  • 기존 방식: "집을 지어줘. 거실은 넓게, 부엌은 현대적으로, 침실은 따뜻하게."라고 한 번에 말하면, 건축가는 모든 것을 한 번에 섞어서 지으려다 실수합니다.
  • LOTS 방식:
    1. 전체 그림 (Global Sketch): 집의 전체적인 구조 (어떤 모양의 집인지) 를 보여주는 큰 그림을 먼저 보여줍니다.
    2. 세부 지시 (Local Pairs):
       • "이곳 (거실) 은 파란색으로 칠해줘." (거실 그림 + 파란색 텍스트)
       • "이곳 (부엌) 은 타일로 만들어줘." (부엌 그림 + 타일 텍스트)
       • "이곳 (침실) 은 나무로 해줘." (침실 그림 + 나무 텍스트)
  • 핵심: AI 는 각 부분의 그림과 설명을 별개로 이해하고, 마지막에 이 모든 것을 자연스럽게 합쳐서 완성된 집을 짓습니다. 그래서 거실의 파란색이 부엌으로 넘어가는 실수가 사라집니다.

3. 새로운 도구: "스케치 (Sketchy)" 데이터셋

이 기술을 가르치기 위해 연구팀은 Sketchy라는 새로운 교재를 만들었습니다.

• 기존 교재: 옷 한 벌에 대한 사진과 간단한 설명만 있었습니다.
• 새로운 교재 (Sketchy):
  • 한 세트의 옷 (상의, 하의, 신발 등) 을 각각 따로따로 그린 스케치와, 그 부분에 대한 정밀한 설명을 담았습니다.
  • 전문가 버전: 패션 디자이너가 그린 깔끔한 스케치.
  • 일반인 버전 (In the Wild): 일반인이 마우스나 펜으로 그린 투박하지만 생동감 넘치는 스케치.
  • 의미: AI 가 전문가의 그림뿐만 아니라, 일반인이 그린 약간 어설픈 그림에서도 옷의 모양을 잘 이해하도록 훈련시킨 것입니다.

4. 왜 이것이 중요한가요? (결과)

이 시스템을 테스트한 결과, LOTS 는 다음과 같은 성과를 냈습니다.

• 혼란 해결: "검은 재킷, 회색 바지"라고 했을 때, 재킷이 회색이 되거나 바지가 검은색이 되는 실수가 거의 사라졌습니다.
• 유연성: 일반인이 그린 투박한 그림에서도 옷의 모양을 잘 따라가며, 옷의 재질과 색상을 정확하게 표현했습니다.
• 자연스러움: 옷의 전체적인 구조 (실루엣) 는 유지하면서, 세부적인 무늬나 색상만 정확히 입혀주는 '마법 같은' 결과를 보여줍니다.

요약

이 논문은 **"옷의 각 부분마다 다른 특징을 정밀하게 지시할 때 AI 가 헷갈리지 않도록, 전체적인 구조와 부분별 지시를 분리해서 처리하는 새로운 기술"**을 개발했다고 할 수 있습니다.

마치 **건축가에게 "집 전체는 A 자형으로 지어주고, 1 층은 붉은 벽돌로, 2 층은 흰색 페인트로 칠해줘"**라고 명확히 지시하면, AI 가 그 지시를 완벽하게 따르는 것과 같습니다. 이제 패션 디자이너들은 복잡한 옷을 설계할 때, 그림과 말로 각 부분의 디테일을 AI 에게 정확히 전달할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 패션 디자인 초기 단계에서 스케치는 구조, 실루엣, 공간적 관계를 표현하는 핵심 수단이며, 텍스트는 소재, 색상, 스타일적 세부 사항을 보완합니다. 최근 생성 모델은 스케치와 텍스트를 결합하여 패션 이미지를 생성하려는 시도를 하고 있습니다.
• 핵심 문제 (Multi-localized Conditional Generation): 실제 패션 디자인은 여러 의류 아이템 (상의, 하의, 신발 등) 으로 구성된 '전체 의상 (Outfit)'입니다. 기존 최첨단 방법론 (ControlNet, IP-Adapter 등) 은 전역적인 (Global) 스케치와 텍스트 프롬프트를 주로 사용합니다.
  • 속성 혼란 (Attribute Confusion): 여러 의류 아이템에 대한 세부적인 텍스트 설명을 전역적으로 처리할 때, 특정 아이템의 속성 (예: "갈색 재킷", "검은색 바지") 이 다른 아이템으로 잘못 전이되는 현상이 발생합니다.
  • 세부 제어 부족: 국소적인 (Localized) 스케치와 텍스트 쌍을 개별적으로 제어하면서도 전체 의상의 구조적 일관성을 유지하는 것이 어렵습니다.
• 목표: 여러 개의 국소적인 스케치 - 텍스트 쌍을 입력으로 받아, 각 의류 아이템의 세부 속성을 정확히 반영하면서도 전체적인 구조를 유지하는 고품질 패션 이미지 생성을 가능하게 하는 프레임워크 개발.

2. 제안 방법: LOTS (Methodology)

저자들은 LOTS (LOcalized Text and Sketch with multi-level guidance) 라는 새로운 프레임워크를 제안합니다. 이는 두 단계의 파이프라인으로 구성됩니다.

A. 다단계 조건부 단계 (Multi-level Conditioning Stage)

입력된 국소적 스케치 - 텍스트 쌍과 전역적 스케치를 별도의 신호로 처리하여 통합합니다.

1. 국소 수준 (Local Level): 모듈화된 쌍 중심 표현 (Modularized Pair-Centric Representation)
   • 각 스케치 - 텍스트 쌍 $(S_i, T_i)$을 독립적으로 처리하여 속성 누출을 방지합니다.
   • 스케치와 텍스트는 각각 전용 인코더 (Frozen) 를 통해 임베딩된 후, Pair-Former 모듈에서 가변 가능한 토큰 (Learnable tokens) 을 사용하여 융합됩니다.
   • 이 과정은 각 쌍 간의 간섭을 최소화하면서 공간적으로 근거 있는 표현을 생성합니다.
2. 전역 수준 (Global Level): 전역 조건부 (Global Conditioning)
   • 전체 의상의 구조적 일관성을 위해 전체 스케치 ($S_g$) 를 인코딩합니다.
   • Cross-Attention 메커니즘을 통해 전역 스케치 표현과 국소 쌍 표현을 융합합니다. 이는 개별 아이템의 의미는 유지하면서 전체적인 포즈와 구성의 일관성을 보장합니다.
   • 최종적으로 국소 표현과 전역 표현을 합쳐 다단계 표현 ($P_{m-l}$) 을 생성합니다.

B. 확산 쌍 유도 단계 (Diffusion Pair Guidance Stage)

생성 과정 (Denoising) 에서 조건부 정보를 점진적으로 주입합니다.

• 점진적 통합: 모든 조건 정보를 초기에 하나의 벡터로 합치는 대신, 확산 모델의 각 디노이징 (Denoising) 단계에서 Cross-Attention 어댑터를 통해 점진적으로 주입합니다.
• 구조: 고정된 디노이징 네트워크에 병렬 어댑터 모듈을 추가하여, 국소적 및 전역적 조건 정보를 매 단계마다 참조합니다.
• 장점: 이 방식은 속성 혼란을 방지하고, 국소적 세부 사항과 전역적 구조가 생성 과정에서 자연스럽게 조화되도록 합니다. 또한, 어댑터 기반이므로 임의의 개수만큼의 스케치 - 텍스트 쌍을 처리할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의 및 프레임워크 (LOTS):
   • 다중 국소적 스케치 - 텍스트 쌍을 활용한 정밀한 패션 이미지 생성을 위한 최초의 접근법입니다.
   • 국소적 세부 사항 제어와 전역적 구조 유지 사이의 균형을 맞추기 위해 다단계 조건부 전략을 도입했습니다.
2. 새로운 데이터셋: Sketchy:
   • Fashionpedia를 기반으로 구축된 대규모 패션 데이터셋입니다.
   • 단일 이미지당 여러 개의 국소적 스케치 - 텍스트 쌍 (약 104,000 개) 을 포함하며, 전문적인 스타일의 자동 생성 스케치와 함께 비전문가 (In-the-wild) 가 그린 스케치 분할도 포함합니다.
   • 의류별 색상 및 세부 속성에 대한 정밀한 주석을 제공합니다.
3. 성능 검증:
   • 정량적 지표 (FID, CLIP Score, VQAScore 등) 와 정성적 평가 (Human Study) 를 통해 기존 최첨단 모델 (ControlNet, IP-Adapter 등) 을 능가하는 성능을 입증했습니다.
   • 특히 속성 혼란 (Attribute Confusion) 을 획기적으로 줄이고 국소적 의미 정렬 (Localized Semantic Alignment) 을 개선했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Sketchy 데이터셋):
  • LOTS 는 FID(이미지 품질), GlobalCLIP/LocalCLIP(의미 정렬), L-VQAScore(국소적 속성 정확도) 에서 모든 베이스라인 모델보다 우수한 성능을 기록했습니다.
  • 특히 L-VQAScore(국소적 VQA 점수) 에서 ControlNet 등 다른 모델들이 속성을 이미지 전체에 잘못 배치하는 오류를 보인 반면, LOTS 는 의류별로 속성을 정확히 위치시켰습니다.
• 일반화 성능 (Sketchy in the Wild):
  • 비전문가가 그린 불완전한 스케치 (Casual Sketches) 에 대해서도 LOTS 는 높은 강건성 (Robustness) 을 보였습니다. 구조적 유사성 (SSIM) 과 의미 정렬 모두에서 최상위권을 유지했습니다.
• 사용자 평가 (Human Study):
  • 속성 국소화 (Attribute Localization): LOTS 는 속성이 의도된 의류에 정확히 배치되고 다른 곳으로 누출되지 않는 비율 (Precision/F1 Score) 에서 가장 높은 점수를 받았습니다.
  • 스케치 준수 (Sketch Adherence): ControlNet 이 스케치 구조를 잘 따르는 것으로 나타났으나, 이는 의미적 일관성 저하와 속성 혼란을 동반했습니다. LOTS 는 구조적 준수와 의미적 정확도를 동시에 달성했습니다.

5. 의의 및 결론 (Significance)

• 패션 디자인 자동화의 진보: LOTS 는 디자이너가 여러 의류 아이템의 구조와 세부 사항을 동시에 정밀하게 제어할 수 있는 새로운 패러다임을 제시합니다.
• 다중 모드 생성의 한계 극복: 기존 모델이 겪던 '속성 혼란' 문제를 해결하여, 복잡한 의상 조합 (Outfit) 생성에 있어 신뢰할 수 있는 솔루션을 제공합니다.
• 실용적 데이터셋 제공: 전문적이고 비전문적인 스케치를 모두 포함하는 Sketchy 데이터셋은 향후 패션 생성 및 제어 연구의 표준 벤치마크로 활용될 수 있습니다.
• 확장성: 이 프레임워크는 패션뿐만 아니라 인테리어 디자인, 캐릭터 생성 등 정밀한 공간 및 의미 제어가 필요한 다양한 분야로 확장 가능합니다.

요약하자면, 이 논문은 LOTS라는 새로운 아키텍처와 Sketchy 데이터셋을 통해, 여러 의류 아이템의 국소적 세부 사항과 전체적인 구조를 동시에 정밀하게 제어하는 패션 이미지 생성의 새로운 State-of-the-Art 를 달성했습니다.