FashionMV: 제품 단위 다중 뷰 패션 데이터 기반 합성 이미지 검색 (Composed Image Retrieval)

이 논문은 기존 합성 이미지 검색 (CIR) 의 한계를 지적하고, 이를 해결하기 위해 **제품 단위 (Product-Level)**로 확장된 새로운 작업인 Multi-View CIR을 정의하고, 이를 위한 대규모 데이터셋 FashionMV와 모델 ProCIR을 제안합니다.

1. 문제 정의: 뷰 불완전성 (View Incompleteness)

기존의 CIR 방법론과 데이터셋은 단일 참조 이미지와 수정 텍스트를 입력받아 단일 타겟 이미지를 검색하는 이미지 단위 (Image-Level) 접근에 국한되어 있었습니다. 그러나 실제 이커머스 환경 (특히 패션) 에서 사용자는 제품을 여러 각도 (정면, 측면, 뒷면, 디테일 등) 에서 종합적으로 고려하며 검색합니다.

• 핵심 문제: 단일 이미지는 제품의 모든 특징을 동시에 포착할 수 없습니다. 예를 들어, 깊은 V 넥은 정면에서만, 등 뒤의 교차 스트랩 디자인은 뒷면에서만 보입니다. 이러한 '관측되지 않은 영역'에 대한 수정 요청 (예: "등이 없는 디자인으로 변경") 은 단일 이미지 기반 검색에서는 본질적으로 신뢰할 수 없습니다.
• 용어: 저자는 이러한 현상을 **View Incompleteness(뷰 불완전성)**라고 명명하며, 이를 해결하기 위해 이미지 단위가 아닌 **제품 단위 (Product-Level)**로 다중 뷰 이미지를 통합하여 검색하는 새로운 태스크를 정의했습니다.

2. 주요 기여 (Key Contributions)

1) Multi-View CIR 태스크 정의

기존 CIR 을 단일 이미지에서 제품 단위로 일반화했습니다. 각 제품은 $N_P$개의 다중 뷰 이미지 집합 ($V_P$) 으로 표현되며, 수정 텍스트와 결합되어 하나의 통합 임베딩을 형성하여 갤러리에서 타겟 제품을 검색합니다.

2) FashionMV 데이터셋 구축

• 규모: 127,000 개의 제품, 472,000 개의 다중 뷰 이미지, 220,000 개 이상의 CIR 트리플릿을 포함하는 대규모 데이터셋입니다.
• 구축 방식: 대규모 멀티모달 모델 (LMM) 을 활용한 완전 자동화 파이프라인을 통해 구축되었습니다.
  • Stage 1: 다중 뷰 이미지 입력을 통해 이미지별 캡션, 긴 제품 설명, 짧은 요약 캡션 생성.
  • Stage 2: 방향성 환각 (좌우 오류 등) 을 필터링하기 위해 Qwen3.5-397B 를 활용한 교차 검증.
  • Stage 3: 시각적, 캡션 기반 유사도를 통해 후보군을 선정하고, Gemini 를 이용해 소스 제품과 타겟 제품 간의 차이를 설명하는 수정 텍스트 (짧은/긴 버전) 생성.
• 특징: 기존 데이터셋 (FashionIQ 등) 이 단일 뷰에 국한된 반면, FashionMV 는 제품 단위의 다중 뷰 구조와 정교한 수정 텍스트를 제공합니다.

3) ProCIR 모델 제안

멀티모달 대형 언어 모델 (MLLM, Qwen3.5-0.8B 기반) 을 기반으로 한 프레임워크로, 세 가지 상호 보완적인 메커니즘을 도입했습니다.

1. 2 단계 대화 아키텍처 (Two-Stage Dialogue):
   • Turn 1 (지각): 소스 제품 이미지만 입력받아 순수 시각 임베딩 ($s$) 생성.
   • Turn 2 (추론): 수정 텍스트를 입력받아 Turn 1 의 컨텍스트를 바탕으로 쿼리 임베딩 ($q$) 생성.
   • 효과: 시각 지각과 수정 추론을 분리하여, 수정 텍스트가 시각 특징의 주의를 방해하는 것을 방지하고 소스 측 이미지 - 텍스트 정렬을 가능하게 함.
2. 캡션 기반 정렬 (Caption-Based Alignment):
   • 제품 캡션을 텍스트 임베딩으로 변환하여 시각 임베딩 공간과 정렬 (Alignment) 시킴으로써 제품 수준의 의미론적 지식을 주입합니다.
3. 생각의 사슬 (Chain-of-Thought, CoT) 및 지도 미세 조정 (SFT):
   • CoT: 추론 과정에 제품 설명을 포함시켰다가 점차 제거하여 모델이 내부적으로 지식을 습득하도록 유도.
   • SFT: 대조 학습 전, 제품 캡션 생성 및 CIR 트리플릿 생성 태스크로 모델을 미세 조정하여 구조화된 제품 지식을 주입.

3. 실험 결과 및 분석

성능 비교

• 기초 모델: 0.8B 파라미터의 Qwen3.5 기반 모델은 10 배 이상 큰 모델 (Qwen3-V-8B, 8B) 을 포함한 기존 모든 베이스라인을 압도했습니다.
• 다중 뷰 인코딩 전략: 기존 방법들은 단일 이미지를 평균화 (MeanPool) 하거나 최대 유사도 (MaxSim) 를 선택하는 방식이었으나, ProCIR 은 Joint Encoding(모든 뷰를 동시에 입력) 을 통해 명시적인 교차 뷰 추론을 수행하여 가장 높은 성능을 기록했습니다.

주요 발견 (Ablation Study)

1. 정렬 (Alignment) 이 가장 중요: 세 가지 메커니즘 중 캡션 기반 정렬이 성능 향상에 가장 결정적인 역할을 했습니다. 특히 2 단계 대화 구조와 결합될 때 효과가 극대화되었습니다.
2. 2 단계 대화의 필수성: 시각 지각과 추론을 분리하는 2 단계 구조는 효과적인 정렬을 위한 전제 조건입니다. 단일 단계 방식에서는 정렬이 불가능하거나 성능이 저하됩니다.
3. SFT 와 CoT 의 중복성: SFT(지도 미세 조정) 와 CoT(생각의 사슬) 는 모두 제품 지식을 주입하는 경로입니다. 실험 결과, SFT 를 통해 모델이 제품 의미를 이미 내재화한 상태에서는 CoT 가 불필요하거나 오히려 성능을 저하시킬 수 있음이 밝혀졌습니다. 즉, SFT 가 CoT 를 대체할 수 있는 더 효율적인 지식 주입 경로임을 시사합니다.

최적 구성

가장 성능이 좋은 구성은 2 단계 대화 + 캡션 정렬 + SFT(CoT 제외)였으며, 이는 0.8B 모델임에도 불구하고 8B 모델보다 뛰어난 성능을 보였습니다.

4. 의의 및 결론

• 패러다임 전환: 패션 이커머스 검색의 현실을 반영하여, CIR 태스크를 '단일 이미지'에서 '다중 뷰 제품' 단위로 확장했습니다.
• 데이터셋의 가치: FashionMV 는 제품 단위 CIR 연구의 새로운 벤치마크를 제공하며, 자동화 파이프라인을 통해 대규모 고품질 데이터를 구축하는 방법을 제시했습니다.
• 모델 설계 통찰: MLLM 기반의 CIR 에서 시각 - 텍스트 정렬의 중요성과, SFT 를 통한 지식 주입의 효율성을 입증했습니다. 또한, 2 단계 대화 구조가 복잡한 다중 뷰 추론을 가능하게 하는 핵심 아키텍처임을 증명했습니다.

이 연구는 단순한 이미지 매칭을 넘어, 사용자가 제품의 다양한 각도를 종합적으로 이해하고 원하는 스타일로 변경하는 지능형 검색 시스템의 기반을 마련했다는 점에서 의의가 큽니다.