LookBench: A Live and Holistic Open Benchmark for Fashion Image Retrieval

이 논문은 실시간 전자상거래 환경에 부합하는 살아있는 패션 이미지 검색을 위해, 최신 제품 및 AI 생성 이미지를 포함하고 정기적으로 업데이트되어 데이터 오염을 방지하는 새로운 벤치마크 'LookBench'를 제안하고 그 성능을 검증합니다.

핵심

1. 문제: "예전 시험지는 너무 쉬웠어요!"

지금까지 패션 AI 를 평가하던 방식은 마치 10 년 전 교과서로 최신 수능을 치르는 것과 비슷했습니다.

• 고정된 문제: 예전 데이터셋은 모두 정해진 옷 사진들이라, AI 가 그 사진들을 외워버리면 (데이터 오염) 실전에서는 엉뚱한 답을 줘도 점수가 잘 나왔습니다.
• 단순한 질문: "이 셔츠랑 똑같은 거 찾아줘" 정도만 물어봤지, "이 셔츠랑 똑같은데, 소매는 짧고 목둘레는 V 자인 거 찾아줘" 같은 복잡한 요구는 못 했습니다.

2. 해결책: LOOKBENCH (살아있는 패션 시험장)

저자들은 **"살아있는 패션 시험장 (LOOKBENCH)"**을 만들었습니다. 이 시험장은 다음과 같은 특징이 있습니다.

• 실시간 업데이트 (Live): 시험 문제는 매일 바뀝니다. 오늘 유행하는 옷 사진을 실시간으로 긁어와서 문제를 만듭니다. AI 가 시험지를 미리 외울 수 없게 만들었죠.
• 현실적인 난이도 (Holistic):
  • 스튜디오 사진 (RealStudioFlat): 배경이 깨끗한 제품 사진. (쉬움)
  • 거리 패션 (RealStreetLook): 사람이 입고 걷는 거리 사진. 배경이 복잡하고 옷이 구겨져 있거나 가려져 있어 매우 어렵습니다.
  • AI 가 만든 옷 (AIGen): AI 가 그려낸 옷 사진까지 포함하여, AI 가 스스로 만든 가짜 옷을 구별할 수도 있는지 테스트합니다.
• 세부 사항 체크 (Attribute-supervised): 단순히 "셔츠"라고만 찾는 게 아니라, **"흰색, V 넥, 짧은 소매, 면 소재"**처럼 100 가지 이상의 디테일을 정확히 맞춰야만 정답으로 인정합니다.

비유: 기존 시험이 "사과 찾아줘"였다면, LOOKBENCH 는 **"빨간색, 씨가 없고, 껍질이 매끄러운 사과 중에서도 꼭지가 왼쪽으로 기울어진 사과"**를 찾아달라고 하는 것입니다.

3. 결과: 새로운 챔피언 등장 (GR-Pro & GR-Lite)

이 새로운 시험장에서 기존에 유명했던 AI 들 (CLIP, DINO 등) 은 많이 고전했습니다. 많은 모델이 정답률 60% 미만으로 떨어졌죠.

하지만 저자들이 직접 만든 GR-Pro와 GR-Lite라는 AI 가 압도적인 성적을 냈습니다.

• GR-Pro: 기업용 비밀 모델로, 모든 영역에서 1 등.
• GR-Lite: 일반인에게 공개된 모델로, GR-Pro 에 거의 못 미치지만 여전히 다른 모든 공개 모델보다 훨씬 잘합니다.

이들은 수백만 장의 옷 사진을 학습하면서, 옷의 '속성 (색상, 재질, 디자인)'을 눈으로 직접 보고 이해하는 능력을 길렀습니다.

4. 왜 중요한가요?

이 연구는 단순히 옷을 찾는 기술을 넘어, AI 가 인간의 쇼핑 의도를 얼마나 잘 이해하는지를 측정하는 새로운 기준을 제시합니다.

• 미래의 쇼핑: "이 옷은 너무 비싸니까, 똑같은 스타일인데 더 저렴한 거 찾아줘"나 "이 옷은 여름에 입기엔 너무 두꺼워, 비슷한 느낌의 얇은 옷 찾아줘" 같은 복잡한 요청도 AI 가 정확히 수행할 수 있는 토대가 됩니다.
• 공정한 평가: AI 개발자들이 "우리 모델이 최고야!"라고 주장할 때, 더 이상 예전 데이터를 가지고 뻥을 치지 못하게 하는 진짜 실력 측정기가 된 것입니다.

요약

이 논문은 **"예전처럼 외워서 푸는 시험은 이제 그만, 실시간으로 변하는 복잡한 패션 문제를 해결하는 진짜 AI 를 만들어보자"**는 선언이며, 그 결과로 세부 사항까지 완벽하게 찾아내는 새로운 AI 챔피언을 세상에 공개한 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

패션 이미지 검색 (Fashion Image Retrieval) 은 이커머스 플랫폼에서 시각적 검색, 제품 추천, 의상 생성 등의 핵심 기능으로 자리 잡았습니다. 그러나 기존 연구는 다음과 같은 한계를 겪고 있습니다.

• 정적 (Static) 인 벤치마크: 기존 주요 벤치마크 (DeepFashion, Fashion200K 등) 는 고정된 테스트 세트를 사용하며, 주로 단일 제품 중심입니다. 이는 실시간 사용자 의도 (실제 거리에서 본 옷을 검색하거나, 전체 의상을 매칭하는 것) 를 반영하지 못합니다.
• 데이터 오염 (Data Contamination): 최신 비전 모델 (CLIP, DINO 계열 등) 은 웹 크롤링 데이터를 기반으로 학습되는데, 기존 벤치마크의 이미지들이 학습 데이터와 중복될 가능성이 높습니다. 이로 인해 과적합 (Overfitting) 이 발생하거나 공정한 평가가 어렵습니다.
• 세부 속성 (Fine-grained Attribute) 평가 부재: 기존 평가는 단순히 '카테고리 일치'에 그치는 경우가 많아, 소재, 핏, 디테일 등 세부적인 속성까지 정확히 매칭하는지 평가하기 어렵습니다.

2. 제안 방법론: LookBench (Methodology)

이 논문은 LOOKBENCH라는 새로운 실시간 (Live), 전체적 (Holistic), 그리고 도전적인 패션 이미지 검색 벤치마크를 제안합니다.

2.1. 데이터 수집 및 구성

LOOKBENCH 는 실시간 웹 크롤링과 AI 생성 이미지를 결합하여 구성되며, 데이터 오염을 방지하기 위해 각 샘플에 타임스탬프를 부여하고 주기적으로 업데이트됩니다.

• 4 가지 하위 태스크:
  1. RealStudioFlat: 실제 스튜디오 촬영의 평면 제품 사진 (단일 아이템, 쉬운 난이도).
  2. AIGen-Studio: AI 가 생성한 스튜디오 컨텍스트의 제품 이미지 (단일 아이템, 중간 난이도).
  3. RealStreetLook: 실제 거리에서 촬영된 의상 (Outfit) 사진 (다중 아이템, 어려운 난이도).
  4. AIGen-StreetLook: AI 가 생성한 복잡한 거리 의상 이미지 (다중 아이템, 어려운 난이도).
• 규모: 약 2,500 개의 쿼리와 각 태스크당 약 60,000 개의 검색 코퍼스 (Corpus) 를 포함합니다.

2.2. 속성 기반 주석 (Attribute-supervised Annotation)

• 세분화된 속성 분류 체계 (Taxonomy): 27 개의 의류 카테고리별로 10~25 개의 시각적으로 검증 가능한 속성 (예: V 넥, 플리츠, 울 소재 등) 을 정의했습니다.
• 자동 라벨링: Qwen2.5-VL-72B 를 사용하여 쿼리 이미지와 검색 결과 이미지의 속성을 자동으로 주석했습니다.
• 품질 검증: GPT-5.1 을 'LLM-as-a-judge'로 활용하여 주석 정확도를 검증했으며, 약 **93%**의 높은 정확도를 확인했습니다.

2.3. 평가 지표

단순한 카테고리 매칭을 넘어 세부 속성 일치 여부를 평가합니다.

• Fine Recall@1 (주요 지표): 상위 1 위 결과가 쿼리의 카테고리뿐만 아니라 모든 주석된 속성까지 정확히 일치해야 점수를 받습니다.
• Coarse Recall@1: 카테고리만 일치하면 점수를 받습니다.
• nDCG@5: 상위 5 개 결과의 순위 품질을 평가합니다.

2.4. 제안 모델: GensmoRetro (GR)

LOOKBENCH 평가를 위해 텍스트 없이 이미지만으로 학습된 비전 인코더를 개발했습니다.

• GR-Pro: 0.3B 파라미터 규모의 고성능 비전 인코더 (비공개, API 제공).
• GR-Lite: DINOv3 ViT-L/16 백본을 기반으로 한 오픈소스 모델. 1.8M 개의 오픈소스 데이터와 0.5M 개의 내부 데이터를 합친 2.3M 이미지로 학습되었으며, 속성 지도 학습 (Attribute-supervised training) 을 통해 패션 도메인에 특화되었습니다.

3. 주요 실험 결과 (Results)

LOOKBENCH 와 기존 벤치마크 (Fashion200K) 에서 다양한 모델 (CLIP, SigLIP, DINO 계열, Marqo 등) 을 비교 평가했습니다.

• LOOKBENCH 성능:
  • GR-Pro가 모든 하위 태스크에서 최고 성능을 기록했습니다 (RealStreetLook 에서 62.39%, AIGen-StreetLook 에서 77.50% 의 Fine Recall@1).
  • GR-Lite는 GR-Pro 와 근접한 성능 (Overall 65.71%) 을 보이며, 공개된 베이스라인 중 가장 높은 성능을 달성했습니다.
  • 기존 모델의 한계: CLIP, SigLIP2, DINOv2/3 등 범용 비전 - 언어 모델 (VLM) 은 LOOKBENCH, 특히 복잡한 거리 의상 (RealStreetLook) 검색에서 성능이 크게 저하되었습니다 (Fine Recall@1 이 60% 미만). 이는 범용 모델이 세부 속성 추론에 취약함을 보여줍니다.
• 전통적 벤치마크 일반화:
  • GR-Lite 와 GR-Pro 는 Fashion200K 와 같은 기존 벤치마크에서도 SOTA(State-of-the-Art) 성능 (Recall@1 약 88% 이상) 을 기록하여, LOOKBench 에 특화된 학습이 기존 작업에도 강력한 일반화 능력을 가진다는 것을 증명했습니다.
• 스케일링 분석:
  • 데이터 양 증가 (0.59M → 6.5M) 와 모델 크기 증가에 따라 성능이 향상되었으나, 특정 지점 이후에는 체감 효과가 줄어들어 6.5M 데이터와 0.3B 파라미터 모델이 효율성과 성능의 균형점임을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 오염 방지형 실시간 벤치마크: 주기적으로 업데이트되고 타임스탬프가 부여된 LOOKBENCH 를 공개하여, 데이터 오염을 고려한 공정한 패션 검색 평가를 가능하게 함.
2. 세부 속성 기반 평가 프로토콜: 카테고리뿐만 아니라 100 개 이상의 시각적 속성을 기반으로 한 'Fine Recall@1' 지표를 도입하여, 모델의 미세한 시각적 이해 능력을 정밀하게 측정.
3. 강력한 오픈소스 베이스라인: DINOv3 기반의 GR-Lite 모델과 학습 코드, 데이터, 평가 스크립트를 공개하여 연구 커뮤니티의 재현 가능한 연구를 지원.
4. 다양한 시나리오 커버리지: 스튜디오 제품 사진부터 복잡한 거리 의상 (Outfit) 검색까지, 단일 아이템과 다중 아이템 검색을 모두 포괄하는 평가 체계 제시.

5. 의의 및 향후 전망 (Significance)

이 논문은 패션 이미지 검색 분야에서 정적 평가에서 동적 (Live) 평가로의 전환을 주도합니다. LOOKBENCH 는 단순한 이미지 매칭을 넘어, 사용자가 실제로 원하는 '스타일', '소재', '핏' 등을 정확히 이해하는 AI 모델 개발의 새로운 기준을 제시합니다. 또한, 데이터 오염 문제를 해결하기 위한 방법론을 제시함으로써, 향후 대규모 멀티모달 모델의 평가 프로토콜 설계에 중요한 시사점을 줍니다.

향후 연구 방향으로는 텍스트 기반 쿼리, 예산/기회 제약 조건이 포함된 의도 기반 검색 (Intent-conditioned retrieval), 그리고 미적 판단 (Aesthetic reasoning) 을 포함한 더 풍부한 평가 프로토콜로 확장할 수 있음을 제안합니다.