기술 요약: ZooClaw-FashionSigLIP2

문제 정의

기초 비전-언어 인코더(VLE)를 특화된 검색 작업에 적응시키는 과정에는 근본적인 트레이드오프가 존재한다: 타겟 분포에서의 성능 향상은 종종 기초 모델의 광범위한 분포 외(OOD) 일반화 능력을 희생시킨다. 패션 검색은 이러한 문제의 엄격한 사례로, 짧은 키워드 기반 사용자 쿼리(예: "red floral maxi dress")와 상세하고 속성이 풍부한 카탈로그 설명 모두를 처리할 수 있는 모델을 요구한다. SigLIP2와 같은 사전 학습된 VLE는 강력한 제로샷 능력을 제공하지만, 패션 관련성을 위한 미세한 시각적 및 텍스트적 구별 능력은 부족하다. 반대로, 도메인 특화 미세 조정(fine-tuning)은 OOD 강건성을 희생시켜 보지 못한 카탈로그나 다른 쿼리 스타일에 대한 일반화에 실패하는 경우가 많다.

방법론

저자들은 특화-일반화 간의 긴장을 해결하기 위해 3단계 레시피를 설계한 패션 특화 SigLIP2-base 모델인 ZooClaw-FashionSigLIP2를 제안한다:

1. 지식 증류를 포함한 전체 미세 조정 (Full Fine-Tuning with Knowledge Distillation):

   • 아키텍처: 저자들은 파라미터 효율적 방법(LoRA 등) 대신 전체 랭크 업데이트(full-rank updates)가 멀티태스크 목적 함수와 증류 정규화 항을 흡수하는 데 필요하다고 주장하며 전체 미세 조정을 활용한다.
   • 학습 목적 함수: 모델은 소프트 레이블을 활용하기 위해 등급이 매겨진 관련성 점수(0–10)를 포함하는 일반화된 대조 손실(Generalized Contrastive Loss, GCL)을 사용하여 학습된다. 이는 짧은 쿼리(≤8 단어)와 긴 쿼리(30–60 단어)를 모두 다루는 멀티태스크 정식화와 결합된다.
   • 증류: OOD 능력의 파괴적 망각을 방지하기 위해, 저자들은 학습하지 않는 망각(Learning without Forgetting, LwF)을 적용한다. 동결된 베이스 SigLIP2 모델이 교사(teacher) 역할을 수행하며, 학생(student)과 교사의 이미지 임베딩 사이의 코사인 거리를 최소화한다.

2. WISE-FT 가중치 보간 (Weight Interpolation):

   • WISE-FT 접근 방식에 따라, 최종 모델은 베이스 모델 가중치($\theta_0$)와 미세 조정된 가중치($\theta_{ft}$) 사이를 선형 보간하여 구축된다: $\theta_\alpha = (1-\alpha)\theta_0 + \alpha\theta_{ft}$.
   • 보간 계수 $\alpha$를 탐색하여 모든 벤치마크에서 베이스라인 대비 최소 마진을 최대화하는 작동 지점을 찾는다. 저자들은 인도메인 특화와 OOD 유지를 균형 있게 맞추는 $\alpha=0.4$를 선택한다.

3. 데이터 구축:

   • 학습: 구조화된 속성(색상, 재질, 스타일 등)을 포함하는 독점 카탈로그(Gensmo)에서 파생되었다. 짧은 쿼리와 긴 쿼리는 샘플링된 속성 또는 전체 속성 세트를 조건으로 하여 Gemma-4-31B를 통해 생성되었다.
   • 평가: 저자들은 VLM으로 점수가 매겨진 관련성 레이블을 특징으로 하는 고품질 벤치마크인 ZooClaw-Fashion을 새롭게 도입했다.

핵심 기여

1. 모델 성능 및 레시피 검증

본 논문은 제안된 레시피(Full FT + Distillation + WISE-FT)가 대안적인 접근 방식들을 능가함을 입증한다:

• LoRA 대비 우위: 광범에한 절제 실험(ablation)을 통해 어떤 LoRA 구성도 인도메인 검색에서 전체 미세 조정을 따라잡지 못하며, 모델 수프(model soups)를 위한 강력한 기초를 제공하지 못함을 보여준다.
• 스케일링 대비 우위: 백본을 단순히 확장하는 것(최대 1B 파라미터)은 OOD 벤치마크에서 수익 체감의 법칙을 따르며, 심지어 베이스 모델에 비해 성능이 저하될 수 있다.
• 외부 데이터 대비 우위: 외부 데이터(MARQO-FASHION)를 추가하는 것은 분포 불일치로 인해 성능을 일관되게 저하시켰다.

2. 벤치마크 품질 분석 및 풀링된 재평가 (Pooled Re-evaluation)

중요한 기여 중 하나는 Fashion200k 벤치마크에 대한 체계적인 분석이다. 저자들은 공개 그라운드 트루스(ground truth)가 "캡션 소스 인스턴스 복구"(쿼리를 캡션이 생성된 이미지에만 연결함)에 편향되어 있어, 동일한 캡션 분포로 학습된 모델에 유리하게 작되어 있음을 식별했다.

• 풀링된 재평가: 공정한 비교를 위해 저자들은 TREC 스타일의 풀링 프로토콜을 적용한다. 모든 시스템의 Top-10 검색 결과를 집계하고, Gemma-4-31B를 사용하여 1–5 척도로 등급을 매긴 후 메트릭을 재평가한다.
• 결과: 이 공정한 풀링 평가 하에서, ZooClaw-FashionSigLIP2는 모든 메트릭에서 베이스라인들과 대등하거나 앞선다. 반면, 기존 그라운드 트루스는 Marqo-fashionSigLIP에 유리했다.

3. 오픈 소스 공개

저자들은 다음을 공개한다:

• ZooClaw-FashionSigLIP2 모델 가중치.
• ZooClaw-Fashion 평가 벤치마크.
• 재현 가능한 연구를 촉진하기 위한 Fashion200k 풀링 평가 산출물(102,494개의 등급 매겨진 판단 결과).

결과

공정한 평가 하에서, ZooClaw-FashionSigLIP2는 다음과 같이 일련의 작업에서 최첨단(SOTA) 결과를 달성한다:

• ZooClaw-Fashion: 짧은 쿼리와 긴 쿼리 모두에서 R@1, R@10, MRR을 선도한다.
• H&M: R@10 및 MRR에서 선두를 달린다.
• Fashion200k (Pooled): Marqo-fashionSigLIP보다 풀링된 R@10에서 +0.003, 풀링된 nDCG@10(관련성 임계값 $\ge$ 3 기준)에서 +0.012 상회한다.
• 강건성: 모델은 인도메인 ZooClaw-Fashion 벤치마크에서 탁월한 성능을 보이는 동시에, OOD 벤치마크(Fashion200k, H&M)에서도 강력한 성능을 유지하며, 일반적으로 미세 조정된 모델들이 겪는 트레이드오프를 성공적으로 극복한다.

의의

본 논문은 단순하고 효과적인 레시피인 '증류를 포함한 전체 미세 조정 및 가중치 보간'을 통해 인도메인 성능과 OOD 일반화 사이의 긴장을 해결한다고 주장한다. 이는 특정 도메인에 대해 파라미터 효율적 방법(LoRA)과 단순한 백본 스케일링의 효용성에 의문을 제기한다. 나아가, 본 연구는 벤치마크 품질의 결정적 중요성을 강조하며, 표준 패션 검색 벤치마크가 모델의 실제 능력을 가릴 수 있는 구조적 편향을 포함할 수 있음을 보여준다. 수정된 평가 프로토콜과 새로운 벤치마크를 공개함으로써, 저자들은 패션 검색 분야의 미래 연구를 위한 더 신뢰할 수 있는 토대를 제공하고자 한다.