Technische Samenvatting: ZooClaw-FashionSigLIP2

Probleemstelling

Het aanpassen van fundamentele vision-language encoders (VLE's) aan gespecialiseerde retrieval-taken presenteert een fundamentele afruil: winst op de doeldistributie gaat vaak ten koste van de brede out-of-distribution (OOD) generalisatie van het fundamentele model. Mode-retrieval is een strikte instantie van dit probleem, waarbij modellen zowel korte, op trefwoorden gebaseerde gebruikersqueries (bijv. "rode bloemen maxi-jurk") als gedetailleerde, attribuutrijke catalogusbeschrijvingen moeten kunnen verwerken. Pre-trained VLE's zoals SigLIP2 bieden sterke zero-shot capaciteiten, maar missen de fijnmazige visuele en tekstuele onderscheidingsmogelijkheden die nodig zijn voor mode-relevantie. Omgekeerd offert domeinspecifieke fine-tuning vaak de OOD-robuustheid op, waardoor het niet generaliseert naar ongeziene catalogi of verschillende query-stijlen.

Methodologie

De auteurs stellen ZooClaw-FashionSigLIP2 voor, een mode-gespecialiseerd SigLIP2-base model dat is ontworpen om de spanning tussen specialisatie en generalisatie op te lossen via een driestaps recept:

1. Full Fine-Tuning met Knowledge Distillation:

   • Architectuur: De auteurs maken gebruik van full fine-tuning in plaats van parameter-efficiënte methoden (zoals LoRA), met het argument dat full-rank updates noodzakelijk zijn om multi-task objectives en distillation regularizers te absorberen.
   • Trainingsdoel: Het model wordt getraind met een Generalized Contrastive Loss (GCL) die graduele relevantiescores (0–10) incorporeert om soft labels te benutten. Dit wordt gecombineerd met een multi-task formulering die zowel korte queries (≤8 woorden) als lange queries (30–60 woorden) behandelt.
   • Distillatie: Om catastrofale vergetelheid van OOD-capaciteiten te voorkomen, passen de auteurs Learning without Forgetting (LwF) toe. Een bevroren kopie van het base SigLIP2-model fungeert als docent, waarbij de cosinusafstand tussen de student- en docent-beeldembeddings wordt geminimaliseerd.

2. WISE-FT Gewichtsinterpolatie:

   • Volgens de WISE-FT aanpak wordt het uiteindelijke model geconstrueerd door lineaire interpolatie tussen de base modelgewichten ($\theta_0$) en de fine-tuned gewichten ($\theta_{ft}$): $\theta_\alpha = (1-\alpha)\theta_0 + \alpha\theta_{ft}$.
   • De interpolatiecoëfficiënt $\alpha$ wordt gesweept om een werkpunt te vinden dat de minimale marge over baselines maximaliseert over alle benchmarks. De auteurs selecteren $\alpha=0.4$, wat een balans biedt tussen in-domain specialisatie en OOD-behoud.

3. Data Constructie:

   • Training: Afgeleid van een propriëtaire catalogus (Gensmo) die gestructureerde attributen bevat (kleur, materiaal, stijl, etc.). Korte en lange queries worden gegenereerd met Gemma-4-31B, geconditioneerd op respectievelijk gesamplede attributen of volledige attribuutsets.
   • Evaluatie: De auteurs introduceren ZooClaw-Fashion, een nieuwe hoogwaardige benchmark met 2.000 queries en 12.000 afbeeldingen, voorzien van door VLM gescorede relevantielabels.

Belangrijkste Bijdragen

1. Modelprestaties en Recept Validatie

Het artikel demonstreert dat het voorgestelde recept (Full FT + Distillation + WISE-FT) alternatieve benaderingen overtreft:

• Superioriteit over LoRA: Uit uitgebreide ablaties blijkt dat geen enkele LoRA-configuratie overeenkomt met full fine-tuning op in-domain retrieval of een even sterke basis biedt voor model soups.
• Superioriteit over Schaling: Het simpelweg schalen van de backbone (tot 1B parameters) levert afnemende meeropbrengsten op voor OOD-benchmarks en kan zelfs de prestaties verslechteren vergeleken met het base model.
• Superioriteit over Externe Data: Het toevoegen van externe data (MARQO-FASHION) verslechterde de prestaties consistent, wat wordt toegeschreven aan een distributionele mismatch.

2. Analyse van Benchmarkkwaliteit en Gepoolde Her-evaluatie

Een significante bijdrage is de systematische analyse van de Fashion200k benchmark. De auteurs identificeren dat de publieke ground truth bevooroordeeld is naar "caption-source instance recovery" (het koppelen van queries uitsluitend aan de afbeelding waaruit de caption is gegenereerd), wat modellen die getraind zijn op dezelfde caption-distributie systematisch bevoordeelt.

• Gepoolde Her-evaluatie: Om een eerlijke vergelijking mogelijk te maken, passen de auteurs een TREC-stijl pooled protocol toe. Ze aggregeren de top-10 retrievals van alle systemen, beoordelen deze met Gemma-4-31B op een schaal van 1–5, en evalueren de metrieken opnieuw.
• Resultaat: Onder deze eerlijke, gepoolde evaluatie leidt of verdient ZooClaw-FashionSigLIP2 alle baselines op elke metriek, terwijl de originele ground truth Marqo-fashionSigLIP bevoordeelde.

3. Open-Source Release

De auteurs brengen het volgende uit:

• De ZooClaw-FashionSigLIP2 modelgewichten.
• De ZooClaw-Fashion evaluatiebenchmark.
• De Fashion200k pooled evaluatie artefacten (102.494 gegradeerde oordelen) om reproduceerbaar onderzoek te faciliteren.

Resultaten

Onder eerlijke evaluatie behaalt ZooClaw-FashionSigLIP2 state-of-the-art resultaten over het hele pakket:

• ZooClaw-Fashion: Leidt in R@1, R@10 en MRR voor zowel korte als lange queries.
• H&M: Leidt in R@10 en MRR.
• Fashion200k (Pooled): Presteert beter dan Marqo-fashionSigLIP met +0.003 op pooled R@10 en +0.012 op pooled nDCG@10 (bij een relevantiedrempel $\ge$ 3).
• Robuustheid: Het model behoudt sterke prestaties op OOD-benchmarks (Fashion200k, H&M) terwijl het uitblinkt in de in-domain ZooClaw-Fashion benchmark, waarmee het succesvol de afruil navigeert die typisch is voor fine-tuned modellen.

Betekenis

Het artikel beweert dat ZooClaw-FashionSigLIP2 de spanning tussen in-domain prestaties en OOD-generalisatie oplost door middel van een eenvoudig, effectief recept van full fine-tuning met distillatie en gewichtsinterpolatie. Het daagt de effectiviteit uit van parameter-efficiënte methoden (LoRA) en eenvoudige backbone-schaling voor dit specifieke domein. Verder benadrukt het werk het cruciale belang van benchmarkkwaliteit, door aan te tonen dat standaard mode-retrieval benchmarks structurele biases kunnen bevatten die de werkelijke modelcapaciteiten vertroebelen. Door een gecorrigeerd evaluatieprotocol en nieuwe benchmarks vrij te geven, beogen de auteurs een betrouwbaarder fundament te bieden voor toekomstig onderzoek in mode-retrieval.