💻 computer science

ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval

L'article présente ZooClaw-FashionSigLIP2, un modèle spécialisé dans la mode qui résout le compromis entre performance spécifique à une tâche et généralisation grâce à un ajustement fin complet avec distillation de connaissances et interpolation de poids, tout en publiant un nouveau benchmark de haute qualité et en corrigeant les biais des ensembles de données d'évaluation existants.

Auteurs originaux : Siqiao Xue, Chunxue Xu

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siqiao Xue, Chunxue Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire super intelligent (le modèle d'IA) qui a lu tous les livres du monde. Ce bibliothécaire est excellent pour trouver des informations générales, comme « une photo de chien » ou « une phrase sur l'océan ». Mais si vous lui demandez : « Trouve-moi une robe maxi rouge à fleurs avec un col en V et en tissu satin », il pourrait être confus. Il sait ce qu'est une robe, mais il ne connaît pas les détails infimes et spécifiques qui importent aux acheteurs de mode.

Ce document présente un nouveau bibliothécaire nommé ZooClaw-FashionSigLip2. Les auteurs ont voulu apprendre à ce bibliothécaire à devenir un expert de la mode sans qu'il n'oublie comment être un expert généraliste.

Voici comment ils ont fait, en utilisant des analogies simples :

1. Le Problème : Le dilemme « Spécialiste vs Généraliste »

D'habitude, quand on entraîne un bibliothécaire généraliste pour devenir un expert de la mode, on lui montre des milliers de photos de robes. Il devient très doué pour trouver des robes, mais il commence à oublier comment trouver d'autres choses (comme des chaussures ou des sacs) ou à comprendre différentes façons de poser des questions. C'est comme un chef qui apprend à faire la pizza parfaite mais qui oublie comment cuisiner des pâtes.

2. La Solution : Une recette en trois étapes

Les auteurs ont trouvé une « recette » pour faire du bibliothécaire un expert de la mode sans qu'il perde ses capacités intellectuelles générales.

Étape 1 : Immersion Totale (Fine-tuning complet)
Au lieu de simplement donner au bibliothécaire quelques fiches de révision (ce que font d'autres méthodes comme LoRA), ils ont laissé le bibliothécaire étudier l'intégralité du catalogue de mode en profondeur. Ils ont appris au bibliothécaire à comprendre à la fois des recherches courtes et percutantes (comme « robe rouge ») et des descriptions longues et détaillées (comme « une robe en satin rouge pour un mariage d'été »).
Étape 2 : Le filet de sécurité « N'oubliez pas » (Distillation de connaissances)
Pendant que le bibliothécaire étudiait la mode, les auteurs gardaient un « fantôme » du bibliothécaire généraliste original pour le surveiller. Chaque fois que l'étudiant apprenait quelque chose de nouveau, il devait vérifier : « Est-ce que cela a toujours du sens pour le bibliothécaire généraliste ? ». Cela a empêché l'étudiant d'oublier comment être un généraliste. C'est comme un étudiant qui apprend une nouvelle langue tout en gardant sa langue maternelle solide.
Étape 3 : Le mélange parfait (WISE-FT)
Enfin, ils n'ont pas simplement choisi la version « Expert de la mode » ou la version « Généraliste ». Ils les ont mélangées, comme en mélangeant deux smoothies. Ils ont pris 40 % de l'original (le bibliothécaire généraliste) et 60 % du nouveau (l'expert de la mode). Cela a créé un hybride qui est excellent en mode tout en comprenant le reste du monde.

3. Les Résultats : Battre la concurrence

Les auteurs ont testé ce nouveau bibliothécaire contre d'autres experts de la mode (comme Marqo-fashionSigLIP) et le bibliothécaire généraliste original.

Le Gagnant : ZooClaw-FashionSigLip2 a gagné à tous les tests. Il était meilleur pour trouver les bons vêtements, même lorsque la recherche était complexe.
Les Surprises :
- Plus grand n'est pas toujours meilleur : Ils ont essayé d'utiliser un bibliothécaire beaucoup plus grand et puissant (avec 1 milliard de paramètres), mais il a en réalité moins bien performé sur certains tests. C'était comme donner une Ferrari à un conducteur qui devait naviguer dans une ruelle étroite ; la grande voiture était trop encombrante.
- Plus de données n'est pas toujours meilleur : Ils ont essayé d'ajouter des données provenant d'autres sources de mode, mais cela a en fait confondu le modèle. C'était comme essayer d'apprendre le français et l'allemand en même temps avec un professeur déroutant ; cela rendait l'étudiant plus lent.

4. La découverte du « Jeu Équitable » (Corriger le test)

Les auteurs ont également découvert un problème dans la manière dont les tests de mode étaient habituellement notés.

L'ancienne méthode : Imaginez un test où le corrigé a été écrit par la personne qui a créé la question. Si la question est « Trouvez l'image qui correspond à cette légende », le test n'accepterait que l'image exacte pour laquelle la légende a été écrite. Cela avantageait injustement les modèles entraînés sur ces légendes spécifiques, même s'ils passaient à côté d'autres robes similaires.
La nouvelle méthode : Les auteurs ont créé un test plus équitable. Ils ont rassemblé les meilleures réponses de tous les différents bibliothécaires, les ont mélangées, et ont fait appel à un juge neutre (une IA avancée) pour évaluer à quel point elles étaient réellement pertinentes.
Le résultat : En utilisant ce système de notation plus juste, leur nouveau bibliothécaire (ZooClaw) a battu les anciens champions. Les anciens champions gagnaient seulement parce que le test était truqué en leur faveur.

Résumé

Le document présente un nouvel algorithme de recherche de mode qui est entraîné pour être un spécialiste sans perdre ses connaissances générales. Ils y sont parvenus en l'entraînant en profondeur, en gardant un « filet de sécurité » pour éviter l'oubli, et en mélangeant parfaitement les résultats. Ils ont également prouvé que les tests d'IA de mode précédents étaient biaisés et ont montré que leur nouveau modèle est en fait le meilleur lorsqu'il est jugé équitablement.

Ils ont publié leur modèle ainsi que leurs nouvelles données de test plus équitables pour que tout le monde puisse les utiliser, dans l'espoir d'aider les futurs chercheurs à construire des outils de recherche de mode encore meilleurs.

Résumé Technique : ZooClaw-FashionSigLIP2

Problématique

L'adaptation des encodeurs vision-langage (VLE) de fondation à des tâches de recherche spécialisées présente un compromis fondamental : les gains sur la distribution cible se font souvent au détriment de la généralisation out-of-distribution (OOD) du modèle de fondation. La recherche de mode est une instance rigoureuse de ce problème, exigeant que les modèles gèrent à la fois des requêtes utilisateur courtes et basées sur des mots-clés (ex. : « robe maxi florale rouge ») et des descriptions de catalogues détaillées et riches en attributs. Bien que les VLE pré-entraînés comme SigLIP2 offrent de solides capacités zero-shot, ils manquent des distinctions visuelles et textuelles fines nécessaires à la pertinence dans la mode. Inversement, un ajustement fin (fine-tuning) spécifique au domaine sacrifie souvent la robustesse OOD, échouant à se généraliser à des catalogues inédits ou à différents styles de requêtes.

Méthodologie

Les auteurs proposent ZooClaw-FashionSigLIP2, un modèle SigLIP2-base spécialisé pour la mode, conçu pour résoudre la tension entre spécialisation et généralisation grâce à une recette en trois étapes :

Ajustement fin complet avec distillation de connaissances :
- Architecture : Les auteurs utilisent un ajustement fin complet plutôt que des méthodes économes en paramètres (comme LoRA), arguant que des mises à jour de rang complet sont nécessaires pour absorber les objectifs multi-tâches et les régulariseurs de distillation.
- Objectif d'entraînement : Le modèle est entraîné à l'aide d'une perte contrastive généralisée (GCL) qui incorpore des scores de pertinence gradués (0–10) pour exploiter les étiquettes souples (soft labels). Cela est combiné à une formulation multi-tâche gérant à la fois les requêtes courtes (≤ 8 mots) et les requêtes longues (30–60 mots).
- Distillation : Pour éviter l'oubli catastrophique des capacités OOD, les auteurs appliquent l'apprentissage sans oubli (Learning without Forgetting - LwF). Une copie figée du modèle de base SigLIP2 agit comme un enseignant, minimisant la distance cosinus entre les embeddings d'images de l'étudiant et de l'enseignant.
Interpolation de poids WISE-FT :
- Suivant l'approche WISE-FT, le modèle final est construit par interpolation linéaire entre les poids du modèle de base ( $\theta_0$ ) et les poids ajustés ( $\theta_{ft}$ ) : $\theta_\alpha = (1-\alpha)\theta_0 + \alpha\theta_{ft}$ .
- Le coefficient d'interpolation $\alpha$ est balayé pour trouver un point de fonctionnement qui maximise la marge minimale par rapport aux baselines sur tous les benchmarks. Les auteurs sélectionnent $\alpha=0,4$ , ce qui équilibre la spécialisation in-domain et la rétention OOD.
Construction des données :
- Entraînement : Dérivé d'un catalogue propriétaire (Gensmo) contenant des attributs structurés (couleur, matière, style, etc.). Les requêtes courtes et longues sont générées via Gemma-4-31B, conditionnées respectivement par des attributs échantillonnés ou des ensembles d'attributs complets.
- Évaluation : Les auteurs introduisent ZooClaw-Fashion, un nouveau benchmark de haute qualité comprenant 2 000 requêtes et 12 000 images, doté d'étiquettes de pertinence notées par un VLM.

Principales Contributions

1. Performance du modèle et validation de la recette

L'article démontre que la recette proposée (Full FT + Distillation + WISE-FT) surpasse les approches alternatives :

Supériorité sur LoRA : Des ablations approfondies montrent qu'aucune configuration LoRA ne égale l'ajustement fin complet sur la recherche in-domain ou ne fournit une base aussi solide pour les "model soups".
Supériorité sur le passage à l'échelle (Scaling) : Le simple fait d'augmenter la taille du backbone (jusqu'à 1 milliard de paramètres) produit des rendements décroissants sur les benchmarks OOD et peut même dégrader les performances par rapport au modèle de base.
Supériorité sur les données externes : L'ajout de données externes (MARQO-FASHION) a systématiquement dégradé les performances, en raison d'un décalage de distribution.

2. Analyse de la qualité du benchmark et réévaluation groupée

Une contribution significative est l'analyse systématique du benchmark Fashion200k. Les auteurs identifient que la vérité terrain publique est biaisée vers la « récupération d'instance source de la légende » (liant les requêtes uniquement à l'image dont la légende a été générée), favorisant systématiquement les modèles entraînés sur la même distribution de légendes.

Réévaluation groupée (Pooled Re-evaluation) : Pour permettre une comparaison équitable, les auteurs appliquent un protocole de type TREC-style pooled. Ils agrègent les 10 meilleurs résultats de tous les systèmes, les évaluent via Gemma-4-31B sur une échelle de 1 à 5, et réévaluent les métriques.
Résultat : Sous cette évaluation groupée équitable, ZooClaw-FashionSigLIP2 arrive en tête ou est à égalité avec toutes les baselines sur chaque métrique, alors que la vérité terrain originale favorisait Marqo-fashionSigLIP.

3. Publication en Open-Source

Les auteurs publient :

Les poids du modèle ZooClaw-FashionSigLIP2.
Le benchmark d'évaluation ZooClaw-Fashion.
Les artefacts de l'évaluation groupée de Fashion200k (102 494 jugements notés) pour faciliter la recherche reproductible.

Résultats

Sous une évaluation équitable, ZooClaw-FashionSigLIP2 atteint des résultats de pointe (SOTA) sur toute la suite :

ZooClaw-Fashion : Leader en R@1, R@10 et MRR pour les requêtes courtes et longues.
H&M : Leader en R@10 et MRR.
Fashion200k (Pooled) : Surpasse Marqo-fashionSigLIP de +0,003 sur le R@10 groupé et de +0,012 sur le nDCG@10 groupé (pour le seuil de pertinence $\ge$ 3).
Robustesse : Le modèle maintient de fortes performances sur les benchmarks OOD (Fashion200k, H&M) tout en excellant sur le benchmark in-domain ZooClaw-Fashion, naviguant avec succès le compromis qui affecte typiquement les modèles ajustés.

Signification

L'article affirme que ZooClaw-FashionSigLIP2 résout la tension entre la performance in-domain et la généralisation OOD grâce à une recette simple et efficace d'ajustement fin complet avec distillation et interpolation de poids. Il remet en question l'efficacité des méthodes économes en paramètres (LoRA) et du simple passage à l'échelle du backbone pour ce domaine spécifique. De plus, ce travail souligne l'importance critique de la qualité des benchmarks, démontrant que les benchmarks standards de recherche de mode peuvent contenir des biais structurels qui occultent les réelles capacités des modèles. En publiant un protocole d'évaluation corrigé et de nouveaux benchmarks, les auteurs visent à fournir une base plus fiable pour la recherche future dans la recherche de mode.