LookBench: A Live and Holistic Open Benchmark for Fashion Image Retrieval

Ce papier présente LookBench, un nouveau benchmark en ligne et holistique pour la recherche d'images de mode dans des contextes e-commerce réels, conçu pour évaluer de manière rigoureuse et à jour les modèles grâce à des données actualisées, une taxonomie fine et des tâches d'extraction d'articles et d'ensembles.

L'essentiel

Imaginez que vous êtes un chasseur de trésors dans un immense magasin de mode virtuel. Votre mission ? Trouver exactement la même chemise, la même robe ou le même sac que celui que vous avez vu dans la rue ou sur une photo, parmi des millions d'autres articles.

C'est là que le papier de recherche LOOKBENCH intervient. Voici une explication simple de ce projet, imagée pour tout le monde.

1. Le Problème : L'Épreuve de Vérité

Jusqu'à présent, les chercheurs testaient les intelligences artificielles (IA) pour la mode avec des "examens" un peu vieux et trop faciles. C'était comme si on demandait à un élève de faire un test de mathématiques en utilisant les mêmes questions que celles qu'il avait déjà apprises par cœur. L'IA réussissait brillamment, mais elle ne savait pas vraiment si elle comprenait la mode ou si elle avait juste mémorisé les réponses.

De plus, le monde de la mode change vite. Les tendances d'aujourd'hui ne sont pas celles d'il y a cinq ans. Les anciens tests ne reflétaient pas la réalité des magasins en ligne d'aujourd'hui.

2. La Solution : LOOKBENCH, le "Gymnase Vivant"

Les auteurs de ce papier ont créé LOOKBENCH. Imaginez-le non pas comme un examen statique, mais comme un gymnase vivant et en constante évolution.

• C'est "Live" (En direct) : Au lieu d'utiliser de vieilles photos, LOOKBENCH va chercher des images récentes sur des sites de vente en ligne et même crée des images artificielles (générées par IA) pour simuler de nouvelles tendances. C'est comme si le gymnase changeait ses équipements chaque semaine pour rester à jour.
• C'est "Holistique" (Global) : Il ne demande pas seulement à l'IA de trouver "une chemise". Il demande de trouver "une chemise en soie, col V, rayée, portée par quelqu'un dans la rue". Il teste la capacité à comprendre les détails fins (la texture, le style, le contexte).
• C'est "Propre" : Pour éviter que l'IA triche en ayant déjà vu les questions, LOOKBENCH date chaque image. Si l'IA a été entraînée avant la date de l'image, elle ne peut pas l'avoir vue. C'est un test de mémoire à court terme et de vraie compréhension.

3. Les Quatre Types de Défis (Les Niveaux du Jeu)

Pour tester les IA, LOOKBENCH propose quatre niveaux de difficulté, comme dans un jeu vidéo :

1. Le Niveau Facile (Studio) : Des photos de vêtements posés à plat sur un fond blanc, parfaites et propres. C'est comme chercher un objet dans un musée bien rangé.
2. Le Niveau Moyen (Studio IA) : Des images de vêtements dans des décors de vie, mais générées par ordinateur. C'est un peu moins parfait, mais toujours propre.
3. Le Niveau Difficile (Rue IA) : Des images de gens portant des tenues complètes dans des rues, générées par IA. C'est comme chercher un objet dans une foule animée.
4. Le Niveau Expert (Rue Réelle) : Des vraies photos de gens dans la rue, avec des ombres, des foules, des angles bizarres. C'est le niveau ultime : trouver l'aiguille dans la botte de foin, alors que l'aiguille bouge et que la botte est sale !

4. Le Résultat : Qui a gagné ?

Les chercheurs ont testé de nombreuses IA célèbres (comme CLIP ou DINO).

• Le verdict : La plupart des IA génériques ont échoué. Elles arrivaient à trouver "une chemise", mais pas "la bonne chemise avec les bons détails". C'est comme si un détective trouvait le bon quartier, mais le mauvais suspect.
• Les champions : L'équipe a créé ses propres modèles, GR-Pro et GR-Lite.
  • GR-Pro est le champion secret (très puissant, mais pas totalement ouvert au public).
  • GR-Lite est le champion accessible à tous (open-source).
  • Ces deux modèles ont gagné haut la main, prouvant qu'en apprenant spécifiquement les "détails de la mode" (comme le type de col ou le tissu), on peut faire des miracles.

5. L'Analogie Finale : Le Détective vs Le Mémoriste

Imaginez deux détectives :

• Le Mémoriste (Les anciennes IA) : Il a une photo du suspect dans sa tête. Si vous lui montrez le suspect dans un contexte différent (dans la rue, avec un parapluie), il ne le reconnaît pas car il attend la photo exacte.
• Le Détective (LOOKBENCH et GR-Lite) : Il comprend le style du suspect. Il sait que le suspect porte toujours un col V et une veste en cuir. Même si le suspect change de lieu ou de pose, le détective le retrouve grâce à ces indices précis.

En Résumé

LOOKBENCH est un nouveau terrain de jeu pour tester les intelligences artificielles dans la mode. Il est plus difficile, plus réaliste et plus difficile à tricher. Il nous montre que pour que la mode en ligne devienne vraiment intelligente, il ne suffit pas de "voir" une image, il faut la comprendre dans ses moindres détails. Et grâce à ce benchmark, nous avons maintenant une meilleure boussole pour guider les futurs détectives numériques.

Résumé technique

1. Problématique et Contexte

Le domaine de la recherche d'images dans la mode (Fashion Image Retrieval) est crucial pour le commerce électronique (recherche visuelle, recommandation de produits, génération de tenues). Cependant, l'évaluation des modèles dans ce domaine souffre de plusieurs limitations majeures :

• Stagnation des benchmarks : Les benchmarks dominants actuels (comme DeepFashion, Fashion200K) sont statiques, centrés sur les produits et souvent obsolètes.
• Contamination des données : Les modèles de vision modernes (CLIP, DINO, VLM) sont pré-entraînés sur des corpus web massifs qui chevauchent probablement les ensembles de données d'évaluation existants, faussant les résultats par surapprentissage (overfitting) et contamination.
• Intention utilisateur ignorée : Les benchmarks actuels se concentrent souvent sur la recherche d'instance unique (trouver exactement le même article) et ne capturent pas les intentions complexes des utilisateurs, comme trouver un substitut visuel ou une tenue complète (outfit-level).
• Manque de granularité : Les évaluations se basent souvent uniquement sur la catégorie du vêtement, négligeant les attributs fins (couleur, motif, coupe, matière) essentiels à la recherche de mode.

2. Méthodologie : LookBench

Les auteurs proposent LookBench, un benchmark "vivant" (live), holistique et conçu pour être mis à jour périodiquement afin de prévenir la contamination des données.

A. Construction du Dataset

LookBench comprend quatre sous-ensembles d'évaluation couvrant différents niveaux de difficulté et de réalisme :

1. RealStudioFlat : Images de produits réelles en studio (vue de dessus/plate), tâche de recherche d'item unique (Facile).
2. AIGen-Studio : Images de produits générées par IA dans un contexte de studio, recherche d'item unique (Moyen).
3. RealStreetLook : Photos réelles de tenues complètes dans la rue, tâche de recherche multi-éléments (Difficile).
4. AIGen-StreetLook : Tenues générées par IA dans des scènes complexes, tâche de recherche multi-éléments (Difficile).

Processus de collecte :

• Les requêtes sont générées dynamiquement à partir d'une taxonomie d'attributs fins (plus de 100 propriétés visuelles).
• Les images sont collectées via des moteurs de recherche web avec des horodatages (timestamps) précis.
• Un filtrage strict (déduplication, qualité) et une détection d'objets (YOLOv11) permettent d'extraire des crops de vêtements.
• Annotation : Les attributs sont pré-annotés automatiquement à l'aide de Qwen2.5-VL-72B, avec une validation par "LLM-as-a-judge" (GPT-5.1) atteignant une précision de ~93%.

B. Protocole d'Évaluation

• Corpus de recherche : Chaque requête est évaluée contre un corpus d'environ 60 000 images, enrichi par des "distracteurs" (images non pertinentes mais visuellement plausibles) sélectionnés depuis Fashion200K via des seuils de similarité cosine.
• Métriques :
  • Fine Recall@1 : La métrique principale. Un résultat est correct uniquement si l'item en tête de liste correspond à la catégorie ET à tous les attributs annotés de la requête.
  • Coarse Recall@1 : Correspondance uniquement sur la catégorie.
  • nDCG@5 : Qualité du classement des 5 premiers résultats.
• Mise à jour : Le benchmark est conçu pour être mis à jour semestriellement avec de nouvelles requêtes et des variantes de tâches plus difficiles.

C. Modèles Proposés (GensmoRetro)

Pour établir des références solides, les auteurs entraînent une famille d'encodeurs visuels sans texte (text-free) :

• GR-Pro : Un encodeur propriétaire de haute capacité (0,3B de paramètres, basé sur ViT) entraîné sur 6,5 millions d'images de mode.
• GR-Lite : Une version open-source basée sur DINOv3 (ViT-L/16), entraînée sur 1,8 million d'images (mélange de données open-source et internes). Elle utilise une fonction de perte ArcFace pour l'apprentissage métrique.

3. Résultats Clés

Les expériences comparent LookBench à des modèles de pointe (VLM génériques comme CLIP, SigLIP2, DINOv2/3, et des modèles spécialisés comme Marqo-FashionCLIP).

• Performance Globale : Les modèles GR-Pro et GR-Lite surpassent tous les autres.
  • GR-Pro atteint un Fine Recall@1 global de 67,38 %.
  • GR-Lite (open-source) suit de très près avec 65,71 %, devançant les meilleurs modèles publics (Marqo-FashionCLIP à 63,24 %).
  • Les modèles génériques (CLIP, DINO) obtiennent des scores bien inférieurs (30-45 %), soulignant leur incapacité à gérer la finesse des attributs de mode sans adaptation spécifique.
• Défi de la Rue (RealStreetLook) : C'est le sous-ensemble le plus difficile. Tous les modèles voient leurs performances chuter par rapport aux images studio, mais GR-Pro maintient une avance significative (62,39 % vs ~54 % pour le meilleur concurrent).
• Recherche de Tenues (Outfit-level) : Sur la tâche de recherche multi-éléments (trouver une tenue complète correspondant à une photo de rue), GR-Pro atteint 53,2 % de Fine Recall@1, contre moins de 47 % pour GR-Lite et moins de 40 % pour les modèles génériques.
• Généralisation : Les modèles GR obtiennent également les meilleurs résultats sur le benchmark historique Fashion200K (88,7 % pour GR-Pro), prouvant qu'ils ne sur-apprennent pas spécifiquement LookBench mais apprennent des représentations robustes.
• Analyse d'échelle : L'augmentation des données d'entraînement (jusqu'à 6,5M) et de la taille du modèle (jusqu'à 0,3B) améliore les performances, mais avec des rendements décroissants au-delà de ces points.

4. Contributions Principales

1. LookBench : Le premier benchmark "vivant" et contaminé-évitatoire pour la recherche de mode, intégrant à la fois des données réelles et générées par IA, avec une granularité d'attributs sans précédent.
2. Protocole d'Évaluation Rigoureux : Introduction d'une évaluation "Fine Recall" basée sur la correspondance stricte des attributs, offrant un diagnostic plus fin que les métriques de catégorie seule.
3. Modèles de Référence (SOTA) : Publication de GR-Lite, un modèle open-source performant et reproductible, qui établit un nouvel état de l'art sur LookBench et les benchmarks legacy.
4. Analyse des Lacunes : Démonstration que les VLM génériques échouent sur la recherche de mode fine et que l'adaptation spécifique aux attributs est indispensable.

5. Signification et Impact

Ce travail marque un tournant pour la recherche en récupération d'images de mode :

• Fiabilité : En évitant la contamination des données, LookBench offre une mesure plus juste et durable des progrès des modèles.
• Alignement Réel : En se concentrant sur les intentions utilisateurs (substituts, tenues complètes) et les attributs fins, il reflète mieux les besoins réels du e-commerce.
• Reproductibilité : La publication complète du dataset, du code d'évaluation et des poids du modèle GR-Lite permet à la communauté de bâtir des recherches futures sur des bases solides.
• Futur : Le benchmark ouvre la voie à des recherches sur la recherche multimodale (texte + image), la personnalisation et la compréhension esthétique subjective.

En résumé, LookBench n'est pas seulement un nouveau dataset, mais un nouveau standard pour évaluer la capacité des modèles à comprendre la complexité visuelle et sémantique de la mode dans des environnements réels.