LookBench: A Live and Holistic Open Benchmark for Fashion Image Retrieval

In dit artikel wordt LookBench gepresenteerd, een levendige en holistische open benchmark voor modebeeldretrieval in realistische e-commerceomgevingen, die periodiek wordt bijgewerkt met recente en gegenereerde afbeeldingen om de voortgang van modellen op een schaalbare en verontreinigingsvrije manier te evalueren.

De kern

Stel je voor dat je op zoek bent naar een specifieke trui die je ergens hebt gezien. Je wilt niet zomaar een trui, maar die exacte trui: met de ronde hals, de lichte strepen en de losse pasvorm. Vroeger was het voor computers heel lastig om zo'n specifieke zoekopdracht te begrijpen. Ze zagen vaak alleen "een trui" en gaven je dan duizenden willekeurige truien terug.

Dit paper introduceert LOOKBENCH, een nieuwe, super-actieve testomgeving voor kunstmatige intelligentie (AI) om te zien hoe goed ze kunnen zoeken in de modewereld. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Live" Testbaan (Het Probleem met oude tests)

Vroeger gebruikten onderzoekers oude fotoalbums (datasets) om AI te testen. Het probleem? Die albums zijn statisch en vaak al gebruikt om de AI te trainen.

• De analogie: Het is alsof je een student een wiskundetoets geeft, maar de antwoorden staan al in het boekje dat de student thuis heeft gelezen. De student haalt een 10, maar dat betekent niet dat hij echt slim is; hij heeft gewoon geleerd.
• De oplossing: LOOKBENCH is een levende testbaan. De makers halen continu nieuwe foto's van echte websites en genereren ook nieuwe, door AI gemaakte foto's. Ze stampen de testbaan elke paar maanden op. Zo kan de AI niet "leren uit het antwoordboekje" (dit noemen ze data contamination). Het is alsof je de student elke week een nieuwe, verrassende toets geeft.

2. De Vier Soorten Zoekopdrachten

LOOKBENCH test de AI op vier verschillende manieren, van makkelijk tot heel moeilijk:

• De Studio-foto's (Easy): Een trui ligt perfect plat op een witte achtergrond. Dit is als een catalogusfoto. Makkelijk voor een computer.
• De AI-Studio (Medium): Een computer maakt een foto van een trui in een mooie setting. Dit is nog steeds redelijk, maar de computer moet nu creatiever kijken.
• De AI-Straat (Hard): Een computer maakt een foto van iemand in een complete outfit op een drukke straat. Hier zijn veel andere dingen te zien (auto's, gebouwen) en de kleding zit niet perfect.
• De Echte Straat (Zeer Hard): Een echte foto van iemand op straat. Dit is het moeilijkst. De kleding zit gekreukt, er is schaduw, en je ziet misschien maar een deel van de broek. Dit is de echte "struggle" voor een zoekmachine.

3. De "Kleding-Checklist" (De Geheime Wapen)

Wat LOOKBENCH zo slim maakt, is dat het niet alleen vraagt: "Is dit een trui?". Het gebruikt een gedetailleerde checklist.

• De analogie: Stel je voor dat je een detective bent. Een slechte detective zegt: "Ik heb een verdachte gevonden, hij draagt een jas." Een goede detective zegt: "Ik heb de juiste verdachte gevonden: een man met een bruine jas, dubbele rij knopen, van leer, met een kap."
• LOOKBENCH heeft een enorme lijst met eigenschappen (halsvorm, stof, pasvorm, kleur). De AI moet niet alleen de juiste kledingstukken vinden, maar ook de juiste details. Als je zoekt naar een "blauwe, gebreide sjaal", en de AI geeft je een "rode, zijden sjaal", dan is het antwoord fout, zelfs als het wel een sjaal is.

4. De Winnaars: GR-Pro en GR-Lite

De auteurs hebben hun eigen AI-modellen gebouwd om deze test te doorstaan:

• GR-Pro: Dit is de "Superheld". Hij is enorm en heel slim, maar de makers houden de blauwdrukken geheim (voor zakelijke redenen). Hij scoort het hoogst.
• GR-Lite: Dit is de "Open Source Held". Hij is iets kleiner, maar bijna net zo slim als de Superheld. Het mooie is: iedereen mag deze gebruiken en bekijken hoe hij werkt.
• De concurrenten: Bekende modellen (zoals CLIP, die veel gebruikt wordt) vielen op deze nieuwe test flink door de mand. Ze haalden vaak minder dan 60% goede resultaten. De nieuwe modellen van de auteurs haalden veel hogere scores, vooral bij de moeilijke straatfoto's.

Waarom is dit belangrijk?

Voor jou als consument betekent dit dat zoekmachines in de toekomst veel beter zullen werken.

• Vandaag: Je zoekt naar "jurk met bloemenprint" en je krijgt 100 jurken, maar geen enkele met bloemen.
• Morgen (met LOOKBENCH): De AI begrijpt dat je de bloemen wilt, de pasvorm wilt en de stof wilt. Hij vindt precies wat je zoekt, zelfs als je een foto maakt van iemand op straat.

Kortom: LOOKBENCH is de nieuwe, eerlijke "rijbewijstest" voor modedetectives. Het zorgt ervoor dat AI echt leert kijken, in plaats van alleen maar te raden op basis van oude foto's.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor fashion image retrieval (zoals DeepFashion en Fashion200K) zijn statisch, productgericht en vaak verouderd. Ze lijden onder twee hoofdproblemen:

1. Data-contaminatie: Moderne visuele modellen (zoals CLIP en DINO-families) worden getraind op web-scraped corpora die waarschijnlijk overlappen met de testsets van deze legacy benchmarks. Dit leidt tot overfitting en onnauwkeurige prestatie-evaluaties.
2. Beperkte complexiteit: Bestaande benchmarks focussen voornamelijk op instance-level retrieval (het vinden van exact hetzelfde item) in studio-omgevingen. Ze missen realistische scenario's zoals street-look foto's, outfit-level retrieval (het vinden van meerdere kledingstukken in één outfit) en de noodzaak om subtiele attributen (zoals stof, snit, patroon) te onderscheiden.

Methodologie: LookBench

LookBench is een levendige, holistische en uitdagende benchmark die is ontworpen voor realistische e-commerce settings. De opbouw volgt drie kernprincipes:

1. Levende en Besmettingsvrije Data:

   • In plaats van een statische dataset, worden samples periodiek verzameld via tijdsgebonden webqueries op recente retailwebsites.
   • Elke sample heeft een tijdstempel, wat "contamination-aware evaluation" mogelijk maakt: testdata kan worden gefilterd op basis van de trainingscutoff van een model om data-lekken te voorkomen.
   • De benchmark bevat vier subsets met verschillende moeilijkheidsgraden:
     • RealStudioFlat: Schone studio-productfoto's (makkelijk).
     • AIGen-Studio: AI-genererde studio-afbeeldingen (gemiddeld).
     • RealStreetLook: Echte street-style foto's met volledige outfits en complexe achtergronden (moeilijk).
     • AIGen-StreetLook: AI-genererde street-look composities (moeilijk).

2. Attribuut-gesuperviseerde Evaluatie:

   • Er is een fijnmazige taxonomie ontwikkeld met meer dan 100 visueel onderbouwde attributen per kledingcategorie (bijv. halslijn, mouwlengte, stofsoort).
   • Alle query- en gallery-afbeeldingen zijn vooraf geannoteerd met deze attributen met behulp van het multimodale model Qwen2.5-VL-72B.
   • De kwaliteit van deze annotaties is gevalideerd via een "LLM-as-a-judge" protocol met GPT-5.1, wat een correctheidspercentage van ongeveer 93% opleverde.
   • Evaluatiemetrics: De primaire metric is Fine Recall@1, waarbij een resultaat alleen als correct telt als het bovenste item zowel de juiste kledingcategorie als alle geannoteerde attributen matcht.

3. Corpus Constructie:

   • Voor elke query wordt een corpus van ongeveer 60.000 afbeeldingen samengesteld. Dit bevat positieve matches (gebaseerd op attributen) en "soft negatives" uit Fashion200K die visueel vergelijkbaar zijn maar semantisch niet overeenkomen, om de taak uitdagender te maken.

Belangrijkste Bijdragen

• LookBench Dataset: Een open benchmark met ~2.500 queries en ~240.000 afbeeldingen, verdeeld over realistische en synthetische subsets, inclusief metadata en attribuutlabels.
• GensmoRetro (GR) Modellen: De auteurs presenteren een familie van tekst-vrije visuele encoders:
  • GR-Pro: Een high-capacity model (0.3B parameters) gebaseerd op DINOv3, getraind op een in-house corpus van 6,5 miljoen fashion-afbeeldingen. Dit is een proprietary model.
  • GR-Lite: Een open-source variant met vergelijkbare prestaties, getraind op een mix van open-source en in-house data. Het biedt een sterke, reproduceerbare baseline.
• Nieuwe Evaluatie Protocol: Een standaard voor contamination-aware evaluatie die rekening houdt met de levenscyclus van data en de complexiteit van outfit-level retrieval.

Resultaten

De experimenten tonen aan dat LookBench een aanzienlijke uitdaging vormt voor bestaande state-of-the-art modellen:

• Prestaties van Baselines: Veel sterke generieke modellen (zoals CLIP-L/14, SigLIP2, DINOv2/3) scoren onder de 60% Fine Recall@1, met name op de moeilijke RealStreetLook subset. Dit suggereert dat generieke visuele encoders onvoldoende zijn voor attribut-getrouwe fashion retrieval.
• Prestaties van GR-Modellen:
  • GR-Pro behaalt de beste resultaten op alle subsets, met een overall Fine Recall@1 van 67,38% (en 62,39% op de moeilijke RealStreetLook subset).
  • GR-Lite volgt op de tweede plaats met 65,71%, wat aanzienlijk beter is dan de beste publieke concurrenten (zoals Marqo-fashionCLIP met 63,24%).
• Generalisatie: De GR-modellen presteren ook uitstekend op legacy benchmarks zoals Fashion200K (88%+ Recall@1), wat aantoont dat de attribut-gestuurde training robuust is en goed generaliseert.
• Schaalbaarheid: Analyse toont aan dat prestaties stijgen met meer data (tot ~6,5M afbeeldingen) en grotere modelcapaciteit (tot ~0,3B parameters), maar daarna verzadigen.

Significantie

LookBench zet een nieuwe standaard voor fashion image retrieval onderzoek door:

1. Realisme: Het verschuift de focus van statische, studio-gebaseerde datasets naar dynamische, real-world scenario's inclusief street-look en outfit-level retrieval.
2. Fairness: Door tijdgestempelde data en periodieke updates biedt het een eerlijkere manier om modellen te evalueren zonder data-contaminatie.
3. Fijnmazigheid: Het introduceert attribut-gestuurde evaluatie, wat essentieel is voor e-commerce waar gebruikers zoeken op specifieke kenmerken (bijv. "blauwe katoenen blouse met V-hals") en niet alleen op categorie.
4. Openheid: Het vrijgeven van dataset, code, annotaties en de GR-Lite modelgewicht stimuleert reproduceerbaar onderzoek en transparante vergelijkingen in de community.

Kortom, LookBench is ontworpen als een duurzaam, "levend" testbed dat de kloof tussen academische benchmarks en de complexe realiteit van moderne e-commerce zoekopdrachten overbrugt.