LookBench: A Live and Holistic Open Benchmark for Fashion Image Retrieval

Das Paper stellt LookBench vor, ein lebendiges und ganzheitliches Open-Benchmark für die Fashion-Image-Retrieval in Echtzeit-E-Commerce-Umgebungen, das aktuelle Produktbilder und KI-generierte Mode umfasst, um Modelle durch zeitstempelierte, kontaminationsbewusste Evaluierung und anspruchsvolle Aufgaben zu testen.

Das Wesentliche

Stellen Sie sich vor, Sie gehen in eine riesige, moderne Modebude. Sie halten ein Foto von einem tollen Kleid in der Hand, das Sie auf der Straße gesehen haben, und wollen genau dasselbe (oder ein fast identisches) im Regal finden.

Das ist das Problem, das die Forscher mit LOOKBENCH lösen wollen. Hier ist die Erklärung, wie ein einfaches Gespräch mit einem Freund:

1. Das Problem: Der verstaubte Spiegel

Bisher hatten Mode-Apps und Suchmaschinen wie einen Spiegel, der vor 10 Jahren geputzt wurde.

• Die alten Tests (Benchmarks) waren statisch. Sie enthielten immer die gleichen, alten Fotos von glatten Studio-Produkten.
• Die KI-Modelle haben diese alten Fotos auswendig gelernt, statt wirklich zu verstehen, wie Kleidung aussieht. Das ist wie ein Schüler, der nur die Lösungen aus dem alten Heft abschreibt, aber im echten Leben versagt, wenn die Frage anders formuliert ist.
• Zudem waren viele KI-Modelle mit Daten trainiert worden, die diese alten Tests enthielten. Das ist wie ein Prüfer, der dem Schüler die Antworten vor dem Test verrät – das Ergebnis ist unfair und sagt nichts über die echte Leistung aus.

2. Die Lösung: LOOKBENCH – Der lebendige Mode-Test

Die Forscher von Gensmo.ai haben LOOKBENCH erfunden. Man kann sich das wie einen lebendigen, sich ständig erneuernden Mode-Test vorstellen.

• Es ist "Live": Statt alter Fotos nutzen sie Bilder, die heute online sind (aus echten Shops und von echten Leuten auf der Straße).
• Es ist "Sauber": Sie achten genau darauf, dass die KI nicht die Antworten vorher gesehen hat (keine "Kontamination"). Jedes Bild hat ein Stempel mit dem Datum, wann es gesammelt wurde.
• Es ist "Ganzheitlich": Es reicht nicht, nur ein T-Shirt zu finden. LOOKBENCH testet auch, ob die KI ein ganzes Outfit versteht (Hose, Shirt, Schuhe, Tasche) und ob sie Details erkennt (z. B. "V-Ausschnitt" statt nur "Hemd").

Die vier Prüfungsarten:
Stellen Sie sich vier verschiedene Räume vor, in denen die KI getestet wird:

1. Der Showroom (RealStudioFlat): Perfekte Fotos von Kleidung auf weißem Hintergrund. (Leicht)
2. Der KI-Künstler (AIGen-Studio): Bilder, die von einer KI generiert wurden, sehen aber aus wie Studiofotos. (Mittel)
3. Die wilde Straße (RealStreetLook): Echte Fotos von Leuten auf der Straße, mit Hintergrund, Schatten und ganzen Outfits. (Schwer!)
4. Die KI-Straße (AIGen-StreetLook): KI-generierte Bilder von Straßenszenen. (Sehr schwer!)

3. Das neue Werkzeug: GensmoRetro (GR-Pro & GR-Lite)

Die Forscher haben nicht nur einen Test gebaut, sondern auch die besseren Schüler entwickelt, um diesen Test zu bestehen.

• GR-Pro: Das ist der "Super-Schüler". Er ist sehr groß, sehr schlau und wurde mit Millionen von Modebildern trainiert. Er gewinnt bei fast allen Tests.
• GR-Lite: Das ist der "kleine, aber feine Schüler". Er ist etwas kleiner und schneller, aber fast genauso gut. Das Tolle: Die Forscher machen ihn kostenlos und offen verfügbar, damit alle ihn nutzen können.

Wie lernen sie?
Statt nur zu sagen "Das ist ein Shirt", hat LOOKBENCH eine Art detailliertes Lexikon (eine Taxonomie). Die KI lernt nicht nur das Wort "Shirt", sondern die genauen Merkmale: "V-Ausschnitt", "kurze Ärmel", "aus Baumwolle", "gestreift".

• Analogie: Ein alter KI-Modell sagt nur "Das ist ein Auto". Das neue Modell sagt: "Das ist ein roter Sportwagen mit offenem Dach und 300 PS".

4. Die Ergebnisse: Wer gewinnt?

Als sie alle Modelle gegeneinander antreten ließen (die alten Klassiker wie CLIP, DINO, und die neuen GR-Modelle), war das Ergebnis eindeutig:

• Die alten, allgemeinen KI-Modelle scheiterten oft. Sie kamen bei den schwierigen Straßentests oft unter 60 % richtig. Sie verwechselten oft die Details.
• Die neuen GR-Modelle (besonders GR-Pro) holten die besten Ergebnisse. Sie fanden das richtige Kleidungsstück selbst in chaotischen Straßenfotos viel genauer.
• Besonders beeindruckend: Die neuen Modelle waren auch auf den alten Tests (wie Fashion200K) die besten. Das zeigt, dass sie nicht nur den neuen Test gelernt haben, sondern wirklich besser verstehen, wie Mode funktioniert.

Zusammenfassung in einem Satz

LOOKBENCH ist wie ein neuer, fairer und schwerer Mode-Test, der zeigt, dass die alten KI-Modelle oft nur auswendig gelernt haben, während die neuen Modelle (GR-Pro/GR-Lite) wirklich verstehen, wie Kleidung aussieht und wie man sie findet – egal ob im Studio oder auf der belebten Straße.

Die Forscher geben jetzt alles (den Test, die Daten und die besten Modelle) kostenlos an die Öffentlichkeit, damit alle zusammenarbeiten und die Mode-Suche für uns alle verbessern können.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Stagnation bei der Evaluierung von Modellen für die Bildsuche in der Modebranche (Fashion Image Retrieval). Bestehende Benchmarks (wie DeepFashion oder Fashion200K) sind statisch, produktzentriert und oft veraltet. Dies führt zu zwei Hauptproblemen:

• Datenkontamination: Viele moderne Vision-Language-Modelle (VLMs) wie CLIP oder DINO werden auf Web-Corpora trainiert, die wahrscheinlich die Testdaten alter Benchmarks überlappen. Dies führt zu überoptimistischen Ergebnissen durch „Auswendiglernen" statt echter Generalisierung.
• Mangelnde Realitätsnähe: Die aktuellen Tests bewerten meist nur die Suche nach einzelnen Artikeln in kontrollierten Studio-Umgebungen. Sie erfassen nicht die komplexen Nutzerabsichten im E-Commerce, wie z. B. die Suche nach einem kompletten Outfit („Street Look") oder die Unterscheidung feiner Attribute (Stoff, Schnitt, Muster) in realen, unordentlichen Szenen.

2. Methodik: LookBench

Die Autoren stellen LookBench vor, ein lebendiges, ganzheitliches und herausforderndes Benchmark-System für den Einsatz im realen E-Commerce.

Kernprinzipien des Benchmarks:

• Lebendige Datenerfassung: Anstatt statischer Datensätze werden Testdaten periodisch aktualisiert. Es werden Bilder von Live-Websites (Studio-Produktfotos und Street-Style-Fotos) sowie KI-generierte Bilder gesammelt.
• Zeitstempel und Kontaminationsvermeidung: Jeder Test-Sample erhält einen Zeitstempel. Dies ermöglicht eine „kontaminationsbewusste" Evaluierung, bei der Testdaten gefiltert werden können, die nach dem Trainings-Cutoff des Modells gesammelt wurden.
• Vier Evaluierungs-Subsets:
  1. RealStudioFlat: Reine Studio-Produktfotos (einfach, Einzelartikel).
  2. AIGen-Studio: KI-generierte Studio-Bilder (mittlere Schwierigkeit).
  3. RealStreetLook: Echte Street-Style-Fotos mit kompletten Outfits (schwierig, Multi-Item).
  4. AIGen-StreetLook: KI-generierte Street-Style-Szenen (schwierig, Multi-Item).
• Feingranulare Attribut-Taxonomie: Das System nutzt eine Taxonomie mit über 100 visuell fundierten Attributen (z. B. „V-Ausschnitt", „Leinen", „Oversized"). Alle Bilder werden automatisch mit diesen Attributen annotiert (unterstützt durch Qwen2.5-VL-72B).
• Bewertungsmetrik: Die Hauptmetrik ist Fine Recall@1. Ein Treffer zählt nur, wenn das Top-Ergebnis sowohl die korrekte Kategorie als auch alle annotierten Attribute des Abfragebildes übereinstimmt. Dies ist eine viel strengere Anforderung als herkömmliche „Coarse Recall"-Metriken.

Das vorgestellte Modell: GensmoRetro (GR)
Um die Lücken im Benchmark zu schließen, entwickelten die Autoren eine Familie von textfreien visuellen Encodern:

• GR-Pro: Ein proprietäres, hochkapazitäres Modell (ca. 0,3 Mrd. Parameter) auf Basis eines Vision Transformer (ViT), trainiert auf 6,5 Millionen Mode-Bildern.
• GR-Lite: Ein Open-Source-Äquivalent, das auf dem DINOv3-Backbone (ViT-L/16) basiert und auf einer Mischung aus Open-Source- und internen Daten trainiert wurde.
• Training: Beide Modelle nutzen eine Attribut-supervisierte Lernstrategie mit ArcFace-Loss, um embeddings zu lernen, die feine visuelle Unterschiede (Textur, Schnitt, Accessoires) kodieren, ohne auf Text-Labels angewiesen zu sein.

3. Wichtige Beiträge

1. LookBench-Dataset: Ein neuartiger, lebendiger Benchmark mit ca. 2.500 Abfragen und einem Korpus von ca. 60.000 Bildern pro Aufgabe, der sowohl reale als auch synthetische Daten umfasst und durch Zeitstempel vor Datenkontamination schützt.
2. Feingranulare Annotation: Eine umfassende, kategorien-spezifische Attribut-Taxonomie, die durch Large Language Models (LLMs) als Richter validiert wurde (ca. 93% Genauigkeit).
3. State-of-the-Art Baselines: Die Veröffentlichung von GR-Lite, einem leistungsstarken, vollständig reproduzierbaren Open-Source-Modell, das als neuer Referenzpunkt für die Community dient.
4. Umfassende Analyse: Eine detaillierte Untersuchung, warum generische VLMs (CLIP, SigLIP, DINO) bei komplexen Modeaufgaben versagen und wie domänenspezifisches Training mit Attribut-Supervision diese Lücke schließt.

4. Ergebnisse

Die Experimente zeigen deutliche Unterschiede zwischen generischen Modellen und den spezialisierten GR-Modellen:

• Leistung auf LookBench:
  • GR-Pro erreicht auf allen vier Subsets die besten Ergebnisse (z. B. 69,14% Fine Recall@1 auf RealStudioFlat und 62,39% auf RealStreetLook).
  • GR-Lite (Open Source) liegt nur knapp dahinter (65,71% Overall) und übertrifft alle öffentlichen Baselines signifikant.
  • Generische Modelle (CLIP-L/14, DINOv2/3, InternViT) schneiden auf LookBench schlecht ab (oft < 45% Fine Recall@1), insbesondere bei Street-Look-Outfits, da sie feine Attribute nicht zuverlässig unterscheiden können.
• Generalisierung: Trotz des Fokus auf LookBench erzielen die GR-Modelle auch auf dem etablierten Fashion200K-Benchmark Spitzenwerte (ca. 88% Recall@1), was beweist, dass das Attribut-Training die Generalisierungsfähigkeit verbessert.
• Skalierung: Die Analyse zeigt, dass die Leistung mit mehr Trainingsdaten (bis 6,5M Bilder) und größeren Modellen (bis 0,3B Parameter) steigt, wobei ab einem bestimmten Punkt der Ertrag abnimmt (Gesetz des abnehmenden Grenznutzens).

5. Bedeutung und Ausblick

LookBench stellt einen Paradigmenwechsel in der Evaluierung von Fashion-Retrieval-Systemen dar.

• Praxisrelevanz: Es simuliert echte E-Commerce-Szenarien, in denen Nutzer nach spezifischen Attributen oder Outfit-Kombinationen suchen, nicht nur nach groben Kategorien.
• Zukunftssicherheit: Durch den lebendigen Charakter und die Zeitstempel bleibt das Benchmark relevant und verhindert, dass Modelle durch Datenkontamination „gehackt" werden.
• Community-Ressource: Die Veröffentlichung von Datensatz, Code, Evaluierungs-Tools und dem GR-Lite-Modell ermöglicht transparente und reproduzierbare Forschung.

Zusammenfassend demonstriert das Paper, dass reine generische Vision-Language-Modelle für die feingranulare Modewelt nicht ausreichen und dass attribut-gesteuertes, textfreies Training auf großen, sauberen Mode-Datensätzen der Schlüssel zu robusteren und genaueren Suchsystemen ist.