💻 computer science

A Multi-Attribute Latent Space for Visual Analysis of Watches

Dit artikel presenteert een interactief visueel analysesysteem dat open einde exploratie van grote collecties polshorloges mogelijk maakt door heterogene visuele en semantische attributen te integreren in een verenigde multi-attribuut latente ruimte, waardoor de beperkingen van traditionele metadata-gebaseerde filtering in e-commerce interfaces worden overwonnen.

Oorspronkelijke auteurs: Kai Lawonn, Tobias Günther, Monique Meuschke

Gepubliceerd 2026-06-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kai Lawonn, Tobias Günther, Monique Meuschke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, luxe horlogewinkel binnenloopt. De schappen staan vol met tienduizenden tijdmeters. Als je de verkoper vraagt: "Laat me alle blauwe horloges onder de $500 zien," kan hij dat gemakkelijk omdat hij een computerdatabase heeft. Maar wat als je zegt: "Ik wil iets dat voelt als dit specifieke vintage duikhorloge dat ik in een tijdschrift zag, maar dan misschien van een ander merk, en het moet een strakke, minimalistische wijzerplaat hebben"?

Dat is het probleem dat dit artikel oplost. Huidige webwinkels zijn geweldig in het afvinken van vakjes (metadata), maar ze zijn verschrikkelijk in het helpen van je bij het verkennen op basis van vibes (visuele gelijkenis).

Zo hebben de auteurs een systeem gebouwd om dit op te lossen, eenvoudig uitgelegd:

1. Het Probleat: Appels, Oranjes en Horloges Mengen

Als je probeert een computer te leren hoe hij vergelijkbare horloges vindt door simpelweg alle data bij elkaar te gooien (merk, prijs, kleur, vorm en type) in één grote lijst, raakt de computer in de war. Het is alsof je probeert de afstand tussen twee steden te meten door hun bevolking, temperatuur en straatnamen bij elkaar op te tellen. Eén factor kan per ongeluk de wiskunde domineren, waardoor twee horloges op elkaar lijken simpelweg omdat ze allebei duur zijn, zelfs als ze er totaal niet hetzelfde uitzien.

De auteurs realiseerden zich dat je verschillende "smaken" van gelijkenis apart moet behandelen:

Het "Type" (De Functie): Is het een duikhorloge? Een dress watch? Een chronograaf? Dit is de grote categorie.
De "Kleur" (De Vibe): Is de wijzerplaat blauw, zwart of zilver?
Het "Ontwerp" (De Details): Hoe zijn de wijzers gevormd? Zijn er kleine sub-wijzerplaten? Hoe ziet de textuur eruit?

2. De Oplossing: Een "Slimme Kaart" van Horloges

In plaats van een lijst of een raster, bouwde het team een interactieve 2D-kaart (een latente ruimte). Denk aan deze kaart als een magische plattegrond van de horlogewinkel.

De Globale Lay-out (De Wijken): Ze dwongen de kaart om zeven duidelijke "wijken" te hebben die in een cirkel zijn gerangschikt (als een heptagoon). Elke hoek vertegenwoordigt een belangrijk type horloge (bijv. de "Duikerswijk", "Dress Watch Downtown"). Dit zorgt ervoor dat als je naar een duikhorloge zoekt, je precies weet naar welk deel van de kaart je moet gaan.
De Lokale Wijken (Het Straatniveau): Binnen de "Duikerswijk" groepeert de kaart ze niet zomaar willekeurig. Het ordent ze op basis van kleur en ontwerp. Als je door de Duikerswijk loopt, zul je vinden dat alle blauwe wijzerplaat-duikers bij elkaar staan, en direct naast hen de horloges met het specifieke "strakke gezicht" dat je leuk vindt.

3. Hoe de Computer de Horloges "Ziet"

Om deze kaart te bouwen, moest de computer leren hoe hij naar een foto van een horloge kijkt en het begrijpt, net zoals een menselijke expert dat zou doen. Ze gebruikten drie speciale hulpmiddelen:

De "Gezichts-snijder" (U-Net): Eerst gebruikt de computer een neuraal netwerk om alleen de wijzerplaat van de foto uit te snijden, waarbij de band of de achtergrond wordt genegeerd.
De "Type-spotter" (Vision Transformer): Het kijkt naar het hele horloge en raadt het type (bijv. "Dat is een GMT-horloge").
De "Kleur- en Patroonscanner":
- Het breekt de wijzerplaat af naar een palet van 128 standaardkleuren om te zien hoeveel blauw, zilver of zwart er aanwezig is.
- Het gebruikt een techniek genaamd HOG (Histogram of Oriented Gradients) om de "vorm" van het ontwerp in kaart te brengen — waar de lijnen, wijzers en cijfers zich bevinden.

4. De Magische Wiskunde: De "Multi-Attribute" UMAP

De kern van hun uitvinding is een nieuwe manier om een wiskundig hulpmiddel genaamd UMAP te gebruiken (dat normaal gesproken wordt gebruikt om 3D-data te plat te slaan naar 2D).

Normaal gesproken probeert UMAP data plat te slaan op basis van één enkele definitie van "gelijkenis". De auteurs veranderden de regels. Ze zeiden tegen de wiskunde: "Kijk niet naar slechts één ding. Kijk naar de kleurgrafiek EN de ontwerpgrafiek apart, en combineer ze dan met een knop waar je aan kunt draaien."

De Knop: Als je horloges wilt vinden die qua kleur op elkaar lijken, draai je de knop om de nadruk op kleur te leggen. Als je horloges wilt met een vergelijkbaar ontwerp, draai je hem naar ontwerp. Als je een mix wilt, zet je hem in het midden.
Het Resultaat: De kaart herschikt zichzelf onmiddellijk. Je kunt een cluster van horloges zien die allemaal blauw zijn, of een cluster van horloges die allemaal die specifieke "tactische" look hebben, zelfs als het verschillende merken zijn.

5. Hoe Je Het Gebruikt (Het Interactieve Systeem)

Het artikel beschrijft een systeem waarbij je kunt:

Zoomen en Pannen: Vlieg rond de kaart om het grote plaatje te zien of zoom in om kleine details te zien.
Hoveren voor Details: Beweeg je muis over een stip om het merk, de prijs en de grootte van het horloge te zien.
Filteren: Gebruik standaardfilters (zoals "Prijs < $2000") om de kaart in te krimpen tot alleen de horloges die je kunt betalen.
Zoeken via Voorbeeld: Dit is het coolste deel. Je kunt een foto van een horloge uploaden dat je mooi vindt (misschien een foto die je met je telefoon hebt gemaakt). Het systeem snijdt de wijzerplaat uit, analyseert deze en plaatst een pin op de kaart vlak naast de meest vergelijkbare horloges in de database. Het is alsof je zegt: "Zet dit horloge op de kaart en laat me de buren zien."

6. Werkt het?

De auteurs testten dit met twee groepen: Horloge-experts (verzamelaars die alles weten) en Nieuwkomers (mensen die gewoon van mooie horloges houden).

Experts hielden ervan omdat het hen hielp subtiele ontwerpovereenkomsten tussen verschillende merken te vinden die ze normaal gesproken missen.
Nieuwkomers vonden het intuïtief. Ze konden beginnen met een vaag idee ("Ik wil een blauwe duiker") en de kaart hielp hen specifieke modellen te ontdekken waarvan ze niet eens wisten dat ze bestonden.

De Kernboodschap

Dit artikel presenteert een systeem dat een saaie database van horlogefoto's verandert in een visuele speeltuin. Het scheidt de "grote categorieën" (zoals typen horloges) van de "kleine details" (zoals kleur en ontwerp), zodat je een enorme collectie kunt verkennen, niet alleen door vakjes af te vinken, maar door je visuele nieuwsgierigheid te volgen. Het bewijst dat wanneer je veel verschillende soorten data hebt, je een speciaal soort kaart nodig hebt die die verschillen respecteert, in plaats van ze allemaal op één hoop te gooien.

Technische Samenvatting: Een Multi-Attribute Latente Ruimte voor Visuele Analyse van Horloges

Probleemstelling
Het artikel adresseert een beperking in huidige catalogus- en e-commerce interfaces voor complexe productdomeinen zoals polshorloges. Hoewel gebruikers kunnen filteren op metadata (bijv. merk, prijs), ontbreken deze systemen ondersteuning voor open-ended exploratie van visuele gelijkenis, stilistische alternatieven en gemengde esthetische-functionele criteria. Een standaard geconcateneerde feature-vector voor dimensionaliteitsreductie is problematisch omdat het type horloge, de wijzerplaatkleur en de structuur van de wijzerplaat verschillende semantiek, dimensionaliteiten en statistische distributies bezitten. Het simpelweg concateneren van deze features zorgt er vaak voor dat één attribuut de afstandmeting domineert, of dat een enkel geleerd embedding de vraag maskeert welk attribuut een specifieke buurt drijft. De auteurs stellen een systeem voor waarmee gebruikers grote horlogecollecties kunnen verkennen door een balans te vinden tussen de globale semantische structuur (type horloge) en lokale visuele gelijkenis (kleur en ontwerp).

Methodologie
Het systeem construeert een multi-attribute latente ruimte met behulp van een aangepast UMAP (Uniform Manifold Approximation and Projection) framework, ondersteund door een pipeline van deep learning-modellen voor attribuutextractie.

Data en Attribuutextractie:
- Dataset: Ongeveer 33.000 horlogeafbeeldingen van Chrono24 werden verwerkt.
- Dial Segmentatie: Een U-Net model segmenteert de wijzerplaat van de kast en de band, waardoor het gezicht wordt geïsoleerd voor analyse.
- Horlogetype Classificatie: Een Vision Transformer (ViT) voorspelt het type horloge (bijv. Chronograaf, Duiker, Dress) op basis van de volledige afbeelding.
- Kleurrepresentatie: Een tweestapsbenadering extraheert dominante kleuren. Eerst identificeert $k$ -means clustering de afbeelding-specifieke dominante kleuren in de CIELAB-ruimte. Ten tweede wordt een globaal referentiepalet van 128 kleuren afgeleid uit de gehele dataset. Elk horloge wordt gerepresenteerd door een 128-dimensionale vector die de proportie pixels codeert die overeenkomen met deze referentiekleuren.
- Ontwerprepresentatie: Histograms of Oriented Gradients (HOG) worden berekend op de gesegmenteerde wijzerplaat (grijswaarden) om structurele aanwijzingen zoals subdials, wijzers en indices te vangen, wat resulteert in een 324-dimensionale descriptor.
Multi-Attribute UMAP Embedding:
- In plaats van descriptors te concateneren, construeren de auteurs aparte fuzzy neighborhood graphs voor elk attribuut (kleur en ontwerp).
- Doelfunctie: De standaard UMAP cross-entropy doelfunctie wordt uitgebreid om deze attribuut-specifieke graphs te combineren. Een gewogen som van lidmaatschapssterktes ( $\gamma_f p^f_{ij}$ ) creëert een verenigde hoog-dimensionale graph.
- Class-Aware Constraints: Om de globale semantische structuur te behouden (Vereiste W1), introduceren de auteurs een "decaying class-aware layout term". Deze term trekt punten naar de hoekpunten van een regelmatige heptagoon die de zeven horlogetypes vertegenwoordigt. Deze term is sterk in het begin om de globale structuur vast te leggen, maar vervalt tijdens de optimalisatie om lokale visuele buurten (kleur/ontwerp) te laten vormen zonder dat de type-constraint deze overstemt.
- Membership-Constrained Neighborhoods: De graph-constructie bevat een parameter om de invloed van gelijke-type buren versus algemene dichtstbijzijnde buren te controleren, waardoor het systeem de balans kan bewaken tussen type-bewustzijn en visuele gelijkenis.
Interactief Visualisatiesysteem:
- Het systeem biedt een 2D ruimtelijke kaart waar gebruikers kunnen pannen, zoomen en hoveren om details te inspecteren (merk, prijs, afmetingen).
- Search-by-Example: Gebruikers kunnen een referentieafbeelding uploaden. Het systeem segmenteert de wijzerplaat, extraheert attributen en plaatst het nieuwe punt in de vaste latente ruimte door de dichtstbijzijnde buren in de hoog-dimensionale attribuutruimte te vinden en het dienovereenkomstig te positioneren, waarbij de bestaande structuur behouden blijft.
- Hybride Filtering: Metadata filters (prijs, kastgrootte) worden gecoördineerd met de visuele kaart, waardoor gebruikers hun visuele ontdekkingen kunnen verfijnen op basis van praktische beperkingen.

Belangrijkste Bijdragen

Multi-Attribute UMAP Variant: Een formulering die attribuut-specifieke fuzzy neighborhood graphs combineert met door de gebruiker controleerbare gewichten, aangevuld met membership-constrained neighborhoods en een decaying class-aware layout term.
Design Rationale: Een review-gestuurde benadering die domeineisen (globale type overview, kleur-gebaseerde gelijkenis, ontwerp-gebaseerde gelijkenis) verbindt met specifieke latente-ruimte mapping en interactietechnieken.
Implementatie: Een volledige systeempipeline die gesegmenteerde wijzerplaatafbeeldingen, horlogetype-voorspellingen en kleur/ontwerp descriptors verwerkt in een interactieve interface.
Evaluatie: Een kwalitatieve pilotstudie met experts en novicen, naast parameteranalyse en runtime-metingen.

Resultaten

Parameteranalyse: Een kwantitatieve evaluatie met behulp van een Jaccard-index en een reconstructiefout-metriek laat zien dat de voorgestelde graph-gewogen embedding beter presteert dan standaard UMAP of geconcateneerde benaderingen in het behouden van de beoogde balans tussen attributen. De methode stelt gebruikers succesvol in staat om de focus van de embedding te verschuiven tussen kleur en ontwerp.
Search-by-Example: Gecontroleerde retrieval-tests met geperturbeerde query-afbeeldingen (rotatie, schaling, helderheidsveranderingen) geven aan dat de design-only (HOG) instelling de hoogste Top-1 nauwkeurigheid (88,2%) oplevert, hoewel de gemengde instelling robuust blijft.
Gebruikersstudie: Tien deelnemers (4 experts, 6 novicen) voltooiden exploratietaken.
- Experts behaalden een taaknauwkeurigheid van 94%, waarbij zij de ruimtelijke groepering van types en het gemak van vergelijking prezen.
- Novicen behaalden een nauwkeurigheid van 84%, waarbij zij het systeem effectief vonden voor het ontdekken van esthetisch verwante ontwerpen, hoewel sommigen aanvankelijk moeite hadden met het interpreteren van ruimtelijke nabijheid versus functionele gelijkenis.
- Beide groepen beoordeelden het systeem hoog op bruikbaarheid (SUS scores >73) en gebruikerservaring (UEQ-S), waarbij zij opmerkten dat het systeem een progressieve workflow van globale oriëntatie naar lokale inspectie ondersteunt.

Significantie en Claims
Het artikel beweert dat het systeem de ontdekking en vergelijking van horloges ondersteunt door stilistische relaties over merken heen en binnen types te onthullen. De auteurs stellen expliciet dat de resultaten kwalitatief bewijs zijn van gebruikspatronen en design-implicaties, eerder dan statistisch bewijs van effectiviteit, gezien de kleine steekproefomvang.

De primaire significantie ligt in de design-implicaties voor het visualiseren van multi-attribute latente ruimten in heterogene collecties:

Balans tussen Structuur en Gelijkenis: Het onderscheid tussen attributen die globale structuur definiëren (type) en attributen die lokale gelijkenis definiëren (visuele features) voorkomt misleidende embeddings.
Progressieve Exploratie: Het ondersteunen van multi-schaal navigatie (overview naar detail) is cruciaal voor grote collecties.
Hybride Filtering: Het integreren van niet-visuele metadata filters met ruimtelijke embeddings ondersteunt zowel exploratieve ontdekking als gerichte zoekopdrachten.
Search-by-Example: Het bieden van een intuïtieve ingang voor gelijkenis-zoekopdrachten vermindert de cognitieve belasting voor niet-experts.

De auteurs concluderen dat, hoewel gedemonstreerd op horloges, de aanpak toepasbaar is op andere domeinen met heterogene attributen (bijv. mode, industrieel ontwerp). Zij erkennen beperkingen in de schaalbaarheidsevaluatie en de noodzaak voor bredere domeinstudies, en zij merken op dat het huidige bewijs niet claimt dat het systeem de deskundige oordeelsvorming of precieze filtering vervangt, maar deze eerder aanvult.