FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

1. Het Probleem: "View Incompleteness"

Bestaande methoden voor Samengestelde Beeldretrieval (Composed Image Retrieval - CIR) werken op het niveau van individuele afbeeldingen. Een gebruiker geeft een referentieafbeelding en een tekstuele modificatie (bijv. "verander de mouwen in lange mouwen") en het systeem zoekt een doelafbeelding.

De auteurs identificeren een fundamenteel tekortkoming in deze aanpak, genaamd "View Incompleteness" (onvolledigheid van het gezichtspunt):

• Realiteit in e-commerce: Modeproducten worden getoond vanuit meerdere hoeken (voorkant, achterkant, zijkant, details). Gebruikers redeneren holistisch over het product.
• Het tekortkoming: Een enkele afbeelding kan niet alle kenmerken tegelijk tonen. Bijvoorbeeld, een diepe V-hals is alleen zichtbaar van voren, terwijl een open rug met kruisbanden alleen van achteren zichtbaar is.
• Gevolg: Als een gebruiker vraagt om een "open rug" op basis van een vooraanzicht, kunnen bestaande modellen dit niet correct verwerken omdat de benodigde visuele informatie (de rug) in de referentie ontbreekt. Bestaande datasets en methoden negeren het concept van een "product-entiteit" dat bestaat uit meerdere beelden.

2. Oplossing en Methodologie

De paper introduceert een complete oplossing die bestaat uit een nieuwe taakdefinitie, een dataset en een nieuw model.

A. Taakdefinitie: Multi-View CIR

De auteurs definiëren Multi-View CIR, waarbij zowel de query als de galerij werken op product-niveau.

• In plaats van één afbeelding, wordt een product $P$ gerepresenteerd door een set multi-view afbeeldingen $V_P = \{I_1, ..., I_N\}$.
• Het doel is om een doelproduct te vinden dat overeenkomt met de bronproduct-afbeeldingen (geaggregeerd) plus de modificatietekst.

B. De Dataset: FashionMV

Om deze taak mogelijk te maken, hebben de auteurs FashionMV gebouwd, de eerste grote multi-view dataset voor product-level CIR.

• Omvang: 127.000 producten, 472.000 afbeeldingen en meer dan 220.000 CIR-triplets.
• Data-bronnen: Geaggregeerd uit DeepFashion, Fashion200K en FashionGen.
• Automatische Pipeline: De dataset is volledig automatisch gegenereerd met behulp van grote multimodale modellen (LLMs en VLMs) in drie fasen:
  1. Generatie van bijschriften: Per afbeelding, lange samenvattingen (alle hoeken) en korte samenvattingen.
  2. Filteren van hallucinaties: Specifiek gericht op links-rechts fouten (richtingshallucinaties) die vaak voorkomen bij asymmetrische kledingstukken.
  3. Constructie van triplets: Selectie van bron- en doelproducten met duidelijke verschillen over meerdere hoeken heen, gevolgd door het genereren van korte en lange modificatieteksten.

C. Het Model: ProCIR

ProCIR (Product-level Composed Image Retrieval) is een framework gebaseerd op een Multimodal Large Language Model (MLLM), specifiek Qwen3.5-0.8B. Het model maakt gebruik van drie complementaire mechanismen:

1. Twee-staps Dialoog Architectuur (Two-Stage Dialogue):

   • Ontkoppelt visuele perceptie van redenering.
   • Turn 1: Verwerkt alleen de bronafbeeldingen om een "pure" visuele embedding ($s$) te genereren.
   • Turn 2: Verwerkt de modificatietekst in de context van Turn 1 om de query-embedding ($q$) te genereren.
   • Dit zorgt voor een schone visuele representatie en maakt latente caching mogelijk voor lage latentie.

2. Bijschrift-gebaseerde Alignement (Caption-based Alignment):

   • Injecteert productkennis in de embedding-ruimte door de visuele embeddings af te stemmen op tekstuele bijschriften (lange en korte beschrijvingen) van het product.
   • Dit helpt het model om semantische kennis te integreren zonder dat het de tekst direct hoeft te "lezen" tijdens de inferentie.

3. Chain-of-Thought (CoT) met Progressieve Verwijdering:

   • Tijdens het trainen wordt de lange productbeschrijving expliciet in het denkproces (CoT) van het model geplaatst.
   • Een "keep ratio" vermindert geleidelijk de hoeveelheid tekst die wordt ingevoerd, zodat het model de kennis intern leert en niet afhankelijk wordt van de tekst tijdens de inferentie.

4. Optionele Supervised Fine-Tuning (SFT):

   • Een voorafgaande fase waarin het model wordt gefinetuned op het genereren van bijschriften en modificatieteksten. Dit injecteert gestructureerde productkennis voordat de contrastieve training begint.

3. Belangrijkste Resultaten en Ablatie-studies

De auteurs hebben 16 configuraties getest (8 mechanisme-varianten x 2 initialisaties: Pretrained en SFT).

• Prestaties: Het beste model (0.8B parameters) presteert beter dan alle bestaande baselines, inclusief modellen die 10x zo groot zijn (zoals Qwen3-V-8B). Het behaalt een R@5 van 89.2% op DeepFashion, vergeleken met 87.4% voor het 8B-model.
• Ablatie-ontdekkingen:
  1. Alignement is cruciaal: Dit is het belangrijkste mechanisme. Zonder alignement presteert de twee-staps architectuur slechter dan een single-turn baseline.
  2. Twee-staps is een vereiste: De ontkoppeling van perceptie en redenering is noodzakelijk voor effectieve alignement.
  3. SFT en CoT zijn deels redundant: Zowel SFT als CoT injecteren kennis. Zodra het model via SFT productsemantiek heeft geïnternaliseerd, wordt CoT overbodig en kan het zelfs schadelijk zijn. De beste configuratie is MT + Align + SFT (zonder CoT).

4. Bijdragen en Betekenis

De belangrijkste bijdragen van dit werk zijn:

1. Conceptuele verschuiving: Het formuleren van Multi-View CIR, wat de standaard van "image-level" naar "product-level" retrieval verlegt.
2. Dataset: De creatie van FashionMV, een schaalbaar, automatisch gegenereerd dataset dat de kloof overbrugt tussen e-commerce data en CIR-taken.
3. Methodologie: Het bewijs dat een relatief klein model (0.8B) door slimme architectuur (twee-staps dialoog) en kennisinjectie (alignement/SFT) grotere modellen kan verslaan in specifieke domeinen.
4. Praktische toepasbaarheid: De aanpak lost het probleem van "onwaarneembare gebieden" op, wat essentieel is voor realistische e-commerce zoekopdrachten waarbij gebruikers producten vanuit verschillende hoeken willen vergelijken of aanpassen.

Conclusie:
FashionMV en ProCIR tonen aan dat voor effectieve mode-retrieval in de echte wereld niet alleen betere algoritmen nodig zijn, maar ook een fundamentele herdefinitie van het probleem als een product-georiënteerde taak, ondersteund door data die de multi-view aard van producten respecteert. De combinatie van een gestructureerde twee-staps dialoog en alignement met tekstuele kennis biedt een nieuwe state-of-the-art voor dit domein.