Image Score: Learning and Evaluating Human Preferences for Mercari Search

1. Probleemstelling

Mercari, de grootste C2C e-commerce marktplaats van Japan, staat voor een uitdaging bij het optimaliseren van zoekresultaten waarbij beeldkwaliteit een primaire differentiator is. In tegenstelling tot traditionele e-commerce, waar producttitels en beschrijvingen de boventoon voeren, nemen Mercari-gebruikers vaak beslissingen op basis van afbeeldingen en prijzen voordat ze titels lezen (zoals zichtbaar is in de rasterindeling van de app).

• De Kernkwestie: Hoewel impliciete feedback (klikken) overvloedig aanwezig is, wordt deze sterk verward door relevantie en positiebias. Het is moeilijk om de specifieke impact van beeldkwaliteit op gebruikersgedrag te isoleren van deze andere factoren.
• Data-schaarste: Traditionele beoordeling van beeldkwaliteit is afhankelijk van dure, tijdrovende menselijke annotatie, wat niet schaalbaar is voor een marktplaats met miljoenen aanbiedingen.
• Doel: Ontwikkel een kosteneffectieve methode om beeldkwaliteit te beoordelen, deze te ontkoppelen van relevantie, en deze te gebruiken om zoekranking en gebruikersbetrokkenheid (klikken en verkoop) te verbeteren.

2. Methodologie

De auteurs stellen een pijplijn voor die Large Language Models (LLM's) inzet voor zwakke supervisie om trainingslabels te genereren, die vervolgens worden gebruikt om een lichtgewicht machine learning-model te trainen voor online implementatie.

A. Datacollectie & Labelgeneratie

• Hypothese: Als twee artikelen even relevant zijn en een vergelijkbare prijs hebben, zal het artikel met de betere beeldkwaliteit meer klikken ontvangen.
• Datafiltering: Het team haalde zoeklogs op en paste strenge filtering toe om "soortgelijke artikelparen" te creëren:
  • Prijsfiltering: Artikelen binnen een specifiek prijsbereik van het eerst geklikte artikel.
  • Positiewindowing: Artikelen direct voor en na het geklikte artikel behouden (om positiebias te minimaliseren).
  • Resultaat: Een dataset van 150k trainings-SERP's (Search Engine Results Pages) en 36k validatie-SERP's.
• LLM-annotatie (Zwakke Supervisie):
  • In plaats van menselijke annotatoren gebruikten ze GPT-4 via een Vision API.
  • Chain-of-Thought (CoT) Prompting: De LLM werd geprompt om esthetische elementen te analyseren (kleurharmonie, helderheid, compositie, etc.) en een score (0–10) toe te kennen aan afbeeldingen in een batch, waarbij ze met elkaar werden vergeleken in plaats van geïsoleerd.
  • Output: JSON-gemaakte esthetische scores en beschrijvende bijvoeglijke naamwoorden.

B. Modelarchitectuur

• Ruggengraat: De auteurs gebruikten CLIP (Contrastive Language-Image Pre-training) embeddings (specifiek ViT-B/16 getraind op vertaalde CC12M). Ze ontdekten dat bevroren CLIP-embeddings kwaliteitsattributen al effectief vastleggen.
• Fine-tuning: Een Multi-Layer Perceptron (MLP) werd toegevoegd bovenop de bevroren CLIP-encoder.
• Trainingsdoel:
  • Geformuleerd als een Pairwise Learning-to-Rank (LTR) probleem.
  • Verliesfunctie: Focal Loss werd gebruikt in plaats van standaard Cross-Entropy. Dit werd gekozen om ruis in labels (van LLM's) te hanteren en te voorkomen dat het model overweldigd werd door "makkelijke" negatieve voorbeelden.
  • Dataconstructie: Voor een query, als de LLM afbeelding $x_i$ hoger rankt dan $x_j$, wordt het model getraind om een hogere score te voorspellen voor $x_i$.

C. Implementatie & Integratie

• Inferentie: Het model wordt gehost op de NVIDIA Triton Inference Server.
• Pijplijn: Geïntegreerd in de Google Cloud Dataflow indexeringpijplijn. Wanneer een artikel wordt bijgewerkt, wordt de beeldscore synchroon voorspeld en geïndexeerd in Elasticsearch.
• Rankingstrategie: De beeldscore wordt geïntegreerd in de Elasticsearch-rankingformule met twee benaderingen die zijn getest in A/B-tests:
  1. Multiplicatief: final_score = bestaande_relevantie_score * beeldscore
  2. Additief: final_score = bestaande_relevantie_score + beeldscore

3. Belangrijkste Bijdragen

1. Ontkoppeling van Relevantie van Impliciete Feedback: Een nieuwe data-generatiebenadering die de impact van beeldkwaliteit isoleert door te controleren voor prijs en relevantie, waardoor klikken kunnen worden gebruikt als een geldige maatstaf voor beeldkwaliteitsbeoordeling.
2. LLM-gedreven Zwakke Supervisie: Aangetoond dat LLM's (GPT-4) met CoT-prompting hoogwaardige, interpreteerbare esthetische labels voor afbeeldingen kunnen genereren die sterk correleren met menselijk gedrag, en zo een kosteneffectief alternatief bieden voor menselijke annotatie.
3. Kostenefficiënt Model: Succesvol getraind een lichtgewicht model (CLIP + MLP) dat baselines overtreft, wat bewijst dat dure LLM-inferentie alleen nodig is voor labelgeneratie, niet voor real-time ranking.
4. Bedrijfsimpact: De aanpak gevalideerd via online A/B-tests, met een significante omzetgroei.

4. Experimentele Resultaten

Offline Evaluatie

• Metingen: Ordered Pair Accuracy (OPA) en Click Accuracy (CA).
• Baselines: Random Guess, Historical CTR en CLIP Score (zero-shot).
• Prestaties:
  • Image Score (Focal Loss): Bereikte 67,75% OPA en 64,42% CA.
  • Vergelijking: Significant beter dan Random Guess (50%) en Historical CTR (die slechter presteerde dan raden, ~42-44%).
  • Inzicht: Historical CTR faalde omdat het verward werd door relevantie; de Image Score isoleerde kwaliteit succesvol.

Online A/B-testen (Webplatform)

• Opzet: Drie groepen: Control (Baseline), Additive Boost, Multiplicative Boost.
• Kernmeting: Average Transactions Per User (ATPU).
• Resultaten:
  • Variant 1 (Additief): ATPU steeg met 6,99% (statistisch significant, t-waarde 2,22).
  • Variant 2 (Multiplicatief): ATPU steeg met 6,66%.
  • Observatie: De verbeteringen waren significant op het Webplatform, maar toonden negatieve/neutrale effecten op Mobiel. De auteurs hypothetiseren dat webgebruikers gevoeliger zijn voor visuele kwaliteit vanwege hogere schermresoluties.

5. Betekenis en Toekomstig Werk

• Betekenis: Dit werk overbrugt de kloof tussen Deep Learning-afbeeldingskwaliteitsbeoordeling en praktische e-commerce-optimalisatie. Het bewijst dat LLM's kunnen dienen als schaalbare "menselijke proxies" voor het trainen van rankingmodellen, wat de kosten van data-labeling drastisch verlaagt terwijl de verklaarbaarheid verbetert.
• Beperkingen:
  • AI-gegenereerde Afbeeldingen: Het systeem heeft momenteel moeite om onderscheid te maken tussen hoogwaardige echte foto's en AI-gegenereerde afbeeldingen, wat kan leiden tot misbruik van het scoresysteem.
  • Platformvariatie: De effectiviteit van het model varieert per apparaat (Web vs. Mobiel), wat wijst op de noodzaak van platform-specifieke weging.
• Toekomstige Richtingen:
  • Integratie van detectie van AI-gegenereerde content om het manipuleren van het systeem te voorkomen.
  • Ontwikkeling van continue feedbackloops voor real-time monitoring.
  • Verfijning van het model om rekening te houden met platform-specifieke gebruikersvoorkeuren.

Concluderend presenteert het paper een robuust, schaalbaar raamwerk voor het verbeteren van zoekrelevantie in C2C-marktplaatsen door beeldkwaliteit te kwantificeren, wat direct leidt tot een ~7% toename in verkooptransacties op het webplatform.