Image Score: Learning and Evaluating Human Preferences for Mercari Search

1. Enunciato del Problema

Mercari, il più grande marketplace C2C di e-commerce in Giappone, affronta la sfida di ottimizzare i risultati di ricerca, dove la qualità dell'immagine è un fattore differenziante primario. A differenza dell'e-commerce tradizionale, dove titoli e descrizioni dei prodotti dominano, gli utenti di Mercari spesso prendono decisioni basandosi su immagini e prezzi prima di leggere i titoli (come si evince dal layout a griglia dell'app).

• Il Problema Centrale: Sebbene il feedback implicito (clic) sia abbondante, è fortemente confuso da rilevanza e bias di posizione. È difficile isolare l'impatto specifico della qualità dell'immagine sul comportamento dell'utente da questi altri fattori.
• Scarsità di Dati: La valutazione tradizionale della qualità delle immagini si basa su annotazioni umane costose e lunghe, che non sono scalabili per un marketplace con milioni di inserzioni.
• Obiettivo: Sviluppare un metodo economicamente efficiente per valutare la qualità delle immagini, disaccoppiarla dalla rilevanza e utilizzarla per migliorare il ranking di ricerca e il coinvolgimento degli utenti (clic e vendite).

2. Metodologia

Gli autori propongono una pipeline che sfrutta i Large Language Models (LLM) per una supervisione debole al fine di generare etichette di addestramento, che vengono poi utilizzate per addestrare un modello di machine learning leggero per il deployment online.

A. Raccolta Dati e Generazione di Etichette

• Ipotesi: Se due articoli sono simili per rilevanza e prezzo, quello con una migliore qualità dell'immagine riceverà più clic.
• Filtraggio Dati: Il team ha estratto i log di ricerca e applicato filtri rigorosi per creare "coppie di articoli simili":
  • Filtraggio per Prezzo: Articoli entro un intervallo di prezzo specifico rispetto al primo articolo cliccato.
  • Finestra di Posizione: Conservazione degli articoli immediatamente prima e dopo l'articolo cliccato (per minimizzare il bias di posizione).
  • Risultato: Un dataset di 150k SERP (Search Engine Results Pages) di addestramento e 36k SERP di validazione.
• Annotazione con LLM (Supervisione Debole):
  • Invece di annotatori umani, hanno utilizzato GPT-4 tramite una Vision API.
  • Prompting Chain-of-Thought (CoT): L'LLM è stato istruito ad analizzare elementi estetici (armonia dei colori, luminosità, composizione, ecc.) e assegnare un punteggio (0–10) alle immagini in un batch, confrontandole tra loro piuttosto che in isolamento.
  • Output: Punteggi estetici in formato JSON e aggettivi descrittivi.

B. Architettura del Modello

• Backbone: Gli autori hanno utilizzato embedding CLIP (Contrastive Language-Image Pre-training) (nello specifico ViT-B/16 pre-addestrato su CC12M tradotto). Hanno riscontrato che gli embedding CLIP congelati catturano già efficacemente gli attributi di qualità.
• Fine-Tuning: È stato aggiunto un Multi-Layer Perceptron (MLP) sopra il codificatore CLIP congelato.
• Obiettivo di Addestramento:
  • Formulato come problema Pairwise Learning-to-Rank (LTR).
  • Funzione di Perdita: È stata utilizzata la Focal Loss invece della standard Cross-Entropy. Questa scelta è stata fatta per gestire le etichette rumorose (provenienti dagli LLM) e impedire che il modello venisse sopraffatto da esempi negativi "facili".
  • Costruzione dei Dati: Per una query, se l'LLM classifica l'immagine $x_i$ più in alto di $x_j$, il modello viene addestrato a prevedere un punteggio più alto per $x_i$.

C. Deployment e Integrazione

• Inferenza: Il modello è ospitato su NVIDIA Triton Inference Server.
• Pipeline: Integrata nella pipeline di indicizzazione Google Cloud Dataflow. Quando un articolo viene aggiornato, il punteggio dell'immagine viene previsto in modo sincrono e indicizzato in Elasticsearch.
• Strategia di Ranking: Il punteggio dell'immagine è integrato nella formula di ranking di Elasticsearch utilizzando due approcci testati in A/B test:
  1. Moltiplicativo: punteggio_finale = punteggio_rilevanza_esistente * punteggio_immagine
  2. Additivo: punteggio_finale = punteggio_rilevanza_esistente + punteggio_immagine

3. Contributi Chiave

1. Disaccoppiamento della Rilevanza dal Feedback Implicito: Un approccio innovativo di generazione dati che isola l'impatto della qualità dell'immagine controllando per prezzo e rilevanza, permettendo l'uso dei clic come metrica valida per la valutazione della qualità delle immagini.
2. Supervisione Debole Guidata da LLM: Ha dimostrato che gli LLM (GPT-4) con prompting CoT possono generare etichette estetiche di alta qualità e interpretabili che correlano fortemente con il comportamento umano, offrendo un'alternativa economicamente efficiente all'annotazione umana.
3. Modello Economicamente Efficiente: Addestrato con successo un modello leggero (CLIP + MLP) che supera le baseline, dimostrando che l'inferenza costosa degli LLM è necessaria solo per la generazione di etichette, non per il ranking in tempo reale.
4. Impatto sul Business: Validato l'approccio attraverso A/B test online, mostrando una significativa crescita dei ricavi.

4. Risultati Sperimentali

Valutazione Offline

• Metriche: Ordered Pair Accuracy (OPA) e Click Accuracy (CA).
• Baseline: Scommessa Casuale, CTR Storico e Punteggio CLIP (zero-shot).
• Prestazioni:
  • Image Score (Focal Loss): Ha raggiunto 67.75% OPA e 64.42% CA.
  • Confronto: Ha superato significativamente la Scommessa Casuale (50%) e il CTR Storico (che ha performato peggio della scommessa casuale, ~42-44%).
  • Insight: Il CTR Storico ha fallito perché confuso dalla rilevanza; l'Image Score ha isolato con successo la qualità.

A/B Test Online (Piattaforma Web)

• Setup: Tre gruppi: Controllo (Baseline), Boost Additivo, Boost Moltiplicativo.
• Metrica Chiave: Transazioni Medie per Utente (ATPU).
• Risultati:
  • Variante 1 (Additiva): ATPU aumentato del 6.99% (statisticamente significativo, valore t 2.22).
  • Variante 2 (Moltiplicativa): ATPU aumentato del 6.66%.
  • Osservazione: I miglioramenti sono stati significativi sulla piattaforma Web ma hanno mostrato impatti negativi/neutri su Mobile. Gli autori ipotizzano che gli utenti web siano più sensibili alla qualità visiva a causa delle risoluzioni dello schermo più elevate.

5. Significato e Lavori Futuri

• Significato: Questo lavoro colma il divario tra la valutazione della qualità delle immagini tramite Deep Learning e l'ottimizzazione pratica dell'e-commerce. Dimostra che gli LLM possono fungere da "proxy umani" scalabili per l'addestramento di modelli di ranking, riducendo drasticamente il costo dell'etichettatura dei dati mentre migliorano l'esplicabilità.
• Limitazioni:
  • Immagini Generate dall'AI: Il sistema attualmente fatica a distinguere tra foto reali di alta qualità e immagini generate dall'AI, che possono sfruttare il sistema di punteggio.
  • Varianza della Piattaforma: L'efficacia del modello varia in base al dispositivo (Web vs Mobile), suggerendo la necessità di pesi specifici per piattaforma.
• Direzioni Future:
  • Integrazione del rilevamento di contenuti generati dall'AI per prevenire il gioco del sistema.
  • Sviluppo di loop di feedback continui per il monitoraggio in tempo reale.
  • Affinamento del modello per tenere conto delle preferenze specifiche degli utenti per piattaforma.

In conclusione, il paper presenta un framework robusto e scalabile per migliorare la rilevanza della ricerca nei marketplace C2C quantificando la qualità delle immagini, portando direttamente a un aumento di circa il 7% nelle transazioni di vendita sulla piattaforma web.