Enhancement of E-commerce Sponsored Search Relevancy with LLM

Sintesi Tecnica: Miglioramento della Rilevanza della Ricerca Sponsorizzata nell'E-commerce con LLM

Definizione del Problema
La ricerca sponsorizzata è una fonte di entrate critica per le piattaforme di e-commerce, che si basa sull'abbinamento accurato delle parole chiave degli inserzionisti alle query di ricerca degli utenti. Tuttavia, garantire la pertinenza degli annunci è complicato dall'ampio e in continua evoluzione spazio delle parole chiave, dall'ambiguità delle intenzioni dell'utente e dell'inserzionista e dalla diversità di argomenti e lingue. Gli approcci algoritmici tradizionali, come il matching delle parole chiave e il filtraggio collaborativo, spesso non riescono a catturare le sfumature del linguaggio delle query dei consumatori (ad esempio, preferenze implicite per la durata o la fascia di prezzo). Questo limite porta a risultati di ricerca sub-ottimali, influenzando negativamente la soddisfazione dell'utente, i tassi di click-through e i tassi di conversione. La sfida consiste nello sviluppare un sistema in grado di interpretare rapidamente, accuratamente e in modo efficiente in termini di costi le intenzioni brevi e complesse delle query all'interno dei vincoli di un ambiente e-commerce live.

Metodologia
Gli autori propongono un avanzato Modello di Rilevanza Annunci basato sul modello di linguaggio di grandi dimensioni (LLM) decoder-based LLaMA2 7B, specificamente adattato per il contesto della ricerca sponsorizzata nell'e-commerce. L'innovazione tecnica principale è l'uso della Low-Rank Adaptation (LoRA) per il fine-tuning del modello pre-addestrato.

• Architettura: Il sistema utilizza un approccio di fine-tuning efficiente nei parametri (Peft). Invece di riaddestrare l'intero modello da 7 miliardi di parametri, LoRA introduce matrici a basso rango ($A$ e $B$) alle matrici di peso di componenti specifici, inclusi il meccanismo di attenzione (proiezioni di query, key, value e output) e le reti feed-forward (proiezioni gate, up e down). I pesi originali ($W$) rimangono congelati, mentre solo i parametri LoRA vengono aggiornati durante l'addestramento. Ciò riduce significativamente le risorse computazionali e i tempi di addestramento.
• Formulazione del Task: Il modello funziona come un classificatore <query, titolo dell'annuncio>. Prende in input una query dell'utente e il titolo di un articolo pubblicitario e predice un punteggio di rilevanza, categorizzando la coppia in una di tre classi: Rilevante, Parzialmente Rilevante o Irrilevante.
• Dati di Addestramento: Il modello è stato addestrato su un dataset derivato dai log delle query di Walmart, composto da 250.000 coppie query-articolo per l'addestramento, con 56.000 coppie ciascuna per validazione e test. I dati sono stati annotati da valutatori umani terzi su una scala a tre punti (0: Irrilevante, 1: Parzialmente Rilevante, 2: Rilevante), con la maggioranza dei voti che determina la verità fondamentale (ground truth).
• Ottimizzazione: Il modello è stato addestrato utilizzando l'ottimizzatore Adam con un tasso di apprendimento di 1e-5 e una funzione di perdita cross-entropy categorica su 7 epoche in una configurazione con 4 GPU Tesla V100.

Contributi Chiave

1. Adattamento LLM per l'E-commerce: Il documento dimostra il successo dell'adattamento del modello open-source LLaMA2 7B per comprendere le intenzioni specifiche dietro le query e-commerce (ad esempio, "lampadine LED a basso consumo energetico") senza richiedere un sistema separato e complesso di comprensione della query.
2. Fine-Tuning Efficiente tramite LoRA: Gli autori mostrano un'applicazione innovativa di LoRA per il fine-tuning di un grande modello linguistico per la ricerca sponsorizzata, ottenendo alte prestazioni mantenendo l'efficienza computazionale e la privacy operativa.
3. Sistema di Classificazione Innovativo: Lo sviluppo di un classificatore specializzato <query, titolo dell'annuncio> che distingue la rilevanza attraverso tre categorie distinte, migliorando rispetto ai modelli di rilevanza binaria.
4. Framework di Etichettatura Automatica: Il sistema facilita l'addestramento continuo del modello attraverso una capacità avanzata di auto-labeling, riducendo la dipendenza dall'annotazione manuale dei dati.
5. Benchmarking Completo: Un'analisi comparativa rigorosa contro i modelli NLP tradizionali (Bi-Encoder e Cross-Encoder basati su BERT) e i modelli allo stato dell'arte (GPT-4 tramite few-shot learning).

Risultati Sperimentali
Il modello LLaMA2 7B sottoposto a fine-tuning ha dimostrato prestazioni superiori in molteplici metriche:

• Accuratezza: Il modello ha raggiunto un'accuratezza dell'89,43% sul dataset di test, superando il Cross-Encoder basato su BERT (86,27%), il Bi-Encoder basato su BERT (74,42%) e GPT-4 (63,02%).
• Precisione e Recall: Il modello ha mantenuto una precisione bilanciata dell'89,75% e una recall dell'89,22%, risultando in un F1-score dell'89,41%. Questo equilibrio è critico per minimizzare sia i falsi positivi che i falsi negativi nel posizionamento degli annunci.
• Classifica della Rilevanza: In termini di Normalized Discounted Cumulative Gain, il modello ha ottenuto 0,7142 a NDCG@4 e 0,6774 a NDCG@8, superando entrambe le varianti BERT.
• Analisi Qualitativa: Gli studi di caso hanno indicato che, mentre GPT-4 tende a sovra-generalizzare (ad esempio, classificando un "Frullatore per Pollo" come altamente rilevante per "pollo sfilacciato"), il modello LLaMA2 sottoposto a fine-tuning ha mostrato una migliore capacità di discernimento della rilevanza indiretta e del contesto, identificando correttamente articoli come "Nastro Medico McKesson" per "nastro per primo soccorso" ed evitando falsi positivi su articoli non correlati come "detergente per vetri" per "salviette per lenti ZEISS".

Significato e Rivendicazioni
Il documento afferma che l'integrazione di LoRA con il modello LLaMA2 7B rappresenta un passo significativo nella personalizzazione dei modelli linguistici per le applicazioni e-commerce. La significatività di questo lavoro risiede nella sua capacità di offrire una triade di benefici essenziali per i moderni marketplace digitali:

1. Miglioramento dell'Accuratezza della Ricerca: Comprendendo meglio le intenzioni complesse delle query, il modello migliora la rilevanza dei risultati sponsorizzati, aumentando direttamente la soddisfazione dell'utente e le metriche di business.
2. Efficienza dei Costi: L'approccio LoRA consente un fine-tuning efficiente senza le estese risorse computazionali richieste per il riaddestramento completo del modello, rendendolo scalabile per le piattaforme e-commerce su larga scala.
3. Privacy Operativa: A differenza dell'uso di API esterne (come GPT-4), l'uso di un modello open-source ospitato internamente garantisce la privacy e la sicurezza dei dati, un fattore critico per gli ambienti e-commerce aziendali.

Gli autori concludono che, sebbene la valutazione si sia concentrata sulla ricerca sponsorita, la metodologia è versatile e applicabile a contesti di ricerca e-commerce più ampi, offrendo una soluzione pratica e impattante per migliorare le esperienze di vendita al dettaglio online.