Scaling Multilingual Semantic Search in Uber Eats Delivery

Questo articolo presenta un sistema di recupero semantico multilingue e multi-verticale per Uber Eats, basato su un modello Qwen2 fine-tunato con tecniche avanzate di apprendimento su larga scala, che ha ottenuto significativi miglioramenti nel recall rispetto ai baseline esistenti.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza conoscenze tecniche.

Immagina Uber Eats come un'enorme biblioteca culinaria globale. Invece di libri, ci sono milioni di ristoranti, piatti e prodotti della spesa. Il problema? Quando un utente cerca "pasta", il sistema deve capire se vuole pasta fresca, pasta secca, un ristorante italiano o forse pasta per animali (se cercasse qualcosa di strano).

Fino a poco tempo fa, Uber Eats aveva tre bibliotecari separati: uno solo per i ristoranti, uno solo per i piatti e uno solo per la spesa. Ognuno parlava una lingua diversa e non si parlavano tra loro. Se cercavi "pizza", il bibliotecario dei ristoranti ti dava la pizza, ma quello della spesa non sapeva che esisteva la mozzarella per farla. Era confuso, lento e costoso da gestire.

Questo paper racconta come hanno costruito un unico "Super-Bibliotecario" intelligente che capisce tutto, parla tutte le lingue e trova esattamente ciò che cerchi, sia che tu voglia ordinare un sushi o comprare un'insalata.

Ecco come hanno fatto, punto per punto:

1. Il Cervello: Un'unica Intelligenza Artificiale (Qwen2)

Invece di avere molti piccoli cervelli, hanno usato un "super-cervello" chiamato Qwen2. È come un lettore di libri che ha già letto milioni di testi su tutto il mondo.

• L'idea: Hanno insegnato a questo cervello a capire che "cibo" e "ristorante" sono collegati, anche se le parole sono diverse.
• Il trucco: Invece di scrivere le cose in modo semplice (es. "Pizza"), gli hanno dato i dati in una forma strutturata (come un modulo JSON), tipo: { "tipo": "piatto", "nome": "Pizza", "cucina": "Italiana" }. È come se invece di dare al bibliotecario un foglio di carta strappato, gli dessi un modulo compilato con caselle precise. Questo aiuta l'AI a capire subito di cosa si tratta.

2. L'Allenamento: Due Fasi di Studio

Hanno allenato il sistema in due tappe, come un atleta che si prepara per le Olimpiadi:

• Fase 1 (La lettura massiccia): Hanno mostrato al sistema centinaia di milioni di ricerche fatte dagli utenti reali. Se qualcuno cercava "sushi" e cliccava su un ristorante giapponese, il sistema imparava: "Ok, questi due vanno insieme". È come se il bibliotecario leggesse tutti i registri della biblioteca per vedere cosa piace alla gente.
• Fase 2 (Il tirocinio difficile): Hanno usato un'altra AI molto potente per creare "quiz difficili". Hanno preso casi in cui il sistema sbagliava (es. cercare "pan" in spagnolo e trovare "padella" invece di "pane") e hanno corretto l'errore. Questo ha affinato la precisione, insegnando al sistema a distinguere le sfumature.

3. La Magia delle "Matrioske" (MRL)

Qui c'è il colpo di genio per risparmiare soldi e tempo.
Immagina di dover inviare un pacco. A volte ti serve un pacco piccolo e veloce (per una ricerca rapida), a volte un pacco grande e dettagliato (per un'analisi profonda).
Invece di avere scatole diverse, hanno creato una Matrioska digitale (le famose bambole russe che si aprono).

• Hanno creato un'unica "firma" digitale molto grande e dettagliata (1536 dimensioni).
• Ma questa firma può essere "tagliata" in qualsiasi momento: puoi usare solo la parte interna (piccola e veloce) o tutta la matrioska (grande e precisa).
• Risultato: Lo stesso modello serve sia per ricerche veloci su telefoni lenti (usando la parte piccola) sia per ricerche complesse su server potenti (usando la parte grande), senza dover costruire due modelli diversi.

4. Il Risultato: Trovare l'Ago nel Pagliaio

Prima di questo sistema, se cercavi qualcosa, il sistema trovava solo le parole esatte. Ora, grazie a questa intelligenza:

• Recall (Ritrovamento): Hanno trovato molto più spesso ciò che l'utente voleva. In alcuni casi, hanno aumentato la capacità di trovare il prodotto giusto del 30-80% rispetto al vecchio sistema.
• Velocità: Nonostante sia più intelligente, è veloce. Usando le "matrioske" e comprimendo i dati (come trasformare una foto HD in un JPEG leggero senza perdere troppo dettaglio), il sistema risponde in millisecondi.
• Multilingua: Funziona perfettamente in inglese, spagnolo, giapponese, ecc., capendo che "pan" in spagnolo è "pane", non "padella".

In Sintesi

Hanno preso un sistema vecchio, frammentato e lento, e l'hanno trasformato in un unico assistente intelligente, multilingue e flessibile.

• Prima: Tre bibliotecari confusi che non si parlavano.
• Ora: Un unico super-bibliotecario che conosce ogni angolo della biblioteca, parla tutte le lingue e sa esattamente cosa vuoi, sia che tu voglia mangiare o fare la spesa, tutto in una frazione di secondo.

Il risultato finale? Meno ricerche a vuoto, più ordini fatti e un'esperienza utente molto più fluida su Uber Eats in tutto il mondo.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Scaling Multilingual Semantic Search in Uber Eats Delivery", presentata in italiano.

Titolo: Scaling Multilingual Semantic Search in Uber Eats Delivery

Autori: Bo Ling, Zheng Liu, Haoyang Chen, Divya Nagar, Luting Yang, Mehul Parsana (Uber Technologies Inc.)

---

1. Il Problema

La ricerca è il punto di ingresso principale per gli utenti di Uber Eats. La sfida consiste nel recuperare entità pertinenti (ristoranti, piatti, articoli di alimentari e retail) comprendendo l'intento dell'utente oltre il semplice matching lessicale (parole chiave).
I sistemi precedenti presentavano diverse limitazioni:

• Frammentazione: Utilizzo di modelli separati per ogni verticale (es. BERT specifici per ristoranti vs. alimentari) o ricerca lessicale semplice.
• Complessità Operativa: Mantenere modelli multipli aumentava la complessità e limitava la generalizzazione.
• Performance: C'era un significativo margine di miglioramento non sfruttato rispetto ai sistemi basati su keyword.

L'obiettivo era creare un sistema unificato, multilingue e multi-verticale capace di gestire la complessità semantica di diversi domini con bassa latenza.

---

2. Metodologia

Il sistema proposto si basa su un'architettura Two-Tower (doppia torre) addestrata su larga scala, integrata con tecniche avanzate di apprendimento rappresentazionale.

A. Architettura del Modello

• Backbone: Utilizzo di Qwen2 (specificamente gte-Qwen2-1.5B), un modello LLM decoder-only open source, scelto per la sua ricca conoscenza del mondo e capacità multilingue.
• Struttura Two-Tower:
  • Query Tower: Codifica la query dell'utente.
  • Document Tower: Codifica i documenti (ristoranti, piatti, articoli).
  • I due encoder hanno pesi non condivisi per apprendere rappresentazioni distinte ma mappate in uno spazio vettoriale condiviso.
• Input Strutturato: Invece di concatenare testo semplice, gli input (query e documenti) sono forniti come JSON strutturati. Questo permette al modello di comprendere implicitamente il tipo di documento (es. "cucina", "categoria") e risolvere ambiguità contestuali (lingua, paese).
• Pooling: Utilizzo del token EOS (End-of-Sentence) per generare l'embedding finale, superando le prestazioni di last-token o average pooling.

B. Strategia di Addestramento

L'addestramento segue un approccio a due stadi su centinaia di milioni di interazioni utente (click, "aggiungi al carrello"):

1. Fase di Adattamento al Dominio (Domain Adaptation):
   • Utilizzo della funzione di perdita InfoNCE con negativi intra-batch (in-batch negatives).
   • Addestramento su dati impliciti su larga scala per allineare il modello al dominio Uber Eats.
2. Fase di Fine-Tuning:
   • Introduzione della Triplet NCE Loss su esempi "hard" (difficili).
   • Gli esempi difficili (positivi e negativi) vengono estratti dai log e validati/etichettati da un LLM oracle per affinare i confini decisionali del modello.
3. Ottimizzazione Multi-Obiettivo:
   • Matryoshka Representation Learning (MRL): Il modello è addestrato per produrre un embedding nidificato (es. 1536 dimensioni) che può essere troncato a dimensioni inferiori (128, 256, 512, ecc.) mantenendo la qualità semantica. Questo permette di bilanciare costo e prestazioni in fase di inferenza.
   • Scoring Non Lineare: Esplorazione di una funzione di distanza neurale (FFN) per il re-ranking, per catturare relazioni semantiche sottili perse dalla semplice similarità coseno.

C. Infrastruttura e Serving

• Offline: Pre-calcolo degli embedding per miliardi di documenti.
• Online: Generazione dell'embedding della query in tempo reale.
• Indicizzazione: Utilizzo di ANN (Approximate Nearest Neighbor) su indici Lucene Plus supportati da grafi HNSW.
• Quantizzazione: Supporto per embedding quantizzati (INT8) per ridurre drasticamente l'uso di memoria e i costi di storage senza compromettere significativamente la qualità.

---

3. Contributi Chiave

1. Sistema Two-Tower Unificato: Un unico modello scalabile e multilingue che unifica la ricerca su tre verticali distinti (ristoranti, alimentari, retail), eliminando la frammentazione dei sistemi precedenti.
2. Ricetta di Addestramento Scalabile: Una pipeline robusta che combina InfoNCE su larga scala con un fine-tuning su esempi difficili generati da LLM, massimizzando la precisione.
3. Embedding Flessibili con MRL: Implementazione del Matryoshka Representation Learning, che permette di servire lo stesso modello con diverse dimensioni di embedding (da 128 a 1536) in base ai vincoli di latenza e costo, senza gestire modelli multipli.
4. Valutazione Completa: Valutazioni offline su 6 mercati e 3 verticali, confermate da test A/B online che mostrano miglioramenti significativi nelle metriche di business.
5. Insight sulla Produzione: Condivisione di lezioni pratiche su indicizzazione ANN, serving online, quantizzazione e gestione del ciclo di vita del modello.

---

4. Risultati

I risultati dimostrano un miglioramento sostanziale rispetto ai baseline (Mini-LM legacy e Qwen2 vanilla):

• Performance Offline (Recall):
  • Store (Ristoranti): +88% di miglioramento su R@20 e +31% su R@200 rispetto al baseline legacy.
  • Dish (Piatti): +38% su R@20 e +24% su R@200.
  • Grocery (Alimentari): +6% su R@20 e +4% su R@200.
  • Il passaggio da un addestramento a stadio singolo a due stadi (con Triplet NCE) ha fornito un guadagno incrementale costante del 1-4%.
• Efficienza Operativa (MRL e Quantizzazione):
  • Troncando l'embedding da 1536D a 256D (MRL), si riduce l'indice di storage al 16% del costo originale con una perdita di recall trascurabile (0.002 punti percentuali).
  • La quantizzazione INT8 riduce ulteriormente l'indice al 4% del costo originale.
  • Risultato sorprendente: In produzione, la variante INT8 ha mostrato un miglioramento del CVR (Conversion Rate) superiore (+0.44%) rispetto alla versione FP32 (+0.29%), probabilmente dovuta a una migliore gestione del traffico e della latenza, senza degradazione del recall a valle.
• Multilingue: Il modello ha mostrato miglioramenti significativi in tutti i mercati testati (Giappone, Canada, UK, Francia, Messico, Taiwan, USA), con i guadagni più alti nei mercati con baseline storiche più basse (es. Giappone e Taiwan).
• Online A/B Testing:
  • +0.44% di incremento nel CVR delle ricerche intenzionali.
  • +0.54% di incremento nel CoPSU (Ordini per unità di ricerca).
  • Riduzione del 69.10% nel tasso di risultati nulli (Zero-Result Rate).
  • La latenza di retrieval è rimasta stabile, con un aumento dell'18% nella latenza end-to-end dovuto esclusivamente alla fase di ranking che ora gestisce un set di candidati di qualità superiore.

---

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'applicazione dei grandi modelli linguistici (LLM) alla ricerca semantica su larga scala in ambito e-commerce.

• Unificazione: Dimostra che è possibile sostituire architetture frammentate con un unico modello potente, riducendo la complessità operativa.
• Efficienza dei Costi: L'uso combinato di MRL e quantizzazione INT8 offre una strategia vincente per ridurre i costi di infrastruttura (storage e calcolo) mantenendo o migliorando le prestazioni.
• Scalabilità: La pipeline di addestramento e serving è progettata per gestire centinaia di milioni di interazioni e miliardi di documenti, rendendola adatta a sistemi globali come Uber Eats.
• Futuro: Il paper apre la strada all'integrazione di segnali multimodali (immagini) e all'uso di backbones ancora più grandi (7B/14B), ponendo le basi per sistemi di ricerca sempre più intelligenti e contestuali.

In sintesi, Uber Eats ha trasformato la propria ricerca da un sistema basato su keyword e modelli separati a un motore semantico unificato, guidato da LLM, che offre una migliore esperienza utente, maggiore efficienza operativa e risultati di business tangibili.