Scaling Multilingual Semantic Search in Uber Eats Delivery

Ce papier présente un système de recherche sémantique multilingue et multi-verticals déployé en production chez Uber Eats, qui unifie la récupération des restaurants, plats et articles de grande consommation grâce à un modèle Qwen2 fine-tuné sur des centaines de millions d'interactions et optimisé avec des techniques d'apprentissage avancées comme MRL et des pertes combinées.

L'essentiel

Imaginez que vous êtes dans une immense bibliothèque mondiale, la Uber Eats, où il y a des millions de livres (les restaurants), de chapitres (les plats) et même de magazines (les courses alimentaires).

Avant, si vous cherchiez "pizza", le bibliothécaire (le système de recherche) ne regardait que le titre exact. Si vous cherchiez "un truc chaud et rond à manger", il ne comprenait rien. C'était comme essayer de trouver un livre en ne connaissant que la couleur de sa couverture.

Ce papier décrit comment Uber Eats a construit un nouveau bibliothécaire super-intelligent qui comprend vraiment ce que vous voulez, peu importe la langue ou le type de nourriture.

Voici comment ils ont fait, expliqué simplement :

1. Le Grand Unificateur (Le Système "Tout-en-Un")

Avant, Uber Eats avait trois bibliothécaires différents : un pour les restaurants, un pour les plats, et un pour les courses. C'était lourd, cher et désordonné.

• La solution : Ils ont créé un seul super-bibliothécaire capable de tout comprendre. Que vous cherchiez un restaurant italien, un burger ou du lait, ce même cerveau fait le travail.
• L'analogie : C'est comme remplacer trois clés différentes par une seule clé universelle qui ouvre toutes les portes de la maison.

2. Le Cerveau (Le Modèle Qwen2)

Pour rendre ce bibliothécaire intelligent, ils ne l'ont pas entraîné avec des manuels scolaires basiques. Ils ont utilisé un cerveau géant (un modèle d'IA appelé Qwen2) qui a déjà lu des milliards de livres sur Internet.

• L'entraînement : Imaginez que ce cerveau sait déjà ce qu'est un "chien". Maintenant, on lui montre des millions de photos de chats et de chiens pour lui apprendre la différence entre "commander un plat" et "ajouter un article au panier".
• La méthode : Ils lui ont montré des millions de paires "ce que l'utilisateur a tapé" + "ce qu'il a cliqué". C'est comme un jeu de mémoire où le cerveau apprend : "Ah, quand quelqu'un tape 'soif', il veut souvent une boisson, pas un sandwich !"

3. La Boîte à Outils Magique (MRL - L'Effet Matriochka)

C'est l'ingrédient le plus cool. Souvent, on a besoin de réponses rapides (pour l'appli mobile) ou de réponses très précises (pour le classement final).

• L'analogie : Imaginez une poupée russe (Matriochka).
  • La plus petite poupée (128 dimensions) est très petite et rapide à manipuler. Elle donne une réponse "suffisamment bonne" en une fraction de seconde.
  • La plus grande poupée (1536 dimensions) est lourde et détaillée. Elle contient toute l'information pour une réponse parfaite.
• Le génie : Au lieu d'avoir 10 poupées différentes dans le placard, ils en ont une seule qui peut se transformer en n'importe quelle taille instantanément. Si le téléphone est lent, on utilise la petite poupée. Si on a du temps, on utilise la grande. Tout dans le même modèle !

4. La Double Vérification (L'Entraînement en Deux Étapes)

Pour que le bibliothécaire ne se trompe pas, ils ont utilisé une méthode en deux temps :

1. La phase d'observation (InfoNCE) : On lui montre des millions d'exemples rapides. "Si l'utilisateur tape 'sushi', il clique souvent sur 'Sushiya'". C'est comme lui faire lire des journaux en vitesse.
2. La phase de perfectionnement (Triplet NCE) : Ensuite, on lui donne des cas difficiles. "L'utilisateur a tapé 'poulet', mais il a cliqué sur 'poulet rôti' et non 'poulet cru'. Quelle est la différence ?" On utilise une autre IA très intelligente pour créer ces questions pièges et forcer le bibliothécaire à être plus précis.

5. Le Résultat : Plus de Clics, Moins de Temps

Grâce à tout cela, le système a fait des miracles :

• Mieux comprendre : Il trouve ce que vous voulez même si vous faites des fautes d'orthographe ou si vous parlez une autre langue (japonais, espagnol, anglais, etc.).
• Moins de "Rien trouvé" : Le nombre de fois où la recherche renvoie "Aucun résultat" a chuté de 69 %. C'est énorme !
• Économie : En utilisant la technique des poupées russes et en compressant les données (comme réduire la taille d'une photo sans perdre la qualité), ils ont économisé énormément d'argent et d'espace sur les serveurs, tout en allant plus vite.

En résumé

Uber Eats a remplacé un vieux système rigide par un cerveau unique, flexible et super rapide. Ce système comprend non seulement ce que vous dites, mais aussi ce que vous voulez vraiment, qu'il s'agisse de commander un dîner ou de faire les courses, le tout en une fraction de seconde, sans faire exploser le budget informatique.

C'est comme passer d'un dictionnaire papier à un assistant personnel qui lit dans vos pensées, mais qui reste très poli et efficace !

Résumé technique

Voici un résumé technique détaillé de l'article "Scaling Multilingual Semantic Search in Uber Eats Delivery", présenté en français.

1. Problématique

Le système de recherche d'Uber Eats doit gérer une complexité croissante : il doit récupérer des entités hétérogènes (restaurants, plats, articles de épicerie/détail) dans plusieurs marchés internationaux et langues. Historiquement, l'approche reposait sur des solutions fragmentées : des modèles BERT distincts pour chaque verticale ou une recherche lexicale simple (mots-clés).
Ces limitations entraînaient :

• Une complexité opérationnelle élevée (maintenance de multiples modèles).
• Une faible capacité de généralisation (difficulté à comprendre l'intention utilisateur au-delà des mots-clés).
• Un potentiel de performance inexploité, notamment pour la recherche sémantique multilingue et multi-verticale.

L'objectif était de concevoir un système unifié, évolutif et multilingue capable de remplacer ces solutions disparates tout en respectant des contraintes de latence strictes pour le service en ligne.

2. Méthodologie

L'approche proposée repose sur une architecture Two-Tower (deux tours) basée sur un modèle de langage pré-entraîné (LLM) moderne, spécifiquement Qwen2 (version gte-Qwen2-1.5B).

A. Architecture du Modèle

• Encodage Découplé : Le système utilise deux encodeurs distincts (un pour la requête, un pour le document) avec des poids non partagés. Cela permet de pré-calculer les embeddings des documents hors ligne pour un service en temps réel efficace via une recherche de voisins les plus proches approximatifs (ANN).
• Entrées Structurées (JSON) : Contrairement à la concaténation de texte brut, les requêtes et les documents sont formatés en objets JSON. Cela permet au modèle de comprendre implicitement le type de document (magasin, plat, produit) et le contexte (pays, langue) grâce aux noms de champs, améliorant la désambiguïsation sémantique.
• Pooling : Utilisation du token End-of-Sentence (EOS) pour l'agrégation des représentations, ce qui s'est avéré supérieur au pooling moyen ou au dernier token pour capturer la sémantique globale.

B. Stratégie d'Entraînement

L'entraînement suit une approche en deux étapes robuste :

1. Adaptation de Domaine (Domain Adaptation) : Utilisation de centaines de millions de logs d'interactions utilisateurs (clics, ajouts au panier) pour un pré-entraînement large. La fonction de perte utilisée est InfoNCE avec des négatifs intra-batch.
2. Affinage (Fine-tuning) : Utilisation de données de pertinence de haute qualité, générées et étiquetées par un LLM (Oracle), pour identifier des exemples difficiles (hard negatives/positives). Une perte Triplet-NCE est appliquée pour affiner les frontières de décision du modèle sur ces cas complexes.

C. Techniques Avancées

• Apprentissage de Représentation Matryoshka (MRL) : Une technique clé permettant d'entraîner un seul modèle dont les embeddings peuvent être tronqués à différentes dimensions (ex: 128, 256, 512, 1536). Cela permet de faire des compromis dynamiques entre précision et latence/coût sans entraîner plusieurs modèles.
• Fonction de Score Non-Linéaire : Exploration d'une tête de réseau de neurones (FFN) pour remplacer la similarité cosinus standard, visant à capturer des relations sémantiques fines perdues par les mesures linéaires.

3. Contributions Clés

1. Système Unifié Two-Tower : Un modèle unique et évolutif gérant trois verticales distinctes (restaurants, épicerie, détail) et plusieurs langues, remplaçant des architectures fragmentées.
2. Recette d'Entraînement Évolutif : Combinaison de InfoNCE pour l'adaptation de domaine à grande échelle et de Triplet-NCE pour l'affinage sur des exemples difficiles, validant l'importance des données étiquetées par LLM.
3. Flexibilité via MRL : Implémentation réussie de MRL permettant de servir des embeddings de dimensions variables (de 128 à 1536) depuis un seul modèle, optimisant les coûts de stockage et de calcul.
4. Évaluation Complète : Validation rigoureuse sur six marchés internationaux et trois verticales, démontrant des gains significatifs par rapport aux bases de référence (MiniLM, modèles non affinés).
5. Industrialisation (Productionization) : Intégration complète dans la pile technologique d'Uber, incluant l'indexation ANN (Lucene Plus/HNSW), la quantification (INT8), et des pipelines de réentraînement automatisés.

4. Résultats

Performances Hors Ligne (Offline)

• Gains de Rappel (Recall) : Le modèle final (Two-Stage Fine-tuned Qwen2) a montré des améliorations massives par rapport à la base de référence (MiniLM legacy) :
  • +88% sur le rappel de haute précision (Store R@20).
  • +31% sur le rappel de haute couverture (Store R@200).
  • Des gains similaires observés sur les verticales "Dish" et "Grocery".
• Efficacité Opérationnelle (MRL & Quantification) :
  • Réduire l'embedding de 1536D à 256D via MRL entraîne une perte de rappel négligeable (0,002 point) mais réduit l'empreinte de stockage à 16% et le coût d'index à 23%.
  • L'ajout de la quantification INT8 réduit l'index à 4% de sa taille originale avec une perte de rappel minime, validant cette configuration pour le déploiement à grande échelle.

Résultats en Ligne (Online A/B Testing)

• Impact Business : Le nouveau modèle a augmenté le taux de conversion (CVR) des recherches intentionnelles de +0,44% et le nombre de commandes par clic (CoPSU) de +0,54%.
• Réduction des Résultats Nuls : Le taux de résultats nuls (Zero-Result Rate) a chuté de -69,10%, prouvant une meilleure couverture et robustesse, surtout dans les scénarios multilingues.
• Latence : Bien que la latence de récupération soit restée stable, la latence globale de la recherche a augmenté de 18% en raison du traitement d'un ensemble de candidats plus large et de meilleure qualité par l'étape de classement (ranking). Ce compromis est jugé acceptable face aux gains de conversion.
• Quantification en Production : La variante quantifiée (INT8) a surperformé la variante non quantifiée (FP32) en termes de gain de CVR, confirmant que la quantification n'a pas dégradé la qualité perçue par l'utilisateur.

5. Signification et Impact

Ce travail démontre la viabilité de déployer des modèles de langage massifs (LLM) dans des systèmes de recherche de commerce électronique à très grande échelle avec des contraintes de latence strictes.

• Unification : Il prouve qu'un seul modèle peut remplacer des dizaines de modèles spécifiques, simplifiant considérablement la maintenance et améliorant la généralisation.
• Optimisation Coût/Performance : L'utilisation de MRL et de la quantification offre une voie pratique pour exploiter la puissance des LLM sans exploser les coûts d'infrastructure.
• Reproductibilité : La méthodologie proposée (données JSON, entraînement en deux étapes, MRL) sert de référence pour la construction de systèmes de recherche sémantique multilingues et multi-verticales dans l'industrie.

En résumé, Uber Eats a réussi à transformer sa recherche en un système sémantique unifié, plus intelligent et plus efficace, directement propulsé par l'adaptation de modèles LLM modernes aux spécificités du domaine de la livraison de nourriture.