Scaling Multilingual Semantic Search in Uber Eats Delivery

Dit artikel beschrijft een geproduceerde semantische zoekoplossing voor Uber Eats die een gefinetuned Qwen2-twee-torenmodel gebruikt, getraind op honderden miljoenen geanonimiseerde interacties met InfoNCE en triplet-NCE-verlies, om zoekresultaten voor winkels, gerechten en supermarktartikelen in meerdere talen te verenigen en de recall significant te verbeteren.

De kern

Stel je voor dat Uber Eats een gigantische bibliotheek is, maar dan niet met boeken, maar met miljoenen restaurants, gerechten en boodschappen. Vroeger was het zoeken in deze bibliotheek een beetje chaotisch. Als je zocht op "pizza", keek de computer alleen naar de letters in de naam. Als je zocht op "pan" in het Spaans, dacht hij misschien aan een bakpan in plaats van brood. Er waren aparte zoekmachines voor restaurants, aparte voor boodschappen en aparte voor gerechten. Het was als een bibliotheek met drie verschillende bibliothecarissen die elkaar niet spraken.

Deze paper beschrijft hoe Uber Eats dit heeft opgelost met een slimme, nieuwe zoekmachine die alles begrijpt, in alle talen, voor alles.

Hier is hoe ze dat hebben gedaan, vertaald in simpele termen:

1. De "Twee-Toren" Architectuur: De Vraag en het Antwoord

Stel je twee torens voor.

• Toren A (De Vraag): Deze torens luistert naar wat jij typt.
• Toren B (Het Antwoord): Deze torens kent alle restaurants en gerechten uit het hoofd.

Vroeger moesten deze torens samenwerken alsof ze in dezelfde kamer zaten (wat heel traag is). Nu werken ze los van elkaar. Toren B heeft al een "geheugenkaart" (een embedding) gemaakt van elk restaurant en elk gerecht, lang voordat je überhaupt zoekt. Als jij zoekt, maakt Toren A een kaartje van jouw vraag en kijkt: "Welke geheugenkaart van Toren B lijkt het meest op het mijne?"

Dit is als het vergelijken van een silhouet van een persoon met een fotoalbum. Je hoeft niet de hele foto te bekijken, je kijkt alleen naar de vorm. Dat gaat supersnel.

2. De "Matroesjka"-Pop: Eén Pop, Verschillende Maten

Een van de coolste dingen die ze hebben bedacht, heet Matroesjka Representation Learning (MRL).
Stel je voor dat je een Russische pop (Matroesjka) hebt.

• De hele pop (1536 dimensies) is heel gedetailleerd en precies, maar hij is groot en zwaar om mee te nemen.
• Als je de buitenste laag eraf haalt, heb je nog steeds een pop, maar dan kleiner (256 dimensies). Hij is minder gedetailleerd, maar wel veel lichter en sneller.

Uber Eats gebruikt dit slimme trucje. Voor een snelle zoekopdracht op een trage telefoon gebruiken ze de "kleine pop" (sneller, goedkoop). Voor een complexe zoekopdracht waar ze alles perfect willen vinden, gebruiken ze de "grote pop". Het mooie is: het is één en dezelfde pop. Ze hoeven niet tien verschillende modellen te onderhouden. Ze kunnen gewoon kiezen hoe groot ze de pop willen maken op het moment dat jij zoekt.

3. De "Leraar" en de "Leerling": Hoe ze het hebben getraind

Deze slimme computer is niet zomaar geboren; hij is getraind met een speciale methode:

• Fase 1: De Grote Oefening (InfoNCE): De computer kreeg miljoenen voorbeelden van wat mensen hebben geklikt. "Als iemand 'sushi' typt en op 'Sushiya' klikt, dan horen die bij elkaar." Hij leerde dit door duizenden voorbeelden tegelijk te vergelijken.
• Fase 2: De Moeilijke Proef (Triplet Loss): Soms is het lastig. "Burger" kan een hamburger zijn, maar ook een burger in een dorp. De computer maakte fouten. Daarom gebruikten ze een AI-leraar (een ander groot taalmodel) om de moeilijkste voorbeelden te vinden en de computer te corrigeren. "Nee, hier bedoel je het dorp, niet het eten." Hierdoor werd de computer veel slimmer in het maken van de juiste keuzes.

4. De "Vertaler" en de "Verteller" (Meertaligheid)

Omdat Uber Eats in veel landen werkt, moesten ze zorgen dat de computer niet alleen Engels begrijpt. Ze hebben de computer gevoed met data in het Spaans, Frans, Japans, etc.
Ze hebben de input in een JSON-formaat gestopt (een soort gestructureerd lijstje). In plaats van gewoon tekst te plakken, zeggen ze tegen de computer: "Dit is de naam, dit is het type keuken, dit is de locatie."
Dit helpt de computer om te begrijpen dat "pan" in het Spaans (brood) iets anders is dan "pan" in het Engels (bakpan), zelfs als het woord hetzelfde is. Het is alsof je de computer een labeltje geeft op elk voorwerp in de bibliotheek.

5. Het Resultaat: Sneller, Slimmer en Goedkoper

Wat leverde dit op?

• Meer resultaten: De zoekmachine vindt veel meer dingen die je echt wilt hebben (bijvoorbeeld 88% meer resultaten voor restaurants).
• Minder lege zoekopdrachten: Minder mensen die zeggen "Geen resultaten gevonden".
• Kostenbesparing: Door de "kleine poppen" (de gecomprimeerde versies) te gebruiken, besparen ze enorm veel op opslag en rekenkracht, zonder dat de kwaliteit veel achteruitgaat.
• Sneller: Het zoeken gaat zo snel dat je het niet merkt, zelfs niet als je in een ander land zit.

Kortom:
Uber Eats heeft een slimme, meertalige zoekrobot gebouwd die niet alleen letters matcht, maar de bedoeling van de gebruiker begrijpt. Ze gebruiken één slimme "pop" die in elke maat kan worden geknipt, zodat het snel en goedkoop blijft, en ze hebben de robot getraind met de hulp van een andere AI om de moeilijkste vragen te beantwoorden. Het resultaat is dat jij sneller dat lekkere eten of die boodschappen vindt waar je naar op zoek bent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Scaling Multilingual Semantic Search in Uber Eats Delivery" in het Nederlands.

Titel: Schalen van meertalige semantische zoekopdrachten in Uber Eats Levering

1. Het Probleem

Zoekfuncties zijn de primaire toegangspoort voor gebruikers van Uber Eats. De uitdaging ligt in het nauwkeurig begrijpen van de gebruikersintentie voor diverse entiteiten: restaurants, gerechten en supermarkt/retailproducten.

• Huidige beperkingen: De oude systemen maakten gebruik van gefragmenteerde oplossingen, zoals aparte BERT-modellen per verticale of simpele sleutelwoordzoekopdrachten (lexicale matching). Dit leidde tot hoge operationele complexiteit, beperkte generalisatievermogen en ongebruikte prestatiereserves.
• Doel: Het bouwen van één enkel, verenigd, meertalig en multi-verticaal systeem dat semantische relevantie beter begrijpt dan alleen tekstuele overeenkomsten.

2. Methodologie

Het team heeft een productie-georiënteerd semantisch ophaalsysteem (retrieval system) ontwikkeld met de volgende kerncomponenten:

A. Architectuur: Two-Tower Model

• Basis: Het systeem gebruikt een Two-Tower (Dual-Encoder) architectuur gebaseerd op de open-source decoder-only LLM Qwen2 (specifiek gte-Qwen2-1.5B).
• Scheiding: Er zijn twee aparte encoders met niet-gedeelde gewichten: één voor de query en één voor het document (winkel, gerecht of product).
• Input: In plaats van platte tekstconcatenatie, worden queries en documenten als gestructureerde JSON-objecten ingevoerd. Dit helpt het model om veldnamen (bijv. store_name, cuisine_type) te gebruiken voor betere contextuele ontscheping.
• Pooling: De embedding wordt gegenereerd via EOS (End-of-Sentence) token pooling, wat beter presteert dan 'last-token' of 'average pooling' voor deze specifieke backbones.

B. Trainingsstrategie
Het trainingsproces bestaat uit twee fasen:

1. Domain Adaptation (InfoNCE): Training op honderden miljoenen geanonimiseerde klik- en "in winkelmandje"-data (ATC) met de InfoNCE-loss en in-batch negatieven.
2. Fine-tuning (Triplet NCE): Een tweede fase met hoogwaardige, door een LLM gegenereerde "hard negatives" (moeilijke voorbeelden die het model vaak fout classificeert) en "hard positives". Dit wordt getraind met Triplet NCE-loss om de beslissingsgrenzen scherper te maken.

• Optimalisatie: Er wordt gebruik gemaakt van Matryoshka Representation Learning (MRL). Hierdoor kan één enkel model embeddings genereren die op verschillende dimensies (van 128 tot 1536) worden afgeknipt zonder significant verlies aan kwaliteit. Dit stelt het systeem in staat om te schalen tussen snelheid en nauwkeurigheid.

C. Systeem en Implementatie

• Offline: Document-embeddings worden vooraf berekend en opgeslagen in een Lucene Plus-index (ondersteund door HNSW-graaf). Er worden zowel kwantiserende (INT8) als niet-gekwantiseerde (FP32) vectoren opgeslagen om kosten te besparen.
• Online: Query-embeddings worden in real-time gegenereerd. Het systeem gebruikt MRL om de dimensie van de embedding dynamisch aan te passen aan de latency-eisen van het specifieke zoekoppervlak.
• Scoring: Naast de standaard cosinesimilariteit wordt ook een niet-lineaire neurale afstandsfunctie (FFN-head) onderzocht voor micro-her-ranking om fijne semantische relaties te herstellen die cosinesimilariteit mist.

3. Belangrijkste Bijdragen

1. Unificatie: Het eerste verenigde systeem dat restaurants, gerechten en supermarktartikelen in één meertalig model behandelt, wat operationele complexiteit drastisch verlaagt.
2. Schalbare Trainingsrecept: Een robuust proces dat InfoNCE combineert met Triplet NCE op door een LLM geminede harde voorbeelden, wat leidt tot superieure prestaties op moeilijke zoekopdrachten.
3. Flexibiliteit via MRL: Implementatie van Matryoshka Representation Learning, waardoor één model meerdere embedding-groottes ondersteunt. Dit elimineert de noodzaak om meerdere modellen te beheren voor verschillende latency-eisen.
4. End-to-End Productie: Een volledig geautomatiseerde pipeline voor data-curatie, training, indexering en deploy, inclusief blauw/groene deploy-strategieën voor veilige updates.

4. Resultaten

De evaluaties zijn uitgevoerd in zes markten (o.a. VS, UK, Japan, Taiwan) en drie verticalen.

• Offline Prestaties:

  • Het gefinetuned Qwen2-model (Two-Stage) boekte een 88% verbetering in Recall@20 voor winkels vergeleken met de legacy Mini-LM baseline.
  • Er was een 31% verbetering in Recall@200.
  • De overstap van InfoNCE alleen naar de Two-Stage methode (met Triplet NCE) leverde een consistente extra winst van 1-4% op.
  • MRL-efficiëntie: Het afkappen van de embedding van 1536D naar 256D resulteerde in slechts een verwaarloosbaar verlies in Recall (0,678 naar 0,676), maar verlaagde de opslagruimte met ~84% en de indexkosten met ~77%.
  • Kwantisering: INT8-kwantisering op de 256D-cut verlaagde de indexgrootte tot slechts 4% van het origineel, zonder meetbaar negatief effect op de online conversie.

• Online A/B-tests:

  • Conversie: Het nieuwe model leidde tot een statistisch significante stijging in Intentful Search CVR (+0,44%) en Search CoPSU (+0,54%).
  • Zoekresultaten: De Zero-Result Rate daalde met 69,10%, wat aantoont dat het systeem veel robuuster is in het vinden van relevante resultaten, zelfs in meertalige en multi-verticale scenario's.
  • Latency: De retrieval-latency bleef stabiel, terwijl de totale zoeklatency met 18% toenam door de hogere kwaliteit van de kandidaatset die naar de ranking-stap wordt gestuurd (een aanvaardbare trade-off voor betere resultaten).

5. Betekenis en Conclusie

Dit paper demonstreert hoe een grote technologiebedrijf zoals Uber Eats succesvol kan overstappen van gefragmenteerde, lexische zoeksystemen naar een geavanceerde, semantische zoekinfrastructuur.

• Schaalbaarheid: Het bewijst dat LLM-gebaseerde twee-toren modellen schaalbaar kunnen worden ingezet voor miljarden documenten met strikte latency-eisen.
• Kostenefficiëntie: Door MRL en kwantisatie te combineren, wordt de kostprijs van semantische zoekopdrachten drastisch verlaagd zonder in te leveren op kwaliteit.
• Toekomstperspectief: Het werk legt de basis voor verdere innovatie, zoals het integreren van multimodale signalen (afbeeldingen), het gebruik van nog grotere backbones (7B/14B parameters) en het verfijnen van neurale afstandsfuncties voor nog betere ranking.

Kortom, het systeem biedt een schaalbare, kostenefficiënte en hoogpresterende oplossing voor complexe, meertalige e-commerce zoekopdrachten.