Scaling Multilingual Semantic Search in Uber Eats Delivery

Dieses Paper stellt ein produktionsreifes semantisches Suchsystem für Uber Eats vor, das durch Feinabstimmung eines Qwen2-Modells auf großen Datensätzen, den Einsatz von Matryoshka-Repräsentationslernen und eine kombinierte Verlustfunktion eine einheitliche und mehrsprachige Suche über Restaurants, Gerichte und Lebensmittelgeschäfte hinweg ermöglicht und dabei die Rückrufquote in mehreren Märkten signifikant verbessert.

Das Wesentliche

Stell dir vor, du betrittst eine riesige, internationale Supermarkt-Kette namens Uber Eats. In diesem Laden gibt es nicht nur Essen, sondern auch Lebensmittel, Haushaltswaren und sogar Kleidung. Tausende von Kunden kommen jeden Tag herein, um etwas Bestimmtes zu suchen.

Das Problem vor diesem Projekt war, dass der Laden wie ein chaotischer Lagerhallen-Manager arbeitete. Wenn ein Kunde nach „Pizza" suchte, schauten die alten Computer nur, ob das Wort „Pizza" auf einem Schild stand. Wenn jemand nach „Pizza" auf Spanisch suchte, verstanden sie es nicht. Und wenn jemand nach „Pizza" suchte, aber eigentlich eine Pizza-Garnitur (wie Käse oder Tomatensoße) meinte, landeten sie im falschen Gang. Es gab für jeden Bereich (Restaurants, Lebensmittel, Einzelhandel) einen separaten, dummen Mitarbeiter, der nur sein eigenes kleines Regal kannte.

Die Autoren dieses Papiers haben einen super-intelligenten, universellen Such-Assistenten gebaut, der das Chaos beendet. Hier ist, wie sie das gemacht haben, einfach erklärt:

1. Der eine große Gehirnschlag (Das Zwei-Turm-Modell)

Statt viele kleine Mitarbeiter zu haben, haben sie einen einzigen, hochintelligenten Assistenten (ein KI-Modell namens Qwen2) gebaut. Dieser Assistent hat zwei „Arme" oder Türme:

• Der Frage-Turm: Dieser hört sich an, was der Kunde sagt (z. B. „Ich will etwas Warmes").
• Der Produkt-Turm: Dieser kennt die Beschreibung von Millionen von Artikeln (Restaurants, Gerichte, Milch, etc.).

Beide Türme wandeln die Worte in eine unsichtbare Landkarte (eine mathematische Darstellung) um. Wenn die Landkarte des Kunden (die Absicht) und die Landkarte des Produkts (der Inhalt) sich auf der Karte nahe beieinander befinden, weiß der Assistent: „Aha! Das passt zusammen!" Egal, ob es sich um ein Restaurant in Tokio oder ein Lebensmittel in New York handelt.

2. Der „Matroschka"-Effekt (Matryoshka Representation Learning)

Das ist vielleicht das coolste Teil. Stell dir eine russische Matroschka-Puppe vor: Eine große Puppe, in der eine kleinere sitzt, in der noch eine kleinere sitzt, und so weiter.

Normalerweise müsste man für schnelle Suchen eine kleine, dumme Puppe nehmen und für präzise Suchen eine große, kluge Puppe. Das ist teuer und unpraktisch.
Diese KI hat aber eine magische Puppe gebaut. Sie kann in jeder Größe funktionieren:

• Braucht der Assistent nur eine schnelle, grobe Antwort (um die Latenz niedrig zu halten)? Dann nimmt er nur den Kopf der Puppe (kleine Datenmenge).
• Braucht er eine ultra-präzise Antwort für die finale Auswahl? Dann zieht er die ganze Puppe heraus (große Datenmenge).
  Das spart enorm viel Geld und Speicherplatz, weil sie nur ein Modell brauchen, das sich an jede Situation anpasst.

3. Lernen durch Beobachten und Korrigieren (Training)

Wie lernt dieser Assistent?

• Phase 1 (Das große Rauschen): Zuerst hat er Milliarden von echten Kundenaktionen beobachtet (was wurde geklickt? Was wurde in den Warenkorb gelegt?). Das war wie ein Schüler, der durch das Lesen von Millionen Büchern lernt, was „relevant" bedeutet.
• Phase 2 (Der strenge Lehrer): Dann kam ein noch klügerer KI-Lehrer (ein großes Sprachmodell), der schwierige Fälle geprüft hat. Zum Beispiel: „Der Kunde hat nach 'Brot' gesucht, aber 'Brot' (das Gebäck) und 'Pan' (die Pfanne) verwechselt." Der Lehrer hat dem Assistenten beigebracht, diese feinen Unterschiede zu verstehen. Das hat die Treffergenauigkeit massiv verbessert.

4. Das Ergebnis: Ein glatterer Einkauf

Was hat das gebracht?

• Bessere Treffer: Wenn jemand nach einem bestimmten Gericht sucht, findet der Assistent es viel schneller, auch wenn der Kunde die Zutaten falsch beschreibt oder eine andere Sprache spricht.
• Weniger „Nichts gefunden": Die Zahl der Suchen, bei denen keine Ergebnisse angezeigt wurden, ist um fast 70 % gesunken.
• Mehr Verkäufe: Weil die Kunden schneller finden, was sie wollen, kaufen sie mehr.
• Geringere Kosten: Durch die „Matroschka"-Puppe und das Komprimieren der Daten (Quantisierung) sparen sie viel Speicherplatz und Rechenleistung, ohne an Qualität zu verlieren.

Zusammenfassung

Stell dir vor, du hast einen Schweizer Taschenmesser-Assistenten, der nicht nur ein Messer ist, sondern auch eine Schere, einen Schraubenzieher und eine Lupe. Er versteht alle Sprachen, kennt alle Produkte im Laden und passt seine Größe an, je nachdem, ob du es eilig hast oder eine präzise Arbeit verrichten willst.

Das ist genau das, was Uber Eats jetzt hat: Ein System, das nicht mehr nur nach Wörtern sucht, sondern nach Bedeutung und Absicht, und das für die ganze Welt funktioniert.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Scaling Multilingual Semantic Search in Uber Eats Delivery" auf Deutsch:

Titel: Skalierung der mehrsprachigen semantischen Suche bei Uber Eats Delivery

1. Problemstellung

Die Suche ist der primäre Einstiegspunkt für Nutzer auf Uber Eats. Bisherige Systeme waren fragmentiert und basierten entweder auf getrennten BERT-Modellen für verschiedene Kategorien (Restaurants, Lebensmittel, Einzelhandel) oder auf einfacher lexikalischer Suche (Schlüsselwort-Matching). Diese Ansätze führten zu:

• Hoher operativer Komplexität durch Wartung mehrerer Modelle.
• Eingeschränkter Generalisierungsfähigkeit über verschiedene vertikale Bereiche und Sprachen hinweg.
• Unausgeschöpftem Leistungspotenzial, da die semantische Nuance von Nutzerabsichten (Intent) nicht ausreichend erfasst wurde.

Das Ziel war die Entwicklung eines einheitlichen, mehrsprachigen und multi-vertikalen Systems, das Restaurants, Gerichte und Lebensmittelartikel in einer einzigen semantischen Suchpipeline vereint.

2. Methodik und Architektur

Das vorgestellte System basiert auf einer Two-Tower-Architektur (Query-Encoder und Document-Encoder), die auf dem Open-Source-Decoder-only-LLM Qwen2 (gte-Qwen2-1.5B) aufbaut.

• Datenverarbeitung & Features:

  • Eingabeformat: Anstatt reinen Text zu verwenden, werden Abfragen und Dokumente als strukturierte JSON-Objekte eingegeben (z. B. Felder wie store_name, cuisine_type, description). Dies ermöglicht dem Modell, den Kontext und den Dokumententyp (Store vs. Dish vs. Item) implizit zu verstehen.
  • Datenquellen: Das Training nutzt hundert Millionen anonymisierter Interaktionsdaten (Klicks, „Add-to-Cart"-Events) aus drei vertikalen Bereichen: Global Search (Restaurants), In-Store Search (Essen) und In-Store Search (Lebensmittel/Retouren).
  • Pooling: Es wird die End-of-Sentence (EOS)-Token-Pooling-Methode verwendet, die sich als überlegen gegenüber Average- oder Last-Token-Pooling erwies, um globale semantische Repräsentationen zu erzeugen.

• Trainingsstrategie (Zwei-Phasen-Ansatz):

  1. Domain Adaptation (InfoNCE): Ein großes Batch-Training mit der InfoNCE-Loss-Funktion und In-Batch-Negativen, um das Modell an die spezifische Domäne von Uber Eats anzupassen.
  2. Fine-Tuning (Triplet NCE): Ein zweiter Schritt zur Verfeinerung der Entscheidungsgrenzen. Hier werden „Hard Negatives" (schwierige, aber irrelevante Treffer) und „Hard Positives" identifiziert, teilweise durch ein LLM-gestütztes Oracle gelabelt, und mit einer Triplet-NCE-Loss-Funktion trainiert.

• Matryoshka Representation Learning (MRL):
  Um unterschiedliche Latenz- und Speicheranforderungen zu erfüllen, wird MRL eingesetzt. Dies ermöglicht es, ein einziges hochdimensionales Embedding (1536 Dimensionen) so zu trainieren, dass die ersten Teilstücke (z. B. 128, 256, 512 Dim.) bereits semantisch aussagekräftig sind. Dies erlaubt ein dynamisches Trade-off zwischen Genauigkeit und Kosten ohne separate Modelle.

• Scoring:
  Standardmäßig wird Cosine-Similarität verwendet. Zusätzlich wurde ein nicht-linearer Scoring-Head (FFN) erforscht, der die Embeddings von Query und Dokument kombiniert, um feinere semantische Beziehungen zu erfassen, die bei linearer Ähnlichkeit verloren gehen.

3. Schlüsselbeiträge

1. Einheitliches Two-Tower-System: Ein skalierbares, mehrsprachiges Modell, das drei verschiedene vertikale Bereiche (Restaurants, Lebensmittel, Einzelhandel) in einer einzigen Indexstruktur abdeckt.
2. Skalierbare Trainings-Rezeptur: Eine robuste Pipeline, die Domain-Adaptation mit hundert Millionen Datenpunkten mit einem Fine-Tuning auf hochwertigen, LLM-gelabelten Hard-Negative-Daten kombiniert.
3. Flexible Embeddings durch MRL: Implementierung von Matryoshka-Repräsentationen, die es erlauben, Embeddings beliebiger Größe (von 128 bis 1536 Dim.) aus einem einzigen Modell zu extrahieren, was die Kosten-Nutzen-Optimierung drastisch verbessert.
4. Produktionsreife und Innovation: Detaillierte Einblicke in die Indexierung (HNSW, Lucene Plus), Online-Serving mit INT8-Quantisierung und die Exploration von modellbasierten Distanzfunktionen.

4. Ergebnisse

Die Evaluierung umfasste Offline-Tests (Recall-Metriken) und Online-A/B-Tests über sechs Märkte (u. a. USA, UK, Japan, Taiwan).

• Offline Performance (Recall):

  • Das feinabgestimmte gte-Qwen2-Modell (Two-Stage) erzielte im Vergleich zum Legacy-MiniLM-Baseline eine Steigerung von +88% bei Store R@20 und +31% bei Store R@200.
  • Der Übergang von einer einstufigen (InfoNCE) zu einer zweistufigen Trainingsstrategie (mit Triplet NCE) brachte zusätzliche 1–4% Recall-Gewinne, was die Notwendigkeit von Hard-Negative-Mining unterstreicht.
  • MRL-Effizienz: Das Abschneiden des Embeddings auf 256 Dimensionen (statt 1536) führte zu einem vernachlässigbaren Rückgang des Recall (0,678 auf 0,676), reduzierte aber den Speicherbedarf auf 16% und die Indexkosten auf 23%.
  • Quantisierung: Die INT8-Quantisierung reduzierte den Index auf 4% der ursprünglichen Größe bei nur minimalen Recall-Einbußen in Offline-Tests.

• Online Business Impact:

  • Der neue Zwei-Phasen-Modellansatz führte zu einem signifikanten Anstieg der Conversion Rate (Intentful Search CVR) um +0,44% und der Search CoPSU (Orders/Clicks) um +0,54%.
  • Die Rate der Suchergebnisse ohne Treffer (Zero-Result Rate) sank um 69,10%, was die verbesserte Abdeckung in mehrsprachigen und multi-vertikalen Szenarien zeigt.
  • Interessanterweise schnitt die INT8-Quantisierung in der Online-Umgebung besser ab als die FP32-Version (+0,44% vs. +0,29% CVR-Lift), was darauf hindeutet, dass Quantisierungseffekte in der Praxis durch nachgelagerte Filterprozesse kompensiert werden können.

5. Bedeutung und Fazit

Dieses Paper demonstriert erfolgreich, wie Large Language Models (LLMs) in hochskalierten, produktiven Suchsystemen für E-Commerce eingesetzt werden können. Die wichtigsten Erkenntnisse sind:

• Einheitlichkeit schlägt Fragmentierung: Ein einziges, gut trainiertes Modell kann diverse Suchanforderungen (Restaurants vs. Lebensmittel) und Sprachen effektiver bedienen als eine Ansammlung spezialisierter kleinerer Modelle.
• Strukturierte Eingaben sind entscheidend: Die Verwendung von JSON-Inputs statt reinem Text verbessert die semantische Disambiguierung erheblich.
• MRL als Game-Changer: Matryoshka Representation Learning bietet eine elegante Lösung für das Dilemma zwischen hoher Genauigkeit und niedrigen Latenz-/Speicherkosten, indem es die Verwaltung mehrerer Modelle überflüssig macht.
• Praktische Machbarkeit: Das System zeigt, dass komplexe semantische Suchlösungen mit strengen Latenzanforderungen (Sub-Millisekunden-Bereich) in der Produktion realisierbar sind, insbesondere durch den Einsatz von Quantisierung und effizienten ANN-Indexen (HNSW).

Zukünftige Arbeiten zielen darauf ab, die Modellgröße weiter zu skalieren (7B/14B Parameter), multimodale Signale (Bilder) zu integrieren und die Trainingspipeline durch Active Learning und drift-Überwachung weiter zu automatisieren.