Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation
Dieses Paper stellt Pailitao-MMSearch vor, ein natives multimodales E-Commerce-Such-Foundation-Modell, das auf Qwen basiert und Hybrid Semantic IDs, eine zweistufige Strategie des kontinuierlichen Pre-Trainings sowie eine hybride Reasoning-Post-Training-Pipeline integriert, um die Einschränkungen isolierter unimodaler Modelle und allgemeiner Vision-Language-Modelle zu überwinden und dabei signifikante kommerzielle Gewinne mit einer Steigerung des GMV auf der Taobao-Plattform von bis zu +13,61 % zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch ein riesiges, unendliches digitales Einkaufszentrum. In der Vergangenheit mussten Sie, wenn Sie ein bestimmtes Hemd wollten, eine sehr spezifische Beschreibung in eine Suchleiste eingeben, wie zum Beispiel „rotes Baumwoll-T-Shirt“. Wenn Sie ein Paar Schuhe finden wollten, die zu einem Bild auf der Straße passten, mussten Sie ein Foto machen und hoffen, dass der Computer erraten konnte, wonach Sie suchten. Lange Zeit waren Computer wie spezialisierte Arbeiter: Ein Arbeiter verstand nur Text, ein anderer nur Bilder und ein dritter nur Sprache. Sie sprachen nicht miteinander. Wenn man ihnen eine Mischung aus einem Bild und einem Satz gab, wurden sie verwirrt und ignorierten oft entweder die Wörter oder übersahen die Details im Foto.
Auf der anderen Seite gibt es superintelligente, universell einsetzbare Computer, die ein Bild betrachten und ein Gedicht darüber schreiben können. Aber diese Generalisten sind wie Touristen im Einkaufszentrum; sie wissen zwar, was ein „Hemd“ im allgemeinen Sinne ist, aber sie wissen nicht den Unterschied zwischen einer „Seidenmischung“ und „100 % Baumwolle“, oder dass Menschen, die eine bestimmte Kamera kaufen, meistens auch eine bestimmte Art von Objektiv dazu kaufen. Ihnen fehlt das tiefe Insider-Wissen darüber, wie das Einkaufen tatsächlich funktioniert. Die große Frage für Wissenschaftler lautet: Wie bauen wir einen einzigen, superintelligenten Computer, der sowohl ein Meistereinkäufer (der jedes winzige Detail über Produkte und was Menschen mögen, kennt) als auch ein großartiger Gesprächspartner (der komplexe, gemischte Anweisungen versteht) ist und dabei gleichzeitig weiß, wie man denkt und schlussfolgert?
Dies ist genau das Problem, das das Team hinter Pailitao-MMSearch lösen wollte. Sie haben eine neue Art von „Such-Gehirn“ entwickelt, das speziell für den E-Commerce konzipiert wurde. Anstatt separate Werkzeuge für Bilder und Wörter zu verwenden, haben sie ein einziges Modell geschaffen, das ein Foto betrachten, eine unordentliche Textbeschreibung lesen und augenblicklich eine Liste perfekter Produkte generieren kann. Sie haben nicht einfach nur ein bestehendes Modell angepasst; sie haben ihm eine neue Sprache beigebracht, mit der es über Produkte spricht, es mit Millionen von Einkaufsgewohnheiten trainiert und dann seine Denkfähigkeiten sorgfältig poliert, damit es nicht vergisste, wie man klug ist.
Das Problem: Der „Patchwork“-Laden vs. der „Touristen“-Guide
Die Autoren weisen darauf hin, dass die aktuellen Online-Shopping-Systeme ein wenig chaotisch sind. Die meisten großen Geschäfte nutzen einen „Patchwork“-Ansatz. Wenn man mit einem Foto sucht, sucht ein spezieller Bildfinder nach ähnlichen Bildern. Wenn man Wörter eingibt, sucht ein Textfinder nach passenden Titeln. Wenn man sagt: „Finde ein rotes Kleid wie auf diesem Foto, aber mit langen Ärmeln“, muss das System die Anfrage ungeschickt in Stücke zerlegen, sie an verschiedene Arbeiter senden und dann versuchen, die Ergebnisse wieder zusammenzufügen. Das ist langsam, kompliziert und verfehlt oft den Punkt, weil die Arbeiter nicht verstehen, wie das Bild und die Wörter zusammen funktionieren.
Alternativ gibt es die „Touristen“-Guides (universelle KI-Modelle). Diese sind großartig darin, die Welt zu verstehen, aber sie kennen nicht die spezifischen Regeln des Einkaufszentrums. Sie merken vielleicht nicht, dass „Seide“ und „Satin“ unterschiedlich sind, oder dass jemand, der eine Handyhülle kauft, wahrscheinlich auch eine Displayschutzfolie sucht. Außerdem können sie nicht direkt auf ein spezifisches Produkt in einem Katalog von Milliarden hinweisen; sie benötigen normalerweise ein separates Werkzeug dafür, was den Fluss unterbricht.
Die Lösung: Eine neue Sprache für Produkte
Um dies zu beheben, erschuf das Team Pailitao-MMSearch, eine native E-Commerce-Suchbasis. Betrachten Sie es als das Training eines neuen Mitarbeiters, der die Sprache des Einkaufszentrums fließend spricht.
1. Die Hybride ID (HybSID): Die „Postleitzahl“ und das „Porträt“
Die größte Herausforderung besteht darin, dem Computer etwas über ein Produkt mitzuteilen. Stellen Sie sich vor, Sie haben eine Bibliothek mit Milliarden von Büchern. Wenn Sie ihnen nur eine „Postleitzahl“ geben (wie „Belletristik – Krimi“), erhalten Sie einen riesigen Stapel Bücher, aber Sie können nicht genau das finden, das Sie wollen. Wenn Sie ihnen nur ein „Porträt“ geben (eine detaillierte Beschreibung), ist es schwierig, sie effizient zu organisieren.
Das Team erfand die HybSID (Hybrid Semantic ID). Es ist, als würde man jedem Produkt zwei IDs gleichzeitig geben:
- Die Postleitzahl (Diskrete Codes): Ein kurzer, einfacher Code, der Produkte in breite Kategorien gruppiert (z. B. „Sommerkleid“). Dies hilft dem Computer, die Suche schnell einzugrenzen.
- Das Porträt (Kontinuierliches Embedding): Ein detailliertes, hochauflösendes „Porträt“ des Produkts, das kleinste Details wie den exakten Blauton, die Textur des Stoffes oder das spezifische Markenlogo erfasst.
Durch die Kombination dieser beiden kann das Modell schnell das richtige „Viertel“ der Produkte finden und dann genau das auswählen, das der spezifischen, vagen Beschreibung des Nutzers entspricht.
2. Das zweistufige Training: Das Einkaufszentrum lernen, dann das Gehirn bewahren
Einer allgemeinen KI beizubringen, ein Shopping-Experte zu sein, ist riskant. Wenn man sie einfach mit Millionen von Produktbeschreibungen füttert, könnte sie vergessen, wie man normale Sprache spricht oder logisch schlussfolgert. Dies wird als „katastrophales Vergessen“ bezeichnet.
Das Team nutzte einen klugen zweistufigen Trainingsprozess:
- Stufe 1 (Das Praktikum): Sie lehrten das Modell alles über das Einkaufen: Produktdetails, wie Menschen stöbern und welche Artikel zusammengehören. Sie mischten auch einige normale Konversationsdaten unter, damit es nicht zu besessen von nur Produkten wird.
- Stufe 2 (Die Mentorenschaft):elt: Sie bemerkten, dass das Modell bei allgemeinem Denken etwas „eingerostet“ war. Also nutzten sie die ursprüngliche, intelligente Version des Modells als „Mentor“. Sie ließen das neue Modell allgemeine Aufgaben üben, während der Mentor zusah und es sanft korrigierte, um sicherzustellen, dass es nicht seine Fähigkeit verliert, zu denken und komplexen Anweisungen zu folgen. Dies stellte sicher, dass das fertige Modell sowohl ein Shopping-Experte als auch ein kluger Gesprächspartner war.
3. Die Reasoning-Engine: Denken, bevor man spricht
Einkaufen ist nicht immer einfach. Manchmal sagt man: „Ich möchte ein Kleid wie dieses hier, aber in Dunkelblau, und es soll für eine Hochzeit geeignet sein.“ Das ist eine komplexe Anfrage.
Das Team brachte dem Modell bei, für schwierige Fragen eine Chain-of-Thought-Logik (Gedankenkette) anzuwenden. Anstatt einfach nur die Antwort zu raten, lernt das Modell, das Problem zu zerlegen:
- Analysiere das Foto: „Es ist ein florales Kleid.“
- Lies die Anfrage: „Ändere Farbe zu Dunkelblau, ändere Stil zu formell.“
- Finde die Übereinstimmung: „Okay, ich brauche ein dunkelblaues, formelles, florales Kleid.“
Für einfache Fragen überspringt es das Nachdenken und geht direkt zur Antwort über, um Zeit zu sparen.
Die Ergebnisse: Erfolg in der realen Welt
Das Team hat dies nicht nur im Labor getestet; sie haben es auf der Taobao Pailitao Plattform implementiert, die täglich zehntausende Millionen Nutzer bedient. Sie führten einen massiven Test (einen A/B-Test) durch, bei dem einige Nutzer das alte Suchsystem erhielten und andere das neue Pailitao-MMSearch.
Die Ergebnisse waren beeindruckend. Das neue System führte zu:
- Einer Steigerung des Gesamtwerts der verkauften Waren (GMV) um 13,61 %.
- Einer Steigerung der Anzahl der Transaktionen um 8,21 %.
Dies deutet darauf darauf hin, dass wenn der Computer wirklich versteht, was man meint – indem er das Foto, die Worte und die Einkaufsgewohnheiten kombiniert –, er einem hilft, genau das zu finden, was man möchte, und man am Ende mehr kauft.
Was kommt als Nächstes?
Die Autoren geben zu, dass das System noch nicht perfekt ist. Wenn ein Nutzer ein verschwommenes Foto aus einem seltsamen Winkel hochlädt oder einen Satz voller Tippfehler schreibt, kann das Modell immer noch verwirrt werden. Sie planen, das Modell noch besser darin zu machen, durch diese unordentlichen, realen Situationen zu navigieren. Sie sehen auch eine Zukunft vor, in der dieses intelligente Suchmodell als „Gehirn“ für autonome Shopping-Agenten fungiert, die mehrstufige Aufgaben erledigen können, wie zum Beispiel ein Outfit finden, das Wetter prüfen und alles in einem Schritt bestellen.
Kurz gesagt ist Pailitao-MMSearch ein Schritt hin zu einem Einkaufserlebnis, bei dem der Computer nicht nur Schlüsselwörter abgleicht, sondern tatsächlich Ihre Absicht, Ihren Stil und Ihre Bedürfnisse in einem nahtlosen Gespräch versteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.