MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search
Das Papier schlägt MMRM vor, ein einheitliches Framework, das multimodale große Sprachmodelle mit vielfältigen kollaborativen Signalen abstimmt, um multiplexe Artikel- und Nutzerrepräsentationen zu generieren, was die Leistung und Effizienz des E-Commerce-Suchrankings in der JD-Suchmaschine signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben ein riesiges, superschnelles digitales Einkaufszentrum (wie JD.com), in dem Millionen von Menschen nach der perfekten Jeans suchen. Um ihnen zu helfen, das zu finden, was sie wollen, benötigen Sie einen intelligenten Assistenten, der nicht nur den Text auf einem Produktetikett liest, sondern auch das Bild „sieht“, den Stil versteht und genau weiß, wonach der Shopper sucht.
Lange Zeit hatten diese Assistenten ein schwieriges Problem. Sie waren wie Schüler, die nur für eine spezifische Prüfung zur Zeit gelernt haben. Wenn sie für „Suche“ lernten, waren sie gut darin, eine Textanfrage mit einem Produkt abzugleichen. Wenn sie für „Warenkorb“ lernten, waren sie gut darin zu wissen, was Leute in ihre Einkaufswagen legen. Aber zu versuchen, einen einzigen „Super-Schüler“ (ein allgemeines multimodales großes Sprachmodell) dazu zu bringen, gleichzeitig für all diese verschiedenen Prüfungen zu lernen, führte meist zu einem verwirrten Durcheinander. Die alten Methoden versuchten, einen einzelnen „Super-Schüler“ dazu zu bringen, nur von einer Art Signal zu lernen, oder sie behandelten die Notizen des Schülers als eine generische Liste von Fakten, die nicht wirklich dabei halfen, vorherzusagen, was ein spezifischer Nutzer als Nächstes wollte.
Das Paper stellt ein neues System namens MMRM (Multiplex Multimodal Representation Model) vor, das dies löst, indem es wie ein Chefkoch mit einer einzigen, hochmodernen Küche, aber vier verschiedenen, spezialisierten Rezeptbüchern agiert.
Die große Idee: Eine Küche, vier spezialisierte Köche
Anstatt vier separate Küchen (Modelle) für jede Aufgabe zu bauen, nutzt MMRM ein gemeinsames „Backbone“ (die Küche selbst), gibt ihm aber vier spezielle „Hüte“ oder Token: [SEARCH], [CLICK], [CART] und [ORDER].
Denken Sie an einen vielseitigen Schauspieler. Wenn er den [SEARCH]-Hut aufsetzt, spielt er einen Detektiv, der einen Textclue mit einem Produkt abgleicht. Wenn er zum [CART]-Hut wechselt, spielt er einen Stylisten, der weiß, welche Artikel die Leute tatsächlich zusammen kaufen. Die Magie liegt darin, dass dieser Schauspieler die Hüte sofort wechseln kann, ohne die Bühne verlassen zu müssen. In einem einzigen Durchgang durch die Küche lernt das Modell aus vier verschiedenen Arten von Hinweisen (Signalen) gleichzeitig:
- Suchklicks: Wenn jemand nach „Jeans“ sucht und ein Ergebnis anklickt.
- Klick-Sessions: Wenn jemand von einem Artikel zum nächsten klickt.
- Warenkorb-Sessions: Wenn jemand eine Sequenz von Artikeln in den Warenkorb legt.
- Bestell-Sessions: Wenn jemand eine Sequenz von Artikeln tatsächlich kauft.
Die Autoren stellten fest, dass diese Signale sehr unterschiedlich sind. Ein Suchklick ist wie ein breites „Ich bin interessiert“, während eine Bestell-Session ein „Ich will genau diese spezifische Kombination wirklich unbedingt haben“ ist. Indem man die Unterschiede ignorierte und alle gleich behandelte, übersah man bei alten Modellen wichtige Informationen. MMRM hingegen lernt alle vier gleichzeitig und erstellt vier unterschiedliche „Repräsentationen“ (oder mentale Landkarten) desselben Produkts, die jeweils auf eine bestimmte Aufgabe abgestimmt sind.
Die „Multiplex“-Nutzerstrategie
Sobし das Modell diese vier verschiedenen Karten der Produkte erstellt hat, muss es herausfinden, was Sie wollen. Das Paper argumentiert, dass man nicht einfach eine generische Karte für jeden verwenden kann. Stattdessen nutzt MMRM eine „Multiplex-Nutzerrepräsentations“-Strategie.
Stellen Sie sich vor, Sie stöbern. Das System schaut sich Ihren Verlauf an. Wenn Sie gerade suchen, verwendet es die [SEARCH]-Karte, um Artikel zu finden, die dem ähneln, was Sie angeklickt haben. Wenn Sie einen Warenkorb aufbauen, wechselt es zur [CART]-Karte, um zu sehen, was normalerweise gut zusammenpasst. Es ist, als hätte man einen persönlichen Einkaufsberater, der seine Strategie ändert, je nachdem, ob man nur Schaufensterbummel betreibt oder bereit ist zu kaufen. Er passt Ihre spezifische Verhaltenssequenz an den richtigen „Hut“ des Produkts an und erstellt so eine hochgradig personalisierte Empfehlung.
Was sie ausschlossen haben
Das Paper argumentiert explizit gegen zwei gängige Ansätze:
- Die Verwendung nur eines Signals: Sie zeigen, dass das Training eines Modells nur auf Basis von Suchdaten (oder nur auf Basis von Warenkorbdaten) es blind für die anderen wichtigen Beziehungen macht. Man kann nicht einfach eines auswählen und den Rest ignorieren.
- Das „Einheitsmodell“-Embedding: Sie fanden heraus, dass das einfache Einfügen einer generischen Produktbeschreibung in ein Ranking-Modell in Multitask-Szenarien nicht gut funktioniert. Dies verursacht eine „Embedding-Verwicklung“ (Entanglement), bei der das Modell verwirrt wird, weil es versucht, dieselbe Notiz gleichzeitig für eine Suchanfrage und eine Warenkorb-Vorhersage zu verwenden. MMRM lehnt dies ab, indem es die Repräsentationen für jede Aufgabe getrennt (disentangled) hält.
Der Beweis: Reale Zahlen, reale Ergebnisse
Die Autoren haben nicht nur geraten; sie haben dies in massivem Maßstab getestet.
- Trainingsdaten: Sie verwendeten einen riesigen Datensatz von 0,3 Milliarden Triplets (Gruppen von drei verwandten Artikeln), die über sechs Monate für die Suche gesammelt wurden, sowie noch größere Datensätze für Warenkorb- und Bestellverhalten (bis zu 3 Jahre an Daten für Bestellungen).
- Das Modell: Sie trainierten ein 4-Milliarden-Parameter-Modell (eine sehr große KI) auf 8 NVIDIA H800 GPUs.
- Die Ergebnisse: In ihren Tests schlug MMRM alle bisherigen „Single-Task“-Modelle und die „Multi-Task“-Modelle, die nicht dieses spezielle Hut-System verwendeten.
- Reale Auswirkungen: Sie haben damit nicht nur Computer-Simulationen abgeschlossen. Sie haben das System auf der tatsächlichen JD.com Suchmaschine implementiert. In einem einwöchigen Test mit Millionen täglicher Nutzer verbesserte das neue System:
- Die Click-Through Rate (CTR) um 0,42 %
- Die Add-to-Cart Rate (ACR) um 0,37 %
- Die Conversion Rate (CVR) um 0,35 %
Die Autoren merken an, dass diese Prozentsätze klein erscheinen mögen, aber in einer Plattform mit Millionen von Nutzern führt selbst eine Steigerung von 0,10 % zu massivem Umsatzwachstum. Aufgrund dieser bewiesenen Gewinne ist das System nun voll einsatzbereit und hilft Millionen von Menschen, ihre Produkte zu finden.
Kurz gesagt: MMRM ist eine intelligentere, flexiblere Art, einer KI beizubringen, wie man Einkaufen versteht. Es versucht nicht länger, ein „Alleskönner“ zu sein, der nichts richtig beherrscht, sondern wird stattdessen ein Meister vieler Gewerbe, indem es ein einziges, effizientes Gehirn mit vier spezialisierten Modi nutzt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.