🤖 machine learning

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

Het artikel stelt MMRM voor, een verenigd framework dat Multimodale Grote Taalmodellen afstemt op diverse collaboratieve signalen om multiplex item- en gebruikersrepresentaties te genereren, wat de prestaties en efficiëntie van e-commerce zoekranking in de JD-zoekmachine aanzienlijk verbetert.

Oorspronkelijke auteurs: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, razendsnelle digitale winkel runt (zoals JD.com) waar miljoenen mensen op zoek zijn naar de perfecte spijkerbroek. Om hen te helpen vinden wat ze willen, heb je een slimme assistent nodig die niet alleen de tekst op een productlabel kan lezen, maar ook de afbeelding "ziet", de stijl begrijpt en precies weet waar de shopper naar op zoek is.

Lange tijd hadden deze assistenten een lastig probleem. Ze waren als studenten die slechts voor één specifieke toets tegelijk hadden gestudeerd. Als ze voor "Zoeken" hadden gestudeerd, waren ze geweldig in het matchen van een tekstzoekopdracht aan een product. Als ze voor "Winkelwagen" hadden gestudeerd, waren ze goed in weten wat mensen in hun winkelwagentjes zetten. Maar proberen één enkele "superstudent" te laten studeren voor al die verschillende toetsen tegelijkertijd, resulteerde meestal in een verwarrende bende. De oude methoden probeerden een enkele "superstudent" (een algemeen Multimodaal Groot Taalmodel) te laten leren van slechts één type signaal, of ze behandelden de aantekeningen van de student als een generieke lijst met feiten die niet echt hielpen om te voorspellen wat een specifieke gebruiker daarna wilde.

Het artikel introduceert een nieuw systeem genaamd MMRM (Multiplex Multimodal Representation Model) dat dit oplost door te fungeren als een meesterkok met één hoogtechnologische keuken maar vier verschillende, gespecialiseerde receptenboeken.

Het Grote Idee: Eén Keuken, Vier Gespecialiseerde Chefs
In plaats van vier aparte keukens (modellen) te bouwen voor elke taak, gebruikt MMRM één gedeelde "backbone" (de keuken zelf), maar geeft het vier speciale "hoedjes" of tokens: [SEARCH], [CLICK], [CART] en [ORDER].

Denk aan een veelzijdige acteur. Wanneer hij het [SEARCH] hoedje opzet, acteert hij als een detective die een tekstuele aanwijzing koppelt aan een product. Wanneer hij overschakelt naar het [CART] hoedje, acteert hij als een stylist die weet welke artikelen mensen daadwerkelijk samen kopen. De magie is dat deze acteur direct van hoedje kan wisselen zonder het podium te hoeven verlaten. In één enkele reis door de keuken leert het model van vier verschillende soorten aanwijzingen (signalen) tegelijkertijd:

Zoekklikken: Wanneer iemand "jeans" typt en op een resultaat klikt.
Kliksessies: Wanneer iemand van het ene item naar het andere klikt in een reeks.
Winkelwagensessies: Wanneer iemand een reeks artikelen aan een winkelwagen toevoegt.
Bestelsessies: Wanneer iemand daadwerkelijk een reeks artikelen koopt.

De auteurs ontdekten dat deze signalen erg verschillend zijn. Een zoekklik is als een brede "ik ben geïnteresseerd", terwijl een bestelsessie een "ik wil echt deze specifieke combinatie hebben" is. Door de verschillen te negeren en ze allemaal hetzelfde te behandelen, misten oude modellen dit. MMRM leert echter alle vier tegelijk, waardoor vier verschillende "representaties" (of mentale kaarten) van hetzelfde product worden gecreëerd, elk afgestemd op een andere taak.

De "Multiplex" Gebruikersstrategie
Zodra het model deze vier verschillende kaarten van de producten heeft, moet het uitzoeken wat jij wilt. Het artikel betoogt dat je niet zomaar één generieke kaart voor iedereen kunt gebruiken. In plaats daarvan gebruikt MMRM een "multiplex gebruikersrepresentatie"-strategie.

Stel je voor dat je aan het browsen bent. Het systeem kijkt naar je geschiedenis. Als je alleen aan het zoeken bent, gebruikt het de [SEARCH]-kaart om artikelen te vinden die lijken op wat je hebt aangeklikt. Als je een winkelwagen aan het samenstellen bent, schakelt het over naar de [CART]-kaart om te zien wat er meestal bij elkaar past. Het is alsof je een persoonlijke shopper hebt die van strategie verandert op basis van het feit of je alleen aan het etaleren bent of klaar bent om te kopen. Ze nemen jouw specifieke gedragsreeks en matchen deze tegen de juiste "hoed" van het product, wat een zeer gepersonaliseerde aanbeveling creëert.

Wat Ze Hebben Uitgesloten
Het artikel voert expliciet een argument tegen twee veelvoorkomende benaderingen:

Het gebruik van slechts één signaal: Ze laten zien dat het trainen van een model op alleen zoekgegevens (of alleen winkelwagengegevens) het model blind maakt voor de andere belangrijke relaties. Je kunt niet gewoon één kiezen en de rest negeren.
De "One-Size-Fits-All" embedding: Ze ontdekten dat het simpelweg nemen van één generieke productbeschrijving en deze in een rankingmodel stoppen niet goed werkt voor multitask-scenario's. Dit veroorzaakt "embedding entanglement", waarbij het model in de war raakt omdat het probeert dezelfde notitie voor zowel een zoekopdracht als een winkelwagenvoorspelling tegelijkertijd te gebruiken. MMRM wijst dit af door de representaties voor elke taak gescheiden (ontkoppeld) te houden.

Het Bewijs: Echte Cijfers, Echte Resultaten
De auteurs hebben niet alleen gegokt; ze hebben dit op enorme schaal getest.

Trainingsdata: Ze gebruikten een enorme dataset van 0,3 miljard triplets (groepen van drie gerelateerde items) verzameld over zes maanden voor zoekopdrachten, en zelfs grotere datasets voor winkelwagen- en bestelgedrag (tot wel 3 jaar aan data voor bestellingen).
Het Model: Ze trainden een 4-miljard parameter model (een zeer groot AI-model) op 8 NVIDIA H800 GPU's.
De Resultaten: In hun tests versloeg MMRM alle voorgaande "single-task" modellen en de "multi-task" modellen die dit speciale hoedjessysteem niet gebruikten.
Impact in de echte wereld: Ze stopten niet bij computer-simulaties. Ze hebben dit uitgerold op de eigen zoekmachine van JD.com. In een weeklange test met miljoenen dagelijkse gebruikers verbeterde het nieuwe systeem:
- Click-Through Rate (CTR) met 0,42%
- Add-to-Cart Rate (ACR) met 0,37%
- Conversion Rate (CVR) met 0,35%

De auteurs merken op dat hoewel deze percentages klein lijken, zelfs een stijging van 0,10% in een platform met miljoenen gebruikers leidt tot enorme omzetgroei. Vanwege deze bewezen winsten is het systeem nu volledig live en helpt het miljoenen mensen hun producten te vinden.

Kortom, MMRM is een slimmere, flexibelere manier om AI te leren hoe het winkelen te begrijpen. Het probeert niet langer een "jack of all trades" te zijn die nergens echt goed in is, maar wordt in plaats daarvan een meester in vele vakken door één efficiënt brein te gebruiken met vier gespecialiseerde modi.

Technische Samenvatting: MMRM voor E-commerce Product Ranking

1. Probleemstelling

E-commerce zoekranking vereist het vastleggen van fijnmazige gebruikersvoorkeuren over meerdere doelstellingen heen (bijv. Click-Through Rate, Add-to-Cart Rate, Conversion Rate). Hoewel recente benaderingen algemene Multimodale Large Language Models (MLLM's) finetunen om itemrepresentaties te genereren, identificeren de auteurs twee kritieke beperkingen in bestaande methoden:

Afhankelijkheid van enkelvoudige collaboratieve signalen: Huidige methoden finetunen MLLM's doorgaans met slechts één type signaal (bijv. zoekgebaseerde query-naar-item clicks of gedragsgebaseerde item-naar-item clicks). De auteurs stellen dat e-commerce signalen inherent heterogeen zijn. Zoeksignalen leggen brede relevantie vast, terwijl sequentiële gedragingen (winkelwagen, bestelling) sterkere, fijnmazige gelijkenissen en complementaire relaties weerspiegelen. Het negeren van deze diversiteit voorkomt dat modellen de uitgebreide representaties leren die nodig zijn voor multitask ranking.
Onderbenutting in Downstream Ranking: Bestaande rankingmodellen behandelen multimodale representaties vaak als reguliere itemkenmerken, waarbij een enkele embedding table wordt gebruikt voor feature interactie of eenvoudige gedragsgroepering. Deze aanpak slaagt er niet in om "multiplex gebruikersintenties" te vangen, wat leidt tot informatieverlies en embedding-verstrengeling in multitask scenario's.

2. Methodologie

De voorgestelde oplossing, het Multiplex Multimodal Representation Model (MMRM), is een verenigd framework dat is ontworpen om MLLM's af te stemmen op diverse collaboratieve signalen en deze te integreren in multitask ranking systemen.

2.1 Dataset Constructie

De auteurs hebben vier verschillende triplet-datasets geconstrueerd om heterogene signalen vast te leggen:

Q2I Dataset (Zoeken): Opgebouwd uit query-item clicks ( $q2i\_click$ ), wat het meest voorkomende maar grofmazige signaal vertegenwoordigt. Hard negatives worden gesampled uit dezelfde ouder-categorie maar verschillende sub-categorieën.
I2I Datasets (Gedrag): Drie datasets ( $i2i\_click$ $i 2 i_c l i c k$ , $i2i\_cart$ $i 2 i_c a r t$ , $i2i\_order$ $i 2 i_or d er$ ) zijn geconstrueerd via graph-gebaseerde benaderingen.
- Items zijn verbonden op basis van sequentiële gebruikersgedragingen binnen specifieke tijdvensters (bijv. 10 minuten voor clicks, 30 minuten voor winkelwagens).
- Om dominantie van populaire items (hot-items) te mitigeren, worden anchor items gesubsampled met een waarschijnlijkheidsfunctie vergelijkbaar met word2vec.
- Hard negatives worden gesampled uit dezelfde sub-categorie als het positieve item om contrastief leren te versterken.

2.2 MMRM Architectuur

MMRM maakt gebruik van een gedeelde MLLM-backbone (geïnitialiseerd van Qwen3-VL-4B-Instruct) met specifieke architecturale aanpassingen om multitask leren te faciliteren:

Taakspecifieke Tokens: Vier speciale tokens—[SEARCH], [CLICK], [CART], en [ORDER]—worden aan de inputs toegevoegd om taken te ontwarren.
Projectielagen: De hidden state van de specifieke taak-token wordt geprojecteerd via een taakspecifieke Multi-Layer Perceptron (MLP) om de uiteindelijke taakspecifieke itemrepresentatie ( $r^t_i$ ) te genereren.
Trainingsdoelstelling: Het model wordt getraind op een uniforme mix van de vier datasets. Voor elke taak $t$ wordt de contrastieve leerverlies berekend met behulp van positieve paren uit die taak, terwijl items van andere taken dienen als in-batch negatives. Dit stelt het model in staat om gelijktijdig te leren van diverse signalen zonder prestatieverlies.

2.3 Multitask Ranking Toepassing

De auteurs introduceren een multiplex gebruikersrepresentatiestrategie voor het downstream ranking model:

Soft Search: Voor een gegeven query en target item extraheert het systeem een top- $K$ relevante gedragssequentie met behulp van de multimodal embedding table specifiek voor de huidige taak (bijv. het gebruik van [CART] embeddings voor ACR-voorspelling).
Gebruikersrepresentatie: Taakspecifieke gebruikersrepresentaties ( $U_t$ ) worden afgeleid met behulp van een Multi-Head Target Attention (MHTA) module over de gefilterde gedragssequentie.
MMoE Integratie: Alle taakspecifieke gebruikersrepresentaties en andere kenmerken worden verwerkt door een Multi-gate Mixture-of-Experts (MMoE) module om taakspecifieke hidden states te generen.
Voorspelling: Deze states worden gevoed aan taakspecifieke towers (CTR, ACR, CVR) om uiteindelijke voorspellingen te genereren.

3. Belangrijkste Bijdragen

Verenigd Framework: MMRM stemt effectief MLLM's af op vier diverse collaboratieve signalen (zoeken, click, cart, order) met behulp van een gedeelde backbone en taakspecifieke tokens, wat de efficiënte generatie van multiplex itemrepresentaties in één enkele inference pass mogelijk maakt.
Multiplex Gebruikersstrategie: Het paper stelt een nieuwe strategie voor om taakspecifieke gebruikersrepresentaties af te leiden uit multiplex itemrepresentaties, waarmee het probleem van embedding-verstrengeling in multitask ranking wordt aangepakt.
Schaalbaarheid: De auteurs demonstreren dat MMRM efficiënt getraind kan worden op grootschalige data (0,3 miljard triplets) met technieken zoals GradCache om grote batch sizes op moderne MLLM's te verwerken.

4. Experimentele Resultaten

4.1 Evaluatie van het Representatiemodel

Prestaties: MMRM presteerde consistent beter dan single-task baselines en een "Vanilla-Multi" baseline (die gedeelde embeddings gebruikte met taakprompts).
Efficiëntie: MMRM genereert alle vier de taak-embeddings in één enkele forward pass, terwijl baselines vier aparte passes vereisten.
Ablatie: Experimenten bevestigden dat grotere batch sizes (behaald via GradCache) de prestaties aanzienlijk verbeteren, wat de belangrijkheid van diverse in-batch negatives valideert.

2.2 Evaluatie van het Ranking Model

Offline: Het voorgestelde rankingmodel met multiplex filtering ( $SIM_{soft}(item_{MMRM[ALL]})$ ) behaalde de beste GAUC-scores over de CTR, ACR en CVR taken vergeleken met baselines die single embedding tables of categorie-gebaseerde filtering gebruikten.
Online A/B Test: Geïmplementeerd op de JD e-commerce zoekmachine, liet het systeem significante verbeteringen zien ten opzichte van de online baseline:
- User Click-Through Rate (UCTR): +0,42%
- User Add-to-Cart Rate (UACR): +0,37%
- User Conversion Rate (UCVR): +0,35%
- De auteurs merken op dat, gezien het enorme verkeer van het platform, deze stijgingen vertalen naar substantiële omzetgroei.

5. Betekenis en Claims

Het paper claimt dat MMRM succesvol de beperkingen van huidige multimodale rankingsystemen aanpakt door de heterogeniteit van e-commerce signalen te benutten. Door af te stappen van single-signal finetuning en single-embedding downstream modellering, biedt MMRM een meer uitgebreid begrip van de gebruikersintentie. De succesvolle implementatie op JD.com, die miljoenen dagelijkse gebruikers bedient, valideert de praktische effectiviteit en schaalbaarheid van het voorgestelde framework in een echte, hoogwaardige omgeving. Het werk onderstreept de waarde van "multiplex" representaties bij het ontwarren van complexe, multi-objective gebruikersgedragingen.