🤖 machine learning

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

Il documento propone MMRM, un framework unificato che allinea i Modelli Linguistici di Grandi Dimensioni Multimodali con diversi segnali collaborativi per generare rappresentazioni multiplex di articoli e utenti, migliorando significativamente le prestazioni e l'efficienza del ranking della ricerca nell'e-commerce nel motore di ricerca JD.

Autori originali: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un enorme e velocissimo centro commerciale digitale (come JD.com) dove milioni di persone sono alla ricerca del paio di jeans perfetto. Per aiutarle a trovare ciò che desiderano, hai bisogno di un assistente intelligente che non si limiti a leggere il testo sull'etichetta di un prodotto, ma che "veda" anche l'immagine, ne comprenda lo stile e sappia esattamente cosa sta cercando lo shopper.

Per molto tempo, questi assistenti hanno avuto un problema complicato. Erano come studenti che studiavano solo per un esame specifico alla volta. Se studiavano per la "Ricerca", erano bravissimi a far corrispondere una query testuale a un prodotto. Se studiavano per il "Carrello", erano bravi a sapere cosa le persone mettevano nei loro carrelli. Ma cercare di far studiare a un unico "super-studente" (un modello linguistico multimodale generale) tutti questi diversi esami contemporaneamente risultava di solito in un caos confusionario. I vecchi metodi cercavano di costringere lo studente a imparare da un singolo tipo di segnale, oppure trattavano gli appunti dello studente come un elenco generico di fatti che non aiutava davvero a prevedere cosa un utente specifico avrebbe voluto dopo.

Il documento presenta un nuovo sistema chiamato MMRM (Multiplex Multimodal Representation Model) che risolve questo problema agendo come uno chef maestro con una singola cucina hi-tech, ma con quattro diversi libri di ricette specializzati.

La Grande Idea: Una Cucina, Quattro Chef Specializzati
Invece di costruire quattro cucine (modelli) separate per ogni compito, MMRM utilizza un "backbone" (la cucina stessa) condiviso, ma fornisce quattro "cappelli" o token speciali: [SEARCH], [CLICK], [CART] e [ORDER].

Pensa a un attore versatile. Quando indossa il cappello [SEARCH], recita la parte di un detective che rintraccia un indizio testuale in un prodotto. Quando cambia nel cappello [CART], recita la parte di uno stilista che sa quali articoli vengono solitamente acquistati insieme. La magia è che questo attore può cambiare cappello istantaneamente senza dover lasciare il palco. In un unico passaggio attraverso la cucina, il modello impara da quattro diversi tipi di indizi (segnali) contemporaneamente:

Click di ricerca: Quando qualcuno digita "jeans" e clicca su un risultato.
Sessioni di click: Quando qualcuno clicca da un articolo all'altro in sequenza.
Sessioni di carrello: Quando qualcuno aggiunge articoli al proprio carrello in una sequenza.
Sessioni di ordine: Quando qualcuno acquista effettivamente una sequenza di articoli.

Gli autori hanno scoperto che questi segnali sono molto diversi. Un click di ricerca è come un generico "sono interessato", mentre una sessione di ordine è un "voglio davvero questo specifico combo". Ignorando le differenze e trattandoli tutti allo stesso modo, i vecchi modelli perdevano queste informazioni cruciali. MMRM, invece, impara tutti e quattro contemporaneamente, creando quattro diverse "rappresentazioni" (o mappe mentali) dello stesso prodotto, ognuna tarata per un lavoro diverso.

La Strategia dell'Utente "Multiplex"
Una volta che il modello ha queste quattro diverse mappe dei prodotti, deve capire cosa vuoi tu. Il documento sostiene che non puoi usare una mappa generica per tutti. Invece, MMRM utilizza una strategia di "rappresentazione utente multiplex".

Immagina di navigare. Il sistema guarda la tua cronologia. Se stai solo effettuando una ricerca, utilizza la mappa [SEARCH] per trovare articoli simili a quelli che hai cliccato. Se stai costruendo un carrello, passa alla mappa [CART] per vedere cosa si abbina solitamente bene. È come avere un personal shopper che cambia strategia in base al fatto che tu stia solo facendo un giro di vetrina o che sia pronto a comprare. Prende la tua specifica sequenza di comportamenti e la confronta con il "cappello" giusto del prodotto, creando una raccomandazione altamente personalizzata.

Ciò che hanno Escluso
Il documento argomenta esplicitamente contro due approcci comuni:

Utilizzare un solo segnale: Dimostrano che addestrare un modello solo sui dati di ricerca (o solo sui dati del carrello) lo rende cieco rispetto alle altre relazioni importanti. Non puoi semplicemente sceglierne uno e ignorare il resto.
L'embedding "One-Size-Fits-All": Hanno scoperto che inserire semplicemente una descrizione generica di un prodotto in un modello di ranking non funziona bene per gli scenari multi-task. Questo causa l' "entanglement degli embedding" (aggrovigliamento), dove il modello si confonde perché cerca di usare la stessa nota sia per una query di ricerca che per una previsione del carrello simultaneamente. MMRM rifiuta questo approccio mantenendo le rappresentazioni separate (disentangled) per ogni compito.

La Prova: Numeri Reali, Risultati Reali
Gli autori non hanno solo ipotizzato; hanno testato il sistema su scala massiccia.

Dati di Addestramento: Hanno utilizzato un enorme dataset di 0,3 miliardi di triplette (gruppi di tre articoli correlati) raccolte in sei mesi per la ricerca, e dataset ancora più grandi per i comportamenti di carrello e ordine (fino a 3 anni di dati per gli ordini).
Il Modello: Hanno addestrato un modello da 4 miliardi di parametri (un'IA molto grande) su 8 GPU NVIDIA H800.
I Risultati: Nei loro test, MMRM ha superato tutti i precedenti modelli "single-task" e i modelli "multi-task" che non utilizzavano questo sistema di cappelli speciali.
Impatto nel Mondo Reale: Non si sono fermati alle simulazioni al computer; hanno implementato il sistema sul vero motore di ricerca di JD.com. In un test di una settimana con milioni di utenti giornalieri, il nuovo sistema ha migliorato:
- Il Tasso di Click-Through (CTR) dello 0,42%
- Il Tasso di Aggiunta al Carrello (ACR) dello 0,37%
- Il Tasso di Conversione (CVR) dello 0,35%

Gli autori notano che, sebbene queste percentuali possano sembrare piccole, in una piattaforma con milioni di utenti, anche un aumento dello 0,10% si traduce in una crescita enorme dei ricavi. Grazie a questi guadagni dimostrati, il sistema è ora completamente operativo e aiuta milioni di persone a trovare i loro prodotti.

In breve, MMRM è un modo più intelligente e flessibile per insegnare all'IA come comprendere lo shopping. Smette di cercare di essere un "tuttofare" che non eccelle in nulla, e diventa invece un maestro di molti mestieri utilizzando un unico cervello efficiente con quattro modalità specializzate.

Riepilogo Tecnico: MMRM per il Classamento di Prodotti E-commerce

1. Definizione del Problema

Il classamento della ricerca nell'e-commerce richiede la cattura di preferenze utente granulari attraverso molteplici obiettivi (ad esempio, Click-Through Rate, Add-to-Cart Rate, Conversion Rate). Mentre gli approcci recenti perfezionano i modelli linguistici multimodali (MLLM) generici per generare rappresentazioni degli articoli, gli autori identificano due limitazioni critiche nei metodi esistenti:

Dipendenza da un Singolo Segnale Collaborativo: Gli attuali metodi tipicamente perfezionano gli MLLM utilizzando un solo tipo di segnale (ad esempio, clic query-item basati sulla ricerca o clic item-to-item basati sul comportamento). Gli autori sostengono che i segnali e-commerce siano intrinsecamente eterogenei. I segnali di ricerca catturano una rilevanza ampia, mentre i comportamenti sequenziali (carrello, ordine) riflettono somiglianze più fini e relazioni complementari. Ignorare questa diversità impedisce ai modelli di apprendere le rappresentazioni complete necessarie per il ranking multi-task.
Sottoutilizzo nel Ranking a Valle: I modelli di ranking esistenti spesso trattano le rappresentazioni multimodali come regolari feature degli item, utilizzando una singola tabella di embedding per l'interazione delle feature o un semplice raggruppamento comportamentale. Questo approccio non riesce a catturare gli "intent utente multiplex", portando a una perdita di informazioni e all'entanglement degli embedding in scenari multi-task.

2. Metodologia

La soluzione proposta, il Multiplex Multimodal Representation Model (MMRM), è un framework unificato progettato per allineare gli MLLM con diversi segnali collaborativi e integrarli in sistemi di ranking multi-task.

2.1 Costruzione del Dataset

Gli autori hanno costruito quattro distinti dataset di triplette per catturare segnali eterogenei:

Dataset Q2I (Ricerca): Costruito dai click query-item ( $q2i\_click$ ), che rappresenta il segnale più pervasivo ma a grana grossa. I hard negative sono campionati dalla stessa categoria genitore ma da sottocategorie diverse.
Dataset I2I (Comportamento): Tre dataset ( $i2i\_click$ $i 2 i_c l i c k$ , $i2i\_cart$ $i 2 i_c a r t$ , $i2i\_order$ $i 2 i_or d er$ ) sono costruiti tramite approcci basati su grafi.
- Gli item sono connessi in base ai comportamenti sequenziali dell'utente entro specifici intervalli temporali (ad esempio, 10 minuti per i click, 30 minuti per i carrelli).
- Per mitigare il dominio degli item "hot", gli item ancora vengono sottocampionati utilizzando una funzione di probabilità simile a word2vec.
- Gli hard negative sono campionati dalla stessa sottocategoria dell'item positivo per potenziare l'apprendimento contrastivo.

2.2 Architettura MMRM

MMRM impiega un backbone MLLM condiviso (inizializzato da Qwen3-VL-4B-Instruct) con modifiche architettoniche specifiche per gestire l'apprendimento multi-task:

Token Specifici per il Task: Quattro token speciali—[SEARCH], [CLICK], [CART] e [ORDER]—sono aggiunti agli input per disincagliare i task.
Livelli di Proiezione: Lo stato nascosto del token specifico del task viene proiettato tramite un Multi-Layer Perceptron (MLP) specifico per il task per generare la rappresentazione finale dell'item specifica per il task ( $r^t_i$ ).
Obiettivo di Addestramento: Il modello è addestrato su un mix uniforme dei quattro dataset. Per ogni task $t$ , la perdita di apprendimento contrastivo è calcolata utilizzando coppie positive di quel task, mentre gli item di altri task fungono da in-batch negatives. Ciò consente al modello di apprendere da segnali diversi simultaneamente senza degradazione delle prestazioni.

2.3 Applicazione al Ranking Multi-task

Gli autori introducono una strategia di rappresentazione utente multiplex per il modello di ranking a valle:

Soft Search: Per una data query e un item target, il sistema estrae una sottosequenza comportamentale rilevante top- $K$ utilizzando la tabella di embedding multimodale specifica per l'attuale task (ad esempio, utilizzando gli embedding [CART] per la predizione di ACR).
Rappresentazione Utente: Le rappresentazioni utente specifiche per il task ( $U_t$ ) sono derivate utilizzando un modulo Multi-Head Target Attention (MHTA) sulla sequenza comportamentale filtrata.
Integrazione MMoE: Tutte le rappresentazioni utente specifiche per il task e le altre feature sono elaborate da un modulo Multi-gate Mixture-of-Experts (MMoE) per produrre stati nascosti specifici per il task.
Predizione: Questi stati vengono inviati a torri specifiche per il task (CTR, ACR, CVR) per generare le predizioni finali.

3. Contributi Chiave

Framework Unificato: MMRM allinea efficacementamente quattro diversi segnali collaborativi (ricerca, click, carrello, ordine) utilizzando un backbone condiviso e token specifici per il task, consentendo la generazione efficiente di rappresentazioni di item multiplex in un singolo passaggio di inferenza.
Strategia Utente Multiplex: Il paper propone una strategia innovativa per derivare rappresentazioni utente specifiche per il task da rappresentazioni di item multiplex, affrontando il problema dell'entanglement degli embedding nel ranking multi-task.
Scalabilità: Gli autori dimostrano che MMRM può essere addestrato efficientemente su dati su larga scala (0,3 miliardi di triplette) utilizzando tecniche come GradCache per gestire grandi batch size su moderni MLLM.

4. Risultati Sperimentali

4.1 Valutazione del Modello di Rappresentazione

Performance: MMRM ha superato costantemente i baseline a task singolo e un baseline "Vanilla-Multi" (che utilizzava embedding condivisi con prompt di task).
Efficienza: MMRM genera tutti e quattro gli embedding di task in un singolo passaggio forward, mentre i baseline richiedevano quattro passaggi separati.
Ablation: Gli esperimenti hanno confermato che batch size più grandi (ottenuti tramite GradCache) aumentano significativamente le prestazioni, validando l'importanza di in-batch negatives diversificati.

4.2 Valutazione del Modello di Ranking

Offline: Il modello di ranking proposto utilizzando il filtraggio multiplex ( $SIM_{soft}(item_{MMRM[ALL]})$ ) ha raggiunto i migliori punteggi GAUC per i task CTR, ACR e CVR rispetto ai baseline che utilizzavano singole tabelle di embedding o filtraggio basato su categoria.
A/B Test Online: Implementato sul motore di ricerca e-commerce di JD, il sistema ha mostrato miglioramenti significativi rispetto al baseline online:
- User Click-Through Rate (UCTR): +0,42%
- User Add-to-Cart Rate (UACR): +0,37%
- User Conversion Rate (UCVR): +0,35%
- Gli autori sottolineano che, dato il traffico massiccio della piattaforma, questi incrementi si traducono in una crescita sostanziale dei ricavi.

5. Significato e Claim

Il paper sostiene che l'MMRM affronta con successo i limiti degli attuali sistemi di ranking multimodale sfruttando l'eterogeneità dei segnali e-commerce. Passando dal perfezionamento di un singolo segnale alla modellazione a valle con embedding singoli, l'MMRM fornisce una comprensione più completa dell'intento dell'utente. Il successo del deployment su JD.com, che serve milioni di utenti giornalieri, valida l'efficacia pratica e la scalabilità del framework proposto in un ambiente reale ad alto rischio. Il lavoro sottolinea il valore delle rappresentazioni "multiplex" per disincagliare i complessi comportamenti utente multi-obiettivo.