🤖 machine learning

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

Le papier propose MMRM, un cadre unifié qui aligne les grands modèles de langage multimodaux avec divers signaux collaboratifs pour générer des représentations multiplexes d'articles et d'utilisateurs, améliorant significativement les performances et l'efficacité du classement de la recherche dans le moteur de recherche de JD.

Auteurs originaux : Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un centre commercial numérique massif et ultra-rapide (comme JD.com) où des millions de personnes recherchent le jean parfait. Pour les aider à trouver ce qu'ils veulent, vous avez besoin d'un assistant intelligent qui ne se contente pas de lire le texte sur une étiquette de produit, mais qui « voit » aussi l'image, comprend le style et sait exactement ce que le client recherche.

Pendant longtemps, ces assistants ont eu un problème délicat. Ils étaient comme des étudiants qui n'étudiaient que pour un examen spécifique à la fois. S'ils étudiaient pour la « Recherche », ils étaient excellents pour faire correspondre une requête textuelle à un produit. S'ils étudiaient pour le « Panier », ils étaient doués pour savoir ce que les gens ajoutent à leurs paniers d'achat. Mais essayer de faire étudier à un seul « super-étudiant » (un grand modèle de langage multimodal généraliste) tous ces différents examens en même temps aboutissait généralement à un désordre confus. Les anciennes méthodes tentaient de forcer un « super-étudiant » à apprendre à partir d'un seul type de signal, ou traitaient les notes de l'étudiant comme une liste générique de faits qui n'aidait pas vraiment à prédire ce qu'un utilisateur spécifique voulait ensuite.

Le papier présente un nouveau système appelé MMRM (Multiplex Multimodal Representation Model) qui résout cela en agissant comme un chef cuisinier expert possédant une seule cuisine de haute technologie, mais avec quatre livres de recettes spécialisés.

La Grande Idée : Une seule cuisine, quatre chefs spécialisés
Au lieu de construire quatre cuisines (modèles) séparées pour chaque tâche, le MMRM utilise un « backbone » partagé (la cuisine elle-même) mais lui donne quatre « chapeaux » ou jetons spéciaux : [SEARCH], [CLICK], [CART, et [ORDER].

Voyez cela comme un acteur polyvalent. Lorsqu'il met le chapeau [SEARCH], il joue le rôle d'un détective faisant correspondre un indice textuel à un produit. Lorsqu'il change pour le chapeau [CART], il joue le rôle d'un styliste qui sait quels articles les gens achètent réellement ensemble. La magie est que cet acteur peut changer de chapeau instantanément sans avoir besoin de quitter la scène. En un seul passage dans la cuisine, le modèle apprend de quatre types de indices (signaux) différents en même même temps :

Clics de recherche : Quand quelqu'un tape « jean » et clique sur un résultat.
Sessions de clics : Quand quelqu'un passe d'un article à un autre en une séquence.
Sessions de panier : Quand quelqu'un ajoute des articles à son panier de manière séquentielle.
Sessions de commande : Quand quelqu'un achète réellement une séquence d'articles.

Les auteurs ont découvert que ces signaux sont très différents. Un clic de recherche est comme un « je suis intéressé » assez large, tandis qu'une session de commande est un « je veux vraiment ce combo spécifique ». En ignorant ces différences et en les traitant toutes de la même manière, les anciens modèles passaient à côté de l'essentiel. Le MMRM, cependant, apprend les quatre à la fois, créant quatre « représentations » (ou cartes mentales) distinctes du même produit, chacune adaptée à un travail différent.

La Stratégie de l'Utilisateur « Multiplex »
Une fois que le modèle possède ces quatre cartes différentes des produits, il doit comprendre ce que vous voulez. Le papier soutient que vous ne pouvez pas simplement utiliser une carte générique pour tout le monde. Au lieu de cela, le MMRM utilise une stratégie de « représentation utilisateur multiplex ».

Imaginez que vous naviguez. Le système examine votre historique. Si vous êtes simplement en train de chercher, il utilise la carte [SEARCH] pour trouver des articles similaires à ce que vous avez cliqué. Si vous constituez un panier, il passe à la carte [CART] pour voir ce qui va habituellement bien ensemble. C'est comme avoir un assistant personnel qui change de stratégie en fonction du fait que vous faites juste du lèche-vitrine ou que vous êtes prêt à acheter. Il prend votre séquence de comportement spécifique et la fait correspondre à la bonne « casquette » du produit, créant ainsi une recommandation hautement personnalisée.

Ce qu'ils ont écarté
Le papier argumente explicitement contre deux approches courantes :

L'utilisation d'un seul signal : Ils montrent qu'entraîner un modèle uniquement sur des données de recherche (ou uniquement sur des données de panier) le rend aveugle aux autres relations importantes. On ne peut pas simplement en choisir un et ignorer le reste.
L'embedding « taille unique » : Ils ont constaté que le simple fait de prendre une description de produit générique et de l'injecter dans un modèle de classement ne fonctionne pas bien pour les scénarios multitâches. Cela provoque un « enchevêtrement d'embeddings », où le modèle s'embrouille car il essaie d'utiliser la même note pour une requête de recherche et une prédiction de panier simultanément. Le MMRM rejette cela en gardant les représentations séparées (désenchevêtrées) pour chaque tâche.

La Preuve : Des chiffres réels, des résultats réels
Les auteurs n'ont pas seulement deviné ; ils ont testé cela à une échelle massive.

Données d'entraînement : Ils ont utilisé un énorme ensemble de données de 0,3 milliard de triplets (groupes de trois articles liés) collectés sur six mois pour la recherche, et des ensembles de données encore plus vastes pour les comportements de panier et de commande (jusqu'à 3 ans de données pour les commandes).
Le Modèle : Ils ont entraîné un modèle de 4 milliards de paramètres (une IA très grande) sur 8 GPU NVIDIA H800.
Les Résultats : Dans leurs tests, le MMRM a battu tous les modèles précédents à « tâche unique » ainsi que les modèles « multitâches » qui n'utilisaient pas ce système de chapeaux spéciaux.
Impact dans le monde réel : Ils ne se sont pas arrêtés aux simulations informatiques. Ils ont déployé ce système sur le véritable moteur de recherche de JD.com. Lors d'un test d'une semaine avec des millions d'utilisateurs quotidiens, le nouveau système a amélioré :
- Le Taux de Clic (CTR) de 0,42 %
- Le Taux d'Ajout au Panier (ACR) de 0,37 %
- Le Taux de Conversion (CVR) de 0,35 %

Les auteurs notent que bien que ces pourcentages semblent faibles, sur une plateforme comptant des millions d'utilisateurs, même une hausse de 0,10 % entraîne une croissance massive des revenus. Grâce à ces gains prouvés, le système est désormais pleinement opérationnel et aide des millions de personnes à trouver leurs produits.

En résumé, le MMRM est une façon plus intelligente et plus flexible d'apprendre à l'IA comment comprendre le shopping. Il cesse d'essayer d'être un « touche-à-tout » qui ne maîtrise rien, pour devenir un maître de plusieurs métiers en utilisant un seul cerveau efficace doté de quatre modes spécialisés.

Résumé Technique : MMRM pour le Classement de Produits E-commerce

1. Énoncé du Problème

Le classement de recherche dans l'e-commerce nécessite de capturer les préférences fines des utilisateurs à travers de multiples objectifs (ex: Taux de Clic (CTR), Taux d'Ajout au Panier (ACR), Taux de Conversion (CVR)). Bien que les approches récentes affinent les Modèles de Langage Multimodaux (MLLM) généraux pour générer des représentations d'articles, les auteurs identifient deux limitations critiques dans les méthodes existantes :

Dépendance à un Signal Collaboratif Unique : Les méthodes actuelles affinent généralement les MLLM en utilisant un seul type de signal (ex: clics de requête vers article basés sur la recherche ou clics d'article à article basés sur le comportement). Les auteurs soutiennent que les signaux de l'e-commerce sont intrinsèquement hétérogènes. Les signaux de recherche capturent une pertinence large, tandis que les comportements séquentiels (panier, commande) reflètent des similitudes plus fines et des relations complémentaires. Ignorer cette diversité empêche les modèles d'apprendre les représentations complètes nécessaires au classement multitâche.
Sous-utilisation dans le Classement Aval : Les modèles de classement existants traitent souvent les représentations multimodales comme des caractéristiques régulières, utilisant une table d'embedding unique pour l'interaction de caractéristiques ou un simple regroupement par comportement. Cette approche échoue à capturer les « intentions utilisateur multiplexes », entraînant une perte d'information et un enchevêtrement des embeddings dans les scénarios multitâches.

2. Méthodologie

La solution proposée, le Multiplex Multimodal Representation Model (MMRM), est un cadre unifié conçu pour aligner les MLLM avec divers signaux collaboratifs et les intégrer dans des systèmes de classement multitâches.

2.1 Construction du Jeu de Données

Les auteurs ont construit quatre jeux de données triplets distincts pour capturer des signaux hétérogènes :

Jeu de données Q2I (Recherche) : Construit à partir des clics requête-article ( $q2i\_click$ ), représentant le signal le plus répandu mais le plus grossier. Les négatifs difficiles (hard negatives) sont échantillonnés à partir de la même catégorie parente mais de sous-catégories différentes.
Jeux de données I2I (Comportement) : Trois jeux de données ( $i2i\_click$ $i 2 i_c l i c k$ , $i2i\_cart$ $i 2 i_c a r t$ , $i2i\_order$ $i 2 i_or d er$ ) sont construits via des approches basées sur des graphes.
- Les articles sont connectés selon les comportements séquentiels des utilisateurs dans des fenêtres de temps spécifiques (ex: 10 minutes pour les clics, 30 minutes pour les paniers).
- Pour atténuer la dominance des articles populaires (hot-items), les articles ancres sont sous-échantillonnés à l'aide d'une fonction de probabilité similaire à word2vec.
- Les négatifs difficiles sont échantillonnés à partir de la même sous-catégorie que l'article positif pour renforcer l'apprentissage contrastif.

2.2 Architecture MMRM

MMRM utilise un backbone MLLM partagé (initialisé à partir de Qwen3-VL-4B-Instruct) avec des modifications architecturales spécifiques pour gérer l'apprentissage multitâche :

Tokens Spécifiques aux Tâches : Quatre tokens spéciaux — [SEARCH], [CLICK], [CART], et [ORDER] — sont ajoutés aux entrées pour désenchevêtrer les tâches.
Couches de Projection : L'état caché du token de tâche spécifique est projeté via un MLP (Perceptron Multicouche) spécifique à la tâche pour générer la représentation finale de l'article spécifique à la tâche ( $r^t_i$ ).
Objectif d'Entraînement : Le modèle est entraîné sur un mélange uniforme des quatre jeux de données. Pour chaque tâche $t$ , la perte d'apprentissage contrastif est calculée en utilisant les paires positives de cette tâche, tandis que les articles des autres tâches servent de négatifs au sein du batch (in-batch negatives). Cela permet au modèle d'apprendre de divers signaux simultanément sans dégradation des performances.

2.3 Application au Classement Multitâche

Les auteurs introduisent une stratégie de représentation utilisateur multiplexe pour le modèle de classement aval :

Recherche Douce (Soft Search) : Pour une requête et un article cible donnés, le système extrait une sous-séquence de comportement pertinente de top- $K$ en utilisant la table d'embedding multimodale spécifique à la tâche actuelle (ex: utiliser les embeddings [CART] pour la prédiction de l'ACR).
Représentation Utilisateur : Les représentations utilisateur spécifiques aux tâches ( $U_t$ ) sont dérivées à l'aide d'un module de Multi-Head Target Attention (MHTA) sur la séquence de comportement filtrée.
Intégration MMoE : Toutes les représentations utilisateur spécifiques aux tâches et autres caractéristiques sont traitées par un module Multi-gate Mixture-of-Experts (MMoE) pour produire des états cachés spécifiques aux tâches.
Prédiction : Ces états sont injectés dans des tours (towers) spécifiques aux tâches (CTR, ACR, CVR) pour générer les prédictions finales.

3. Contributions Clés

Cadre Unifié : MMRM aligne efficacement les MLLM avec quatre signaux collaboratifs divers (recherche, clic, panier, commande) en utilisant un backbone partagé et des tokens spécifiques aux tâches, permettant la génération efficace de représentations d'articles multiplexes en une seule passe d'inférence.
Stratégie Utilisateur Multiplexe : L'article propose une stratégie novatrice pour dériver des représentations utilisateur spécifiques aux tâches à partir de représentations d'articles multiplexes, répondant au problème d'enchevêtrement des embeddings dans le classement multitâche.
Scalabilité : Les auteurs démontrent que MMRM peut être entraîné efficacement sur des données à grande échelle (0,3 milliard de triplets) en utilisant des techniques comme GradCache pour gérer de grands batchs sur des MLLM modernes.

4. Résultats Expérimentaux

4.1 Évaluation du Modèle de Représentation

Performance : MMRM a systématiquement surpassé les baselines à tâche unique et une baseline "Vanilla-Multi" (qui utilisait des embeddings partagés avec des prompts de tâche).
Efficacité : MMRM génère les quatre embeddings de tâche en une seule passe directe (forward pass), alors que les baselines nécessitaient quatre passes distinctes.
Ablation : Les expériences ont confirmé que des tailles de batch plus importantes (obtenues via GradCache) augmentent considérablement les performances, validant l'importance de la diversité des négatifs in-batch.

4.2 Évaluation du Modèle de Classement

Hors-ligne (Offline) : Le modèle de classement proposé utilisant le filtrage multiplex ( $SIM_{soft}(item_{MMRM[ALL]})$ ) a obtenu les meilleurs scores GAUC pour les tâches CTR, ACR et CVR par rapport aux baselines utilisant des tables d'embeddings uniques ou un filtrage par catégorie.
Test A/B en Ligne : Déployé sur le moteur de recherche e-commerce de JD, le système a montré des améliorations significatives par rapport à la baseline en ligne :
- Taux de Clic Utilisateur (UCTR) : +0,42 %
- Taux d'Ajout au Panier Utilisateur (UACR) : +0,37 %
- Taux de Conversion Utilisateur (UCVR) : +0,35 %
- Les auteurs notent qu'étant donné le trafic massif de la plateforme, ces hausses se traduisent par une croissance substantielle du chiffre d'affaires.

5. Signification et Revendications

L'article affirme que MMRM résout avec succès les limitations des systèmes de classement multimodaux actuels en exploitant l'hétérogénéité des signaux de l'e-commerce. En s'éloignant de l'affinage à signal unique et de la modélisation de classement à embedding unique en aval, MMRM offre une compréhension plus complète de l'intention de l'utilisateur. Le déploiement réussi sur JD.com, servant des millions d'utilisateurs quotidiens, valide l'efficacité pratique et la scalabilité du cadre proposé dans un environnement réel à enjeux élevés. Ce travail souligne la valeur des représentations « multiplexes » pour désenchevêtrer les comportements utilisateurs complexes et multi-objectifs.