🤖 AI

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

Ce document présente Pailitao-MMSearch, un modèle de fondation de recherche multimodale natif pour l'e-commerce construit sur Qwen qui intègre des identifiants sémantiques hybrides (Hybrid Semantic IDs), une stratégie de pré-entraînement continu en deux étapes et un pipeline de post-entraînement de raisonnement hybride afin de surmonter les limites des modèles unimodaux isolés et des modèles de vision-langage à usage général, réalisant des gains commerciaux significatifs avec une amélioration du GMV allant jusqu'à +13,61 % sur la plateforme Taobao.

Auteurs originaux : Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xi

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans un centre commercial numérique géant et infini. Autrefois, si vous vouliez trouver un t-shirt spécifique, vous deviez taper une description très précise dans une barre de recherche, comme « t-shirt en coton rouge ». Si vous vouliez trouver des chaussures qui ressemblaient à une photo vue dans la rue, vous deviez prendre une photo en espérant que l'ordinateur puisse deviner ce que vous cherchiez. Pendant longtemps, les ordinateurs étaient comme des travailleurs spécialisés : un travailleur ne comprenait que le texte, un autre uniquement les images, et un troisième uniquement la voix. Ils ne se parlaient pas entre eux. Si vous leur donniez un mélange d'une image et d'une phrase, ils s'embrouillaient, ignorant souvent vos mots ou manquant les détails de la photo.

D'un autre côté, il existe des ordinateurs généralistes super intelligents, capables de regarder une image et d'en écrire un poème. Mais ces généralistes sont comme des touristes dans le centre commercial ; ils savent ce qu'est un « t-shirt » de manière générale, mais ils ne connaissent pas la différence entre un « mélange de soie » et du « 100 % coton », ni le fait que les personnes qui achètent un appareil photo spécifique achètent généralement un type de lentille bien précis. Ils manquent de la connaissance approfondie de l'intérieur sur la façon dont le shopping fonctionne réellement. La grande question pour les scientifiques est la suivante : comment construire un ordinateur unique et super intelligent qui soit à la fois un maître acheteur (connaissant chaque minuscule détail des produits et ce que les gens aiment) et un excellent interlocuteur (comprenant des instructions complexes et mixtes), tout en sachant comment réfléchir et raisonner ?

C'est exactement ce que l'équipe derrière Pailitao-MMSearch a cherché à résoudre. Ils ont construit un nouveau genre de « cerveau de recherche » conçu spécifiquement pour l'e-commerce. Au lieu d'utiliser des outils séparés pour les images et les mots, ils ont créé un modèle unique capable de regarder une photo, de lire une description textuelle désordonnée et de générer instantanément une liste de produits parfaits. Ils n'ont pas seulement peaufiné un modèle existant ; ils lui ont appris un nouveau langage pour parler des produits, l'ont entraîné sur des millions d'habitudes d'achat, puis ont soigneusement poli ses capacités de raisonnement pour qu'il n'oublie pas comment être intelligent.

Le Problème : Le magasin « patchwork » contre le guide « touriste »

Les auteurs soulignent que les systèmes de shopping en ligne actuels sont un peu désordonnés. La plupart des grandes boutiques utilisent une approche « patchwork ». Si vous cherchez avec une photo, un chercheur d'images spécialisé cherche des images similaires. Si vous tapez des mots, un chercheur de texte cherche des titres correspondants. Si vous dites « trouve une robe rouge comme celle de cette photo mais avec des manches longues », le système doit maladroitement découper votre demande en morceaux, les envoyer à différents travailleurs, puis essayer de recoller les résultats. C'est lent, compliqué, et cela passe souvent à côté de l'essentiel car les travailleurs ne comprennent pas comment l'image et les mots fonctionnent ensemble.

Alternativement, il y a les guides « touristes » (les modèles d'IA à usage général). Ils sont excellents pour comprendre le monde, mais ils ne connaissent pas les règles spécifiques du centre commercial. Ils pourraient ne pas réaliser que la « soie » et le « satin » sont différents, ou qu'un utilisateur qui achète une coque de téléphone cherche probablement un protège-écran ensuite. Ils ne peuvent pas non plus pointer directement un produit spécifique dans un catalogue de milliards d'articles ; ils ont généralement besoin d'un outil séparé pour faire cela, ce qui brise le flux.

La Solution : Un nouveau langage pour les produits

Pour corrifier cela, l'équipe a créé Pailitao-MMSearch, une fondation de recherche native pour l'e-commerce. Considérez cela comme l'entraînement d'un nouvel employé qui parle couramment la langue du centre commercial.

1. L'ID Hybride (HybSID) : Le « code postal » et le « portrait »
Le plus grand défi est de dire à l'ordinateur ce qu'est un produit. Imaginez que vous avez une bibliothèque avec des milliards de livres. Si vous ne donnez que leur « code postal » (comme « Fiction - Mystère »), vous obtenez un énorme tas de livres, mais vous ne pouvez pas trouver l'exact que vous voulez. Si vous ne donnez que leur « portrait » (une description détaillée), il est difficile de les organiser efficacement.

L'équipe a inventé l'HybSID (Hybrid Semantic ID). C'est comme donner à chaque produit deux identifiants à la fois :

Le Code Postal (Codes Discrets) : Un code court et simple qui regroupe les produits dans des catégories larges (ex : « Robe d'été »). Cela aide l'ordinateur à réduire rapidement la recherche.
Le Portrait (Embedding Continu) : Un « portrait » détaillé et à haute résolution du produit qui capture les détails infimes comme la nuance exacte de bleu, la texture du tissu ou le logo spécifique de la marque.

En combinant ces deux éléments, le modèle peut rapidement trouver le bon « quartier » de produits, puis choisir celui qui correspond exactement à la description floue de l'utilisateur.

2. L'entraînement en deux étapes : Apprendre le centre commercial, puis garder le cerveau
Apprendre à une IA générale à devenir un expert du shopping est risqué. Si vous lui injectez simplement des millions de descriptions de produits, elle pourrait oublier comment parler une langue normale ou comment raisonner logiquement. C'est ce qu'on appelle l'« oubli catastrophique ».

L'équipe a utilisé un processus d'entraînement ingénieux en deux étapes :

Étape 1 (Le Stage) : Ils ont tout appris au modèle sur le shopping : les détails des produits, la façon dont les gens naviguent et quels articles vont ensemble. Ils ont également ajouté des données de conversation normale pour éviter qu'il ne devienne obsédé uniquement par les produits.
Étape 2 (Le Mentorat) : Ils ont remarqué que le modèle devenait un peu « rouillé » en raison de son raisonnement général. Ils ont donc utilisé la version originale et intelligente du modèle comme « mentor ». Ils ont fait pratiquer au nouveau modèle des tâches générales pendant que le mentor observait, le corrigeant doucement pour s'assurer qu'il ne perdait pas sa capacité à réfléchir et à suivre des instructions complexes. Cela a permis de garantir que le modèle final soit à la fois un expert du shopping et un interlocuteur intelligent.

3. Le Moteur de Raisonnement : Réfléchir avant de parler
Le shopping n'est pas toujours simple. Parfois, vous dites : « Je veux une robe comme celle-ci, mais en bleu marine, et qu'elle soit adaptée pour un mariage. » C'est une requête complexe.
L'équipe a appris au modèle à utiliser le raisonnement par Chaîne de Pensée (Chain-of-Thought) pour les questions difficiles. Au lieu de simplement deviner la réponse, le modèle apprend à décomposer le problème :

Analyser la photo : « C'est une robe à fleurs. »
Lire la requête : « Changer la couleur en bleu marine, changer le style pour un style formel. »
Trouver la correspondance : « D'accord, j'ai besoin d'une robe à fleurs, bleue et formelle. »
Pour les questions simples, il saute l'étape de réflexion et va directement à la réponse pour gagner du temps.

Les Résultats : Succès dans le monde réel

L'équipe ne s'est pas contentée de tester cela en laboratoire ; elle l'a déployé sur la plateforme Pailitao de Taobao, qui sert des dizaines de millions d'utilisateurs quotidiens. Ils ont mené un test massif (un test A/B) où certains utilisateurs utilisaient l'ancien système de recherche et d'autres le nouveau Pailitao-MMSearch.

Les résultats ont été impressionnants. Le nouveau système a conduit à :

Une augmentation de 13,61 % de la valeur totale des marchandises vendues (GMV).
Une augmentation de 8,21 % du nombre de transactions.

Cela suggère que lorsque l'ordinateur comprend réellement ce que vous voulez — en combinant votre photo, vos mots et vos habitudes d'achat — il vous aide à trouver exactement ce que vous cherchez, et vous finissez par acheter davantage.

Et après ?

Les auteurs admettent que le système n'est pas encore parfait. Si un utilisateur télécharge une photo floue prise sous un angle étrange ou écrit une phrase pleine de fautes de frappe, le modèle peut encore s'embrouiller. Ils prévoient de rendre le modèle encore meilleur pour raisonner à travers ces situations réelles et désordonnées. Ils voient également un avenir où ce modèle de recherche intelligent agira comme un « cerveau » pour des agents d'achat autonomes capables d'accomplir des tâches multi-étapes, comme trouver une tenue, vérifier la météo et tout commander en une seule fois.

En résumé, Pailitao-MMSearch est une étape vers une expérience de shopping où l'ordinateur ne se contente pas de faire correspondre des mots-clés, mais comprend réellement votre intention, votre style et vos besoins, le tout dans une conversation fluide et sans couture.

Résumé Technique : Pailitao-MMSearch

Énoncé du Problème

L'évolution de la recherche dans l'e-commerce est passée de simples requêtes textuelles à des interactions multimodales complexes impliquant des images, du langage naturel et des instructions à intentions mixtes. Cependant, les systèmes de production existants sont confrontés à un dilemlement critique :

Modèles Spécialistes Unimodaux : Déployés indépendamment pour les tâches textuelles, visuelles et vocales, ces modèles opèrent dans des espaces de représentation isolés. Ils ne peuvent pas gérer nativement les requêtes cross-modales où le sens émerge de l'interaction entre les modalités, forçant les systèmes à s'appuyer sur des heuristiques de fusion ad hoc qui augmentent la latence et la complexité.
Modèles de Vision-Langage (VLM) à Usage Général : Bien que capables de traiter des images et du texte, ces modèles manquent de connaissances critiques propres au domaine de l'e-commerce. Ils ne parviennent pas à comprendre les attributs de produits fins (ex: composition des matériaux, niveaux de marque), manquent de signaux de filtrage collaboratif (préférences des utilisateurs, modèles de cooccurrence) et ne peuvent pas générer directement des identifiants de produits structurés pour la recherche parmi des milliards d'articles.

Ces limitations entraînent des échecs d'expérience utilisateur, tels que l'ignorance des contraintes textuelles au profit du contenu visuel ou l'incapacité à capturer la véritable intention commerciale.

Méthodologie

Les auteurs proposent Pailitao-MMSearch, un modèle de fondation de recherche multimodale natif pour l'e-commerce, construit sur l'architecture Qwen3 et l'encodeur visuel Qwen2-VL. L'approche reformule la recherche multimodale comme un problème de génération de produits autoregressif de bout en bout, composé de trois innovations centrales :

1. HybSID (Hybrid Semantic ID)

Pour permettre la recherche générative sur un catalogue de l'ordre du milliard tout en maintenant une discrimination fine, les auteurs introduisent un nouveau schéma de tokenisation de produit :

Codes Sémantiques Discrets : Les produits sont encodés en une séquence de trois tokens discrets ( $c_1, c_2, c_3$ ) via la Quantification Résiduelle (RQ-VAE). Ceux-ci fournissent un regroupement catégoriel du grossier au fin pour une génération autoregressive efficace.
Embedding Multimodal Continu : Pour récupérer les détails visuels et d'attributs fins perdus lors de la quantification, chaque produit conserve un embedding continu ( $e$ ).
Représentation Unifiée : Un token spécial <|emb_token|> est introduit. Lors de la phase de génération, le modèle produit de manière autoregressive les codes discrets suivis de <|emb_token|>, dont l'état caché est décodé via un MLP léger (HybDecoder) pour reconstruire l'embedding continu. Cela permet au modèle d'effectuer à la fois une recherche grossière (via SID) et un classement fin (via la similarité d'embedding) au sein d'un cadre unique.

2. Pré-entraînement Continu (CPT) en Deux Étapes

Pour injecter des connaissances métier sans oubli catastrophique, les auteurs emploient un pipeline en deux étapes :

Étape 1 (Injection de Connaissances Métier) : Le modèle est entraîné sur des objectifs spécifiques à l'e-commerce, incluant l'Alignement des Connaissances Produits (correspondance entre HybSID et titres/attributs de produits) et l'Alignement du Comportement Utilisateur (prédiction des prochaines interactions et modélisation des schémas de cooccurrence). Une petite proportion de données de langage naturel général est incluse pour servir de régularisateur.
Étape 2 (Préservation des Capacités via Distillation On-Policy) : Le corpus de pré-entraînement original étant inaccessible, les auteurs utilisent le modèle de base comme enseignant. Ils échantillonnent des réponses on-policy à partir du modèle étudiant de l'Étape 1 et minimisent la divergence de Kullback-Leibler (KL) entre la distribution de sortie de l'étudiant et la distribution de l'enseignant sur des prompts de domaine général. Cela restaure les capacités de suivi d'instructions et de raisonnement perdues lors de l'adaptation au domaine.

3. Pipeline de Post-Entraînement de Raisonnement Hybride

Le modèle final est adapté à diverses intentions de recherche via un pipeline multiphase :

SFT Multi-Tâches : Les données sont construites à partir de trajectoires réelles d'utilisateurs, stratifiées par difficulté.
Raisonnement Hybride : Le modèle est entraîné à utiliser la génération directe pour les requêtes simples (difficulté normale) et le raisonnement par Chaîne de Pensée (CoT) pour les intentions complexes (difficulté élevée), décomposant le processus de recherche en étapes explicites (identification d'attributs, analyse d'intention, raisonnement, génération).
Apprentissage par Renforcement (RL) : En utilisant l'Optimisation de Politique Relative de Groupe (GRPO), le modèle est optimisé avec des récompenses vérifiables basées sur la précision du SID et la similarité d'embedding par rapport à un ensemble de produits de vérité terrain, plutôt que sur de simples clics enregistrés.
Distillation On-Policy Multi-Expert : Le modèle final fusionne les capacités de modèles experts de RL spécialisés, du LLM de base et du modèle SFT dans un système unifié.

Principales Contributions

Tokenisation HybSID : Un schéma hybride combinant des identifiants sémantiques discrets avec des embeddings multimodaux continus, permettant une compréhension fine des produits et une génération autoregressive de bout en bout au sein d'un seul modèle de langage.
Stratégie CPT en Deux Étapes : Une méthode pour injecter des connaissances métier (attributs de produits et comportement utilisateur) tout en atténuant l'oubli catastrophique grâce à la Distillation On-Policy, même sans accès au corpus de pré-entraînement original.
Pipeline de Raisonnement Hybride : Un cadre de post-entraînement intégrant le raisonnement CoT sensible à la difficulté, le RL basé sur des récompenses vérifiables et la fusion de connaissances multi-experts pour gérer des intentions de recherche multimodales simples et complexes.
Déploiement Industriel : Le modèle est déployé sur la plateforme Pailitao de Taobao, servant des dizaines de millions d'utilisateurs actifs quotidiens.

Résultats

Le papier rapporte des tests A/B en ligne et des évaluations hors ligne étendues :

Performance en Ligne : Sur le floor "PeiWoGuang" (un scénario de recherche visuelle), le déploiement combiné de recherche générative et de classement a atteint une augmentation de +13,61 % du Volume d'Affaires Brut (GMV) et une augmentation de +8,21 % du Volume de Transactions par rapport au pipeline multimodal traditionnel. Les métriques globales de la plateforme Pailitao ont également montré des hausses positives (+1,02 % GMV, +0,53 % Volume de Transactions).
Évaluation Hors Ligne :
- Compréhension du Domaine : Le modèle a démontré une forte capacité à traduire les SID en légendes et attributs, ainsi qu'en reconnaissance de SID multimodale (Retrieval@10 de bout en bout atteignant 4,43 %).
- Capacités de Langage Général : Le modèle CPT de l'Étape 2 a réussi à restaurer les capacités de suivi d'instructions (la précision IFEval strict-prompt est passée de 36,78 % à 38,45 % par rapport à l'Étape 1), tout en maintenant les performances sur des benchmarks généraux comme MMLU-Redux et C-Eval.
- Suivi d'Instructions : Dans les tâches de recherche multimodale, le modèle a atteint des taux élevés de Suivi Strict d'Instructions (SIF) (ex: 55,0 % pour la Recherche de Produit Correspondant) et un fort Recall@10 (0,8544).

Signification et Revendications

Les auteurs affirment que Pailitao-MMSearch répond aux limitations fondamentales des systèmes spécialistes unimodaux et des VLM à usage général en créant un fondation de recherche multimodale e-commerce native.

Intégration Native : Contrairement aux approches reposant sur des modules de recherche externes ou l'appel d'outils, ce modèle intègre l'intégralité du catalogue de produits dans son vocabulaire, permettant une véritable génération de bout en bout.
Fondation Native au Domaine : Le papier soutient que le goulot d'étranglement critique pour les futurs systèmes de recherche agentiques n'est pas le cadre d'orchestration, mais la disponibilité d'un modèle de fondation possédant une véritable compréhension du domaine de l'e-commerce. Pailitao-MMSearch sert d'infrastructure essentielle.
Efficacité Pratique : Les améliorations substantielles du GMV et du volume de transactions valident que l'intégration des connaissances métier, de la modélisation du comportement utilisateur et du raisonnement multimodal dans un seul modèle génératif produit des résultats commerciaux supérieurs par rapport aux architectures en cascade traditionnelles.

Les auteurs reconnaissent les limitations actuelles, particulièrement dans la gestion d'entrées multimodales hautement complexes, bruitées ou ambiguës (ex: images basse résolution avec fautes de frappe), et identifient l'amélioration des capacités de raisonnement multimodal comme une priorité pour les futures itérations.