🤖 AI

Enhancement of E-commerce Sponsored Search Relevancy with LLM

Cet article présente un nouveau modèle de pertinence de la recherche sponsorisée pour l'e-commerce qui affine le modèle de langage LLAMA2 7B en utilisant l'adaptation de bas rang (LoRA) pour atteindre une précision de 89,43 % dans la classification de la pertinence entre publicité et requête, surpassant ainsi les modèles de référence et GPT-4 tout en améliorant l'efficacité opérationnelle et la confidentialité.

Auteurs originaux : Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans un entrepôt massif et chaotique (comme Walmart.com) à la recherche d'un article spécifique, disons des « bottes de randonnée imperméables ». Vous criez votre requête, et l'assistant numérique du magasin doit instantanément trouver la paire de bottes parfaite pour vous la présenter.

Autrefois, cet assistant était comme un robot qui ne comprenait que les correspondances de mots exactes. Si vous disiez « bottes de pluie », il pouvait être confus si le produit était répertorié sous le nom de « chaussures de randonnée imperméables ». Il manquait souvent la nuance de ce que vous vouliez réellement, affichant des choses proches mais pas tout à fait exactes.

Ce document décrit comment l'équipe de Walmart a construit un assistant beaucoup plus intelligent en utilisant un type d'intelligence artificielle appelé Modèle de Langage Étendu (LLM), plus précisément une version appelée LLaMA2. Voici une décomposition simple de ce qu'ils ont fait et pourquoi cela importe :

1. Le problème : « L'aiguille dans une botte de foin »

Dans l'e-commerce, il existe des millions de produits et des millions de façons de les rechercher. Le défi est de faire correspondre la requête de recherche courte, parfois vague, d'un utilisateur (comme « bottes de randonnée imperméables ») avec le titre du bon produit à partir d'une liste massive.

L'ancienne méthode : Utilisait des règles rigides. Elle échouait souvent à comprendre que « bottes de randonnée » et « chaussures d'extérieur » pouvaient signifier la même chose pour un humain.
La nouvelle méthode : Utilise une IA qui « lit » et « comprend » le sens derrière les mots, tout comme un humain le fait.

2. La solution : Un « stagiaire spécialisé » (LoRA)

L'équipe a pris un cerveau d'IA pré-entraîné très puissant (LLaMA2 7B) qui possède déjà de nombreuses connaissances sur le langage humain. Cependant, ce cerveau est énorme et coûteux à exploiter. Ils ne voulaient pas réentraîner tout le cerveau à partir de zéro (ce qui reviendrait à apprendre à un génie à lire un dictionnaire encore et encore).

Au lieu de cela, ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation).

L'analogie : Imaginez que le modèle LLaMA2 est un bibliothécaire brillant et polyvalent qui connaît tout sur les livres, les films et la science. Vous voulez qu'il travaille spécifiquement dans la section « Équipement de randonnée » de la bibliothèque.
L'astuce : Au lieu de licencier le bibliothécaire et d'en embaucher un nouveau, ou de faire relire toute la bibliothèque au bibliothécaire, vous lui donnez une fiche de triche spécialisée (l'adaptateur LoRA). Cette fiche de triche lui enseigne les règles spécifiques de l'« équipement de randonnée » sans changer sa personnalité ou sa mémoire entière.
Le résultat : Le bibliothécaire devient instantanément un expert en équipement de randonnée, en utilisant très peu d'énergie ou de temps supplémentaire.

3. La mission : Le « juge de pertinence »

L'équipe a appris à cette IA spécialisée à agir comme un juge pour les résultats de recherche. Lorsqu'un utilisateur tape une requête et que le système suggère un produit, l'IA examine la paire et lui attribue un score dans l'une des trois catégories suivantes :

Pertinent : « Oui, c'est exactement ce que l'utilisateur veut. » (ex. Requête : « Bottes imperméables » / Produit : « Bottes de randonnée Gore-Tex »).
Partiellement pertinent : « C'est proche, mais peut-être pas parfait. » (ex. Requête : « Bottes de randonnée » / Produit : « Bottes de pluie imperméables » – bon pour la pluie, mais peut-être pas pour la randonnée).
Non pertinent : « Non, c'est un article totalement différent. » (ex. Requête : « Bottes de randonnée » / Produit : « Tapis de cuisson en silicone »).

4. Les résultats : Plus intelligent et plus rapide

L'équipe a testé ce nouvel « stagiaire spécialisé » par rapport à d'autres modèles intelligents, y compris un modèle très célèbre appelé GPT-4 et d'anciens outils de recherche standards.

Précision : Le nouveau modèle a réussi 89,43 % du temps.
Comparaison : Il a battu les anciens modèles standards et a même surpassé GPT-4 dans cette tâche spécifique.
Pourquoi GPT-4 a perdu : Le document suggère que GPT-4 « sur-généralisait » parfois. Par exemple, si vous cherchiez « poulet effiloché », GPT-4 pourrait penser qu'un « hachoir à poulet » est très pertinent parce que les mots correspondent. Mais le LLaMA2 spécialisé a compris que si vous cherchez de la nourriture, vous ne voulez probablement pas l'outil pour la préparer. Il a compris l'intention, pas seulement les mots.

5. Pourquoi cela vous concerne

Un meilleur shopping : Vous obtenez des résultats qui correspondent réellement à ce que vous recherchez, et non pas seulement des mots qui se ressemblent.
Coût et confidentialité : Parce qu'ils ont utilisé la méthode de la « fiche de triche » (LoRA) au lieu de reconstruire tout le cerveau, c'est moins cher à exploiter et cela protège davantage les données (puisqu'ils n'ont pas besoin d'envoyer des données vers des serveurs externes pour utiliser un modèle géant).
Succès commercial : Lorsque les clients trouvent ce qu'ils veulent plus rapidement, ils sont plus satisfaits et plus susceptibles d'acheter.

En résumé : Ce document montre qu'en donnant à une IA générale intelligente une « fiche de triche » spécialisée pour le shopping, Walmart peut comprendre bien mieux ce que les clients veulent réellement, ce qui conduit à une expérience d'achat plus fluide, plus précise et sans se ruiner.

Résumé Technique : Amélioration de la Pertinence de la Recherche Sponsorisée dans l'E-commerce via les LLM

Énoncé du Problème
La recherche sponsorisée est une source de revenus critique pour les plateformes d'e-commerce, reposant sur l'appariement précis des mots-clés des annonceurs avec les requêtes de recherche des utilisateurs. Cependant, garantir la pertinence des publicités est compliqué par l'espace de mots-clés vaste et évolutif, l'ambiguïté des intentions des utilisateurs et des annonceurs, ainsi que la diversité des sujets et des langues. Les approches algorithmiques traditionnelles, telles que la correspondance de mots-clés et le filtrage collaboratif, échouent souvent à capturer la nuance du langage des requêtes de consommation (par exemple, les préférences implicites pour la durabilité ou la gamme de prix). Cette limitation conduit à des résultats de recherche sous-optimaux, impactant négativement la satisfaction des utilisateurs, les taux de clics et les taux de conversion. Le défi consiste à développer un système capable d'interpréter rapidement, précisément et de manière rentable les intentions de requêtes brèves et complexes dans les contraintes d'un environnement d'e-commerce en direct.

Méthodologie
Les auteurs proposent un modèle de pertinence publicitaire avancé basé sur le modèle de langage de grande taille (LLM) à décodeur LLaMA2 7B, spécifiquement adapté au contexte de la recherche sponsorisée de l'e-commerce. L'innovation technique centrale est l'utilisation de l'adaptation de bas rang (Low-Rank Adaptation - LoRA) pour affiner le modèle pré-entraîné.

Architecture : Le système utilise une approche de fine-tuning paramétriquement efficace (Peft). Au lieu de réentraîner l'intégralité du modèle de 7 milliards de paramètres, LoRA introduit des matrices de bas rang ( $A$ et $B$ ) aux matrices de poids de composants spécifiques, incluant le mécanisme d'attention (projections de requête, de clé, de valeur et de sortie) et les réseaux de neurones à propagation avant (projections de porte, de montée et de descente). Les poids originaux ( $W$ ) restent gelés, tandis que seuls les paramètres LoRA sont mis à jour pendant l'entraînement. Cela réduit considérablement les ressources de calcul et le temps d'entraînement.
Formulation de la Tâche : Le modèle fonctionne comme un classificateur <requête, titre d'annonce>. Il prend en entrée une requête utilisateur et un titre d'article publicitaire et prédit un score de pertinence, classant la paire dans l'une des trois catégories : Pertinent, Partiellement Pertinent ou Non Pertinent.
Données d'Entraînement : Le modèle a été entraîné sur un ensemble de données dérivées des journaux de requêtes de Walmart, comprenant 250 000 paires requête-article pour l'entraînement, avec 56 000 paires chacune pour la validation et le test. Les données ont été annotées par des évaluateurs humains tiers sur une échelle de trois points (0 : Non pertinent, 1 : Partiellement pertinent, 2 : Pertinent), le vote majoritaire déterminant la vérité terrain.
Optimisation : Le modèle a été entraîné avec l'optimiseur Adam avec un taux d'apprentissage de 1e-5 et une fonction de perte de cross-entropie catégorielle sur 7 époques, sur une configuration composée de 4 GPU Tesla V100.

Contributions Clés

Adaptation des LLM pour l'E-commerce : L'article démontre l'adaptation réussie du modèle open-source LLaMA2 7B pour comprendre les intentions spécifiques derrière les requêtes d'e-commerce (par exemple, « ampoules LED écoénergétiques ») sans nécessiter un système distinct et complexe de compréhension des requêtes.
Fine-tuning Efficace via LoRA : Les auteurs présentent une application novatrice de LoRA pour affiner un grand modèle de langage pour la recherche sponsorisée, atteignant une haute performance tout en maintenant l'efficacité computationnelle et la confidentialité opérationnelle.
Système de Classification Novateur : Le développement d'un classificateur spécialisé <requête, titre d'annonce> qui distingue la pertinence à travers trois catégories distinctes, améliorant ainsi les modèles de pertinence binaire.
Cadre d'Étiquetage Automatisé : Le système facilite l'entraînement continu du modèle grâce à une capacité d'auto-étiquetage avancée, réduisant la dépendance à l'annotation manuelle des données.
Benchmarking Complet : Une analyse comparative rigoureuse par rapport aux modèles NLP traditionnels (Bi-Encoder et Cross-Encoder basés sur BERT) et aux modèles de pointe (GPT-4 utilisant l'apprentissage à quelques exemples/few-shot learning).

Résultats Expérimentaux
Le modèle LLaMA2 7B affiné a démontré une performance supérieure à travers de multiples métriques :

Précision (Accuracy) : Le modèle a atteint 89,43 % de précision sur l'ensemble de test, surpassant le Cross-Encoder basé sur BERT (86,27 %), le Bi-Encoder basé sur BERT (74,42 %) et GPT-4 (63,02 %).
Précision et Rappel : Le modèle a maintenu une précision équilibrée de 89,75 % et un rappel de 89,22 %, résultant en un score F1 de 89,41 %. Cet équilibre est crucial pour minimiser à la fois les faux positifs et les faux négatifs dans le placement publicitaire.
Classement de Pertinence : En termes de gain cumulé diminué normalisé (NDCG), le modèle a atteint 0,7142 à NDCG@4 et 0,6774 à NDCG@8, surpassant les deux variantes BERT.
Analyse Qualitative : Les études de cas ont indiqué que, tandis que GPT-4 avait tendance à trop généraliser (par exemple, classant un « Défraîcheur de poulet » comme hautement pertinent pour « poulet effiloché »), le modèle LLaMA2 affiné présentait une meilleure discernation de la pertinence indirecte et du contexte, identifiant correctement des articles comme « Ruban médical McKesson » pour « ruban de premiers soins » tout en évitant les faux positifs sur des articles non liés comme « nettoyant pour vitres » pour « lingettes pour lentilles ZEISS ».

Signification et Revendications
L'article affirme que l'intégration de LoRA avec le modèle LLaMA2 7B représente une avancée significative dans la personnalisation des modèles de langage pour les applications d'e-commerce. La signification de ce travail réside dans sa capacité à offrir une triade de bénéfices essentiels pour les marchés numériques modernes :

Amélioration de la Précision de Recherche : En comprenant mieux les intentions de requête complexes, le modèle améliore la pertinence des résultats sponsorisés, boostant directement la satisfaction des utilisateurs et les indicateurs commerciaux.
Efficacité des Coûts : L'approche LoRA permet un fine-tuning efficace sans les ressources de calcul extensives requises pour un réentraînement complet du modèle, ce qui la rend scalable pour les plateformes d'e-commerce à grande échelle.
Confidentialité Opérationnelle : Contrairement à l'utilisation d'API externes (telles que GPT-4), l'utilisation d'un modèle open-source auto-hébergé garantit la confidentialité et la sécurité des données, un facteur critique dans les environnements d'entreprise de l'e-commerce.

Les auteurs concluent que, bien que l'évaluation se soit concentrée sur la recherche sponsorisée, la méthodologie est polyvalente et applicable à des contextes de recherche d'e-commerce plus larges, offrant une solution pratique et impactante pour améliorer les expériences de vente en ligne.

1. Le problème : « L'aiguille dans une botte de foin »

2. La solution : Un « stagiaire spécialisé » (LoRA)

3. La mission : Le « juge de pertinence »

4. Les résultats : Plus intelligent et plus rapide

5. Pourquoi cela vous concerne

Articles similaires