Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce

Sur les étagères numériques des magasins en ligne modernes, le chemin vers un achat est rarement un simple regard. C'est plutôt un voyage à travers un carrousel d'images, de vidéos et de modèles tridimensionnels interactifs que le client doit faire défiler un par un. Parce que les acheteurs ne peuvent ni toucher ni tenir le produit, ils comptent sur cette séquence d'indices visuels pour construire une image de ce qu'ils achètent. Ils accumulent des preuves, pièce par pièce, jusqu'à ce qu'ils se sentent assez confiants pour acheter ou décident que l'effort est trop grand et partent. Le défi pour les plateformes qui vendent ces biens est que l'ordre dans lequel ces indices apparaissent importe énormément. Si l'information la plus convaincante est enfouie au bas de la liste, un client pourrait abandonner avant même de l'avoir vue. Il ne s'agit pas seulement de capter l'attention ; il s'agit de guider une personne à travers une histoire qui mène à une décision.

Des chercheurs chez Amazon, dirigés par Prasenjit Dey, Frank McIntyre et Arnab Sinha, ont développé une nouvelle façon de résoudre ce casse-tête. Ils appellent leur approche l'Optimisation Séquentielle de l'Évidence Multimodale, ou SMEO (Sequential Multimodal Evidence Optimization). Plutôt que de traiter chaque image ou vidéo comme un élément isolé en compétition pour un clic, ils considèrent l'ensemble de la collection de médias pour un seul produit comme une équipe coopérative travaillant ensemble pour raconter une histoire complète. Leur objectif était de trouver l'ordre spécifique qui aide un client à atteindre une décision de type « oui » avec le moins d'effort possible. En analysant des millions de sessions d'achat réelles, ils ont découvert que les systèmes existants échouent souvent parce qu'ils se concentrent sur des réactions à court terme, comme le temps qu'un utilisateur passe sur un écran, plutôt que sur le résultat final, à savoir si une vente a réellement eu lieu.

Les chercheurs ont constaté que les méthodes actuelles commettent souvent l'erreur de penser qu'une image tape-à-l'œil qui génère beaucoup de clics est la plus importante à montrer en premier. Cependant, un clic ne signifie pas toujours un achat. Un client peut cliquer sur une image éclatante par curiosité, mais partir sans acheter parce qu'il n'a jamais vu les détails techniques ou la démonstration vidéo qui l'auraient convaincu. Le nouveau système, SMEO, apprend de l'historique de ce que les clients ont réellement fait. Il examine la séquence de médias qu'un client a consultés avant d'acheter l'article ou d'arrêter de regarder. Il détermine ensuite quels morceaux d'évidence étaient les plus persuasifs dans ce contexte spécifique. Par exemple, il pourrait apprendre que pour une cafetière, une vidéo montrant la machine en action est bien plus critique qu'une photo statique de la boîte, et que cette vidéo devrait être montée tôt dans la séquence pour empêcher le client de partir.

Pour y parvenir, l'équipe a construit un processus en deux étapes. Premièrement, ils ont entraîné un modèle pour comprendre la valeur d'une séquence de médias basée sur le fait qu'elle mène ou non à une vente. Ce modèle a appris à ignorer le biais de l'emplacement passé des articles, en se concentrant plutôt sur le contenu réel et la manière dont il a aidé le client à décider. Deuxièmement, ils ont utilisé cette compréhension pour enseigner à un programme informatique comment organiser les médias pour tout nouveau produit. Ce programme agit comme un éditeur, choisissant le meilleur ordre pour les images et les vidéos. Il donne la priorité à la présentation de l'information de prise de décision la plus importante le plus tôt possible, garantissant que le client voie la preuve la plus importante avant de se lasser de faire défiler les écrans.

Les résultats des tests de ce système à grande échelle ont été significatifs. Lorsque les chercheurs ont comparé leur nouvelle méthode aux règles standards utilisées par les magasins en ligne, ils ont constaté que le nouveau système augmentait le taux estimé d'achats réussis de 5,5 pour cent. Plus important encore, il a permis aux clients d'atteindre cette décision 15 pour cent plus rapidement, ce qui signifie qu'ils ont eu besoin de faire défiler moins d'images pour trouver ce qu'ils cherchaient. L'étude a également révélé que le système a appris à reconnaître des modèles sans qu'on lui dise explicitement quoi chercher. Par exemple, il a découvert que pour les meubles, les modèles tridimensionnels étaient bien plus précieux que pour d'autres types de produits, tandis que pour les vêtements, les vidéos montrant le mouvement du tissu étaient les plus persuasives. Cela a permis au système d'adapter automatiquement la présentation des preuves aux besoins spécifiques de différentes catégories de produits.

L'un des aspects les plus puissants de ce travail est qu'il résout un problème difficile à mesurer : quel crédit accorder à une image ou une vidéo spécifique pour une vente ? Par le passé, il était difficile de dire si un achat était causé par la première photo ou la cinquième vidéo. Le nouveau système offre un moyen de regarder en arrière et de comprendre la contribution de chaque morceau de média, même sans étiquettes directes disant « cette image a causé la vente ». Il y parvient en simulant ce qui se serait passé si un morceau de média avait été supprimé ou déplacé, permettant au système de voir comment le parcours du client aurait changé. Cette analyse aide les propriétaires de magasins à comprendre quels actifs sont réellement précieux et lesquels sont redondants, leur permettant d'améliorer leurs pages produits plus efficacement.

Les chercheurs ont testé leurs idées de manière rigoureuse en utilisant des données provenant de millions de sessions d'achat réelles à travers diverses catégories, de l'électronique à la beauté. Ils ont comparé leur méthode à plusieurs autres approches, y compris des règles simples basées sur la popularité et d'autres systèmes de classement avancés. Leur méthode a systématiquement surpassé ces alternatives, prouvant que traiter les médias comme une histoire séquentielle est plus efficace que de les traiter comme une liste d'éléments en compétition. Le système est conçu pour fonctionner hors ligne, ce qui signifie que l'ordre des images est préparé à l'avance et stocké, afin de ne pas ralentir le site web lorsqu'un client visite la page. Cela le rend pratique pour une utilisation à grande échelle, où des millions de produits doivent être organisés chaque jour.

En fin de compte, ce travail déplace l'attention de la simple capture du regard du client vers le respect de son temps et de son intention. En organisant les preuves visuelles de manière à instaurer la confiance rapidement, le système réduit la friction de l'achat en ligne. Il reconnaît que l'attention d'un client est une ressource limitée et que l'objectif est de l'aider à trouver l'information dont il a besoin avec le moins d'étapes possible. Les conclusions suggèrent que lorsque les magasins numériques sont organisés en tenant compte du processus de décision du client, le résultat est une meilleure expérience pour l'acheteur et un marché plus efficace pour le vendeur. L'étude confirme que l'ordre de l'information n'est pas seulement un détail cosmétique, mais une partie fondamentale de la manière dont les gens font des choix dans le monde numérique.