Image Score: Learning and Evaluating Human Preferences for Mercari Search
Ce document présente une approche rentable, pilotée par un grand modèle de langage et utilisant l'inférence par chaîne de pensée, pour générer des étiquettes de qualité d'image corrélées au comportement humain sur la plateforme de commerce électronique de Mercari, conduisant in fine à une croissance significative des ventes grâce à une amélioration de la pertinence des recherches et de l'explicabilité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez Mercari comme un immense et animé marché aux puces numérique où des millions de personnes achètent et vendent de tout, des vêtements vintage aux électronique d'occasion. Dans ce marché, la chose la plus importante pour un vendeur est sa « vitrine » — la photo qu'il prend de son article. Si la photo est floue, sombre ou désordonnée, les acheteurs la défilent immédiatement, même si le prix est parfait. Si la photo est lumineuse, claire et semble professionnelle, les acheteurs s'arrêtent et cliquent.
L'équipe de Mercari voulait résoudre un problème spécifique : Comment pouvons-nous déterminer automatiquement quelles photos sont « bonnes » et lesquelles sont « mauvaises » sans embaucher une armée de juges humains ?
Voici l'histoire de la manière dont ils l'ont fait, expliquée simplement :
1. Le Problème : L'Acheteur « Silencieux »
Dans un magasin normal, vous pourriez demander à un ami : « Aimes-tu cette chemise ? » Sur un marché en ligne, les acheteurs ne disent rien. Ils cliquent ou ils ne cliquent pas. Cela s'appelle un « feedback implicite ».
- Le Défi : Si un acheteur clique sur un article, est-ce parce que l'article est exactement ce qu'il voulait (pertinence), ou est-ce simplement parce que la photo semblait incroyable ?
- L'Objectif : L'équipe voulait séparer le facteur « bonne photo » du facteur « bon produit ». Ils voulaient savoir : Si deux articles ont le même prix et le même type, celui avec la meilleure photo obtient-il plus de clics ?
2. La Solution : Le « Critique d'Art IA »
Habituellement, pour enseigner à un ordinateur à quoi ressemble une « bonne photo », vous avez besoin de milliers d'humains pour regarder des images et leur attribuer des notes. C'est lent et coûteux.
Au lieu de cela, l'équipe de Mercari a utilisé un Grand Modèle de Langage (LLM) — une IA super-intelligente capable de « voir » des images. Imaginez cette IA comme un critique d'art virtuel.
- Le Processus : Ils ont pris des groupes d'articles similaires (comme cinq annonces différentes pour le même type de jean) et ont demandé à l'IA : « Regardez ces photos. Comparez-les entre elles. Laquelle a l'air la meilleure ? Pourquoi ? »
- L'Ingrédient Secret (Chaîne de Pensée) : Ils n'ont pas seulement demandé un score. Ils ont demandé à l'IA de « réfléchir à voix haute » (Chaîne de Pensée). L'IA devait expliquer pourquoi une photo était bonne : « L'éclairage est lumineux », « Les couleurs s'accordent », « L'arrière-plan est propre ». Cela a aidé l'IA à donner des notes beaucoup plus précises qui correspondaient à ce que de vrais humains auraient pensé.
3. L'Entraînement du « Trieur Intelligent »
Le critique IA est formidable, mais il est trop lent et coûteux pour être utilisé sur chaque article du marché à chaque fois que quelqu'un effectue une recherche. C'est comme embaucher un critique d'art célèbre pour noter chaque photo d'une bibliothèque ; cela prendrait une éternité.
Ainsi, ils ont utilisé les notes du critique IA pour entraîner un modèle informatique léger et rapide (un « Trieur Intelligent »).
- L'Analogie : Imaginez que le critique IA est un chef étoilé qui déguste un plat et rédige une critique détaillée. Le « Trieur Intelligent » est un commis chef qui observe le chef étoilé déguster de nombreux plats, apprend les motifs, puis peut rapidement deviner la qualité de nouveaux plats sans avoir besoin de l'aide du chef étoilé à chaque fois.
- Le Résultat : Ce nouveau modèle a appris à prédire quelles photos obtiendraient des clics en se basant sur les « notes » que le critique IA leur avait attribuées.
4. Le Grand Test : Mise en Œuvre
Ils ont testé ce système dans le monde réel sur le site web de Mercari. Ils ont divisé les utilisateurs en deux groupes :
- Groupe A (Témoin) : A vu les résultats de recherche comme d'habitude.
- Groupe B (Test) : A vu des résultats de recherche où les articles avec des « photos de haute qualité » étaient remontés en haut, même s'ils étaient légèrement moins pertinents par rapport au terme de recherche.
Le Résultat :
- Sur le Web : Le groupe test a acheté près de 7 % de plus que le groupe témoin. Le « Trieur Intelligent » a placé avec succès les plus belles photos devant les acheteurs, et les acheteurs ont répondu en cliquant et en achetant davantage.
- Sur Mobile : Fait intéressant, cela n'a pas fonctionné aussi bien sur les téléphones portables. Les auteurs suggèrent que cela pourrait être dû au fait que les écrans de téléphone sont plus petits, donc les utilisateurs pourraient se soucier moins des détails visuels minuscules par rapport aux personnes naviguant sur de grands moniteurs d'ordinateur.
5. L'Inconvénient : Les Photos « Fausses »
L'article note également un effet secondaire amusant. Comme l'IA adore les jolies images, certains vendeurs ont commencé à publier des images générées par IA (art créé par ordinateur) au lieu de vraies photos de leurs articles. Ces fausses images ont obtenu des notes parfaites et ont grimpé en haut de la liste, même si elles ne représentaient pas de vrais produits.
- La Leçon : Le système a besoin d'un « détecteur de vérité » pour s'assurer que les jolies images sont en fait de vrais articles et non simplement de l'art numérique.
Résumé
L'équipe de Mercari a construit un système qui utilise une IA intelligente pour noter les photos de produits, enseigne à un modèle plus rapide à imiter ce classement, et utilise ces notes pour afficher en premier les articles les plus beaux. Le résultat ? Sur le site web, les gens ont acheté davantage car les articles semblaient meilleurs. C'est un peu comme réorganiser un épicerie pour que les légumes les plus frais et les plus colorés soient toujours à hauteur des yeux — naturellement, les gens en achètent davantage.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.