Image Score: Learning and Evaluating Human Preferences for Mercari Search
Dieser Beitrag stellt einen kosteneffizienten, durch Large Language Models (LLMs) gesteuerten Ansatz vor, der Chain-of-Thought-Prompting nutzt, um Bildqualitätslabels zu generieren, die mit dem menschlichen Verhalten auf der E-Commerce-Plattform von Mercari korrelieren und letztlich durch verbesserte Suchrelevanz und Erklärbarkeit zu einem signifikanten Umsatzwachstum führen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Mercari als einen riesigen, geschäftigen digitalen Flohmarkt vor, auf dem Millionen von Menschen alles von Vintage-Kleidung bis hin zu gebrauchter Elektronik kaufen und verkaufen. Auf diesem Markt ist für einen Verkäufer das Wichtigste sein „Schaufenster" – das Foto, das er von seinem Artikel macht. Wenn das Foto unscharf, dunkel oder unordentlich ist, scrollen Käufer einfach daran vorbei, selbst wenn der Preis perfekt ist. Wenn das Foto hell, klar und professionell aussieht, bleiben Käufer stehen und klicken darauf.
Das Team bei Mercari wollte ein spezifisches Problem lösen: Wie können wir automatisch feststellen, welche Fotos „gut" und welche „schlecht" sind, ohne eine Armee menschlicher Gutachter einzustellen?
Hier ist die Geschichte, wie sie es taten, einfach erklärt:
1. Das Problem: Der „stumme" Käufer
In einem normalen Geschäft könnten Sie einen Freund fragen: „Gefällt dir dieses Hemd?" Auf einem Online-Markt sagen Käufer nichts. Sie klicken einfach oder sie klicken nicht. Dies wird als „implizites Feedback" bezeichnet.
- Die Herausforderung: Wenn ein Käufer auf einen Artikel klickt, liegt das daran, dass der Artikel genau das ist, was er wollte (Relevanz), oder einfach nur, weil das Foto fantastisch aussah?
- Das Ziel: Das Team wollte den Faktor „gutes Foto" vom Faktor „richtiges Produkt" trennen. Sie wollten wissen: Wenn zwei Artikel den gleichen Preis und die gleiche Art haben, erhält der mit dem besseren Foto mehr Klicks?
2. Die Lösung: Der „KI-Kunstkritiker"
Normalerweise benötigen Sie, um einem Computer beizubringen, wie ein „gutes Foto" aussieht, Tausende von Menschen, die sich Bilder ansehen und ihnen Noten geben. Das ist langsam und teuer.
Stattdessen nutzte das Mercari-Team ein Large Language Model (LLM) – eine superintelligente KI, die Bilder „sehen" kann. Stellen Sie sich diese KI als einen virtuellen Kunstkritiker vor.
- Der Prozess: Sie nahmen Gruppen ähnlicher Artikel (wie fünf verschiedene Angebote für die gleiche Art von Jeans) und fragten die KI: „Schauen Sie sich diese Fotos an. Vergleichen Sie sie miteinander. Welches sieht am besten aus? Warum?"
- Das Geheimnis (Chain-of-Thought): Sie fragten die KI nicht nur nach einer Punktzahl. Sie forderten die KI auf, „laut nachzudenken" (Chain-of-Thought). Die KI musste erklären, warum ein Foto gut war: „Das Licht ist hell", „Die Farben passen", „Der Hintergrund ist sauber". Dies half der KI, viel genauere Bewertungen abzugeben, die mit dem übereinstimmten, was echte Menschen denken würden.
3. Training des „intelligenten Sortierers"
Der KI-Kritiker ist großartig, aber er ist zu langsam und zu teuer, um jedes einzelne Item auf dem Markt jedes Mal zu bewerten, wenn jemand sucht. Es ist, als würde man einen berühmten Kunstkritiker einstellen, um jedes einzelne Foto in einer Bibliothek zu bewerten; das würde ewig dauern.
Also nutzten sie die Bewertungen des KI-Kritikers, um ein leichtgewichtiges, schnelles Computermodell (einen „intelligenten Sortierer") zu trainieren.
- Die Analogie: Stellen Sie sich vor, der KI-Kritiker ist ein Meisterkoch, der ein Gericht probiert und eine detaillierte Rezension schreibt. Der „intelligente Sortierer" ist ein junger Koch, der dem Meisterkoch zusieht, wie er viele Gerichte probiert, die Muster lernt und dann die Qualität neuer Gerichte schnell einschätzen kann, ohne jedes Mal die Hilfe des Meisterkochs zu benötigen.
- Das Ergebnis: Dieses neue Modell lernte vorherzusagen, welche Fotos Klicks erhalten würden, basierend auf den „Bewertungen", die der KI-Kritiker ihnen gab.
4. Der große Test: In die Praxis umgesetzt
Sie testeten dieses System in der realen Welt auf der Mercari-Website. Sie teilten die Nutzer in zwei Gruppen auf:
- Gruppe A (Die Kontrollgruppe): Sah die Suchergebnisse wie üblich.
- Gruppe B (Die Testgruppe): Sah Suchergebnisse, bei denen Artikel mit „hochwertigen Fotos" nach oben geschoben wurden, selbst wenn sie nur geringfügig weniger relevant für den Suchbegriff waren.
Das Ergebnis:
- Im Web: Die Testgruppe kaufte fast 7 % mehr als die Kontrollgruppe. Der „intelligente Sortierer" platzierte erfolgreich die schönsten Fotos vor den Käufern, und die Käufer reagierten, indem sie mehr klickten und kauften.
- Auf dem Handy: Interessanterweise funktionierte dies auf Mobiltelefonen nicht so gut. Die Autoren vermuten, dass dies daran liegt, dass Handybildschirme kleiner sind, sodass Nutzer im Vergleich zu Personen, die auf großen Computermonitoren browsen, weniger Wert auf winzige visuelle Details legen könnten.
5. Der Haken: Die „gefälschten" Fotos
Die Arbeit weist auch einen lustigen Nebeneffekt hin. Da die KI schöne Bilder liebt, begannen einige Verkäufer, KI-generierte Bilder (computererzeugte Kunst) anstelle von echten Fotos ihrer Artikel zu posten. Diese gefälschten Bilder erhielten perfekte Bewertungen und schossen an die Spitze der Liste, obwohl sie keine echten Produkte waren.
- Die Lehre: Das System benötigt einen „Wahrheitsdetektor", um sicherzustellen, dass die schönen Bilder tatsächlich echte Artikel und nicht nur digitale Kunst sind.
Zusammenfassung
Das Mercari-Team entwickelte ein System, das eine intelligente KI verwendet, um Produktfotos zu bewerten, ein schnelleres Modell trainiert, diese Bewertung nachzuahmen, und diese Bewertungen nutzt, um die am besten aussehenden Artikel zuerst anzuzeigen. Das Ergebnis? Auf der Website kauften die Menschen mehr, weil die Artikel besser aussahen. Es ist ein bisschen wie ein Supermarkt, der so umgestaltet wird, dass die frischesten, farbigsten Gemüse immer auf Augenhöhe sind – natürlich kaufen die Menschen mehr davon.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.