Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce

Auf den digitalen Regalen moderner Online-Shops ist der Weg zu einem Kauf selten nur ein einziger Blick. Stattdessen ist es eine Reise durch einen Karussell aus Bildern, Videos und interaktiven dreidimensionalen Modellen, durch die ein Kunde einzeln hindurchwischen muss. Da Käufer das Produkt weder anfassen noch halten können, verlassen sie sich auf diese Sequenz visueller Hinweise, um sich ein Bild von dem zu machen, was sie kaufen. Sie sammeln Beweise Stück für Stück, bis sie sich sicher genug fühlen, um zu kaufen, oder entscheiden, dass der Aufwand zu groß ist und verlassen die Seite. Die Herausforderung für die Plattformen, die diese Waren verkaufen, besteht darin, dass die Reihenfolge, in der diese Hinweise erscheinen, immens wichtig ist. Wenn die überzeugendste Information ganz unten in der Liste vergraben ist, gibt ein Kunde vielleicht auf, bevor er sie überhaupt sieht. Es geht nicht nur darum, Aufmerksamkeit zu erregen; es geht darum, einen Menschen durch eine Geschichte zu führen, die zu einer Entscheidung führt.

Forscher bei Amazon, angeführt von Prasenjit Dey, Frank McIntyre und Arnab Sinha, haben einen neuen Weg entwickelt, um dieses Rätsel zu lösen. Sie nennen ihren Ansatz Sequential Multimodal Evidence Optimization, oder kurz SMEO. Anstatt jedes Bild oder Video als isoliertes Element zu betrachten, das um einen Klick konkurriert, sehen sie die gesamte Mediensammlung für ein einzelnes Produkt als ein kooperatives Team, das zusammenarbeitet, um eine vollständige Geschichte zu erzählen. Ihr Ziel war es, die spezifische Reihenfolge zu finden, die einem Kunden hilft, mit dem geringsten Aufwand zu einer „Ja“-Entscheidung zu gelangen. Durch die Analyse von Millionen echter Einkaufssitzungen entdeckten sie, dass bestehende Systeme oft scheitern, weil sie sich auf kurzfristige Reaktionen konzentrieren, wie etwa wie lange ein Nutzer auf einem Bildschirm verweilt, anstatt auf das Endergebnis, ob tatsächlich ein Verkauf stattgefunden hat.

Die Forscher fanden heraus, dass aktuelle Methoden oft den Fehler machen, anzunehmen, dass ein auffälliges Bild, das viele Klicks generiert, das wichtigste ist, um es zuerst zu zeigen. Ein Klick bedeutet jedoch nicht immer einen Kauf. Ein Kunde klickt vielleicht aus Neugier auf ein helles Bild, verlässt die Seite aber dennoch ohne Kauf, weil er nie die technischen Details oder die Videodemonstration gesehen hat, die ihn hätten überzeugen können. Das neue System, SMEO, lernt aus der Historie dessen, was Kunden tatsächlich getan haben. Es analysiert die Sequenz der Medien, die ein Kunde betrachtet hat, bevor er den Artikel entweder gekauft oder die Suche abgebrochen hat. Es ermittelt dann, welche Beweisstücke in diesem spezifischen Kontext am überzeugendsten waren. Es kann beispielsweise lernen, dass für eine Kaffeemaschine ein Video, das die Maschine in Aktion zeigt, weitaus kritischer ist als ein statisches Foto des Kartons, und dass dieses Video früh in der Sequenz gezeigt werden sollte, um zu verhindern, dass der Kunde die Seite verlässt.

Um dies zu erreichen, entwickelte das Team einen zweistufigen Prozess. Zuerat trainierten sie ein Modell, um den Wert einer Mediensequenz basierend darauf zu verstehen, ob sie zu einem Verkauf führte. Dieses Modell lernte, die Verzerrung (Bias) der Platzierung von Artikeln in der Vergangenheit zu ignorieren und sich stattdessen auf den eigentlichen Inhalt und dessen Beitrag zur Entscheidung des Kunden zu konzentrieren. Zweitens nutzten sie dieses Verständnis, um einem Computerprogramm beizubringen, wie es die Medien für jedes neue Produkt anordnet. Dieses Programm fungiert wie ein Editor, der die beste Reihenfolge für Bilder und Videos auswählt. Es priorisiert das Zeigen der wichtigsten entscheidungsrelevanten Informationen so früh wie möglich, um sicherzustellen, dass der Kunde den wichtigsten Beweis sieht, bevor er müde wird vom Wischen.

Die Ergebnisse der Tests dieses Systems in massivem Maßstab waren signifikant. Als die Forscher ihre neue Methode mit den Standardregeln verglichen, die von Online-Shops verwendet werden, stellten sie fest, dass das neue System die geschätzte Erfolgsquote der Käufe um 5,5 Prozent steigerte.ت Viel wichtiger war, dass es Kunden half, diese Entscheidung 15 Prozent schneller zu treffen, was bedeutet, dass sie weniger Bilder durchwischen mussten, um das zu finden, wonach sie suchten. Die Studie zeigte auch, dass das System lernte, Muster zu erkennen, ohne explizit darauf hingewiesen zu werden, wonach es suchen soll. So entdeckte es beispielsweise, dass für Möbel dreidimensionale Modelle weitaus wertvoller sind als für andere Produktarten, während für Kleidung Videos, die die Bewegung des Stoffes zeigten, am überzeugendsten waren. Dies ermöglichte es dem System, die Präsentation der Beweise automatisch an die spezifischen Bedürfnisse verschiedener Produktkategorien anzupassen.

Einer der leistungsstärksten Aspekte dieser Arbeit ist, dass sie ein Problem löst, das schwer zu messen war: Welchen Anteil sollte ein spezifisches Bild oder Video am Verkauf haben? In der Vergangenheit war es schwierig zu sagen, ob ein Kauf durch das erste Foto oder das fünfte Video verursacht wurde. Das neue System bietet einen Weg, die Leistung zurückzuverfolgen und den Beitrag jedes einzelnen Mediums zu verstehen, selbst ohne direkte Kennzeichnungen wie „dieses Bild hat den Verkauf verursacht“. Dies geschieht durch die Simulation dessen, was passiert wäre, wenn ein Stück der Medien entfernt oder verschoben worden wäre, wodurch das System sehen kann, wie sich die Reise des Kunden verändert hätte. Diese Erkenntnis hilft Ladenbesitzern zu verstehen, welche Assets wirklich wertvoll und welche redundant sind, was es ihnen ermöglicht, ihre Produktseiten effektiver zu verbessern.

Die Forscher testeten ihre Ideen streng anhand von Daten aus Millionen echter Einkaufssitzungen über verschiedene Kategorien hinweg, von Elektronik bis hin zu Schönheitsprodukten. Sie verglichen ihre Methode mit mehreren anderen Ansätzen, einschließlich einfacher Regeln basierend auf Popularität und anderen fortgeschrittenen Ranking-Systemen. Ihre Methode schnitt konsequent besser ab als diese Alternativen und bewies, dass die Behandlung von Medien als eine sequentielle Geschichte effektiver ist als die Behandlung als eine Liste konkurrierender Einzelteile. Das System ist so konzipiert, dass es offline arbeitet, was bedeutet, dass die Reihenfolge der Bilder im Voraus vorbereitet und gespeichert wird, sodass es die Website nicht verlangsamt, wenn ein Kunde sie besucht. Dies macht es für den großflächigen Einsatz praktikabel, bei dem jeden Tag Millionen von Produkten organisiert werden müssen.

Letztendlich verschiebt diese Arbeit den Fokus von der bloßen Aufmerksamkeitserregung hin zur Achtung der Zeit und Absicht des Kunden. Indem die visuellen Beweise so angeordnet werden, dass sie schnell Vertrauen aufbauen, reduziert das System die Reibungsverluste beim Online-Shopping. Es erkennt an, dass die Aufmerksamkeit eines Kunden eine begrenzte Ressource ist und dass das Ziel darin besteht, dem Kunden zu helfen, die benötigten Informationen mit so wenig Schritten wie möglich zu finden. Die Ergebnisse legen nahe, dass, wenn digitale Geschäfte mit Blick auf den Entscheidungsprozess des Kunden organisiert werden, das Ergebnis ein besseres Erlebnis für den Käufer und ein effizienterer Marktplatz für den Verkäufer ist. Die Studie bestätigt, dass die Reihenfolge der Informationen nicht nur ein kosmetisches Detail ist, sondern ein grundlegender Teil dessen, wie Menschen im digitalen Raum Entscheidungen treffen.