Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce

Op de digitale schappen van moderne webshops is het pad naar een aankoop zelden een enkele blik. In plaats daarvan is het een reis door een carrousel van afbeeldingen, video's en interactieve driedimensionale modellen waar een klant zich één voor één doorheen moet swipen. Omdat shoppers het product niet kunnen aanraken of vasthouden, vertrouwen ze op deze opeenvolging van visuele aanwijzingen om een beeld te vormen van wat ze kopen. Ze verzamelen bewijsmateriaal, stukje bij beetje, totdat ze genoeg vertrouwen hebben om te kopen of besluiten dat de inspanning te groot is en vertrekken. De uitdaging voor de platforms die deze goederen verkopen, is dat de volgorde waarin deze aanwijzingen verschijnen enorm veel uitmaakt. Als de meest overtuigende informatie onderaan de lijst begraven ligt, kan een klant al opgeven voordat hij het ooit heeft gezien. Dit gaat niet alleen over het trekken van de aandacht; het gaat over het begeleiden van een persoon door een verhaal dat leidt tot een beslissing.

Onderzoekers bij Amazon, onder leiding van Prasenjit Dey, Frank McIntyre en Arnab Sinha, hebben een nieuwe manier ontwikkeld om dit puzzelstuk op te lossen. Ze noemen hun aanpak Sequential Multimodal Evidence Optimization, of SMEO. In plaats van elke afbeelding of video te behandelen als een geïsoleerd item dat strijdt om een klik, zien zij de gehele collectie media voor een enkel product als een coöperatief team dat samenwerkt om een compleet verhaal te vertellen. Hun doel was om de specifieke volgorde te vinden die een klant helpt om met de minste inspanning tot een "ja"-beslissing te komen. Door miljoenen echte winkelbezoeken te analyseren, ontdekten ze dat bestaande systemen vaak falen omdat ze zich richten op korte reacties, zoals hoe lang een gebruiker op een scherm blijft hangen, in plaats van op de uiteindelijke uitkomst van of er daadwerkelijk een verkoop plaatsvond.

De onderzoekers ontdekten dat huidige methoden vaak de fout maken door te denken dat een flitsende afbeelding die veel klikken genereert, de belangrijkste is om eerst te tonen. Een klik betekent echter niet altijd een aankoop. Een klant kan uit nieuwsgierigheid op een opvallende foto klikken, maar nog steeds vertrekken zonder te kopen omdat hij nooit de technische details of de videodemonstratie heeft gezien die hem hadden kunnen overtuigen. Het nieuwe systeem, SMEO, leert van de geschiedenis van wat klanten daadwerkelijk hebben gedaan. Het kijkt naar de sequentie van media die een klant heeft bekeken voordat ze het item kochten of stopten met kijken. Vervolgens bepaalt het welke stukken bewijs het meest overtuigend waren in die specifieke context. Het kan bijvoorbeeld leren dat voor een koffiezetapparaat een video die de machine in actie laat zien veel kritischer is dan een statische foto van de doos, en dat deze video vroeg in de sequentie getoond moet worden om te voorkomen dat de klant vertrekt.

Om dit te bereiken, bouwde het team een tweestaps-proces. Eerst trainden ze een model om de waarde van een sequentie van media te begrijpen op basis van of dit leidde tot een verkoop. Dit model leerde de bias van de plaatsing van items in het verleden te negeren, en zich in plaats daarvan te concentreren op de werkelijke inhoud en hoe dit de klant hielp beslissen. Ten tweede gebruikten ze dit begrip om een computerprogramma te leren hoe het de media voor elk nieuw product kan ordenen. Dit programma fungeert als een redacteur, die de beste volgorde voor de afbeeldingen en video's kiest. Het geeft prioriteit aan het zo vroeg mogelijk tonen van de meest besluitvormende informatie, zodat wordt gewaarborgd dat de klant het belangrijkste bewijs ziet voordat hij moe wordt van het swipen.

De resultaten van het testen van dit systeem op grote schaal waren significant. Wanneer de onderzoekers hun nieuwe methode vergeleken met de standaardregels die door webshops worden gebruikt, ontdekten ze dat het nieuwe systeem de geschatte ratio van succesvolle aankopen met 5,5 procent verhoogde. Belangrijker nog, het hielp klanten om die beslissing 15 procent sneller te nemen, wat betekent dat ze door minder afbeeldingen hoefden te swipen om te vinden waar ze naar op zoek waren. De studie onthulde ook dat het systeem patronen leerde herkennen zonder expliciet te worden verteld waarnaar het moest zoeken. Zo ontdekte het dat voor meubels driedimensionale modellen veel waardevoller waren dan voor andere soorten producten, terwijl voor kleding de meest overtuigende elementen video's waren die lieten zien hoe de stof bewoog. Dit stelde het systeem in staat om de presentatie van bewijslast automatisch af te stemmen op de specifieke behoeften van verschillende productcategorieën.

Een van de krachtigste aspecten van dit werk is dat het een probleem oplost dat moeilijk te meten is geweest: hoeveel krediet zou een specifieke afbeelding of video krijgen voor een verkoop? In het verleden was het moeilijk te zeggen of een aankoop werd veroorzaakt door de eerste foto of de vijfde video. Het nieuwe systeem biedt een manier om terug te kijken en de bijdrage van elk stuk media te begrijpen, zelfs zonder directe labels die zeggen "deze afbeelding veroorzaakte de verkoop". Het doet dit door te simuleren wat er zou zijn gebeurd als een stuk media verwijderd of verplaatst zou zijn, waardoor het systeem kan zien hoe de reis van de klant zou zijn veranderd. Dit inzicht helpt winkeleigenaren te begrijpen welke activa werkelijk waardevol zijn en welke redundant zijn, waardoor ze hun productpagina's effectiever kunnen verbeteren.

De onderzoekers testten hun ideeën grondig met behulp van gegevens uit miljoenen echte winkelbezoeken in diverse categorieën, van elektronica tot schoonheidsproducten. Ze vergeleken hun methode met verschillende andere benaderingen, waaronder eenvoudige regels gebaseerd op populariteit en andere geavanceerde rankingsystemen. Hun methode presteerde consequent beter dan deze alternatieven, wat bewees dat het behandelen van media als een sequentieel verhaal effectiever is dan het behandelen van een lijst met concurrerende items. Het systeem is ontworpen om offline te werken, wat betekent dat de volgorde van afbeeldingen vooraf wordt voorbereid en opgeslagen, zodat het de website niet vertraagt wanneer een klant een bezoek brengt. Dit maakt het praktisch bruikbaar voor grootschalig gebruik, waarbij dagelijks miljoenen producten georganiseerd moeten worden.

Uiteindelijk verschuift dit werk de focus van simpelweg de aandacht van een klant trekken naar het respecteren van hun tijd en intentie. Door visueel bewijs zo te ordenen dat het snel vertrouwen opbouwt, vermindert het systeem de frictie van online winkelen. Het erkent dat de aandacht van een klant een beperkte hulpbron is en dat het doel is om hen te helpen de informatie te vinden die ze nodig hebben met zo min mogelijk stappen. De bevindingen suggereren dat wanneer digitale winkels worden georganiseerd met het besluitvormingsproces van de klant in gedachten, het resultaat een betere ervaring is voor de shopper en een efficiëntere marktplaats voor de verkoper. De studie bevestigt dat de volgorde van informatie niet slechts een cosmetisch detail is, maar een fundamenteel onderdeel van hoe mensen keuzes maken in de digitale wereld.