Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce

在现代在线商店的数字货架上，通往购买的路径很少仅仅是一瞥。相反，它是一个由图像、视频和交互式三维模型组成的轮播过程，顾客必须一个接一个地进行滑动。因为购物者无法触摸或拿起产品，他们依赖这种视觉线索序列来构建对所购商品的认知。他们逐步积累证据，一点一滴地拼凑信息，直到感到足够自信去购买，或者觉得精力消耗过大而选择离开。对于销售这些商品的平台来说，挑战在于这些线索出现的顺序至关重要。如果最具说服力的信息被埋在列表底部，顾客可能在看到它之前就放弃了。这不仅仅是为了吸引注意力，更是为了引导一个人完成一段通向决策的故事。

由 Prasenit Dey、Frank McIntyre 和 Arnab Sinha 领导的亚马逊研究人员开发了一种解决这一难题的新方法。他们将这种方法称为“序列多模态证据优化”（Sequential Multimodal Evidence Optimization，简称 SMEO）。他们并没有将每张图片或视频视为一个竞争点击量的孤立项目，而是将单个产品的整个媒体集合视为一个共同协作、旨在讲述完整故事的团队。他们的目标是找到一种特定的顺序，能够帮助顾客以最小的努力达成“是”的决定。通过分析数百万次的真实购物环节，他们发现现有的系统往往之所以失败，是因为它们关注的是短期反应（例如用户在屏幕上停留的时间），而不是最终的结果（即是否真的发生了销售）。

研究人员发现，目前的方法经常犯一个错误，即认为一张获得大量点击的吸睛图片就是最应该首先展示的图片。然而，点击并不总是意味着购买。顾客可能会出于好奇点击一张鲜艳的照片，但由于从未看到技术细节或视频演示，最终仍会离开而未下单。新的系统 SMEO 从客户实际的行为历史中学习。它观察顾客在购买商品或停止浏览之前查看的媒体序列，进而推断出在特定语境下哪些证据最具说服力。例如，它可能会学到，对于咖啡机而言，展示机器运转过程的视频远比静态的包装盒照片更为关键，并且这个视频应该在序列的早期展示，以防止顾客流失。

为了实现这一点，该团队构建了一个两步走的流程。首先，他们训练了一个模型，根据是否导致销售来理解媒体序列的价值。该模型学会了忽略过去位置分布带来的偏差，转而关注实际内容及其如何帮助顾客做出决定。其次，他们利用这种理解来教计算机程序如何为任何新产品排列媒体。这个程序充当了“编辑”的角色，挑选出图像和视频的最佳顺序。它优先展示最具决策价值的信息，确保顾客在感到滑动疲劳之前就能看到最重要的证明。

他们在大规模测试中的结果非常显著。当研究人员将这种新方法与在线商店使用的标准规则进行对比时，他们发现新系统使预估的成功购买率提升了 5.5%。更重要的是，它帮助顾客更快地做出了决定，速度提升了 15%，这意味着顾客需要通过更少的图像滑动即可找到所需信息。研究还表明，该系统学会了在没有被明确告知寻找目标的情况下识别模式。例如，它发现对于家具类产品，三维模型比其他类型的产品更有价值；而对于服装，展示面料动态的视频则最具说服力。这使得系统能够自动针对不同产品类别量身定制证据的呈现方式。

这项工作的强大之处之一在于，它解决了一个难以衡量的难题：应该给予特定的图像或视频多少“功劳”来解释一次销售？过去，很难判断一次购买是由第一张照片还是第五个视频促成的。新系统提供了一种回溯并理解每件媒体贡献度的方法，即使在没有直接标签说明“这张图片导致了销售”的情况下也是如此。它通过模拟如果移除或移动某件媒体后会发生什么，从而观察顾客的旅程会如何改变，来实现这一目标。这种洞察力有助于店主了解哪些资产真正有价值，哪些是冗余的，从而更有效地改进其产品页面。

研究人员使用来自电子产品到美容产品等多个领域的数百万次真实购物环节的数据，对其想法进行了严格测试。他们将自己的方法与包括基于流行度的简单规则和其他高级排名系统在内的多种方法进行了对比。他们的法始终优于这些替代方案，证明了将媒体视为连续的故事而非作为竞争清单的列表处理更为有效。该系统设计为离线运行，这意味着图像顺序是提前准备并存储的，因此不会在顾客访问时减慢网站速度。这使其在大规模应用中具有实用性，因为每天都有数百万种产品需要进行组织。

最终，这项工作将焦点从单纯捕捉顾客目光转向了尊重顾客的时间与意图。通过以一种能快速建立信心的形式排列视觉证据，该系统减少了在线购物的摩擦感。它承认顾客的注意力是一种有限的资源，目标是帮助他们以尽可能少的步骤找到所需信息。研究结果表明，当在线商店在组织过程中考虑到顾客的决策过程时，结果会对购物者带来更好的体验，并为卖家创造更高效的市场。研究证实，信息的顺序不仅是一个装饰性的细节，更是人们在数字世界中做出选择的基本组成部分。