Contextual Bandits for Maximizing Stimulated Word-of-Mouth Rewards

技术摘要：用于最大化受激口碑回报的上下文多臂老虎机研究

问题定义
本文探讨了优化受激口碑（Stimulated Word-of-Mouth, WOM）的挑战。与有机口碑不同，受激口碑依赖于激励措施（如奖励、折扣）来鼓励用户分享信息。其核心问题在于网络溢出效应的异质性：由系统激活的用户 $v_i$ 发出的推荐能够影响其邻居 $v_j$ 从而导致其采纳产品的概率，在不同的用户对和网络位置之间存在显著差异。

现有文献通常假设溢出概率是已知的，或者侧重于通用的影响力最大化，而忽略了学习个体边概率的问题。本文指出，当前的受激口碑策略忽视了这些变化的溢出效应，从而导致目标选择并非最优，这构成了一个研究空白。本文所阐述的具体问题是针对 Top-$k$ 邻居推荐的溢出概率预测：给定一个属性网络 $G=(V, E)$，系统必须在 $T$ 轮中学习每条边的溢出概率 $e_{ij}.p$，以推荐最有可能被激活的前 $k$ 个邻居，从而实现累计回报的最大化。

方法论：SpillCB 框架
作者提出了 SpillCB，一种新型的**上下文多臂老虎机（Contextual Multi-Armed Bandit, CMAB）**框架，旨在在线环境下学习个体溢出概率。

• 数据模型： 网络被表示为一个双向有属性图，节点具有属性向量 ($v.X$)。边 $e_{ij}$ 的上下文定义为源节点 $v_i$、目标邻居 $v_j$ 以及相关产品属性的拼接向量。
• 老虎机建模： 该问题被建模为每条边上的随机二臂老虎机：
  • 臂 $a_0$： 不推荐该邻居。
  • 臂 $a_1$： 向系统激活的节点 $v_i$ 推荐该邻居 $v_j$。
  • 奖励： 如果推荐的邻居 $v_j$ 因溢出效应而变得活跃，则产生一个二进制奖励（1 或 0）。该奖励是上下文向量与动作的函数，并包含噪声。
• 学习策略： 该框架在 $T$ 轮中分为两个阶段运行：
  1. 探索阶段： 在初始的比例（$z\%$）轮次中，随机选择 $k$ 个邻居以实现边选择的多样化并收集数据。
  2. 利用阶段： 在随后的轮次中，算法根据底层 CMAB 算法预测的臂 $a_1$ 的期望回报，选择前 $k$ 个邻居。
• 算法： 该框架对具体的 CMAB 求解器具有通用性，但本文使用 LinUCB 和 EENet 进行了评估。目标是最小化累积遗憾（Cumulative Regret），即最优 Top-$k$ 集合与所选集合之间的奖励之差。

实验设置与结果
作者在两个真实的属性网络数据集 Flickr 和 Facebook 上对 SpillCB 进行了评估。溢出概率是基于余弦相似度、层级相似度、拓扑重叠度、扩散重要性和度乘积的加权函数进行合成生成的。

• 基准方法： 本文提出的方法与以下方法进行了对比：
  • 随机（Random）： 随机选择 $k$ 个邻居。
  • 基于相似度（Similarity-based）： 基于属性向量的欧几里得距离进行选择。
  • 岭回归（Ridge Regression）： 利用带标签边的岭回归进行链路权重预测。
  • GraphSage： 利用节点嵌入和神经网络评分函数进行链路权重预测。
• 指标： 性能通过 Recall@k（识别真实 Top-$k$ 邻居的能力）和所学溢出概率的**均方根误差（RMSE）**进行衡量。
• 主要发现：
  • 在两个数据集上，SpillCB 变体（SpillCBLinUCB 和 SpillCBEENet）在不同 $k$ 值（5 到 25）下，其 Recall@k 指标始终优于所有基准方法。
  • 增加 $k$ 通常会降低 RMSE，因为这允许探索更多的边，从而加速学习过程。
  • 在探索比例 ($z$) 与性能之间存在权衡：将探索比例从 0% 增加到 20% 降低了 RMSE（提高了概率估计的准确性），但略微降低了最后一轮的 Recall@10。
  • 随着轮数 ($T$) 的增加，Recall@10 提升且 RMSE 下降，证明了在线学习方法的有效性。

意义与主张
本文声称提出了一项初步工作，利用上下文多臂老虎机来估计异质性的溢出效应，这是受激口碑优化中经常被忽视的一个因素。其主要贡献在于提出了一个能够学习个体溢出概率而非假设其已知的框架。

作者断言，考虑溢出异质性可以提高 Top-$k$ 连接用户的目标精准度，从而提升回报并超越那些未学习个体溢出效应的方法。该工作旨在通过提供更个性化的用户体验并最大化 WOM 回报，来提高推荐系统的有效性。作者对自己的主张保持谦逊，指出这些结果是初步的，未来的工作将涉及在更多数据集和基准方法上进行测试，以进一步了解该方法的优势与局限性。