技术摘要：从过往数据中学习偏好的统计框架

问题陈述

在在线推荐、消费者选择建模和流媒体服务等各个现实领域，个人会从一个固定的选项集中进行重复选择。准确估计潜在的用户偏好对于生成个性化的未来推荐至关重要。虽然现有方法通常依赖于选择频率，但本文认为，选择的强度（例如，消费金额、观看时长或订单价值）比单纯的频率更能提供对偏好的强量化。

本文解决的核心挑战是：在自然的单调性假设下，基于过去的决策来估计用户偏好概率。该假设认为：过去选择更频繁或强度更高的选项，在未来被再次选择的可能性更大。作者旨在超越启发式曲线拟合和参数模型（如用于蚁群觅食的模型），开发一个统计上严谨的非参数框架，该框架同时考虑选择的历史及其变化的强度。

方法论

模型构建

作者提出了一个概率框架，其中用户在时间 $t+1$ 的选择取决于直到时间 $t$ 的过去选择的相对强度。

• 数据结构：对于 $N$ 个用户，每个用户在离散时间窗口内对两个选项（$c_1$ 和 $c_0$）进行一系列选择。每个选择都关联一个强度 $W_t$。
• 相对强度（$R_t$）：定义为选项 $c_1$ 被选择的加权比例，相对于直到时间 $t$ 的所有选择的总强度：
  $$R_t = \frac{\sum_{i=1}^t U_i W_i}{\sum_{i=1}^t W_i}$$
  其中 $U_i \in \{0, 1\}$ 表示选择，$W_i$ 是强度。
• 偏好函数（$h$）：在时间 $t+1$ 选择 $c_1$ 的概率建模为 $P(U_{t+1}=1 | R_t) = h(R_t)$。
• 约束：函数 $h: [0, 1] \to [0, 1]$ 被假设为非递减的，以此捕捉强化动态，即过去较高的相对强度会增加未来被选中的概率。

与随机过程的联系

该框架的灵感来源于广义大象随机游走（由 [16] 引入）。在选择强度相等的特殊情况（$W_t \equiv 1$）下，该模型中的选择序列与广义大象随机游走的步骤一一对应。这种联系促使使用非参数方法，而非先前应用于蚂蚁路径选择（例如 [7], [9]）的参数模型。

估计过程

作者在单调性约束下采用非参数最大似然估计（NPMLE）。

1. 似然构建：基于对选择及其对应相对强度的观测值构建对数似然函数。
2. 优化：估计量 $\hat{h}_N$ 被定义为最大化对数似然函数的唯一非递减、右连续阶梯函数。这被作为一个凸优化问题（保序回归）求解，使用池相邻违规者算法（PAVA）。
3. 置信集：作者不依赖需要估计 nuisance 参数（如 $h$ 的导数和 $R_t$ 的分布）的 Wald 型区间，而是通过反转似然比检验来构建置信集。这种方法利用了似然比统计量的渐近分布，该分布是枢轴的，不需要估计 nuisance 参数。

关键理论结果

在标准正则性假设下（选择计数的有界支撑、潜在分布的平滑性以及 $h$ 的非零导数），本文确立了所提估计量的严格渐近性质。

1. 估计量的渐近分布：
   在固定点 $r_0$ 处的估计量 $\hat{h}_N(r_0)$ 以 $N^{1/3}$ 的速率收敛（慢于参数设置中典型的 $N^{1/2}$ 速率）。其极限分布由Chernoff 分布刻画（即具有二次漂移的双侧布朗运动最小值位置的分布）。
   $$N^{1/3}(\hat{h}_N(r_0) - h(r_0)) \xrightarrow{d} C \cdot \arg\max_{x \in \mathbb{R}} (B(x) - x^2)$$
   其中 $B(x)$ 是双侧布朗运动。

2. 似然比统计量：
   用于检验 $H_0: h(r_0) = h_0$ 的似然比统计量依分布收敛于随机变量 $D$，该变量定义为具有漂移的布朗运动的最大凸小函数与其限制之间的平方差积分。
   $$2 \log \lambda_N(h_0) \xrightarrow{d} \int \left( (g_{1,1}(x))^2 - (g^0_{1,1}(x))^2 \right) dx$$
   这一结果允许在不估计导数 $h'(r_0)$ 或协变量密度的情况下构建置信区间，从而避免了单调函数估计中常见的"nuisance 参数”问题。

实证结果

模拟研究

作者在六种配置下进行了广泛的模拟，这些配置在选择数量（恒定与随机）和强度机制（相等、均匀和持久）方面有所不同。

• 性能指标：他们评估了测试误差（相对于 oracle 的预测准确性）和期望校准误差（ECE）。
• 发现：
  • 随着样本量 $N$ 的增加，测试误差和 ECE 均稳步下降，证明了其一致性。
  • 即使在中等样本量下，估计量也具有良好的校准性。
  • 95% 置信集表现出理想的行为：其长度随 $N$ 单调递减，且覆盖概率在所有配置下均保持在接近名义 0.95 的水平。

现实世界应用

该框架被应用于MovieLens (20M) 数据集，以估计用户对电影类型（例如，动作片与爱情片）的偏好。

• 设置：用户的评分被视为选择强度。模型在 11–15 次选择上进行训练，并在 16–20 次选择上进行测试。
• 强度比较：作者比较了“恒定强度”模型（所有选择权重相等）与“基于评分的强度”模型（权重等于用户的评分）。
• 结果：在预测准确性或校准方面，基于评分的强度模型并未比恒定强度模型带来实质性的改进。这表明对于该特定数据集，更简单的恒定强度模型捕捉到了数据的基本结构。
• 可解释性：估计的偏好函数及其置信集提供了可操作的见解。例如，置信区间允许进行风险意识决策，区分偏好确定性高的用户和不确定性高的用户。

意义与主张

本文声称提供了一个新颖的统计框架，弥合了自然界（蚁群）中观察到的强化动态与人类决策之间的差距。其主要贡献包括：

1. 非参数灵活性：与先前的参数方法不同，该框架不施加强烈的函数形式假设，使其能够捕捉多样化的用户行为。
2. 强度的纳入：它明确地对选择的强度进行建模，承认并非所有用户行为都具有同等权重。
3. 统计严谨性：它为这种特定强化设置下单调性约束的偏好估计提供了首个理论保证（一致性、渐近分布和置信集）。
4. 实用价值：基于似然比的置信集提供了一种原则性的方法来量化不确定性，而无需复杂的 nuisance 参数估计，使该方法具有鲁棒性并适用于现实世界的推荐系统。

作者总结道，虽然该框架目前是为平稳环境设计的，但它为涉及非平稳动态和纳入用户特定协变量的未来工作奠定了基础。