技术摘要：用于非平稳上下文老虎机的流校正汤普森采样 (Flow-Corrected Thompson Sampling)

问题定义

本文研究了非平稳线性上下文老虎机 (non-stationary linear contextual bandits) 的挑战，在这种设定下，上下文、动作与奖励之间的关系随时间演变。在经典的上下文老虎机中，参数向量 $w_t$ 被假定为平稳的。然而，在现实世界的应用（如推荐系统、动态定价、金融）中，用户偏好和市场条件会发生漂移，如果盲目使用历史数据，会导致模型产生系统性偏差。

核心难点在于保留历史数据以降低后验方差，与丢弃旧数据以避免过时模型带来的偏差之间的权衡。现有的方法——如滑动窗口、指数折扣和定期重启——主要将历史数据视为需要通过统一丢弃或降权的“负债”来管理的负担。作者认为，当非平稳性表现出可预测的结构（例如渐进式漂移、周期性或循环机制）时，历史观测值包含了可以通过针对环境变化进行校正而利用的有价值信息。

方法论：流校正汤普森采样 (FC-TS)

作者提出了流校正汤普森采样 (FC-TS)，这是一个贝叶斯框架，它在将历史观测值纳入后验分布之前，先将其转化为“当前时刻的伪观测值”。该方法将处理非平稳性的任务解耦为两个独立的组件：一个传输算子 (transport operator) 和一个置信度权重规则 (confidence weighting rule)。

1. 核心机制

在每个轮次 $t$，对于每一个过去的观测值 $(x_s, a_s, r_s)$，FC-TS 构建一个传输后的奖励 $\hat{r}_{s \to t}$：
$$\hat{r}_{s \to t} = r_s + \hat{\Delta}_{s \to t}(x_s, a_s)$$
其中 $\hat{\Delta}_{s \to t}$ 用于估计从时间 $s$ 到 $t$ 的平均奖励偏移。这有效地将过去的奖励“流向”未来，使其与当前的奖励模型对齐。

为了防止由于漂移估计不准确而产生的噪声，每个传输后的观测值都被分配了一个置信度权重 $\omega_{s,t} \in [0, 1]$。该权重控制观测值对后验分布的影响，如果校正过程存在不确定性，则会增加其有效噪声方差。

动作 $a$ 的后验分布使用这些加权且传输后的观测值进行更新：
$$\Lambda_t^{(a)} = \lambda I + \sigma^{-2} \sum_{s<t, a_s=a} \omega_{s,t} x_s x_s^\top$$
$$\eta_t^{(a)} = \lambda m_t^{(a)} + \sigma^{-2} \sum_{s<t, a_s=a} \omega_{s,t} \hat{r}_{s \to t} x_s$$
$$\mu_t^{(a)} = (\Lambda_t^{(a)})^{-1} \eta_t^{(a)}$$
动作选择通过使用高斯后验 $\mathcal{N}(\mu_t^{(a)}, (\Lambda_t^{(a)})^{-1})$ 进行标准的汤普森采样。

2. 结构化实例化

该框架提供了一个统一的模板，并针对三种常见的非平稳模式提供了具体的实例化方案：

• 线性漂移 (Linear Drift)：假设参数演变为 $w_t^{(a)} \approx \theta^{(a)} + t \delta^{(a)}$。传输算子使用在线岭回归估计 $\hat{\delta}_t^{(a)}$ 来偏移奖励：$\hat{r}_{s \to t} = r_s + (t-s)\langle \hat{\delta}_t^{(a)}, x_s \rangle$。权重随时间指数衰减 ($\omega_{s,t} = \gamma^{t-s}$)，以应对外推的不确定性。
• 周期性变化 (Periodic Variation)：假设参数以周期 $P$ 重复。对于处于相同相位（phase）的观测值，传输算子为恒等算子 ($\hat{r}_{s \to t} = r_s$)。权重由相位之间的循环距离决定，从而允许算法重用来自前一个周期的观测数据（$\omega_{s,t}$ 取决于相位的接近程度）。
• 循环机制 (Recurring Regimes)：处理在有限个机制（regimes）之间切换的环境。算法维护一个特定于机制的后验库。在检测到变点（通过对预测残差进行 CUSUM 检测）时，它会重新加载重新出现的机制对应的后验分布，而不是从头开始。

该框架还支持组合 (composition)，允许通过结合各自的传输和权重规则，同时处理线性漂移和周期性。

主要贡献

1. 流校正后验更新：论文引入了一种基于传输的非平稳性视角，其中过去的奖励被校正为当前时刻的伪观测值，并通过置信度加权的贝叶斯更新进行整合，而不是被统一丢弃。
2. 模块化算法设计：FC-TS 由通用的传输算子和权重规则定义，并为线性漂移、周期性变化和循环机制提供了实例化实现。这包括一个能够结合趋势和多种周期性的自适应变体。
3. 实证验证：通过五个案例研究（线性漂移、周期性变化、循环机制、复合非平稳性和半合成投资组合选择）进行的广泛评估表明，FC-TS 的表现优于最先进的基于遗忘的方法基准。

实验结果

作者将 FC-TS 与四个基准方法进行了对比：标准汤普森采样 (STD-TS)、滑动窗口汤普森采样 (SW-TS)、折扣汤普森采样 (D-TS) 和重启汤普森采样 (R-TS)。

• 性能提升：在所有五种设定中，FC-TS 均实现了最低的累积遗憾（cumulative regret），相比于各特定环境下表现最强的基准方法，其提升幅度在 14.1% 到 59.0% 之间。

• 特定案例洞察：

  • 线性漂移：FC-TS 在预热阶段与 SW-TS 表现相当，但随着漂移估计趋于稳定，两者差距逐渐扩大，在 10 次实验种子中赢得了 8 次。
  • 周期性变化：由于具备“相位记忆（phase memory）”并能累积来自前一周期的观测数据，FC-TS 展现了最大的合成增益 (50.0%)。每个周期的遗憾从约 70 降至约 4，而基准方法的遗憾则趋于平缓。
  • 循环机制：FC-TS 通过在检测到切换时重新加载机制特定的后验分布，避免了重启带来的“冷启动”惩罚，实现了 59.0% 的改进。
  • 复合非平稳性：在同时存在漂移和突发变点的环境中，FC-TS 成功结合了漂移校正（用于平滑演变）和机制重置（用于突发变化），实现了 29.5% 的改进。
  • 半合成投资组合：在具有重叠月度/季度周期以及“成长型向价值型”漂移的金融任务中，自适应 FC-TS 变体比表现最好的基准方法 (D-TS) 减少了 28.1% 的遗憾。消融研究证实，漂移校正是这一增益的主要来源。

• 消融研究发现：

  • 有效样本量：在没有传输校正的情况下保留更多数据（“无传输”消融实验）会导致比丢弃数据的方法更高的遗憾，这证实了陈旧数据会引入系统性偏差。
  • 传输价值：在各种漂移规模下，传输算子本身相比于“无传输”变体实现了 47–57% 的遗憾减少，证明了驱动性能提升的是校正机制，而非仅仅是后验重建。

意义与主张

论文主张，处理结构化非平稳性的更好方式是通过校正和重用经验，而不是统一地丢弃经验。

作者强调，当环境的漂移是可预测的（渐进的、周期的或循环的）时，历史数据是资产而非负债。通过显式建模奖励分布随时间的“流向”，FC-TS 比基于遗忘的方法维持了更大的有效样本量。结果表明，非平稳老虎机实现样本效率的关键在于根据环境的具体时间结构对历史观测进行重加权和校正，而不是应用单一的统一遗忘规则。

论文最后谦虚地指出，未来的工作包括在线学习带有校准不确定性的漂移结构、将框架扩展到广义线性或神经老虎机，以及为存在未建模分布偏移的高风险场景开发保障机制。