📊 statistics

Sequential Off-Policy Learning with Logarithmic Smoothing

本文提出了一种序贯离线策略学习算法，该算法将对数平滑估计与在线 PAC-贝叶斯工具相结合，以有效应对在累积数据上迭代更新策略这一常见的现实世界场景，并在理论和实证层面均展现出优于现有批量方法的性能。

原作者： Maxime Haddouche, Otmane Sakhi

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxime Haddouche, Otmane Sakhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一款复杂的电子游戏。在旧有的方法（即“批量”方法）中，你会让机器人玩海量的游戏，记录每一次操作和得分，然后每年坐下来一次，研读整本日志，以找出如何玩得更好。在结束那场庞大的学习会议之前，你绝不会改变机器人的策略。

本文认为，在现实世界中，等待整整一年去学习是低效的。相反，我们应该采用一种顺序方法：让机器人玩几轮，学习一点点，立即更新其策略，然后利用这个新的、稍显更聪明的策略去玩接下来的几轮。你重复这个循环：玩、学、更新、再玩。

作者 Maxime Haddouche 和 Otmane Sakhi 解决了这种“玩 - 学 - 更新”循环中的一个具体问题：如何从过去的错误中学习，而不被它们误导？

核心问题：“有偏”的日志

当机器人玩游戏时，它遵循特定的策略（我们称之为“行为策略”）。如果机器人不擅长这款游戏，它大多会做出糟糕的操作。如果你试图从一本充满糟糕操作的日志中学习，你可能会想：“哦，这个糟糕的操作其实很好，因为它发生了很多次！”

为了解决这个问题，数学家使用了一种称为**对数平滑（Logarithmic Smoothing, LS）**的技术。将其想象成一种特殊的“真相过滤器”或“现实核查”，它会审视日志并说：“好吧，这个操作很罕见且风险很高，因此我们在评估它时需要格外小心。”这能防止机器人基于偶然数据而过度自信。

两种新算法

本文介绍了两种运行这种顺序学习过程的新方法，两者都使用了一个名为PAC-Bayes的数学框架（这就像一种严格的安全保证，声称：“我们有 99% 的把握，这个新策略优于旧策略”）。

1. “标准”顺序学习器（算法 1）

这是第一次升级。它将现有的“真相过滤器”（对数平滑）应用于顺序设定中。

工作原理：每次机器人玩新一批游戏时，该算法都会审视迄今为止收集的所有数据（从第一局游戏到当前这一局），并更新策略。
结果：它比旧的“等待一年”方法效果更好。它学习得更快，因为它不会丢弃旧数据；随着新数据的到来，它会不断 refine（完善）其理解。然而，它仍有一个轻微的速度限制——它以稳定、可预测的速度学习，但并非可能的最快速度。

2. “加速”顺序学习器（算法 2）

这是本文的主要突破。作者意识到第一个算法存在一个隐藏缺陷：它的“真相过滤器”过于保守，从而减缓了学习速度。

修正方案：他们调整了过滤器的数学原理（创建了“调整后的对数平滑”）。想象一下，他们打磨了这个过滤器，使其能够更敏锐地区分“罕见但好的操作”和“罕见但坏的操作”。
结果：这个新算法快得多地收敛到最优策略。在合理条件下（例如机器人有一个不错的起点，且游戏存在明确的“最佳操作”），它以加速率进行学习。这就像从自行车换成了跑车；它能在显著更少的步骤内到达终点（即完美策略）。

为何这很重要（根据本文观点）

作者在标准数据集（如识别手写数字或图像）上测试了这些想法。他们发现：

频繁更新更好：将学习过程分解为许多小更新（玩一点、学习、再玩），比在结束时进行一次巨大的更新，始终能产生更好的机器人。
新过滤器更强：“调整后”的算法（算法 2）始终优于“标准”算法，同时也优于其他尝试进行顺序学习的近期方法。
契合现实世界：这种方法模仿了现实系统（如推荐引擎或广告投放）的实际运作方式，在这些系统中，策略会根据最新用户数据不断更新，而不是被冻结在静态的批量数据中。

结论

本文提供了一套数学配方，用于教导人工智能从其自身历史中持续学习。他们证明，通过使用一种特定类型的“现实核查”（对数平滑）并逐步更新策略，你可以比以前更快、更可靠地学习。他们的第二套配方（调整后的版本）是执行此操作的最快方式，能保证人工智能更早达到其巅峰性能。

技术摘要：带对数平滑的序贯离线策略学习

问题陈述

离线策略学习（Off-policy learning）允许利用由行为策略生成的日志交互数据来训练策略。尽管离线策略学习在批量设置（即从由单一行为策略生成的静态数据集中学习单一策略）中的理论基础已相当完善，但现实世界的系统运作方式却截然不同。在实践中，策略以序贯方式被反复更新和重新部署：策略基于所有历史数据进行训练，部署以生成新的交互，随后在扩展后的数据集上重新训练以进入下一轮迭代。

尽管这种序贯范式在推荐系统和广告展示等应用中无处不在，但其理论探索仍 largely 处于空白状态。现有的序贯方法往往依赖于强假设，例如动作空间的均匀覆盖或不切实际的数据收集策略（例如指数级增长的批量大小）。此外，当前最先进的离线算法，其利用了悲观原则和PAC-Bayesian框架，尚未被成功扩展至具有严格收敛保证的序贯设置中。本文旨在填补实际序贯部署与理论保证之间的鸿沟，致力于开发既具有理论严谨性又在经验上有效的序贯离线策略学习算法。

方法论

作者提出了一个基于上下文老虎机（Contextual Bandits）的框架，其中智能体在时间步 $k \geq 0$ 上与数据流进行交互。在每一步，一个新的行为策略 $\pi_k$ 被部署以收集一批数据 $S_k$ ，智能体随后利用累积历史 $S_{0:k}$ 更新其策略。

该方法论建立在两个主要的算法贡献之上，两者均利用了在线 PAC-Bayesian学习工具和对数平滑（LS）估计器：

1. 序贯对数平滑（算法 1）

第一项贡献将离线对数平滑估计器（由 Sakhi 等人于 2024 年引入）扩展至序贯设置。

估计器：该算法使用标准的 LS 正则化项 $h_{LS}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q})$ 。
机制：在每一步 $k$ ，算法最小化风险上的 PAC-Bayesian 上界，该上界结合了所有累积数据 $S_{0:k}$ 上的经验 LS 风险以及相对于先验 $P$ 的 KL 散度项。
理论保证：定理 3.2 为序贯输出 $\pi_{k+1}$ 建立了泛化界。收敛速率被证明为 $O(1/\sqrt{N_k})$ ，其中 $N_k$ 是样本总数。这匹配了批量设置中的最优速率，但适用于数据的序贯累积。
局限性：作者指出，收敛界中的伪方差项即使当行为策略趋近于最优策略时也不会消失，导致收敛速率无法超越 $O(1/\sqrt{N_k})$ 而加速。

2. 序贯调整对数平滑（算法 2）

为了克服算法 1 收敛缓慢的问题，作者引入了一种新颖的调整对数平滑（AdjLS）估计器。

估计器：定义了一个新的正则化项： $h_{adj}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q(1+\lambda c)})$ 。这一调整修改了性能目标，以控制当前策略的风险与过去风险的加权平均值之间的差异。
机制：算法 2 在累积数据上最小化调整后的风险估计器。
理论保证：定理 4.4 证明，在温和假设下（具体而言，即最优动作被策略类覆盖，且问题具有由 $\Delta_u > 0$ 量化的某种程度的可分离性），算法 2 实现了加速收敛速率 $O(1/N_k^\alpha)$ ，其中 $\alpha \in [0.5, 1)$ 。
关键洞察：与标准 LS 估计器不同，调整后的估计器的误差项 $L(\pi^*, \pi_j)$ 随着行为策略 $\pi_j$ 趋近于最优策略 $\pi^*$ 而消失，从而实现了更快的收敛。

主要贡献

首个序贯 PAC-Bayes 算法：本文提出了专为序贯设置设计的离线策略 PAC-Bayesian 算法，提供了介于完全批量和完全在线机制之间的理论收敛保证。
通过调整实现加速收敛：作者指出了将标准离线估计器序贯应用时的根本局限性，并提出了一种原则性的调整（AdjLS），在合理假设下产生了可证明的加速收敛速率。
放宽假设：理论分析仅要求策略类覆盖最优动作（假设 3.4），这严格弱于先前序贯工作（例如 Zenati 等人，2023）所需的均匀覆盖假设。
推广至非独立同分布上下文：该框架被证明可适应于上下文分布随时间演变的非平稳环境，从而放宽了对上下文的独立同分布假设。

实验结果

作者在转换为上下文老虎机问题的标准多类数据集（MNIST、FashionMNIST、EMNIST、CIFAR100）上评估了他们的方法。

序贯与批量对比：实验表明，与单次批量更新（ $k=1$ ）相比，增加中间策略更新次数（ $k$ ）始终能提升最终策略的性能。这验证了序贯框架的优势。
算法比较：
- SeqAdjLS（算法 2）始终优于SeqLS（算法 1），证实了调整估计器的理论优势。
- 两种提出的方法均显著优于SCRM（序贯反事实风险最小化，Zenati 等人，2023）。作者指出，SCRM 往往过于保守，特别是在批量大小较小的早期轮次中，并且依赖于不切实际的数据收集策略（指数级增长的批量），这会丢弃历史数据。
初始策略的影响：当初始行为策略远离最优策略时，序贯方法显示出显著增益，特别是在高维动作空间中（例如具有 100 个动作的 CIFAR100）。

意义与主张

本文声称填补了实际序贯离线策略学习与严格保证之间的理论鸿沟。通过结合在线 PAC-Bayes 技术与新颖的对数平滑估计器，作者提供了以下算法：

泛化最先进的离线方法（在批量极限下匹配其性能）。
加速序贯设置中的学习，通过利用行为策略的渐进式优化。
避免阻碍现有序贯方法适用性的不切实际假设（如均匀覆盖）。

作者强调，虽然他们的理论分析依赖于策略类覆盖最优动作，但这与先前工作相比是一个显著的放宽。他们得出结论，在线 PAC-Bayes 与序贯上下文老虎机的结合为动态现实世界系统中的稳健、高效学习提供了一个有前景的方向。