🤖 machine learning

Active Offline-to-Online Reinforcement Learning

本文介绍了一种用于离线到在线强化学习的新型主动策略选择框架，该框架通过利用基于局部线性性能预测的置信上限，在评估候选策略与微调最具前景的策略之间进行动态平衡，从而优化有限的交互预算。

原作者： Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名机器人教练，正试图教一群新兵运动员如何跑马拉松。你拥有一个庞大的旧比赛录像库（离线数据集），展示了过去其他跑者是如何运动的。同时，你还有一个非常严格的规则：你只能让你的新兵在实际赛道上进行极短且有限时间的跑步（在线交互预算），因为赛道可能很危险、很昂贵，或者天气很糟糕。

核心问题在于：仅仅因为一名跑者在旧录像中看起来表现出色，并不意味着他们在实际赛道上也会表现出色。事实上，有些人可能会立刻绊倒跌倒。这就是**离线到在线强化学习（Offline-to-Online Reinforcement Learning, O2O-RL）**的世界。

旧方法：过早挑选赢家

传统上，教练们会观看录像，根据直觉选出一个看起来“最棒”的新兵，然后把所有的有限赛道时间都花在训练这一个人身上。如果这个直觉错了，或者这个新兵只是需要一点时间来热身才能展现出真正的潜力，教练就浪费了整个预算。

其他教练则尝试了另一种错误做法：他们将微小的赛道时间平均分配给所有人。这意味着即使某个跑者是天生的冠军，也没有任何一个人能获得足够的时间来真正变得优秀。

新想法：“智能切换”教练

本文的作者 Alper Kamil Boşkort, Shangtong Zhang 和 Yuichi Motai 提出了一种更聪明的方法。他们称之为主动式离线到在线强化学习（Active Offline-to-Online Reinforcement Learning）。

他们并没有选择只选一个赢家或平均分配时间，而是将训练过程处理成一场带有水晶球的抢凳子游戏。

小队： 首先，他们利用旧录像训练了一群庞大且多样化的候选人（每个环境中包含 16 个不同的“新兵”）。每一个候选人都使用略有不同的训练规则（算法和设置）。
水晶球： 当他们让新兵在实际赛道上奔跑时，他们不仅仅是在观察；他们使用了一个局部线性回归模型。你可以把它想象成一个水晶球，它观察跑者最后走的几步，并画出一条直线来预测他们未来的轨迹。它还会围绕这个预测画出一个“模糊地带”（置信区间），以显示其不确定性。
切换： 教练并不会死守一名跑者。相反，他们会不断地询问：“考虑到当前的运动速度以及潜在的进步空间，谁现在的潜力得分最高？”
- 如果一名跑者进步很快，教练会继续训练他。
- 如果一名跑者停滞不前或开始减速，教练会立即切换到另一名看起来更有前景的新兵。
- 他们使用了名为**置信上限（Upper Confidence Bounds, UCB）*的数学技巧。这就像是给那些具有风险但可能*成为超级巨星的跑者额外的加分，确保教练不会仅仅因为他们表现不好就过早放弃他们。

实验结果表明

团队在计算机模拟的现实世界中（使用 Swimmer、Hopper、Ant 和 Maze 等环境）测试了这种“智能切换”方法。他们没有制造物理机器人，而是在一台拥有 16 个处理器核心的计算机上运行了这些测试。

以下是他们的发现：

效果更好： 在几乎所有的测试中，他们的“智能切换”方法都击败了旧方法。例如，在 Maze 任务中，他们的方法达到了 97.3% 的得分（在 100% 代表绝对最佳的量程下），而旧的“挑选一个”方法仅达到了 67.0%。
处理“热身”问题： 一些机器人（如 Hopper 或 Ant）需要很长时间才能进入状态并开始快速奔跑。旧的“分配时间”方法在这里失败了，因为它没有给任何单个机器人足够的时间来进行热身。而“智能切换”方法会等待，观察谁正在热身，然后将所有时间投入到那个人身上。
并非完美： 当预算非常紧张时，该方法在 Swimmer 和 Ant 环境中表现挣扎。有时，“水晶球”无法分辨一名跑者是仅仅起步较差还是真的不行，导致教练浪费时间去挽救一个无法挽救的跑者。

他们对哪些说法表示“否定”

作者非常明确地说明了他们的研究不是什么：

他们并没有发明一种从头训练机器人的新方法。他们使用了现有的训练算法（如 CalQL、ReBRAC、IQL 和 AWAC），只是在其之上添加了“智能切换”层。
他们并没有声称一开始就挑选出单一最佳跑者（不进行切换）是一个好主意。他们的数据表明，一旦进入实际赛道，那些在录像中看起来“最好”的跑者表现往往比随机猜测还要差。
他们并没有说这套方法本身解决了“分布偏移”（即机器人行为与训练数据不一致）的问题。他们只是展示了主动切换策略有助于管理风险。

他们有多确定？

作者对其在所运行的模拟实验中的结果感到信心十足。他们在许多不同的机器人任务（导航、平衡、行走）中进行了测试，并使用四种不同的随机种子重复了实验，以确保结果并非仅仅靠运气。

然而，他们也谨慎地指出，这仍然是一个模拟环境。他们尚未在真实的工厂或危险环境中的物理机器人上测试过此方法。他们建议，虽然该方法在使离线学习变得实用方面迈出了重要一步，但要使其在复杂多变的现实世界中足够稳健，仍有大量工作要做。

简而言之，如果你有有限的预算来训练机器人，不要把赌注全部押在一个猜测上，也不要把资金分散得太薄。相反，要保持开放的选择，观察谁在进步，并准备好将赌注切换到那个最有未来潜力的选手身上。

技术摘要：主动式离线到在线强化学习 (Active Offline-to-Online Reinforcement Learning)

问题陈述
离线强化学习 (Offline RL) 允许从静态数据集中训练策略，从而避免了初始在线探索的成本和风险。然而，离线预训练的策略往往会受到分布偏移的影响，导致在真实环境中的表现不可预测或较差。离线到在线 (O2O-RL) 范式通过使用有限的在线交互预算来微调预训练策略，解决了这一问题。

现有的 O2O-RL 方法通常侧重于改进离线预训练阶段，或者假设只选择单一策略进行微调。在有限交互预算下的主动策略选择方面存在关键空白。标准的流程通常要么致力于微调单个策略，要么将预算平均分配给所有候选策略。这是有风险的，因为：

预训练策略在真实环境中的表现可能极差。
微调性能对算法选择、超参数和随机种子高度敏感。
微调轨迹是非单调的；它们可能会停滞、退化或表现出高方差，这使得在不浪费整个预算在次优候选者上的情况下，很难识别出哪个策略最终会成功。

核心挑战在于：是将交互预算分配给评估多个候选者以识别高性能者，还是分配给微调特定候选者以提高其性能，这两者之间存在权衡。

方法论
作者提出了一种 Active O2O-RL 框架，该框架共同执行策略选择和微调。该方法分为两个阶段运行：

离线阶段： 使用各种离线 RL 算法（如 AWAC、IQL、CalQL、ReBRAC）和超参数配置（如学习率、批大小）在静态数据集上训练一个包含 $K$ 个候选策略的多样化策略池。
在线阶段（主动选择与微调）：
- 局部线性预测 (Local Linear Forecasting)： 对于每个候选策略谱系，系统维护通过在线评估获得的价值估计历史。它拟合一个局部线性回归模型来预测未来的性能趋势。该模型捕捉短期上升或下降趋势，并估计随时间变化的确定性（残差方差）。
- 置信上限 (UCB) 选择： 系统计算每个策略未来性能的置信上限 (UCB)。UCB 是由预测值加上缩放后的预测区间推导而出的。
- 自适应探索： 该方法不使用固定的探索参数，而是根据当前观测到的最佳值 ( $v^*_j$ ) 动态调整探索程度。它选择需要最小“规模”即可达到当前最佳值的策略，从而有效地平衡了探索具有不确定性但有前景的策略与利用已知高性能策略之间的需求。
- 迭代循环： 在每次迭代中，系统选择具有最高 UCB 的策略，对其进行一步微调，并进行在线评估。价值估计被添加到谱系中，局部线性模型被更新，且 UCB 被重新计算。如果另一个策略的 UCB 超过了当前最佳值，系统将切换到该策略。

核心贡献

新颖的问题形式化： 据作者所知，这是第一项解决 O2O-RL 设置下，在有限交互预算下进行微调时的主动策略选择的研究。它明确地对评估与微调之间的权衡进行了建模。
主动选择算法： 论文提出了一种使用局部线性回归来预测未来性能，并采用 UCB 标准来主动选择微调哪个策略的方法。这避免了过早承诺于次优策略。
实证验证： 该方法在多种模拟机器人基准测试中进行了评估，包括导航 (Point Maze)、经典控制 (Inverted Pendulum, Swimmer, Reacher, Pusher) 和足式运动 (Hopper, HalfCheetah, Walker2d, Ant)。

结果
实验是在 1,000K 次转移的在线交互预算下进行的（在消融研究中使用较小的 750K 预算）。提出的 ACTIVE 方法与几个基准方法进行了比较：

RANDOM： 在不进行微调的情况下随机选择一个策略。
BEST： 在不进行微调的情况下选择离线估计最好的策略。
FTS (Fine-Tuning Single)： 使用全部预算微调单个随机选择的策略。
FTA (Fine-Tuning All)： 将预算平均分配给所有候选策略。

发现：

持续超越： 在大多数环境中，ACTIVE 方法始终优于所有基准方法，实现了 82.3% 的总体平均归一化回报，而 FTS 为 64.3%，FTA 为 63.1%。
适应性： 在策略改进缓慢或需要长时间预热的环境中（如足式运动），ACTIVE 成功识别了有前景的谱系并将其分配了大部分预算，优于将资源浪费在弱候选者上的 FTA。相反，在策略可能退化或停滞的环境中，ACTIVE 会从失败的谱系中切换出来，优于会陷入局部最优的 FTS。
局限性： 该方法在 Swimmer 和 Ant 等特定环境中表现挣扎，因为这些环境中的策略谱系在很长一段时间内几乎没有表现出改进迹象。在这些情况下，系统有时会耗尽预算试图识别一个从未实现的改进谱系。
敏感性： 对局部线性模型窗口大小 ( $w$ ) 的消融研究表明，虽然 $w=3$ 通常是有效的，但在高维、多噪声的环境（如 Ant）中，较大的窗口可以通过产生更少噪声的预测来提高性能，尽管它们可能会降低对快速变化的敏感度。

意义与主张
论文声称其框架推动了离线 RL 向实际部署迈进，特别是在在线交互成本高昂或具有风险的现实系统中。通过证明主动选择和动态预算分配比承诺单一策略或平均分配资源更有效，这项工作为处理预训练策略微调的波动性提供了一种稳健的机制。

作者谦虚地指出，虽然其方法优于强力的基准方法，但仍有改进空间。他们提出了未来的研究方向，例如利用探索性 Rollout 来监测进度、结合策略相似性，以及开发专门针对 O2O-RL 的 OPE 方法，以更好地及早排除表现不佳的候选者。这项工作通过提供更全面的分析、扩展到更多任务的实验以及详细的消融研究，扩展了他们之前的会议论文。