🤖 machine learning

Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

本文提出了一种新颖的离线到在线强化学习自适应方法，该方法通过将离线性能估计与上置信界策略相结合，在有限的交互预算下高效地选择并微调候选策略，从而克服离线策略评估不可靠以及全面在线测试不切实际的问题。

原作者： Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位教练，正带领一支运动员队伍备战一场重大比赛。你拥有一个庞大的旧训练视频库（即离线数据），展示了不同运动员过去的表现。你的目标是挑选出最优秀的运动员，并让他们为正式比赛做好准备，但你有一条严格的规定：在赛前，你只能让他们在真实跑道上进行非常短暂、有限的训练（即交互预算）。

本文解决的是**强化学习（RL）**中的一个特定问题，其本质是通过试错来教会计算机做出决策。以下是作者如何用简单的类比来拆解这个问题：

问题所在：“猜谜游戏”的陷阱

过去，教练（算法）曾尝试通过两种方式挑选获胜者，但两者都存在缺陷：

“视频分析师”方法（离线评估）： 他们观看旧训练视频，试图根据统计数据猜测谁会获胜。
- 缺陷： 视频可能会产生误导。一名运动员在视频中看起来表现极佳，但一旦踏上真实跑道，由于条件不同，可能会崩溃。仅依赖视频是危险的。
“全员试跑”方法（在线评估）： 他们让每一位运动员都在真实跑道上跑一小段，看看谁最快，然后选出获胜者。
- 缺陷： 你只有极少量的跑道时间。如果你将这段时间分配给 20 名运动员，没有人能获得足够的练习来真正提升。你只是浪费了宝贵的有限时间，去测试那些本可能表现不错、但需要更多练习才能发光发热的运动员。

真正的问题在于： 有时，一名运动员在视频中表现糟糕，但在经过少量练习后却成为了冠军。而有时，一名运动员在视频中看起来惊艳，但在练习后表现反而变差（也许是因为他们累了，或者跑道条件不同）。你无法提前预知哪位运动员会进步，哪位会退步。

解决方案：“智能教练”策略

作者提出了一种名为自适应策略选择与微调的新方法。这就像一位能够动态管理有限跑道时间的智能教练。

以下是这位“智能教练”的工作方式：

热身（离线训练）： 首先，教练利用旧视频训练一大群运动员（候选策略）。他们尝试不同的训练风格和设置，以组建一个多样化的群体。
初步猜测（离线策略评估 OPE）： 教练查看视频，对谁可能表现良好有一个粗略的了解。这只是一个起点，而非最终决定。
“水晶球”（预测与置信度）： 这是核心创新。教练不再仅仅挑选当前的领先者，而是利用数学上的“水晶球”（统计模型）来预测未来。
- 教练会问：“如果我让运动员 A 再跑 10 分钟，他们会变得更好，还是会崩溃？”
- 教练计算一个置信度分数（置信上界）。这个分数不仅仅关乎他们现在有多好，更关乎如果给予更多时间，他们可能提升多少。
动态切换（“烫手山芋”规则）：
- 教练挑选“潜力分数”最高的运动员，让他们在跑道上奔跑。
- 经过短暂奔跑后，教练检查结果。
- 如果运动员在进步： 教练让他们继续在跑道上奔跑，以榨取更多性能。
- 如果运动员停滞不前或表现变差： 教练立即停止他们的训练。他们不浪费时间，而是立即切换到名单上下一个具有高“潜力分数”的运动员。
- 这就像接力赛，接力棒会瞬间传递给那位看起来提升空间最大的跑者，而不是死守着当前领先但已无提升空间的跑者。

为何这很重要

该论文在模拟世界中用虚拟机器人（如行走机器人和奔跑的猎豹）测试了这种方法。他们将他们的“智能教练”与旧方法进行了对比。

旧方法： 要么基于糟糕的视频猜测选错了机器人，要么浪费时间测试所有人，却不让任何机器人真正学会。
新方法： 通过不断检查“这个机器人变好了吗？”，并在答案为“否”时切换到新候选者，团队能够更高效地找到最佳的机器人。

核心结论

该论文声称，通过将有限的练习时间视为一种灵活的资源——根据候选者的预测未来潜力而非仅仅根据当前分数在候选者之间进行切换——你可以获得更好的最终结果。关键在于明智地利用有限的时间：不要继续练习已经达到巅峰的球员，也不要放弃那些只需要多一点时间就能找到节奏的球员。

简而言之： 不要只挑选你今天看到的最佳球员；要挑选拥有最佳明天的球员，并不断切换，直到找到那个真正能赢得比赛的人。

技术摘要：离线到在线强化学习中的交互预算下自适应策略选择与微调

1. 问题表述

本文解决了**离线到在线强化学习（O2O-RL）**中的一个关键挑战：如何在有限的在线交互预算下，高效地从一组离线预训练的候选策略中选择并优化出最佳策略。

在标准的 O2O-RL 流程中，多个候选策略使用各种算法和超参数进行离线训练。通常通过**离线策略评估（OPE）**来评估这些策略，以选择一个单一策略进行部署，随后对其进行微调。作者指出了该方法存在的两个主要缺陷：

OPE 的不可靠性：由于分布偏移，OPE 估计往往不准确，仅依据这些分数部署策略具有风险。
在线评估（OE）和朴素微调的无效性：穷尽式地在线评估所有候选策略会消耗交互预算，却无法优化任何策略。相反，承诺对单一策略进行微调则具有风险，因为预训练策略在在线交互过程中可能会停滞甚至退化，尤其是在非平稳环境中。此外，通常无法先验地知道哪个策略最能从微调中受益。

核心问题被定义为在固定的交互预算 $N$ 内最小化遗憾值。目标是找到一种程序，将 $N$ 次在线转移分配给 $K$ 个候选策略（每个策略可能经历多次微调迭代），以最大化最终选定策略的价值，而不是简单地选择最佳的初始候选者或同等地评估所有候选者。

2. 方法论

提出的框架自适应策略选择与微调分为两个阶段运行：

A. 离线阶段

使用各种离线强化学习算法（如 AWAC、IQL、CalQL、ReBRAC）和超参数设置，训练一个包含 $K$ 个候选策略的多样化池。
执行**离线策略评估（OPE）**以生成初始性能估计。这些估计用于对策略进行排序，但在在线阶段不被视为价值估计的基准真值。
在线阶段的初始价值估计设定为从数据集中导出的行为策略价值（ $\hat{v}_B$ ），并辅以伪观测值以处理早期识别问题。

B. 在线阶段（自适应循环）
在线阶段利用**置信上限（UCB）**方法动态分配交互预算 $N$ 。过程迭代如下：

选择：优先队列（最大堆）选择具有最高max-UCB的策略。UCB 基于对策略未来性能的预测计算得出。
微调与评估：选定的策略使用部分预算进行一轮微调，随后进行在线评估以获得新的价值估计。
价值预测模型：作者使用**线性自回归（AR(2)）过程结合条件异方差（ARCH(1)）**过程来建模微调过程中策略价值的演变。这捕捉了短期趋势（上升/下降）和时变方差（波动性），这对于微调曲线可能不规则、停滞或退化的情况至关重要。
预测与更新：利用拟合的 AR-ARCH 模型，系统模拟 $R$ 条未来价值轨迹，以计算未来步骤的第 95 百分位数（UCB）。计算max-UCB（剩余预算跨度内的最大 UCB）。
重新入队：策略根据其新价值和 max-UCB 更新，并重新推入优先队列。
切换：如果不同候选者的 max-UCB 超过当前选定策略的 max-UCB，系统将焦点切换到新的候选者。这使得算法能够放弃那些正在退化或停滞的策略，并将资源分配给更有希望的候选者。

该过程持续进行，直到交互预算耗尽，返回所有被评估策略中估计价值最高的策略。

3. 主要贡献

新颖框架：本文提出了第一种在严格在线交互预算下联合结合自适应策略选择和微调的方法。它超越了“先选择后微调”或“评估所有”的二元选择，转向动态分配策略。
建模微调波动性：作者引入了**AR(2)-ARCH(1)**模型来预测微调期间策略价值的非平稳演变。这明确考虑了性能退化和方差的可能性，而标准回归模型往往忽略这些情况。
基于 UCB 的分配：通过对预测的未来性能使用 UCB 标准，该方法有效地平衡了探索（评估新候选者）和利用（微调有希望的候选者），确保预算不会浪费在不太可能改进的策略上。

4. 实验结果

该方法在来自 D4RL 基准的四个标准足式机器人运动任务（Hopper、Cheetah、Walker、Ant）上进行了评估，涵盖了四种数据集质量级别（Random、Medium、Medium-Replay、Medium-Expert）。

基线：该方法与以下基线进行了比较：
- OPE：仅基于离线估计选择最佳策略。
- OE：平均分配预算以在线评估所有候选者，不进行微调。
- FT：选择 OPE 最佳策略，并用全部预算对其进行微调。
- Best：使用真实最佳策略的假设上限。
性能：
- 所提出的方法在所有环境和预算规模（160K 和 320K 次转移）中始终取得了最高的平均分数。
- 它显著优于 FT，后者经常遭受损失，因为它将全部预算承诺给了一个可能会退化的单一策略（例如在 Walker-Medium-Expert 中）。
- 它优于 OPE 和 OE，因为它有效地利用预算来识别高潜力候选者并优化它们，避免了不微调的“机会损失”或微调错误策略的“遗憾”。
- 结果表明，自适应分配允许系统从较差的初始 OPE 排名中恢复，并避免将资源浪费在那些无法通过在线交互改进的策略上。

5. 意义与主张

作者声称，这项工作为在在线交互成本高、风险大或耗时的现实世界系统中部署强化学习提供了一种实用解决方案。通过承认预训练策略可能表现任意糟糕且微调结果具有波动性，所提出的框架提供了一种稳健的机制来应对这些不确定性。

本文谦逊地指出，虽然该方法优于强大的基线，但它并非最终解决方案。局限性包括频繁在线评估的计算成本以及对特定超参数设置的依赖。作者建议未来的方向包括利用探索滚轮以减少显式评估成本、纳入策略相似性指标，以及开发专门针对 O2O-RL 排名的 OPE 方法。最终，该框架旨在弥合理论离线强化学习与实际可部署系统之间的差距。