COOPO: Cyclic Offline-Online Policy Optimization Algorithm

COOPO：循环离线 - 在线策略优化技术摘要

问题陈述
强化学习（RL）面临数据效率与性能之间的基本权衡。纯在线 RL 方法（如 PPO、SAC）需要 prohibitively 数量的环境交互来学习最优策略，使其不适用于安全关键的 cyber-physical 系统（CPS），因为在这些系统中探索成本高昂或危险。相反，离线 RL 仅从静态数据集中学习，避免了在线交互，但由于无法探索未见过的状态，遭受分布偏移和策略次优的困扰。

最近的混合“离线到在线”方法试图通过在离线数据上预训练然后在线微调来弥合这一差距。然而，该论文指出了现有混合方法中两个关键的失效模式：

1. 灾难性遗忘：在在线微调期间，策略经常覆盖从离线数据集学到的知识，导致性能显著下降。
2. 分布偏移：从静态离线分布到动态在线分布的过渡导致策略漂移至数据不支持的状态空间区域，从而导致价值估计不准确和学习不稳定。

现有的解决方案，如热身阶段或在经验回放缓冲区中混合数据，往往无法保持长期稳定性，或未能充分降低在线阶段的样本复杂度。

方法论：COOPO 框架
作者提出了COOPO（循环离线 - 在线策略优化），这是一个统一的框架，通过在受约束的离线训练和在线微调之间反复循环来解决这些问题。与传统的先进行单次离线预训练然后进行在线适应的方法不同，COOPO 将这些阶段在循环中交错进行。

核心机制运作如下：

1. 循环结构：算法在 $K$ 个循环中交替进行离线阶段和在线阶段。
2. 离线阶段（稳定性与锚定）：
   • 策略使用**KL 正则化的优势加权演员 - 评论家（AWAC）**算法进行更新。
   • 该阶段采用显式的 Kullback-Leibler（KL）散度惩罚，将新策略（$\pi_{new}$）约束为保持在旧策略（$\pi_{old}$）和数据集中的行为策略（$\pi_\beta$）附近。
   • 在此阶段显式训练一个价值函数，以支持随后的在线过渡并提供鲁棒的优势估计，减轻分布外（OOD）误差。
   • 至关重要的是，离线阶段充当“校正稳定项”，将策略重新锚定到高质量的静态数据集上，以防止漂移和遗忘。
3. 在线阶段（适应与探索）：
   • 策略使用信任域同策略算法（实验中具体为PPO）进行微调。
   • 为了保持评论家的稳定性，在离线阶段训练的 Q 函数在在线 PPO 更新期间被冻结。这防止了由离线和在线状态之间的分布不匹配引起的价值漂移。
   • 在线阶段保持短暂（少量回合），以最小化环境交互，同时允许必要的探索。
4. 协同作用：循环行为创建了一个反馈回路，其中离线阶段稳定策略并纠正错误，而在线阶段利用真实世界信号细化策略。这使得离线数据成本可以在多个循环中分摊。

主要贡献

1. 通用循环框架：作者引入了一个新颖的框架，将 KL 正则化的离线训练与自适应在线微调交替进行。该设计通过定期将策略返回离线数据集，明确防止了灾难性遗忘和分布偏移。
2. 理论保证：
   • 性能界限：论文推导了性能差异界限（定理 1），表明在标准数据覆盖假设下，每个循环的收益增加是有保证的。
   • 样本复杂度：作者证明 COOPO 实现了 $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$ 的总样本复杂度。值得注意的是，由于数据重用，离线样本复杂度与数据集大小 $|D|$ 无关，而在线样本复杂度按 $H^3$ 缩放（其中 $H$ 是视界），这优于纯在线 PPO 的 $H^4$ 缩放。
   • 收敛性：定理 2 确立了向最优策略邻域的线性收敛。
3. 实证优越性：在 D4RL 基准（HalfCheetah、Hopper、Walker2D）上的广泛实验表明，COOPO 在最终收益和样本效率方面优于最先进的离线 RL（如 IQL、CQL）和离线到在线基线（如 Cal-QL、Uni-O4）。

结果

• 性能：COOPO 在 9 个 D4RL 任务中取得了 7 个任务的最高性能，超越了纯离线方法和单步混合方法。例如，在 halfcheetah-medium-expert 任务上，COOPO 实现了 9242.2 的收益，超过了次优基线（Uni-O4 为 8859.3）。
• 样本效率：与纯在线 PPO 相比，COOPO 显著减少了达到高性能所需的在线环境交互次数。理论分析和实证结果（图 7）证实，COOPO 将在线交互减少了常数倍。
• 稳定性：循环架构表现出稳健的渐近性能，避免了 AWAC 和 IQL 等方法中出现的早期平台期。消融研究表明，平衡离线轮数（$E$）和在线回合数（$T$）至关重要；具体来说，在早期阶段强调离线训练，在后期阶段强调在线微调，可产生最佳结果。
• 超参数敏感性：发现 KL 系数（$\lambda$）控制收敛速度与更新保守性之间的权衡。适中的 $\lambda$（例如 3）提供了收敛速度和低方差之间的最佳平衡。

意义与主张
该论文声称，COOPO 为样本高效且稳定的自适应学习设定了新范式，特别适用于安全关键的 cyber-physical 系统。通过形式化“循环协同”，该方法将离线 RL 的局限性（覆盖约束）和在线 RL 的局限性（样本低效）转化为互补优势。

作者强调，COOPO 为在大规模探索不可行的现实世界应用中的可靠部署提供了原则性基础。该框架提供了性能改进和有限在线交互的理论保证，解决了算法在分布偏移和对抗性扰动下保持稳定的关键需求。这项工作表明，这种循环协同有效地缓解了灾难性遗忘和分布漂移，为数据有限且动态不确定的环境中的自适应控制提供了鲁棒的解决方案。