技术摘要：在线强化学习微调时，你真的需要预训练 Q 函数吗？

1. 问题定义

本文研究了在利用在线强化学习（RL）微调预训练策略时，在离线数据上预训练 Q 函数的有效性。该设定涉及一个马尔可夫决策过程（MDP），其中智能体拥有一个固定的离线数据集 $D_{offline}$ 和一个预训练的基础策略 $\pi_{base}$（通常通过在 $D_{offline}$ 上进行监督学习或模仿学习训练而成）。目标是通过在线强化学习微调来最大化回报。

核心问题在于：在进行在线 RL 微调时，引导策略进行动作选择的 Q 函数（$Q_\phi$）是否也应该随策略一起在 $D_{offline}$ 上进行预训练，还是应该随机初始化并在整个在线过程中进行学习。传统的“离线到在线 RL”经验认为，对策略和 Q 函数进行联合预训练是有益的。然而，最近的研究表明，从预训练策略配合随机初始化的 Q 函数开始，可以取得非常出色的结果。本文系统地测试了这样一个直觉：即预训练 Q 函数能否为下游性能提供必要的助力。

2. 方法论

实验设置

作者在来自 Robomimic（lift, can, square）和 OGBench（cube, scene, puzzle）的六个具有挑战性的连续控制操控任务上评估了其假设。这些任务涉及稀疏奖励和长程推理。

• 基础算法： 本研究使用了 EXPO，一种样本高效的离策略（off-policy）RL 算法。EXPO 采用一个“基础流策略”（$\pi_{base}$）和一个预测动作修正的轻量级“编辑策略”（$\pi_{edit}$）。最终动作通过在基础动作和编辑动作集合中最大化 Q 值来选择。
• 基准方法：
  1. 朴素预训练（Naive Pretraining）： 在在线微调之前，分别使用监督学习和离线 TD 学习，在 $D_{offline}$ 上预训练 $\pi_{base}$ 和 $Q_\phi$。
  2. 随机初始化（Random Initialization）： 仅在 $D_{offline}$ 上预训练 $\pi_{base}$；将 $Q_\phi$ 随机初始化，并在整个在线微调过程中进行学习。
  3. 离线价值最大化（Offline Value Maximization）： 试图通过在预训练期间进行离线价值最大化（例如，学习一个编辑策略或蒸馏一个单步策略）来弥合离线与在线目标之间的差距。

提出的方法：通过策略集成进行初始化 (IPE)

受“朴素预训练效果不佳”这一发现的启发，作者提出了 IPE 方法，旨在更好地利用离线数据进行 Q 函数初始化，同时避免标准预训练中的失配问题。

• 核心思想： 单一的预训练策略往往会产生狭窄的动作分布，导致 Q 函数向特定策略的价值函数收敛（$Q_{\pi_{base}} \approx V_{\pi_{base}}$），而不是学习一个具有泛化能力的动作价值结构。
• 流程：
  1. 在离线数据集上训练基础策略 $\pi_{base}$。
  2. 在相同的动作分布上训练 $N$ 个额外的多样化策略（$\pi_1, \dots, \pi_N$）（使用相同的数据集或带有不同随机种子的子集）。
  3. 在环境中展开（roll out）所有 $N+1$ 个策略以收集多样化的转移数据。
  4. 将这些展开数据汇聚，用于初始化在线 RL 微调的经验回放池（replay buffer）。
     这种方法为 Q 函数提供了在每个状态下更广泛的动作覆盖范围，使其能够学习到一个更接近最优在线目标（$Q^*_{RL}$）的 Q 函数，而不是受限于单一策略的狭窄分布。

3. 关键发现与分析

朴素预训练的失败

与传统直觉相反，作者发现朴素预训练 Q 函数对于提升性能几乎没有帮助，甚至在某些任务中会阻碍在线学习。

• 失配（The Mismatch）： 离线预训练期间学习到的 Q 函数（$Q_{\pi_{base}}$）针对的是基础策略的价值函数。然而，在线 RL 微调收敛于一个不同的最优 Q 函数（$Q^*_{RL}$）。
• 偏好准确性（Preference Accuracy）： 即使基础策略接近最优，离线预训练的评论家（critic）也无法与在线 RL 学习到的评论家对齐。离线 Q 函数无法像在线收敛时那样，正确地对最优策略（$\pi^*$）与基础策略（$\pi_{base}$）的动作进行排序。
• 修复手段的无效性： 通过离线价值最大化（例如，训练编辑策略或在预训练期间应用动作梯度）来缩小这一差距的尝试并未能提高性能或偏好准确性，这表明在线交互对于学习正确的目标是必要的。

IPE 的机制

论文证明，朴素预训练的失败源于动作多样性的缺失。单一策略的展开会导致 Q 函数具有极低的方差，实际上使其变得确定化，无法区分替代动作。

• 多样性： 通过使用策略集成，IPE 生成了具有显著更高动作多样性的展开数据。
• 结果： 这种多样性使 Q 函数能够学习到有意义的动作价值结构（$Q^*_{RL}$），而不是坍缩到单一策略的行为价值上。

4. 结果

• 性能提升： 在一系列连续控制基准测试中，与朴素 Q 函数预训练相比，IPE 在微调性能上实现了 平均 1.26 倍的提升（约 26%）。
• 与随机初始化的比较： IPE 的表现优于朴素预训练和随机初始化，这表明 Q 函数初始化的质量至关重要，但初始化的来源必须是多样化的。
• 扩展性： 性能随集成中使用的策略数量（$N$）而扩展。在实验中，$N=5$ 提供了最佳结果，这表明行为策略的覆盖范围越广，下游微调的效果越好。
• 偏好准确性： 与基准方法相比，经 IPE 训练的 Q 函数对最优动作表现出更高的偏好准确性，证实了该方法成功弥合了向 $Q^*_{RL}$ 迈进的差距。

5. 重要性与主张

本文挑战了在“离线到在线 RL”背景下“预训练越多越好”的普遍假设。其主要贡献包括：

1. 实证证据： 系统地证明了在从预训练策略开始时，直接在离线数据上预训练 Q 函数往往无法加速或改善在线 RL 微调。
2. 理论洞察： 识别了离线 Q 函数（$Q_{\pi_{base}}$）与在线目标（$Q^*_{RL}$）之间的根本失配，并表明仅靠离线价值最大化无法解决这一差异。
3. 实践方案： 引入了 IPE，一种简单且有效的通过策略集成来引导 Q 函数学习的方法。通过在预训练阶段增加动作多样性，IPE 使在线 RL 能够更高效地学习正确的价值函数。

作者总结道，虽然预训练策略是必不可少的，但初始化 Q 函数的策略必须考虑到学习最优价值景观所需的动作多样性，而不仅仅是拟合单一策略的离线数据分布。该工作局限于离策略 RL 设置，作者指出减少 IPE 的数据收集开销仍是未来的研究方向。