Bridging the Performance Gap Between Target-Free and Target-Based Reinforcement Learning

本文提出了迭代共享 Q 学习（iS-QL）方法，通过仅复制在线网络的最后一层线性层作为目标网络并结合迭代 Q 学习，在保持单网络低内存占用的同时，有效弥合了无目标与基于目标强化学习算法之间的性能差距。

要点

这篇论文提出了一种让机器人（或 AI 代理）学习得更快、更省内存的新方法。为了让你轻松理解，我们可以把强化学习（Reinforcement Learning）想象成一个学生在准备考试。

1. 核心问题：学生太“脆”了，需要“老教师”帮忙

在传统的深度强化学习（比如 DQN）中，学生（在线网络）通过不断做题（与环境互动）来学习。

• 目标网络（Target Network）的作用：为了防止学生因为太自信或者题目太难而学“偏”了，系统会安排一位老教师（目标网络）。老教师手里拿着学生上一阶段的笔记，告诉学生：“这道题的标准答案应该是这样。”
• 优点：老教师很稳，能防止学生学歪，让学习过程更平滑。
• 缺点：老教师需要占用额外的内存。这就好比学生不仅要背自己的笔记，还得在脑子里专门腾出一块地方存老教师的旧笔记。如果电脑内存（显存）不够大，学生就没法把笔记背得足够厚（网络层数不够深），导致学不到高深的知识。

最近，有人尝试不要老教师（Target-Free），让学生直接用自己的最新笔记来核对答案。

• 优点：省内存！学生可以背更厚的笔记。
• 缺点：学生太“脆”了。因为笔记每做一道题就变一次，自己给自己出题、自己给自己改答案，很容易陷入混乱，学得很慢，甚至学废了。

现在的困境：要么有老教师但内存不够（学不深），要么省内存但学不稳（学不好）。

2. 这篇论文的解决方案：请一位“只改最后一笔”的助教

这篇论文的作者想出了一个绝妙的折中方案，叫做 iS-QL (Iterated Shared Q-Learning)。

想象一下，学生（在线网络）有一本厚厚的笔记，前面几百页是通用的解题思路（特征提取器），最后几页是具体的答案（最后的线性层）。

• 传统做法：为了稳定，系统会复制整本笔记给老教师。
• 新做法（iS-QL）：
  1. 共享思路：学生和“助教”（新的目标网络）共用前面几百页的通用解题思路。这意味着他们不需要复制整本笔记，只占很少的内存。
  2. 冻结答案：系统只把最后几页的答案复制一份，作为“助教”的专属笔记。
  3. 动态更新：学生继续用最新的思路做题，但用来核对答案时，参考的是那个只包含最后几页答案的旧助教。

比喻：
这就好比学生在学习写文章。

• 传统老教师：手里拿着学生昨天写的整篇文章。
• 新助教：只拿着学生昨天写的最后一段结尾。
• 效果：学生依然可以用自己最新的思路（前面的段落）去写，但结尾的参考标准是稳定的。这样既省了内存（不用存整篇文章），又保持了稳定（结尾不会乱变）。

3. 进阶玩法：同时练习“多步思考”

论文还引入了一个更厉害的概念：迭代学习（Iterated Learning）。

通常，学生做完一道题，核对一次答案，就进入下一题。

• 新玩法：学生利用那个“只存了最后几页的助教”，同时练习多步思考。
  • 想象学生不仅在做第 1 题，还在脑子里模拟：“如果我做了第 1 题，第 2 题会怎样？第 3 题会怎样？”
  • 系统给这个学生安排了多个“小助教”（多个线性头），每个小助教负责检查不同深度的思考步骤。
  • 学生可以并行地学习这好几步的逻辑，大大加快了学习速度。

4. 实验结果：既快又省

作者在各种游戏（如 Atari 游戏、Wordle 猜词游戏、机器人控制）中测试了这个方法：

• 内存占用：和“不要老教师”的方法一样少（甚至更少），因为只存了最后几页笔记。
• 学习速度：比“不要老教师”的方法快得多，甚至超过了传统的“有老教师”的方法。
• 结论：这个方法成功填补了“省内存”和“学得好”之间的鸿沟。

总结

这篇论文就像是在说：

“我们不需要为了稳定而背下整本旧笔记（省内存），也不需要为了省内存而让自己学疯掉（学得好）。我们只需要保留通用的解题思路，只把最后的结论冻结住，并且同时练习多步推理，就能让 AI 学得又快又稳，还能在内存很小的设备上运行。”

这就好比给 AI 装了一个轻量级的“稳定器”，让它既能跑得快，又不会翻车。这对于让 AI 在手机、机器人等内存有限的设备上运行，具有非常重要的意义。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《弥合无目标与基于目标的强化学习之间的性能差距》（Bridging the Performance-Gap Between Target-Free and Target-Based Reinforcement Learning）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在深度强化学习（Deep RL）中，基于目标的方法（Target-Based，如 DQN）通过引入“目标网络”（Target Network）来稳定训练，缓解半梯度方法（Semi-gradient approaches）的脆性。然而，这种方法存在显著缺点：

• 内存开销大：需要维护在线网络（Online Network）和目标网络的两份参数副本，导致显存占用翻倍。
• 更新延迟：Bellman 更新的传播受到目标网络更新频率（$T$步）的限制，导致学习速度变慢。

另一方面，无目标的方法（Target-Free）虽然内存占用低且参数更新及时，但在实际应用中往往性能较差，难以达到基于目标方法的水平。现有的研究通常在这两者之间做二元选择，缺乏一种既能保持低内存占用又能获得基于目标方法稳定性的中间方案。

2. 核心方法论 (Methodology)

作者提出了一种名为 迭代共享 Q 网络（Iterated Shared Q-Learning, iS-QL）的新方法，旨在打破上述二元对立。

2.1 核心思想：共享特征与冻结头部

• 参数共享：iS-QL 使用单个神经网络，但包含 $K+1$ 个“头”（Heads）。
  • 共享层：网络的特征提取器（Feature Extractor）和中间层参数（$\omega$）在所有头之间共享。
  • 独立头：每个头包含一个独立的线性层参数（$\omega_k$）。
• 目标构建：
  • 对于第 $k$ 个头（$Q_{\theta_k}$），其回归目标（Target）由第 $k-1$ 个头（$Q_{\theta_{k-1}}$）计算得出。
  • 具体而言，$Q_{\theta_k}$ 被训练去拟合 $\Gamma Q_{\theta_{k-1}}$（Bellman 算子作用于前一个头的输出）。
  • 冻结机制：在计算损失时，前一个头的输出被视为“冻结”的（Stop Gradient），类似于 DQN 中的目标网络，但这里的目标网络只是在线网络的一个线性层副本，而非整个网络。
• 迭代更新：
  • 每隔 $T$ 步，将第 $k$ 个头的参数更新为第 $k+1$ 个头的参数（$\omega_k \leftarrow \omega_{k+1}$）。
  • 这使得网络能够并行学习 $K$ 个连续的 Bellman 迭代，而无需维护完整的旧网络副本。

2.2 算法流程 (iS-DQN)

1. 初始化网络 $Q_\theta$，包含 $K+1$ 个头。
2. 采样动作并收集经验。
3. 每隔 $G$ 步进行梯度更新：
   • 计算损失：$L = \sum_{k=1}^K ( \lceil r + \gamma \max_{a'} Q_{k-1}(s', a') \rceil - Q_k(s, a) )^2$。
   • 其中 $\lceil \cdot \rceil$ 表示停止梯度操作。
4. 每隔 $T$ 步进行目标更新：将 $\omega_k$ 更新为 $\omega_{k+1}$。

3. 关键贡献 (Key Contributions)

1. 提出 iS-QL 架构：一种新的算法，仅存储最后一个线性层的旧副本作为目标，其余参数与在线网络共享。这极大地降低了内存占用（接近无目标方法），同时利用了目标网络的稳定性。
2. 结合迭代 Q 学习：将“迭代 Q 学习”（Iterated Q-Learning）的概念引入共享架构，通过并行学习多个 Bellman 迭代，显著提升了无目标方法的样本效率。
3. 理论分析与机制解释：
   • 梯度相似性：证明了 iS-QL 的梯度方向比纯无目标方法更接近基于目标的方法，从而稳定了训练动态。
   • 目标波动（Target Churn）：iS-QL 的目标波动介于无目标和基于目标方法之间，提供了更稳定的训练环境。
   • 表征能力：通过并行学习多个头，网络获得了更丰富的状态表征能力（更高的有效秩 sRank）。

4. 实验结果 (Results)

作者在多种设置下评估了 iS-QL（包括离散控制、连续控制、离线 RL 和流式 RL）：

• 在线离散控制 (Atari)：
  • 在 15 个 Atari 游戏中，使用 CNN 和 LayerNorm 架构。
  • 无目标 DQN (TF-DQN) 的性能比基于目标 DQN (TB-DQN) 低约 10%。
  • iS-DQN ($K=9$) 不仅消除了这一差距，甚至比 TB-DQN 高出 6%。
  • 参数量仅比 TF-DQN 略多（仅增加了线性层参数），远少于 TB-DQN（减少约 50% 的参数量）。
• 离线离散控制 (Offline RL)：
  • 在 CQL 算法上应用，iS-CQL 将性能差距从 26% 缩小至 6%。
  • 验证了“共享特征”思想不仅适用于迭代 Q 学习，也适用于集成方法（Ensemble Shared Features）。
• 在线连续控制 (DMC Hard Tasks)：
  • 在 Soft Actor-Critic (SAC) 上应用。iS-SAC 恢复了移除目标网络导致的性能下降，同时减少了 49% 的总参数量。
• 语言模型 RL (Wordle)：
  • 在 GPT-2 架构上应用 ILQL。iS-ILQL 在减少 33% 显存占用的同时，提升了学习速度并超越了基于目标的方法。
• 流式 RL (Streaming RL)：
  • 在无回放缓冲区的流式设置下，iS-Stream Q($\lambda$) 显著提升了无目标基线的学习速度。

5. 意义与结论 (Significance)

• 资源效率：iS-QL 提供了一种在资源受限环境（如边缘设备、大模型微调）中部署高效强化学习算法的新途径。它打破了“为了稳定性必须牺牲内存”的传统观念。
• 性能提升：实验表明，通过简单的架构修改（共享特征 + 多头迭代），无目标方法不仅能达到甚至超越基于目标方法的性能。
• 通用性：该方法与现有的正则化技术（如 LayerNorm, BatchNorm, MellowMax）正交，可以结合使用以进一步提升性能。
• 未来方向：作者指出该方法与混合精度训练（Mixed Precision Training）结合具有巨大潜力，可进一步降低显存需求。

总结：这篇论文通过提出“迭代共享 Q 网络”，巧妙地利用线性层的局部冻结和特征共享，成功弥合了无目标与基于目标强化学习之间的性能鸿沟，实现了低内存占用与高样本效率/稳定性的双重目标。