技术摘要：端点重放（Endpoint Replay）：压缩深度强化学习中的近期缓冲区

问题陈述

深度强化学习（DRL）算法，特别是像 DQN、SAC 和 DreamerV3 这样的离线策略（off-policy）方法，高度依赖大型经验回放缓冲区（通常为 100 万个转换），以实现样本去相关、保留数据用于困难探索以及传播稀疏奖励。虽然这种做法很有效，但这些大型缓冲区会带来显著的存储成本和计算开销。

以往减少缓冲区大小的尝试集中在以下几个方面：

1. 持续强化学习（Continual RL）： 通过压缩缓冲区来追踪非平稳任务，但通常会牺牲长期保留能力。
2. 流式/生成式方法（Streaming/Generative Methods）： 完全消除缓冲区，或使用生成模型，但这可能会引入模拟偏差或不稳定性。
3. 核心集构建（Coreset Construction）： 通过选择具有代表性的转换（例如通过蓄水池采样）来总结大型缓冲区。

本文解决的核心问题是：能否在保持原始大型缓冲区性能优势的同时，将缓冲区大小压缩一个数量级（10 倍到 50 倍）？作者指出，现有核心集方法中存在一个此前未被识别的关键失效模式：无锚定自助目标（unanchored bootstrap targets）。当核心集由孤立且非连续的转换组成时，自助目标（即下一个状态-动作对）往往并不存在于核心集本身之中。因此，这些目标的价值估计永远不会被缓冲区中的转换所更新，从而导致不准确、无锚定的目标破坏了价值函数。

方法论：端点重放（Endpoint Replay）

作者提出了端点重放，该方法通过维护一个小型近期缓冲区和一个由“链式”$n$ 步转换构建的较大核心集缓冲区来压缩经验。

1. 链式 $n$ 步转换（锚定）

端点重放并非存储孤立的转换 $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$，而是构建一个由“跳跃式”转换组成的核集。随着数据从小型近期缓冲区（$D_r$）中移出，它会被聚合为 $n$ 步序列。

• 机制： 一个“滞后缓冲区”（lag buffer）累积来自近期缓冲区的 $n$ 个转换。一旦填满（或发生终止），它会计算 $n$ 步回报 $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$，并存储单个转换：$(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$。
• 锚定： 至关重要的是，一个转换的终点 $(s_{t+n}, a_{t+n})$ 作为下一个转换的起点。这确保了核心集中的每一个自助目标都是“锚定”的——它作为另一个转换中的起始状态存在，因此会在训练期间得到更新。这消除了在朴素核心集采样中发现的无锚定目标问题。

2. Expectile Sarsa 更新

使用 $n$ 步目标引入了一个新挑战：悲观偏差（pessimistic bias）。在离线策略设置中，$n$ 步回报是从由较旧的、可能并非最优的策略生成的轨迹中计算得出的。使用最大动作值（$\max_a Q$）的标准 $n$ 步更新可能会过于乐观或产生偏差，而使用实际采取的动作（$a_{t+n}$）的标准 Sarsa 更新则可能由于旧策略并非最优而产生悲观偏差。

为了缓解这一问题，作者引入了 $n$ 步 Expectile Sarsa：

• 损失函数： 他们使用**期望损失（expectile loss）**取代了标准的平方误差损失，参数为 $\tau \in (0, 1)$。
• 机制： 期望损失 $u$ 平衡了向下偏差（由 $1-\tau$ 加权）和向上偏差（由 $\tau$ 加权）。通过设置 $\tau > 0.5$（例如 $\tau=0.7$），更新会聚焦于更高的回报，从而有效地在不查询分布外动作的情况下，对序列中采取的动作进行最大化。
• Sarsa 与 Q-Learning： 该更新使用在终点处实际采取的动作（$a_{t+n}$）而非 $\max_a Q(s_{t+n}, a)$，确保该动作也被“锚定”在数据集分布内。

3. 算法架构

该系统采用双缓冲区架构：

• 近期缓冲区（$D_r$）： 存储最近的 $j$ 个转换（例如 10k）。使用标准的 Double DQN (DDQN) 进行更新。
• 核心集缓冲区（$D_c$）： 存储压缩后的 $n$ 步转换（例如 90k）。使用 $n$ 步 Expectile Sarsa 损失进行更新。
• 采样： 从近期缓冲区中抽取高比例的样本（例如 $D_r$ 与 $D_c$ 的比例为 7:1），以优先从新鲜数据中学习，同时利用核心集进行正则化和价值传播。

核心贡献

1. 端点重放算法： 一种缓冲区压缩方法，它将小型近期缓冲区与通过 Expectile Sarsa 更新的链式 $n$ 步转换核心集相结合。它能以 10 倍到 50 倍更少的存储空间实现与大型缓冲区相当的性能。
2. 识别无锚定目标： 本文正式识别并证明了孤立的核心集转换会导致无锚定自助目标，进而导致价值函数损坏。文章证明了通过链接 $n$ 步转换可以解决此问题，确保所有自助状态都得到更新。
3. $n$ 步 Expectile Sarsa 的理论分析：
   • 正式化了 $n$ 步期望动作值，并证明了相关的贝尔曼算子（Bellman operator）是收缩映射，保证了对于 $n \ge 1$ 的收敛性。
   • 证明了在确定性动力学下，策略迭代收敛至最优策略。
   • 建立了 $n$ 步期望值的有序关系，表明更长的时界会产生更保守的估计。

实验结果

作者在 Pinball 环境和 12 款 Atari 2600 游戏上评估了端点重放。

• Pinball： 使用 50 倍更小缓冲区（总计 10k 对比标准 500k）的端点重放，达到了与大型近期缓冲区（1M）相当的性能，并显著优于等规模的小型缓冲区、蓄水池采样核心集和 MeDQN。
• Atari 2600：
  • 10 倍压缩（100k 缓冲区）： 端点重放优于等规模的小型缓冲区和蓄水池核心集，并达到或略微超过了标准 1M 缓冲区的性能。
  • 50 倍压缩（20k 缓冲区）： 端点重放优于所有小型缓冲区基准（1 步和 10 步），并在 12 款游戏中与大型缓冲区性能持平。
• 消融实验：
  • 锚定（Anchoring）： 去除链接（无锚定状态）或动作锚定（使用 DDQN 代替 Sarsa）会显著降低性能。
  • 期望损失（Expectile Loss）： 使用标准平方误差替换期望损失（移除偏差修正）会导致性能下降，证实了 $n$ 步更新中期望损失的必要性。

重要性与主张

本文声称，端点重放成功解决了离线强化学习中存储效率与学习性能之间的权衡。通过识别“无锚定自助目标”问题，作者证明了简单的核心集选择对于 DRL 是不够的。他们的解决方案——通过 $n$ 步链进行端点锚定，并通过期望损失纠正偏差——使得智能体能够以极小的内存占用保留大型缓冲区的优势（长时界信用分配和探索）。

作者指出，虽然该方法对低随机性具有鲁棒性，但在确定性动力学下，收敛至最优策略的理论保证才严格成立，因为期望损失可能会去追踪环境的随机性而非动作序列。这项工作为开发无需牺牲大型经验缓冲区所提供的稳定性及样本效率的更高效资源型 DRL 提供了路径。