🤖 machine learning

Data Deletion Can Help in Adaptive RL

本文证明，在上下文强化学习中随机删除部分训练数据，通过隐式加权近期且与分布对齐的样本，提升了上下文估计与策略的鲁棒性，这一现象在理论上得到论证，即当正则化与信噪比处于特定范围内时，此类删除能在分布不匹配的情况下降低期望测试损失。

原作者： Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路。你在模拟环境中训练它，那里的地面有时湿滑，有时粘滞，有时重力还各不相同。机器人通过观察自己最近的步伐来适应这些变化，并推测：“啊，现在地面肯定很滑”，然后调整它的步态。

这篇论文介绍了一个令人惊讶的技巧，能让那个机器人学得更好：删除它的一部分训练记忆。

以下是用简单类比对这一机制的解析：

1. 问题所在：机器人被陈旧信息搞糊涂了

在标准训练中，机器人经过多轮训练，收集了成千上万条“记忆”（数据点）。

早期轮次：机器人笨手笨脚。它会犯错，并基于糟糕的推测收集数据。
后期轮次：机器人变得更聪明了。它会基于更准确的推测收集数据。

问题在于，当机器人试图学习如何推测环境（即“上下文”）时，它会同等地审视所有记忆。这就像试图通过混合研究以下两类视频来学习如何在雨中开车：

专业驾驶员在完美天气下的视频（优质数据）。
幼儿在暴风雪中学走路的视频（劣质数据）。

早期笨拙轮次产生的“劣质数据”与机器人未来将面对的“现实世界”并不匹配。它会混淆学习过程。

2. 解决方案：“记忆衰退”技巧

作者提出了一条简单却反直觉的规则：在每次训练会话后，随机丢弃机器人记忆库中的一块数据。

你可以把这想象成一个旋转书架：

每当你添加一本新书（新数据），你就会随机从书架上抽出几本旧书扔进垃圾桶。
因为你每轮都这样做，最旧的书（笨拙的早期数据）最有可能被扔掉。
更新的书（聪明的近期数据）则更有可能保留下来。

这为何如此神奇？

它保留了“新鲜”数据：机器人专注于它最近学到的内容，这与当前情况更相关。
它保留了“多样性”：与那种只保留最新数据（可能过于狭隘）的系统不同，这种随机删除机制保留了不同场景的混合，只是去除了来自非常古老、无用尝试的“噪音”。

3. 结果：小脑瓜能战胜大脑袋

研究人员在机器人行走和平衡的计算机模拟中测试了这一方法（例如月球着陆器或奔跑的蚂蚁）。

令人惊讶的是：他们发现，使用这种“删除技巧”的微小、简单的脑（小型神经网络），实际上能够击败未使用该技巧的巨大、复杂的脑（大型神经网络）。
数据表明：在某些情况下，带有删除功能的小模型在适应性方面比没有该功能的大模型高出 30%。即使在平均情况下，其性能也提升了约 6%。

这就像是一个只保留最佳、最新笔记的小笔记本学生，其表现优于拥有满是过时、令人困惑教科书的庞大图书馆的学生。

4. 理论：为何丢弃反而有帮助？

作者通过数学推导解释了为何这能奏效。

想象你试图找到靶心的位置。
如果你的训练数据（你射出的箭）来自与实际目标（“分布不匹配”）略有不同的角度，那么保留每一支箭可能会把你的瞄准方向拉偏。
通过随机删除一些箭，你会意外地移除那些最严重地将你带偏的箭。
数学证明，如果你的数据中的“噪音”足够大（就像有很多风在吹你的箭），随机删除几支箭实际上能帮助你更频繁地击中靶心。

总结

该论文认为，在需要适应变化环境的 AI 世界中，少即是多。通过随机删除旧的、可能令人困惑的训练数据，AI 能够专注于最重要的内容：近期的、多样化的经验。这使得即使是小型、简单的 AI 模型也能变得高度适应，并超越那些更大、更复杂的模型。

以下是 Budhraja 等人论文《数据删除有助于自适应强化学习》的详细技术总结。

1. 问题陈述

本文解决了**自适应强化学习（RL）**在现实世界部署中面临的挑战。与训练和测试环境完全相同的标准 RL 不同，自适应 RL 要求智能体泛化到未见但相似的环境中。

框架： 作者利用上下文马尔可夫决策过程（cMDP）框架。cMDP 是一族由低维上下文 $c$ （例如重力、质量、摩擦力）索引的 MDP，这些上下文会影响状态转移动力学。
挑战： 真实上下文 $c$ 在训练期间已知，但在测试时未知。
标准方法： 该问题通常被分解为两个部分：
1. 通用策略（ $K$ ）： 训练其在给定状态和真实上下文的情况下采取最优动作。
2. 上下文估计器（ $\phi$ ）： 训练其基于观测到的状态 - 动作轨迹来估计上下文 $\hat{c}$ 。
3. 自适应策略： 定义为 $\pi = K(\hat{c})$ 。
问题所在： 在多轮训练中，数据是使用逐渐改进的策略收集的。较旧的轨迹由次优策略生成，且来自与部署场景（估计器不完美）显著不同的分布。训练数据与部署现实之间的这种分布不匹配会损害上下文估计器的性能。

2. 方法论：随机数据删除

作者提出了一种简单且反直觉的技术，称为随机数据删除，以提高上下文估计器的性能。

算法：
1. 训练通用策略 $K$ 和初始上下文估计器 $\phi$ 。
2. 使用当前的自适应策略 $K(\phi)$ 收集轨迹。
3. 将这些轨迹添加到数据缓冲区。
4. 关键步骤： 在每轮训练后，随机删除缓冲区中当前轨迹的 $(1 - \alpha)$ 比例。
5. 在剩余数据上重新训练估计器 $\phi$ 。
作用机制：
- 由于数据是在多轮中收集的，较旧的数据对应于早期、能力较弱的策略。
- 随机删除对旧数据产生隐式的指数衰减。早期轮的轨迹比近期轮的轨迹具有更低的存活概率。
- 这有效地过滤掉了导致分布不匹配的“陈旧”数据，同时保留了数据多样性（这与仅保留最新数据不同，后者可能缺乏覆盖范围）。
理论依据：
- 作者通过**正则化经验风险最小化（ERM）**分析了这一问题，其中训练分布（ $P_{train}$ ）与测试分布（ $P_{test}$ ）之间存在不匹配。
- 他们证明，在温和条件下（特别是对于凸损失函数），如果分布不匹配显著，移除单个均匀随机数据点会降低期望测试损失。
- 对于岭回归，他们推导出了一个定量条件：当**信噪比（SNR）**足够低且正则化系数适中时，删除是有益的。SNR 阈值直接衡量了删除产生帮助所需的分布不匹配幅度。

3. 主要贡献

新颖技术： 引入随机数据删除作为增强自适应 RL 策略的方法。
实证验证： 展示了在多层感知机（MLP）和循环神经网络（RNN，如 LSTM/GRU）上的性能提升。
效率： 表明数据删除使得更小的模型（例如参数减少 5 倍的 MLP）能够优于未使用删除训练的更大、更宽的模型。
理论分析： 提供了一个理论框架来解释为什么删除有帮助，将其与凸优化设置中的分布不匹配和正则化联系起来。

4. 实验结果

作者在经典控制（Pendulum, LunarLander, Acrobot, MountainCar）和Brax locomotion（Ant, HalfCheetah）基准上评估了该方法，变化了重力、质量和摩擦力等上下文。

性能提升：
- MLP： 将鲁棒性差距（与最优“真实上下文”策略的距离）减少了高达30%。
- RNN（LSTM/GRU）： 平均将鲁棒性差距减少了6%。
模型效率：
- 使用数据删除训练的窄 MLP（8,322 个参数）优于未使用删除训练的宽 MLP（47,426 个参数）。
- 尽管参数显著更少，RNN（LSTM/GRU）通常优于宽 MLP。
消融研究：
- 与陈旧删除（仅移除最旧数据）和均匀删除（随机采样用于训练但保留所有数据）进行了比较。
- 随机删除对 RNN 效果最佳，而均匀删除对窄 MLP 效果最好。陈旧删除表现不佳，证实了一些旧数据对于多样性是必要的。
- 发现最佳数据保留率（ $\alpha$ ）约为0.8（删除 20%）或0.5（删除 50%），具体取决于架构和环境。

5. 意义与结论

这项工作挑战了 RL 中“数据越多越好”的传统观念。它表明，在自适应设置中，由于策略演变导致的分布偏移，旧数据可能是有害的。

实际影响： 该方法提供了一种计算成本低廉、超参数可调的方式，无需改变底层架构或奖励函数即可改善 RL 的泛化能力。
理论洞察： 它弥合了实用启发式方法与理论理解之间的差距，表明数据删除充当了对抗分布不匹配的正则化器。
更广泛的应用： 研究结果表明，在任何训练分布偏离部署分布的学习场景中（在线学习和模拟到现实迁移中很常见），选择性地移除陈旧数据可以提高泛化能力。

总之，该论文确立了随机删除一部分训练数据是一种强大、简单且具有理论依据的策略，用于增强自适应 RL 智能体在时变环境中的鲁棒性和效率。