Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
本文提出了近端动作替换（PAR），这是一种即插即用的训练样本替换器，它通过将价值函数上升引导的改进动作替代行为克隆正则化演员 - 评论家方法中的次优数据集动作，从而克服了离线强化学习中的性能瓶颈，并在基准测试中持续提升了性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图利用一个包含他人行走尝试的视频库来教机器人行走。这就是**离线强化学习（RL）**的世界。机器人无法在现实世界中尝试各种动作（因为那太危险或成本太高）；它只能从过去动作的静态数据集中学习。
问题：“糟糕导师”陷阱
目前大多数方法都使用一种称为**行为克隆（BC）**的技术。可以将其想象为机器人试图完美模仿视频中的导师。
- 好的一面：它能让机器人保持安全，防止其尝试从未见过的疯狂或危险动作。
- 坏的一面：如果视频中的导师实际上是一个笨拙的行走者，总是跌跌撞撞怎么办？如果机器人盲目地复制每一个动作，它也会学会跌跌撞撞。即使机器人的“大脑”（Critic）意识到“嘿，把脚抬得更高会更好”，但“模仿规则”（BC）会迫使它继续复制笨拙的拖脚动作，因为数据表明就该这么做。
该论文认为，这种盲目模仿创造了一个性能上限。机器人被困在“足够好”的区域，永远无法达到“卓越”，因为它太害怕停止复制次优数据。
解决方案：“近端动作替换”（PAR）
作者提出了一种名为PAR的新方法。PAR 不像只是复制导师，它更像一位聪明的编辑，在机器人学习之前观看视频，并将糟糕的动作替换为更好的动作。
以下是 PAR 的工作原理，使用了两个富有创意的比喻：
1. 指南针（梯度方向感知动作替换）
想象机器人站在山坡上，目标是到达山顶（获得最佳可能的奖励）。
- 旧方法：机器人查看视频，看到导师在绕圈走，于是它照搬了这个绕圈动作。
- PAR 方法：机器人拥有一个“指南针”（Critic 网络），指向通往山顶的最陡峭路径。
- 它查看导师的动作：这个动作是指向山顶吗？
- 它查看“目标策略”（一个稍显更智能的机器人版本），并问道：“如果你移动，你会去哪里？”
- 替换：如果目标策略的动作比导师的动作更直接地指向山顶，PAR 就会在训练数据中替换导师的糟糕动作为目标策略的好动作。这就像编辑视频，展示导师迈出正确的一步，而不是错误的一步。
2. 安全带（高斯分布的分布外动作加权）
这里存在一种风险。如果机器人开始建议与原始视频过于不同的动作，“指南针”可能会感到困惑并给出错误建议（这被称为“分布外”问题）。
- 解决方案：PAR 系上了“安全带”。它衡量一个新建议的动作与原始数据的舒适区有多远。
- 如果新动作稍微好一点但仍然安全，安全带就是松的，机器人会从中学习。
- 如果新动作很狂野，且远离数据中见过的任何内容，安全带就会收紧（权重降至接近零），机器人会忽略该动作以防止失控。这确保了机器人在改进的同时不会脱轨。
结果：打破上限
该论文在标准基准测试中，针对各种机器人任务（如行走、奔跑和操纵物体）测试了这种方法。
- 结果：通过在保持训练稳定的同时用更好的动作替换糟糕的动作，PAR 始终帮助机器人表现得比以前更好。
- 对比：在许多情况下，仅仅将 PAR 添加到一种基本、简单的算法（TD3+BC）中，就能使其表现与更复杂、最先进的算法相当，甚至更好。
总结
可以将PAR想象为一位聪明的教练，观看学生的练习视频。教练不是只告诉学生“完全照搬你看到的”，而是说：“我看到你试图做 X，但根据物理情况，做 Y 会更好。让我们练习 Y，但前提是 Y 是安全的，并且接近我们已知有效的方法。”
这使学生能够摆脱原始不完美数据的限制，学习达到真正最优的水平。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。