🤖 machine learning

Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees

本文建立了离策对抗模仿学习的首个理论收敛保证和样本复杂度界限，证明了在不进行重要性采样修正的情况下复用近期策略的样本，可以在保持收敛性的同时提高样本效率。

原作者： Yilei Chen, Vittorio Giammarino, James Queeney, Ioannis Ch. Paschalidis

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilei Chen, Vittorio Giammarino, James Queeney, Ioannis Ch. Paschalidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：通过观察大师来教机器人

想象一下，你想教一个机器人像人类一样走路。你没有说明书，也没有告诉机器人该怎么做的规则列表（奖励）。相反，你只有一段完美人类行走（“专家”）的视频。

这就是**模仿学习（Imitation Learning）**的问题。机器人必须仅仅通过观察专家，来弄明白是如何走路的。

**对抗模仿学习（Adversarial Imitation Learning, AIL）**是解决这一问题的一种流行方法。你可以把它看作两个玩家之间的游戏：

智能体（机器人）： 试图尽可能地模仿专家的动作。
对手（评论家/判别器）： 试图发现机器人与专家之间的差异。如果机器人看起来很笨拙，评论家就会给它一个“低分”（低奖励）；如果机器人看起来很好，评论家就会给它一个“高分”。

他们反复进行这场游戏。评论家变得越来越擅长发现缺陷，而机器人也变得越来越擅长隐藏缺陷，直到机器人的动作与专家完全一致。

问题所在：“新鲜数据”的瓶颈

在标准的 AIL 中，存在一个主要的低效问题。每当评论家更新其“评分规则”时，它都需要看到机器人此时此刻正在走路（使用“在策略/on-policy”数据）。

类比： 想象一堂烹饪课，一名学生（机器人）正在向一位名厨（专家）学习烹饪。

标准方法： 每当老师（评论家）想要对学生的技巧给出反馈时，学生都必须从头开始做一道全新的菜肴。老师品尝后给出反馈，然后学生把这道菜扔掉，为下一节课再做另一道菜。
结果： 这是极其浪费的。为了学习，需要消耗大量的时间和食材（样本）。在现实世界中，与环境进行交互（如烹饪、驾驶、飞行）是昂贵或危险的，因此我们无法承受浪费这么多尝试。

解决方案：重用旧食谱（离策学习/Off-Policy Learning）

作者提出了一种更聪明的方法：离策对抗模仿学习（Off-Policy Adversarial Imitation Learning）。

类比： 与其让学生每次听取老师反馈时都做一道新鲜的菜，不如让老师查看学生在过去几天里做过的一系列菜肴。

老师会说：“好吧，我将根据你昨天做的炖菜、前天做的汤以及三天前的沙拉来评定你的表现。”
好处： 学生学习得更快，因为他们不必为了获得反馈而浪费时间去做新菜。他们可以重用已经拥有的数据。

代价： 这里存在风险。如果学生的烹饪风格在昨天和今天之间发生了剧烈变化，老师可能会感到困惑。数据的“风味”发生了偏移。在技术术语中，这被称为分布偏移误差（distribution shift error）。

论文的突破：证明其安全有效

这篇论文回答的核心问题是：“我们能否在不破坏学习过程的前提下重用旧数据？”

许多之前的方法试图通过复杂的数学修正（如“重要性采样/Importance Sampling”）来修复这种“风味偏移”，但这些方法往往会导致数学上的不稳定或学习速度变慢。

作者的观点：
他们表明，如果你能谨慎地控制使用多少旧数据，你其实不需要复杂的修正。

“甜点区”规则： 你可以重用最近 $N$ 次尝试的数据。但是， $N$ 不能太大。如果你回溯得太久（例如，查看一个月前的数据），机器人的风格已经改变太多，反馈就会变得毫无用处。
神奇数字： 论文在数学上证明了，如果你重用的数据量大约等于总课程次数的平方根（ $\sqrt{K}$ $K$ ），你就能获得两全之策：
- 你获得了重用旧数据的速度（样本效率）。
- 你仍然拥有机器人最终能完美学会走路的保证（收敛性）。

隐喻：
想象机器人是一个舞者。

如果老师只看舞者此时此刻的舞蹈，老师会非常准确，但由于需要每次都有新鲜的表演，老师很快就会疲惫。
如果老师看一段十年前的舞蹈视频，老师会感到困惑，因为舞者的风格已经变了。
论文的解决方案： 老师观看舞者最近 5 场表演的播放列表。这对于当前的风格来说足够接近，可以保证准确性，同时也避免了舞者为了每一次点评都必须表演一套全新的动作。论文证明，只要播放列表不是太长，舞者仍然能学会完美的舞步。

实验发现

作者在计算机模拟（如机器人在网格中导航或虚拟角色在跑步机上奔跑）中测试了该方法。

结果： “离策”方法（重用旧数据）的学习速度比标准方法快得多。
观察： 在某些任务中，重用最近 32 次尝试的效果是完美的；而在另一些任务中，重用 128 次则更好。这证实了他们的理论：重用多少过去尝试的“完美数字”取决于任务的复杂程度。
核心启示： 你不需要丢弃过去的尝试。通过将它们仔细地混合到训练中，你可以用更少的交互来教会机器人学习。

总结

这篇论文为一种实用的技巧提供了数学上的安全网。它证明了，如果你通过观察机器人最近的尝试（而不是每次都强迫它生成新的尝试）来教导它，你可以在不牺牲机器人最终能正确学会任务的保证的前提下，使学习过程更加高效。它将一个“浪费型”的学习过程变成了一个受严谨数学支持的“回收利用型”过程。

技术摘要：具有收敛保证的可证明高效离策对抗模仿学习

问题陈述

对抗模仿学习（AIL）将模仿学习建模为一个双人博弈，其中智能体通过更新策略以匹配专家的表现，而对手则通过更新奖励函数以最大化两者之间的性能差距。标准的 AIL 算法需要在策数据（由当前策略生成的样本）来评估奖励函数更新期间的期望累积奖励。这种要求导致了显著的样本效率低下，因为它需要在每个更新步骤中进行新的环境交互，使得该方法在交互成本高昂或受限的场景下变得不切实际。

虽然已经提出了离策方法来重用来自先前策略的数据以提高样本效率，但它们引入了分布偏移误差，因为数据不再完美匹配当前策略的状态-动作访问分布。现有的离策 AIL 方法要么依赖于重要性采样（这会导致高方差），要么依赖于改变目标函数的复杂变量转换（这通常会丧失理论收敛保证）。本研究解决的核心挑战是：我们能否在不依赖于诸如重要性采样之类的显式离策修正技术的情况下，保证离策 AIL 的收敛并确保样本效率？

方法论

作者提出了一种结合了用于策略更新的基于模型的镜像下降（model-based mirror descent）和用于奖励更新的离策投影梯度上升（off-policy projected gradient ascent）的离策 AIL 算法。其核心创新在于通过仔细选择用于奖励更新的过去策略的数量 ( $N$ ) 来控制分布偏移误差。

1. 策略更新

该算法采用基于模型的镜像下降方法。

模型估计： 从状态-动作遭遇中经验性地估计状态转移函数 $\hat{P}_h$ 。
策略优化： 使用 KL 散度正则化的镜像下降步骤（公式 3）来更新策略。该更新规则由估计的 Q 值推导而来，确保策略的变化足够保守，从而限制相邻策略之间全变差（Total Variation, TV）距离的界限。这种稳定性对于控制离策奖励更新中的分布偏移至ال至关重要。

2. 奖励更新

算法不再仅使用来自当前策略 $\pi_{k-1}$ 的数据，而是利用来自 $N(k)$ 个最近策略的数据混合。

混合分布： 算法从混合分布 $d^{k-1, mix}_h = \sum_{n=1}^{N} \beta_n d^{k-n}_h$ 中采样，其中 $\beta_n$ 是均匀权重。
目标： 奖励参数 $\mu$ 通过投影梯度上升进行更新，以最大化损失 $L(\pi^{k-1, mix}, \mu) = J(\pi_E, \mu) - \frac{1}{N}\sum_{n=1}^N J(\pi_{k-n}, \mu)$ 。
误差控制： 理论分析（引理 4.2 和定理 4.3）表明，如果策略更新足够小（由步长 $\sigma$ 控制），则混合分布与当前策略分布之间的差异将保持在有界范围内。

3. 理论框架

AIL 算法的遗憾（regret）被分解为策略遗憾和奖励遗憾（引理 3.2）。作者分别为两者推导了界限：

策略遗憾： 使用镜像下降更新，其界限为 $\tilde{O}(\sqrt{H^4 S^2 A K})$ 。
奖励遗憾： 由标准遗憾、由离策更新引起的误差项以及估计误差项组成（定理 4.4）。
主要结果（定理 4.5）： 只要重用策略的数量 $N(k)$ 随 $o(\sqrt{K})$ 缩放，总遗憾相对于迭代次数 $K$ 是次线性的。具体而言，如果 $N$ 是固定的，最优缩放比例为 $N^* = \tilde{O}((S/(HAB))^{1/3})$ 。

核心贡献

无需修正的收敛保证： 本文为一种不需要离策修正技术（如重要性采样）的离策 AIL 算法提供了首个理论收敛保证。
样本效率分析： 作者建立并证明，重用最近 $o(\sqrt{K})$ 个策略的样本不会破坏收敛性。他们证明，当状态空间大小（ $S$ ）相对于时间步长（ $H$ ）和动作空间（ $A$ ）较大时，分布偏移误差会被增加的数据可用性所带来的收益所主导。
实践验证： 该算法在离散空间的 MiniGrid 任务和连续空间的 OpenAI Gym (MuJoCo) 基准测试中得到了验证，结果表明离策变体（ $N > 1$ ）比其在策对应版本（ $N = 1$ ）收敛更快，且需要的样本更少。

实验结果

MiniGrid（离散）： 在不同规模（ $3\times3, 5\times5, 9\times9$ ）的 EmptyRoom 任务中，采用 $N=32$ 的离策算法在大约 1,000 次交互后即可达到专家级水平，而在策算法（ $N=1$ ）则需要完整的 10,000 次交互时长才能收敛。结果证实，较大的状态空间受益于较大的 $N$ 。
MuJoCo（连续）： 在 HalfCheetah、Hopper 和 Walker2d 任务中，离策算法的表现始终优于在策基准算法。虽然最优的 $N$ 因环境而异，但在较小的 $N$ （例如 $N=4$ 或 $N=16$ ）下也能观察到显著收益。
观察结论： 实验支持了本文的理论主张，即离策 AIL 可以实现卓越的样本效率，尽管重用策略的最优数量取决于具体的环境特征。

意义与主张

本文声称弥合了离策 AIL 理论理解与实际应用之间的鸿沟。虽然以往的工作展示了离策 AIL 的实际成功，但缺乏严谨的收敛证明。这项工作证明了：

理论支持： 通过通过保守的策略更新和限制重用策略的数量，可以保证离策 AIL 的收敛。
样本效率： 理论上证明，离策数据引入的“误差”会被拥有更多数据带来的统计收益所抵消，尤其是在高维状态空间中。
简洁性： 所提出的方法避免了复杂的方差缩减技术（如重要性采样），提供了一种更简单、具有理论基础的替代方案，这与观察到的离策样本效率的实证结果相一致。

作者谦虚地指出，其理论分析假设是在表格型设置（在附录中扩展到线性 MDP）下进行的，并且在深度强化学习（MuJoCo）中的最优 $N$ 可能由于神经网络参数化的原因而不完全符合理论上的最坏情况界限，但性能趋势仍与理论保持一致。