📊 statistics

Informed Asymmetric Actor-Critic: Leveraging Privileged Signals Beyond Full-State Access

本文介绍了信息不对称演员-评论家（Informed Asymmetric Actor-Critic）框架，该框架通过允许评论家在训练期间利用任意的状态相关特权信号来扩展不对称强化学习，并提出了旨在选择最具信息量信号的新颖准则，从而使策略能够在依赖更少状态信息的情况下，达到或超越全状态基准。

原作者： Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏。在一个完美的世界里，机器人会拥有“上帝视角”——它能看到整张地图，确切知道每个敌人的位置，并理解游戏的隐藏规则。这被称为拥有全状态访问权限（full state access）。

然而，在现实世界中，机器人（以及 AI 智能体）通常就像戴着眼罩或通过狭窄钥匙孔观察世界的玩家。它们在任何给定时刻只能看到世界的一个微小切片。这被称为部分可观测性（partial observability）。为了玩得好，它们必须记住几秒钟前看到了什么，以此来推测现在发生了什么。

问题所在：“老师”与“学生”

传统上，当我们训练这些机器人时，我们尝试仅使用它们在实际部署时所拥有的有限信息来教导它们（即“学生”）。但这很难。机器人会感到困惑，因为它没有足够的线索来判断最佳动作。

一些研究人员尝试了一个聪明的技巧，叫做非对称演员-评论家算法（Asymmetric Actor-Critic）。想象一下这样的训练过程：

学生（演员/Actor）： 那个真正去玩游戏的机器人。它只能看到有限的视野（戴着眼罩）。
老师（评论家/Critic）： 一个站在机器人身边的教练，他可以看到整张地图。老师通过说“刚才那个动作很好，因为我看到敌人就在你身后”，来帮助学生学习，尽管学生当时并没有看到敌人。

以往方法的缺陷在于，它们假设老师需要看到整个世界状态（每一个像素、每一个隐藏变量）才能提供帮助。但实际上，获取这种全貌往往是不可能或成本过高的。也许你只有一个显示温度的传感器，或者一个只能看到房间一角的摄像头。你并不拥有“全状态”，但你拥有一些额外的额外信息。

解决方案：“知情型”老师

这篇论文引入了一个新的框架，叫做知情非对称演员-评论家算法（Informed Asymmetric Actor-Critic）。

你可以这样理解：你不需要一个能看到整个宇宙的老师来帮助你学习。你只需要一个拥有任何与游戏相关的额外信息的老师，哪怕那仅仅是一个微小的线索。

作者在数学上证明了：

它是安全的： 你可以给老师提供任何额外的信号（比如温度读数、局部地图或来自模拟器的提示），它都不会让学生感到困惑。学习过程依然是公平且准确的。
它是有效的： 即便老师看到的不是全景图，只要拥有一些额外的线索，也能帮助学生比没有任何额外线索时学得更快、更好。

核心问题：哪些线索才重要？

如果你可以给老师提供任何额外的信号，你如何知道哪些信号才是真正的“金票”？给老师一个随机噪声信号（比如电子游戏里天空的颜色）是没有任何帮助的。

该论文提出了两个简单的“测试”来找出哪些信号是真正有用的：

“残差”测试（侦探）： 在你开始训练之前，你可以观察数据并询问：“这个额外信号是否告诉了我关于未来得分的信息，而这些信息是我无法仅从游戏的历史记录中预判出来的？”如果答案是肯定的，那么它就是一个好的信号。这就像一名侦探在检查一名新证人是否提供了警察报告中尚未记载的信息。
“预测”测试（计分员）： 在你尝试用某个信号进行训练后，你会检查：“由于有了这个信号，老师对得分的预测是否变得更准确了？”如果老师在拥有该信号的情况下比没有信号时能更准确地预测得分，那么这就是一个有用的信号。

实验结果

作者在各种“游戏”（如在迷宫中导航或平衡长杆等模拟环境）中测试了这些方法。他们发现：

一个拥有精心挑选的局部信号（例如，仅仅知道距离目标的距离）的老师，其表现可以达到甚至超过拥有全状态（看到一切）的老师。
有时，给老师提供过多的信息（包括无关的噪声）反而会让情况变糟。这就像给学生一本既包含答案解析又包含 500 页无关历史内容的教科书；学生会被分散注意力。
通过使用他们的测试来挑选正确的信号，他们能够训练出更聪明的机器人，而无需完美的、全状态的传感器。

总结

你不需要水晶球来教会 AI 变得聪明。你只需要找到正确的线索。这篇论文为我们提供了一种寻找这些线索的方法，让我们能够利用它们来训练那些即使只能看到世界极小部分的机器人，也能进行有效学习。

技术摘要：信息感知非对称演员-评论家算法 (Informed Asymmetric Actor-Critic)

问题陈述

部分可观测环境中的强化学习 (RL) 通常被形式化为部分可观测马尔可夫决策过程 (POMDP)，其中智能体必须基于不完整且有噪声的观测历史进行决策。虽然标准的 RL 方法通过学习依赖于历史的策略（通常使用循环神经网络）来适应这一点，但它们假设在训练和执行期间具有相同的可观测性。这种假设通常是不必要的限制，因为许多训练环境（例如模拟器）提供了额外的“特权”信息——例如全状态访问、专家策略或多视图感觉输入——而这些信息在部署期间是不可用的。

现有的非对称演员-评论家方法试图通过将评论家（critic）调节为以全状态为条件，而演员（actor）则依赖于观测值来利用这些特权信息。然而，这些方法通常假设在训练期间可以访问“全状态”。这种要求在实践中往往是不现实的，因为实际中可能仅能获得部分或任意的状态相关信号。此外，关于在非对称设置中使用除全状态之外的任意特权信号的理论依据仍未得到充分探索，这导致在理解如何有效地选择和利用这些信号而不引入策略梯度偏差方面存在空白。

方法论

信息感知非对称演员-评论家 (IAAC) 框架

作者提出了信息感知非对称演员-评论家 (IAAC) 框架，该框架将非对称演员-评论家方法进行了泛化，允许评论家在训练期间以任意的状态相关特权信号 ( $i_t$ ) 为条件，而不是要求获取全状态 ( $s_t$ )。

信息感知 POMDP 形式化： 基于“信息感知 POMDP”的概念，作者定义了一个在训练期间存在信息变量 $i_t$ 的框架。观测值 $o_t$ 在给定 $i_t$ 的条件下与真实状态 $s_t$ 条件独立。这使得评论家可以访问 $i_t$ ，而演员仍受限于观测值和动作的历史 ( $h_t$ )。
信息感知基于历史的价值函数： 作者定义了一个信息感知的基于历史的 Q 函数 $Q^\pi(h_t, i_t, a_t)$ 以及相应的价值函数 $V^\pi(h_t, i_t)$ 。这些函数以特权信号 $i_t$ 为条件，但被证明是标准基于历史的对应函数 ( $Q^\pi(h_t, a_t)$ 和 $V^\pi(h_t)$ ) 的无偏估计量。
无偏策略梯度： 一个核心理论贡献是 定理 3.1，它证明了使用信息感知评论家（以 $i_t$ 为条件）计算出的策略梯度与标准策略梯度是等价的。具体而言，对于任何选择的状态相关信号 $i_t$ ，信息感知非对称策略梯度与标准梯度一致：
$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$
该结果在不需要 POMDP 满足诸如状态可解码性等额外假设的情况下依然成立。这意味着使用特权信号可以在不偏离优化方向的前提下，通过消除状态歧义来降低价值估计的方差。

信号选择的信息量准则

由于任何状态相关的信号都会产生无偏梯度，挑战便转向了如何选择最具信息量的信号。论文提出了两个新颖的准则来评估特权信号对于价值估计的效用：

$\alpha$ -残差信息量 (预训练)： 该准则测试 $i_t$ 是否提供了超出当前观测到的历史-动作对 $(h_t, a_t)$ 所编码的信息之外的关于未来回报 ( $G_t$ ) 的信息。它包括：
- 使用回归模型（如随机森林或 RNN）估计条件均值 $E[G_t|h_t, a_t]$ 和 $E[i_t|h_t, a_t]$ 。
- 计算残差 $e_{G_t}$ 和 $e_{i_t}$ 。
- 使用如希尔伯特-施密特独立性度量 (HSIC) 等指标测试这些残差之间的统计相关性。
- 如果拒绝独立性的原假设，则认为该信号具有信息量。此测试可以在训练演员之前的任何探索性策略（如随机策略）收集的数据上进行。
$(\epsilon, \delta)$ -预测信息量 (事后)： 该准则评估包含 $i_t$ 是否能提高价值函数的预测准确性。它通过比较对称评论家（仅使用 $h_t$ ）与信息感知评论家（使用 $h_t$ 和 $i_t$ ）的平方误差来进行评估。如果包含 $i_t$ 能带来统计学上显著的预测误差降低（正增益），则认为该信号具有信息量。

关键结果

基准测试表现

作者在 12 个部分可观测基准测试上评估了 IAAC（包括来自 Baisero & Amato, 2022 的 6 个导航任务和来自 POPGym 套件的 6 个任务）。

性能： 信息感知非对称演员-评论家始终能达到或超过对称基准 (A2C)，并且通常优于依赖全状态访问的非对称基准 (asym-A2C-hs)。
效率： 在某些环境中（例如 Car-Flag, Shopping-5），尽管依赖的严格来说更少的状态信息，该方法收敛更快，并实现了更高的渐近回报。
稳定性： 与对称方法相比，该方法表现出更高的训练稳定性，后者在处理高维或部分可观测设置时有时会出现性能下降或收敛问题。

信息量准则的验证

使用已知奖励结构的合成信息感知 POMDP，作者验证了其选择准则：

与性能的相关性： 包含与奖励直接相关的特征（例如决定奖励的特定状态维度）的信号被两种准则一致地识别为具有信息量。
冗余检测： 仅包含冗余或无关特征的信号被正确识别为无信息的。
全状态 vs. 信息子集： 实验表明，如果状态包含噪声或无关特征，全状态访问并不总是能产生最佳性能。精心选择的特权信号子集可以超越全状态基准。
鲁棒性： 即使在噪声观测条件下，这些准则依然有效，能够根据其解释回报方差的能力对信号进行正确排序。

意义与主张

本文声称将非对称强化学习的范式从关注获取全状态信息转向选择训练时有信息量的信号。

理论泛化： 这项工作提供了使用任意状态相关特权信号进行非对称演员-评论家方法的首次理论证明，证明了这种用法可以保持无偏的策略梯度。这泛化了以往的工作（如 Baisero & Amato, 2022），后者仅限于全状态评论家。
实际效用： 通过证明精心选择的部分信号可以匹配甚至超过全状态性能，本文挑战了“全状态访问对于有效的非对称学习至关重要”的假设。
系统化选择： 引入数据驱动的信号选择准则，为处理特权信息中的“维度灾难”提供了一种原则性的方法，使从业者能够识别有用的辅助信号，而无需进行人工特征工程。

作者总结道，他们的框架为研究如何选择、评估和集成特权信息以促进部分可观测环境下的学习开辟了新的方向，并指出未来的工作可以探索端到端的信号选择以及将信号复杂度整合进学习循环中。