🤖 machine learning

SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning

本文提出了 RSA2C，这是一种可解释的强化学习算法，它将 RKHS-SHAP 状态归因集成到核化演员-评论家框架中，以基于特征重要性动态调节学习，从而在连续控制任务中实现更高的效率、稳定性和可解释性。

原作者： Na Li, Hangguan Shan, Wei Ni, Wenjie Zhang, Xinyu Li

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Na Li, Hangguan Shan, Wei Ni, Wenjie Zhang, Xinyu Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人开车（并理解为什么要这么开）

想象一下，你正在教一个机器人开车。

目标： 机器人需要学会如何开好车（获得高分）。
问题： 标准的 AI 方法就像是一个“黑盒”。机器人学会了开车，但如果你问它为什么左转或右转，它无法告诉你。它只是“感觉”那是正确的动作。
新的解决方案： 这篇论文介绍了一种名为 RSA2C 的新方法来训练机器人。它不仅学习如何开车，还学习哪些路况信息最重要（比如时速表 vs 油表），并利用这种理解来更好地驾驶并解释其选择。

三个主要角色

RSA2C 系统构建得像一个拥有三个特定角色的精简团队：

驾驶员（Actor/执行者）： 这是实际做出决策（转向、加速）的部分。
教练（Value Critic/价值评论家）： 这个人观察驾驶员并说：“总体而言，你做得很好，”或者“你做得不太好。”他们给出一个总体的评分。
分析师（Advantage Critic/优势评论家）： 这个人更加具体。他们会说：“与你在这种情况下通常的表现相比，你这次做得非常出色。”这有助于驾驶员学得更快。

创新之处： 在旧的方法中，教练和分析师将来自汽车传感器（速度、角度、燃油、温度）的每一条信息都视为同等重要。但实际上，有些信息比其他信息重要得多。RSA2C 改变了这一点。

神奇工具：“福尔摩斯”透镜 (SHAP)

论文使用了一个叫做 SHAP（代表 SHapley Additive exPlanations，沙普利加性解释）的工具。你可以把 SHAP 想象成一个**“福尔摩斯”透镜**。

它是如何工作的： 当教练（价值评论家）给出评分时，透镜会放大并询问：“速度对这个评分贡献了多少？角度贡献了多少？燃油又贡献了多少？”
结果： 它为每个传感器分配一个“线索值”。如果速度是汽车表现良好的主要原因，透镜就会高亮显示速度传感器。如果油表现在并不重要，透镜就会忽略它。

为什么这很特别？ 通常，AI 只有在训练完成后才会使用这些“线索”来解释发生了什么。RSA2C 的独特之处在于，它在机器人学习的过程中就使用这些线索。它告诉驾驶员：“嘿，现在多关注速度传感器；忽略油表！”

“智能地图” (RKHS 与核函数)

为了高效处理这些线索，论文使用了 RKHS（再生核希尔伯特空间）这一数学概念。我们可以称之为**“智能地图”**。

旧方法： 想象一下试图记住城市里的每一条街道。如果城市扩大，你的记忆力会爆炸，导致反应变慢。
RSA2C 的方法： “智能地图”并不通过死记硬背每一条街道，而是保留一个稀疏字典。它只记住它访问过的最重要的路口（关键状态）。
益处： 这让机器人的系统保持轻量且快速。它不会被过多的数据所困扰。它只保留那些真正有助于学习的“线索”。

“加权方向盘” (Mahalanobis-Gated Weights)

一旦“福尔摩斯”透镜 (SHAP) 识别出哪些传感器是重要的，RSA2C 不仅仅是观察它们，还会根据这些信息调整方向盘。

类比： 想象你的汽车方向盘上连接着一个特殊的配重。
- 如果“速度传感器”是最重要的线索，方向盘在速度侧会变得沉重，让驾驶员格外注意速度的变化。
- 如果“燃油传感器”不重要，方向盘在该侧就会变得轻盈，这样驾驶员就会忽略它。
结果： 机器人学得更平稳、更稳定，因为它不会被无关的噪声干扰。

为什么这很重要（研究结果）

作者在三种不同的“驾驶”模拟实验中测试了该方法：

摆动单摆： 让一根杆子保持直立。
行走机器人： 让双足机器人行走而不摔倒。
控制蚂蚁： 控制一个复杂的八足机器人。

他们的发现是：

更好的驾驶表现： 与标准方法相比，机器人学习获得高分的速度更快。
稳定性： 当传感器出现“噪声”（比如在大雾天或相机抖动时），RSA2C 依然能保持良好的驾驶状态。而旧方法会感到困惑并导致碰撞。这是因为 RSA2C 知道哪些传感器值得信任，哪些应该忽略。
透明度： 因为系统会追踪它正在关注哪些传感器，所以我们实际上可以看到机器人为什么做出某个决定。它不再是一个黑盒，而是一个“玻璃盒”。

一句话总结

RSA2C 是一种更聪明的 AI 训练方式，它利用“福尔摩斯”透镜来弄清楚哪些信息最重要，并根据这些线索实时调整机器人的学习重心，即使在数据混乱的情况下也能保持系统的稳定性和可解释性。

技术摘要：基于 SHAP 引导的核参与者-评论者算法（RSA2C）用于可解释强化学习

1. 问题陈述

参与者-评论者（Actor-Critic, AC）方法是强化学习的基础，但存在可解释性有限的问题。标准的 AC 架构对状态特征进行同等对待，无法揭示单个状态维度对奖励的异质影响。虽然现有的可解释强化学习（XRL）方法已经存在，但它们主要是*事后（post-hoc）的（即在训练好的策略上进行分析，而不改变训练过程），或者是内在（intrinsic）*但粒度较粗的（例如决策树或符号策略）。至关重要的是，很少有方法能提供可以集成到学习循环中以引导策略更新的维度级归因（dimension-level attributions）。

此外，将归因机制集成到 AC 中面临两个根本性的挑战：

归因可靠性： 使用归因来修改评论者（Critic）的函数形式可能会违反兼容函数逼近（compatible function approximation），并破坏贝尔曼算子的收缩性质，尤其是在底层核字典（kernel dictionary）不断演化时。
优化稳定性： RL 状态通常受到噪声、随机动力学和分布偏移的影响。归因敏感型方法容易受到伪相关性的影响，除非经过仔细正则化，否则会产生不稳定的归因值，从而放大逼近误差并导致脆弱的学习动态。

核心研究问题是如何设计一种高效、可证明的归因感知型 AC 算法，该算法能够在计算状态归因的同时，保持对状态扰动的稳定性。

2. 方法论：RSA2C

作者提出了 RKHS-SHAP 增强型高级参与者-评论者算法（RSA2C），这是一种归因感知、双时间尺度（two-timescale）的 AC 算法。RSA2C 通过马氏加权（Mahalanobis-weighted）算子值核（operator-valued kernel）将状态归因直接集成到学习过程中。

2.1 架构

RSA2C 由三个在再生核希尔伯特空间（RKHS）中实例化的组件组成，这些组件由通过近似线性相关（ALD）方法维护的稀疏字典控制：

高级参与者（Advanced Actor）： 在使用算子值核（OVK）的向量值 RKHS 中实例化。该核是一个马氏加权高斯核， $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$ ，其中权重矩阵 $W = \text{diag}(\tilde{\phi})$ 根据状态特征归因（ $\phi_i$ ）进行动态调整。这使得策略能够根据特征重要性自适应地重新分配状态维度的权重。
价值评论者（Value Critic）： 驻留在标量 RKHS 中，拥有自己的字典。它使用时序差分（TD）学习来估计价值函数 $V(s)$ 。至关重要的是，价值评论者不会通过 SHAP 分数进行重加权，以防止循环依赖并确保用于归因计算的稳定基准。
优势评论者（Advantage Critic）： 驻留在共享参与者字典的标量 RKHS 中。它使用“兼容特征”（与 $\nabla \log \pi$ 对齐）来估计优势函数 $A(s, a)$ ，从而确保低方差的策略梯度。

2.2 RKHS-SHAP 集成

RSA2C 不使用蒙特卡洛采样（计算成本高昂），而是利用 RKHS 框架内的**核均值嵌入（KME）和条件均值嵌入（CME）**来解析地计算 SHAP 值：

流形内（观测式）： 使用 KME 在经验状态分布上进行平均，确保归因反映了与环境一致的配置。
流形外（干预式）： 使用 CME 在尊重数据几何结构的同时对维度子集进行条件化处理，从而探测特征组合而不生成无效状态。

计算出的 SHAP 归因被转换为马氏门控权重（Mahalanobis-gated weights）。这些权重调节参与者的梯度更新和优势评论者的目标，从而有效地将维度级重要性信号直接注入优化动态中。

2.3 双时间尺度机制

RSA2C 在两个时间尺度上运行：

快速时间尺度： 价值评论者快速更新，以提供稳定的价值估计和 SHAP 归因。
慢速时间尺度： 参与者和优势评论者更新较慢，利用来自评论者的稳定归因来引导策略改进。

3. 核心贡献

核化双时间尺度参与者-评论者算法： 引入了 RSA2C，它在 RKHS 中嵌入了一个参与者和两个评论者。它通过马氏加权 OVK 独特地注入了自适应状态特征重要性，模拟向量值策略并编码状态维度之间的相关性。使用稀疏字典确保了相对于字典大小的线性计算复杂度，使其适用于在线 RL。
从状态归因到学习信号： 该方法通过两条路径（用于流形内期望的 KME 和用于流形外期望的 CME）从价值评论者计算 SHAP。这些信号被门控并注入参与者和优势评论者，实现了高效性和内在的可解释性，而不仅仅依赖于事后解释。
全局非渐近收敛性： 作者推导了 RSA2C 在状态扰动下的全局收敛界限。学习差距被分解为扰动误差（量化针对噪声的稳定性）和收敛误差（量化效率）。扰动误差进一步分为归因诱导项和策略学习项，证明了算法的鲁棒性。
实验验证： 在三个连续控制环境（Pendulum-v1, BipedalWalker-v3, Ant-v5）上的广泛模拟表明，RSA2C 取得了具有竞争力的回报，且与深度 RL 基准（SAC, PPO）相比，计算开销（FLOPs）显著降低，同时在状态扰动下保持了卓越的稳定性。

4. 结果

效率： 在连续控制任务中，RSA2C 变体（KME 和 CME）比消融版本（无 SHAP 的 Advanced AC、均匀 SHAP）以及传统的 RKHS-AC 收敛到更高的回报。虽然像 SAC 这样的深度 RL 方法在处理高维任务（如 Ant-v5）时可能达到更高的渐近回报，但 RSA2C 在较低维度的任务中能以显著更少的 FLOPs 和运行时，达到相当甚至更好的性能，特别是在 CPU 上。
稳定性： 在状态扰动（具有不同方差的零均值噪声）下，RSA2C 变体在所有基于 RKHS 的方法中表现出最稳定的性能。随着噪声增加，其平均回报仅轻微下降，而没有学习归致的方法（Advanced AC, RKHS-AC）则会出现明显的性能下降。RSA2C 在稳定性方面也优于深度 RL 基准；例如，PPO 的性能在高度噪声下严重退化，而 RSA2C 仍保持稳健。
可解释性： 通过蜂群图（beeswarm plots）和热力图进行的视觉化确认，RSA2C 捕捉到了与物理动力学相一致的有意义的特征贡献（例如，区分 Pendulum 任务中的角度、角速度和转矩）。相比之下，建模条件依赖性的 RSA2C-CME 比 RSA2C-KME 产生了更平衡且具有时间适应性的归因。

5. 重要性与声明

本文声称 RSA2C 提供了一种原则性的机制，将状态特征重要性转化为基于 OVK 的马氏距离，从而增强了具有内在可解释性的样本高效学习。

理论保证： 该工作建立了在状态扰动下的全局非渐近收敛保证，这是一个重要的贡献，因为此前双时间尺度 RKHS 增强型 AC 的非渐近保证一直是一个开放性问题。
鲁棒性： 研究表明，学习到的特征归因对于稳定网络更新以应对随机干扰至关重要，其表现优于固定权重或非归因基准。
局限性： 作者坦诚地承认，RKHS 表示的可扩展性在处理高维连续控制任务（如具有 105 维状态的 Ant-v5）时受到限制，因为在这种情况下，具有 RBF 核的线性 RKHS 的表示能力可能成为瓶颈，难以与深度神经网络相比。此外，内存占用会随着任务复杂度和训练时长而增加。

总之，RSA2C 通过将维度级 SHAP 归因直接集成到核化学习循环中，弥合了高性能 RL 与可解释性之间的鸿沟，为连续控制提供了一种稳定、高效且具有理论依据的方法。