📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

本文提出了一个审计框架，证明了经过训练的分布强化学习智能体所提出的风险敏感性主张在很大程度上是结构性的训练人工制品，而非对环境随机性的准确反映，从而使得其提供的风险建议缺乏信息量且往往会对决策产生不利影响。

原作者： Hari Prasad

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Hari Prasad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你构建了一个超级聪明的机器人玩家，它不仅仅是猜测自己会得到多少分，而是实际上预测了整个可能的未来范围。这就像是一个天气预报员，不仅说“可能会下雨”，还绘制了一张详细的地图，显示雨会落在哪里、雨势有多大，以及阳光可能从哪里透出来。这个被称为分布强化学习（Distributional Reinforcement Learning）智能体的机器人，旨在成为风险追求者的最佳伙伴。它的设计初衷是能够识别出哪种移动是一个安全、乏味的稳妥选择，而另一种移动又是一个虽然承诺了相同平均分但却充满变数的豪赌。

但转折在于：机器人的“风险图”大部分是幻觉。

伟大的审计

论文的作者们决定扮演侦探。他们提出了一个简单的问题：当这个机器人声称“嘿，这个动作有风险，而那个动作很安全”时，它是在说实话吗？

为了查明真相，他们并没有仅仅相信机器人的话。他们构建了一个“真相机器”。他们截取了游戏世界的快照，冻结了时间，然后用不同的随机种子（就像反复掷骰子一样）将同一个时刻重新播放了数千次，以观察实际发生了什么。他们将机器人华丽的预测与这些海量的真实世界数据进行了对比。

震惊的结果：“风险”中有 40% 到 95% 是假的

审计揭示了一个巨大的问题。在他们测试的游戏（MinAtar，一种经典街机游戏的简化版）中，机器人关于风险最强烈的断言中有 40% 到 95% 是完全错误的。

可以这样理解：机器人站在一条走廊里，指着两扇门。它大喊：“A 门是安全的！B 门是个陷阱！”但当审计人员踢开门并进行了 2000 次尝试后发现，两扇门通向的竟然是完全相同的房间。 机器人并没有看到差异；它只是凭空编造了一个差异。

“顶尖”的断言最糟糕： 机器人对风险差异表现得越自信，它撒谎的可能性就越高。在它认为“最危险”的前 2% 的时刻中，高达 95% 的断言被事实反驳了。
这不仅仅是一个小故障： 这不是机器人因为疲劳或正在学习时才会出现的错误。作者检查了机器人在不同阶段的表现。这些虚假的风险断言在训练仅 500,000 步后就已完全成型，并且即使在机器人玩游戏水平提高了一倍后依然存在。
这不是游戏的错： 机器人并不是被复杂的游戏搞糊涂了。当作者在一个专门定制的、风险明确且定义清晰的游戏（“RISKYGRID”）上测试它时，机器人的准确率达到了 96–100%。这证明机器人能够识别风险，但在真实的街机游戏中，它是在见鬼。

为什么会发生这种情况？

论文排除了人们可能会猜到的几种情况：

并不是因为机器人“玩得不好”： 即使是一个接近完美的、经过预训练的机器人（基于 1000 万帧数据的训练），也掉进了同样的陷阱。
并不是因为它“校准失误”（比如温度计总是偏高或偏低 5 度）： 如果你试图通过“重新校准”来修复机器人，唯一的办法就是让它什么都不说。机器人不仅仅是稍微有点偏差；它是毫无信息量的。它就像一个疯狂旋转的指南针；你无法仅仅通过“调整”让它指向北方，因为它根本没有感知磁性的能力。
并不是因为缺乏数据： 机器人看到了成千上万个例子，但它学到的“风险”是由于其训练方式而产生的结构性人工痕迹，而不是游戏本身的特征。

危险：根据谎言采取行动

这里是最可怕的部分。如果你是一个利用这个机器人的建议来做决策的人类玩家，你会陷入麻烦。

在一款游戏（Breakout）中，机器人的建议确实是有帮助的。
在另一款游戏（Seaquest）中，遵循它的建议会让你比完全忽略风险时糟糕三倍。
在第三款游戏（Asterix）中，它基本上就像抛硬币一样随机。

最糟糕的是？你无法分辨哪款游戏属于哪种情况。 机器人会给你一个“风险得分”，但这个得分无法告诉你这个建议是救命稻草还是死亡判决。这就像有一个天气应用，它有时预测龙卷风，有时预测晴天，但这个应用完全无法告诉你哪些预测是真实的。

核心结论

论文得出结论：对于他们测试的这些机器人来说，它们所看到的“风险”是一种训练人工痕迹——机器中的幽灵。这是一个机器人因为其数学逻辑而学会去描绘的模式，而不是因为世界真的以那种方式存在危险。

作者非常明确地指出：不要凭直觉信任机器人的风险图。 如果你想将这些智能体用于安全至上的任务（如自动驾驶汽车），你需要先对它们进行审计。在此之前，机器人的“风险”仅仅是一个非常具有说服力、非常自信的谎言。

技术摘要：审计分布强化学习中的风险主张

问题陈述

分布强化学习（Distributional RL）将标量价值函数替换为完整的收益分布（ $Z^\pi(s, a)$ ）。虽然这些分布推动了最先进的性能，并越来越多地被用于可解释性、风险敏感控制（例如通过条件风险价值，CVaR）和安全监控，但它们往往被“照单全收”。其核心假设是：如果一个动作的学习分布在形状上与另一个动作不同（例如，承诺一个安全的微小收益，而非一个具有相同均值的赌博），那么环境确实包含这种特定的风险结构。

然而，理论研究表明，这些分布并不一定与真实的收益分布一致（例如，分位数时序差分学习可能收敛到非唯一的固定点）。此外，分布式方法即使在仅利用均值时也能提高性能，这表明学习到的分布可能是有效的表示，而不一定是事实准确的。确定的关键差距在于缺乏直接测量：训练好的分布式智能体所做出的特定风险主张是否真实？ 聚合发散度指标无法区分对决策有意义的误差与无关误差。本文旨在探讨一个问题：智能体头部反映的“风险”究竟是真实的物理环境特征，还是训练产生的伪影。

方法论

作者提出了一个结合了筛选指标、真值生成和统计约束（以避免错误结论）的决策相关审计框架。

1. 决策相关审计指标

审计关注给定状态 $s$ 下，按均值收益排序的前两个动作之间的超额 Wasserstein 间隙（excess Wasserstein gap, $\Delta_x(s)$ ）：
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
其中 $W_1$ 是两个动作的分位数表示之间的 1-Wasserstein 距离， $\mu$ 代表它们的均值收益。

显著性： 当且仅当两个动作都不存在一阶随机占优关系时， $\Delta_x(s) > 0$ 成立。这正是风险敏感策略会偏离均值贪婪策略的精确条件。因此， $\Delta_x$ 隔离了具有决策内容的声明。

2. 通过快照-重启蒙特卡洛生成真值

为了验证主张，作者通过以下方式生成真值：

从训练好的智能体中收集唯一状态。
存储这些状态下的环境深拷贝（快照）。
从每个快照开始，针对每个动作进行 2,000 次展开（rollouts），强制执行特定动作并遵循贪婪策略直至终止。
至关重要的是，每个重启的副本都经过独立重新播种（reseeded），以确保展开过程捕捉的是真实的物理环境随机性（偶然不确定性/aleatoric uncertainty），而不是重放完全相同的未来。

3. 统计约束

为了防止审计产生错误的结论，作者采用了：

置换零假设（Permutation Nulls）： 通过拆分单个动作的展开过程来建立估计噪声的基准。
自助法反驳（Bootstrap Refutation）： 如果学习到的 $\Delta_x(s)$ 超过了蒙特卡洛（MC）超额分布的第 97.5 百分位数，则该主张被反驳。
FDR 控制： 使用 Benjamini-Hochberg 程序来控制跨状态的错误发现率（False Discovery Rate）。
别名指数（Aliasing Index）： 一个用于标记部分可观测性可能隐藏真实环境状态的指标。

4. 应对沉默陷阱

论文记录了两种在基于重启的评估中会导致产生看似可靠实则错误的审计结果的特定失败模式：

P1 (RNG 克隆)： 对环境使用 deepcopy 通常会克隆内部随机数生成器，导致“随机”展开过程重放完全相同的未来。这造成了一种确定性的假象。
P2 (经验 Wasserstein 噪声底限)： 对于来自同一分布的有限样本，经验 Wasserstein 距离会收敛到一个非零值（ $O(n^{-1/2})$ ）。朴素的阈值设定可能会将纯粹的噪声“确认”为风险权衡。审计通过针对每个状态的零假设进行校准，以应对这一点。

关键结果

1. 最强的声明大多是错误的

在 MinAtar（Breakout, Seaquest, Asterix）以及在完整 Atari 上预训练的 SB3-zoo QR-DQN 上，观察到：

反驳率： 在智能体自身风险排名最高的 2% 的状态中（即从业者首先会标记的状态），40–95% 的声称风险权衡在 95% 置信度下被反驳。
零确认： 在 735 个经过审计的 MinAtar 状态中，几乎没有任何主张在经过 FDR 校正后能得到证实。
真相盲视的不可区分性： 强声明的主张位置与“真相盲视”的头部（即保留了声明幅度但随机分配到状态上的头部）在统计上是不可区分的。学习到的超额与真实超额之间的相关性接近于零（ $r \approx 0.02$ ）。

2. 伪影的结构性特征

早期形成： 这种过度声明的伪影在 500k 训练步时已完全形成，并且即使在智能体得分翻倍时依然存在。
种子特异性： 特定的错误声明是针对每个随机种子唯一的，且与最终性能无关。
注定失败的状态： 在球已不可挽回丢失的状态下（所有未来收益均相同），智能体的头部仍会报告具有高 $\Delta_x$ 的宽阔且交叉的分布。

3. 决策层面的影响

在智能体标记最频繁的状态下根据其 CVaR 建议采取行动，结果表现出混合且不可预测的特性：

Breakout： 建议确实具有信息量（比均值贪婪策略的 44% 更安全的选取率为 81%）。
Seaquest： 建议是反预测的，选择真正安全动作的概率仅为 24–34%，甚至比随机选择还差，其造成的遗憾（regret）是忽略风险的三倍。
Asterix： 建议实际上就像抛硬币一样。
没有可观察到的信号能告诉从业者他们处于哪种机制中。

4. 修复方案的失效

标准补救措施无法解决该问题：

风险敏感训练： 训练一个以 CVaR 为贪婪目标的智能体，会产生相同的过度声明特征。
集成（Ensembling）： 平均分位数函数虽然减弱了伪影，但并未校准顶层的声明。
再校准（Recalibration）： 再校准通过使声明失效（将其坍缩为噪声）才通过了审计，这证明了该头部是无信息的，而不仅仅是失准的。

5. 正向对照实验

为了确保审计本身没有问题，作者在具有已知风险权衡的 RISKYGRID 环境上进行了测试。

审计正确确认了 96–100% 的真实声明，且相关性很高（ $r \approx 0.92$ ）。
这证实了审计衡量的是智能体捕捉风险的能力缺失，而非审计方法或小效应量的失败。

意义与主张

论文得出结论，对于所测试的智能体（QR-DQN, C51, IQN），学习到的“风险”反映的是一种结构性的训练伪影，而非环境的随机性。

风险的“赢家诅咒”： 智能体对风险权衡最自信（最高 $\Delta_x$ ）的状态，恰恰是其声明最不可靠的状态。
无信息头部： 分布式头部不仅是失准的，而且在风险结构方面是无信息的。它们以一种产生伪造风险信号的方式，混淆了偶然不确定性和认知不确定性。
对实践的启示：
1. 可解释性： 可视化的收益分布在没有真值验证的情况下不应被信任。
2. 安全与控制： 基于原始分位数头部的风险敏感策略可能会在关键状态下基于伪造的风险采取行动，从而导致比均值贪婪基准更差的结果。
3. 未来工作： 任何声称能估计不确定性或风险的方法，都必须接受决策层面的审计。作者发布了一个工具包和一个标准：一个通过审计的头部必须能够证实其顶层的声明。

作者强调其结论的审慎性：其主张涵盖了特定的算法和环境（MinAtar，特定的 Atari 种子）。他们承认，其他经过校准的变体或在不同条件下训练的智能体（例如在大规模下的粘性动作）仍需测试，但目前的证据表明，标准分布强化学习中的“风险”在很大程度上是学习过程产生的伪影。