📊 statistics

Robust Risk Under Evolving Uncertainty: A Wasserstein Counterpart of the Entropic Value-at-Risk

本文引入了 Wasserstein 熵值风险度量（Wasserstein entropic value-at-risk），这是一种鲁棒的风险度量方法，它通过利用最优传输球（optimal transport balls）来考虑被名义模型视为不可能发生的灾难性场景，从而克服了传统熵值风险度量的局限性，进而实现了一个随着环境不确定性降低而从谨慎转向自信的动态决策框架。

原作者： Deep Kumar Ganguly, Jan Křetínský

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Deep Kumar Ganguly, Jan Křetínský

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在自主机器人的世界里，从送货无人机到自动驾驶汽车，存在着速度与安全之间的根本张力。一个智能体（或机器）必须在仍在学习其周围环境的过程中做出决策。当它了解得很少时，它必须极其谨慎，避开任何可能导致灾难的路径。但一旦它收集了足够的证据来理解环境，它就应该变得足够大胆以实现高效行动。挑战在于创建一个能够随着知识增长，在极端谨慎与自信行动之间实现平滑过渡的系统，且在学习过程中绝不犯下致命错误。这需要一种能够动态变化的风险衡量方式：机器自身对世界的认知不确定性，应当决定它对未知的恐惧程度。

慕尼黑工业大学和马萨里克大学的研究人员开发出一种新方法来解决这一问题，为机器在不确定环境中导航提供了一种更安全的方式。他们专注于一种用于防御最坏情况的特定风险计算类型。以往的方法依赖于一个虽然有用但存在关键缺陷的数学概念：如果机器当前的物理模型显示某场灾难是不可能发生的，那么安全系统就会完全忽略该灾难，即便该灾难在物理上是可能的。新方法用另一种数学工具取代了旧方法，使机器能够考虑到那些在其当前模型中被认为概率极低、但并非不可能发生的灾难性后果。这确保了机器在绝对确定某些事件不会发生之前，始终对那些罕见但具有毁灭性的事件保持警惕。

研究人员围绕“熵值风险”（entropic value-at-risk）这一概念构建了他们的解决方案，这是计算系统可能面临的最坏预期损失的标准方法。这种标准方法通过想象机器当前最佳预测周围的一个“可能替代现实”的圆圈来进行工作。如果机器不确定，圆圈就会很大，它会考虑许多种可能性。随着机器的学习，圆圈会缩小。然而，旧方法中的这个圆圈形状是僵化的。它使用一种规则进行构建，这意味着如果机器的最佳预测将某个特定灾难的概率分配为零，那么无论不确定性如何增加，都无法让该灾难重新进入考量范围。该灾难实际上在安全系统中变得“隐形”了，这会在机器过度自信时造成致命错误。

为了修复这个问题，团队引入了一种他们称之为“Wasserstein 熵值风险”（Wasserstein entropic value-at-risk）的新度量标准。他们没有使用旧方法中僵硬的圆圈，而是使用了另一种基于结果之间物理距离的不同几何形状。想象一台机器试图穿越峡谷。如果风很平静，机器可能会猜测空气是静止的。如果突然遭遇一阵狂风，机器需要知道暴风雨是可能的，即使其当前数据表明空气很平静。旧方法会说：“既然我的数据说很平静，那么暴风雨就不可能发生，所以我将忽略它。”新方法则会说：“暴风雨距离我当前的预测很远，但它是可达到的。我会支付一定的代价来考虑它，其代价与距离成正比。”这使得安全系统能够考虑到那些在当前看来概率极低但物理上可达到的灾难，从而确保机器在确定灾难未发生之前，始终对这些情况保持对冲。

研究人员证明了这种新方法在数学上是严谨的，并且完美契合现有的风险度量层级。他们展示了该方法表现得正如一个安全系统应有的样子：在机器无知时表现得保守，并随着机器的学习而变得不再那么保守。至关重要的是，他们证明了这种新度量标准严格地考虑了那些旧方法所忽略的“零概率”灾难。在测试中，当他们引入一个机器模型认为发生概率为零的灾难场景时，旧方法的风险计算无论场景变得多么危险都不会改变。然而，新方法立即增加了其谨慎程度，反映了真实情况的危险性。

为了使其适用于实时决策，团队将安全余量的规模直接与机器自身的“信念熵”（belief entropy，即机器感到困惑或不确定程度的度量）联系起来。当机器感到困惑时，安全余量会变宽，迫使其行动缓慢且谨慎。随着机器收集更多数据且其信念变得清晰，余量会自动缩小，允许其移动得更快。这创造了一个闭环系统，其中机器的谨慎程度随其知识自然演进。他们在模拟无人机穿越峡谷的过程中测试了这一点。无人机开始悬停并缓慢向前挪动——这是最安全但也最慢的选择。随着它收集到风力平静的证据，其内部不确定性下降，安全余量收紧，随后它切换到了快速巡航策略。这种转变是自动发生的，而非通过硬编码的开关，且整个过程始终保持着保证的安全界限。

模拟结果证实，新方法的工作方式完全符合理论预测。机器成功避开了旧方法可能会错过的灾难性失败，同时在获得信心后仍能高效移动。研究人员验证了其数学公式与复杂计算机模拟结果的高度吻合。他们还表明该系统能快速收敛至稳定解，这意味着它可以用于实时应用。通过用一种更稳健的几何假设取代有缺陷的假设，该团队为自主智能体提供了一种既能保证安全又能兼顾效率的方法，确保它们在应该谨慎时保持谨慎，在可以大胆时展现果敢。这项工作为构建能够在现实世界中学习和适应，且不以牺牲安全性换取速度的机器，提供了一条具体的路径。

技术摘要：演化不确定性下的鲁棒风险

1. 问题陈述

本文探讨了智能体在不确定环境下进行学习时的决策挑战。核心问题在于设计一种能随智能体认识状态（epistemic state）而演化的风险态度：智能体应在无知（高不确定性）时表现得极度谨慎，并随着其信念的明确化（低不确定性）而变得更加大胆。

现有方法面临一种二分困境：

固定鲁棒控制（Fixed Robust Control）： 假设最坏情况永远存在，导致过度保守的行为，即使环境显然已经安全也无法进行适应。
期望值/贝叶斯规划（Expected-Value/Bayesian Planning）： 在信念尚未明确前就承诺执行某种策略，如果对隐藏环境类型的初始猜测错误，则面临灾难性失败的风险。

本文识别了熵值风险（Entropic Value-at-Risk, EVaR）——一种流行的相干风险度量——的一个特定局限性。虽然 EVaR 提供了一种鲁棒优化恒等式，即通过置信水平 $\alpha$ 定义一个相对熵（KL）球来表示替代模型，但其几何结构存在一个“盲点”。如果标称模型 $P$ 给灾难性结果分配的概率为零，则 KL 球无法包含任何给该结果分配正概率的分布（因为在 $P$ 的支撑集之外，KL 散度为无穷大）。因此，随着智能体不断学习，其标称模型向远离稀有灾难的方向集中，EVaR 的安全性检查会在过度自信最危险的时刻变得失效。

2. 方法论

作者提出使用 1-Wasserstein 球（最优传输）来取代相对熵球，从而定义一种新的风险度量：Wasserstein 熵值风险（WEVaR）。

核心定义

WEVaR： 定义为在半径为 $\varepsilon$ 的 Wasserstein 球内期望损失的上确界：
$\text{WEVaR}_\varepsilon(X) = \sup \{ \mathbb{E}_Q[X] : W_1(Q, P) \le \varepsilon \}$
与 KL 球不同，Wasserstein 球允许对手将质量转移到标称概率为零的结果上，只要“传输成本”（距离）在半径范围内即可。
变分对偶（Variational Dual）： 文中推导了 WEVaR 的一个变分对偶，其形式与熵公式相似。对于有界损失 $X$ 和半径 $\varepsilon$ ：
$\text{WEVaR}_\varepsilon(X) = \inf_{\lambda \ge 0} \{ \lambda \varepsilon + \mathbb{E}_P [X^c_\lambda] \}$
其中 $X^c_\lambda(s) = \max_{s'} (X(s') - \lambda d(s', s))$ 是 $c$ -变换。这使得该问题转化为一个一维凸规划问题。
闭式解表达式（Closed-Form Expression）： 在饱和阈值以下，该度量具有精确的闭式形式：
$\text{WEVaR}_\varepsilon(X) = \mathbb{E}_P[X] + \varepsilon \cdot \text{Lip}_d(X)$
其中 $\text{Lip}_d(X)$ 是损失函数相对于基础度量的 Lipschitz 常数。当 $\varepsilon$ 低于阈值时（特别是在两点支撑的情况下），该等式精确成立。

动态规划算子

作者将此风险度量集成到一个动态规划框架中，其中模糊半径 $\varepsilon$ 由智能体的信念熵 $H(b)$ 驱动。

半径： $\varepsilon(b) = \beta H(b)$ ，其中 $\beta$ 是敏感度参数。
机制： 随着智能体收集数据，信念 $b$ 变得更加明确， $H(b) \to 0$ ，模糊球随之收缩。这导致风险态度从最坏情况（高熵）滑动到风险中性（零熵）。
算子： 得到的鲁棒 Bellman 算子具有闭式内部更新：
$(\mathcal{T}V)(s, b) = \max_a \left[ r(s, a) + \gamma \left( \mathbb{E}_{\bar{P}_b}[V] - \beta H(b) \cdot \text{Lip}_d(V) \right) \right]$
这消除了每一步都需要求解线性规划的需求，将计算复杂度降低至 $O(|S|^2)$ 。

3. 核心贡献

WEVaR 的定义与对偶性： 本文定义了 WEVaR 并证明了其 Kantorovich–Rubinstein 变分对偶。该对偶是凸的、适定的，且在结构上镜像了熵公式（用传输价格取代了逆温度）。
风险层级与相干性： 证明了 WEVaR 是一种相干风险度量。作者建立了一个“三明治”关系，即在传输熵不等式下，EVaR 被 WEVaR 所界定。至关重要的是，他们证明了一旦传输半径超过到这些状态的距离，WEVaR 就能严格考虑那些在标称概率为零的灾难，而 EVaR 则会忽略这些情况。
数值验证： 作者使用 Gurobi 验证了 EVaR 和 WEVaR 两种形式的原始问题与对偶问题之间的强对偶性。他们展示了当一个零概率灾难的损失增加时，EVaR 保持不变，而 WEVaR 则随之增加，从而验证了处理不可达但可能发生的灾难时的理论优势。
演化不确定性框架： 本文构建了一个闭式鲁棒动态规划算子，其中风险半径是信念熵的函数。这产生了一个“安全三明治”（介于最大程度谨慎的底线和类型感知预言者之间）和一个可计算的“安全开关”机制。

4. 结果

几何行为： 在一个五状态度量空间中，结果显示 Wasserstein 球（蓝色）即使在标称信念在“失败”顶点处放置零质量时也能触及这些顶点，而 KL 球（红色）则被困在支撑集边缘。
定量差距： 在一个零标称概率灾难损失从 50 增加到 1000 的数值实验中，EVaR 的变化为 0，而 WEVaR 增加了 807.5，验证了其在处理不可达但可能的灾难方面的理论优势。
收敛性： 使用闭式算子的价值迭代以速率 $\gamma$ 几何级数收敛。在每一次迭代中，自适应价值都严格处于安全边界（三明治）之内，而不只是在收敛时如此。
安全开关： 在“模糊桥梁”（Ambiguous Bridge）场景中，智能体表现出“先爬行后巡航”的行为。它会徘徊（谨慎），直到其认为环境良性的信念超过特定阈值（ $\approx 0.983$ ），此时它会切换到快速策略。该阈值纯粹由奖励的不对称性导出，且独立于敏感度参数 $\beta$ 。

5. 意义与主张

本文声称，WEVaR 为安全性至关重要的学习提供了必要的几何修正。通过利用最优传输几何，该方法确保了智能体的安全性检查不会随着其获得信心而变得失效。

其主要意义在于闭式鲁棒动态规划算子。通过将模糊半径直接与信念熵联系起来，作者提供了一种机制，使谨慎感会随着证据的积累自然收缩。这使得以下目标成为可能：

认证安全性： “安全三明治”保证了智能体的价值在整个学习过程中始终处于安全范围内。
计算效率： 闭式更新避免了每一步求解鲁棒优化问题的计算负担，使得该方法可以通过 Lipschitz 评论家（Lipschitz critics）扩展到更大的状态空间。
自适应风险： 提供了一种从鲁棒控制到期望值控制的原则性过渡方式，无需手动调整风险态度，而是完全由智能体的认识状态驱动。

作者将这项工作定位为相对熵与最优传输鲁棒性之间的桥梁，并指出通过 Lipschitz 评论家将该算子扩展到连续空间，并将其应用于主动信息收集，是自然的下一步方向。