🤖 machine learning

RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance

本文介绍了 RS-Diffuser，一种风险敏感型离线扩散规划框架，该框架通过将分布值评论家（distributional value critics）与尾部感知引导（tail-aware guidance）相结合，使单个模型能够灵活地生成风险规避、风险中性或风险寻求行为，同时提高鲁棒性并减少在安全关键型应用中的安全违规。

原作者： Shiqiang Gong

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shiqiang Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在复杂的城市中导航。你拥有一个海量的视频库，记录了过去其他机器人（或人类）如何在这座城市中行驶。但你不能让机器人在现实世界中通过实际驾驶来学习，因为一次失误就可能导致碰撞。这就是**离线强化学习（Offline Reinforcement Learning）**的世界：仅从固定的数据集中学习，而不进行新的实验。

许多现有 AI 规划器的问题在于它们是“风险中立”的。它们就像是一个只关心平均最快路线的 GPS。如果一条路线有 99% 的概率很快，但有 1% 的概率会撞上一个足以毁掉汽车的巨大坑洼，风险中立的规划器可能仍然会选择这条路，因为其平均时间表现很好。在安全至上的场景中（如自动驾驶汽车或医疗机器人），这 1% 的灾难概率是不可接受的。

由此，RS-Diffuser 应运而生，它扮演着一个“具备风险意识的副驾驶”的角色。以下是它的工作原理，通过简单的概念进行拆解：

1. “梦想家”（扩散规划器/The Diffusion Planner）

将这个系统的核心视为一个梦想家（Dreamer）。在过去，AI 规划器通常试图预测下一个单一动作（就像棋手只思考一步棋）。RS-Diffuser 则不同；它会同时“梦见”整个未来的场景。

它使用了一种名为**扩散（Diffusion）**的技术，这类似于艺术家如何从一张充满静态噪声的画布开始，逐渐将其细化为一幅清晰的画作。

过程： AI 从一个关于未来路径的混乱、多噪的猜测开始。然后，它通过迭代的方式进行“去噪”，逐步清理这个路径，直到它展现出一条平滑、逻辑清晰的机器人行驶轨迹。
优势： 由于它是一次性生成整个路径，因此比那些只看下一秒的方法更能理解长期的后果。

2. “风险审计员”（分布价值评论家/The Distributional Value Critic）

这是该论文的“秘密武器”。大多数 AI 评论家（裁判）只给出一个单一的分数：“这条路径价值 100 分。”
RS-Diffuffer 的评论家则是一位风险审计员（Risk Auditor）。它不只是给出一个分数，而是给出一份完整的可能性成绩单。

它会询问：“最好情况是什么？最坏情况是什么？90% 的情况下会发生什么？在罕见的 1% 的灾难中会发生什么？”
它使用一种称为**分位数回归（Quantile Regression）**的统计工具，来绘制出所有可能结果的全谱系，而不仅仅是平均值。

3. “方向盘”（风险敏感引导/The Steering Wheel）

奇迹发生在这里。通常，一旦 AI 模型训练完成，它的性格就固定了。如果你想让它变得安全，你必须从头开始重新训练它。

RS-Diffuser 改变了规则。它将梦想家（规划器）与审计员（评论家）分离。

训练阶段： 模型学习如何构思路径，而审计员学习如何根据所有可能的结果对这些路径进行评分。
测试阶段（当机器人实际移动时）： 你可以调节一个“风险旋钮”，而无需重新训练任何内容。
- 风险厌恶模式（Risk-Averse Mode）： 你告诉系统：“我关心的是最坏的情况。” 系统会利用审计员的数据，观察成绩单的最底端（即灾难情况），并引导“梦想家”远离任何可能导致这些情况的路径。它会变得非常保守。
- 风险中立模式（Risk-Neutral Mode）： 你告诉它：“只要给我平均最好的路径即可。” 它会忽略灾难，专注于平均值。
- 风险寻求模式（Risk-Seeking Mode）： 你告诉它：“追求高回报，即使这很危险。” 它会转向那些具有高收益潜力的路径，忽略潜在的负面影响。

类比：天气预报

想象你正在计划一次野餐。

旧的 AI（风险中立）： 查看天气预报并说：“平均气温是 75°F。我们出发吧！” 它忽略了 1% 出现龙卷风的可能性。
RS-Diffuser（风险敏感）： “审计员”给了你一份完整的预报：“平均 75°F，但有 1% 的概率出现龙卷风，以及 10% 的概率出现暴雨。”
- 如果你将旋钮调至**“安全第一”**，系统会说：“不，龙卷风风险太高了。我们留在家里吧。”
- 如果你将旋钮调至**“冒险”**，系统会说：“平均情况很棒，出发吧！”
- 至关重要的是，系统并不需要学习一种新的天气预测方法；它只是根据你的设置，以不同的方式解读了相同的预测数据。

论文声称

作者在两种主要挑战上测试了该方法：

模拟机器人控制（D4RL）： 如“半身猎豹（Half-Cheetah）”或“Walker2D”这类机器人，它们必须快速移动，但如果动作过于激进，可能会摔倒或损坏。
风险导航： 机器人在尝试到达目标的同时，需要避开会带来巨大惩罚的“危险区域”。

结果显示：

更好的安全性： 与以往的方法相比，RS-Diffuser 导致的碰撞和安全违规更少。
更好的性能： 它不仅玩得稳妥，而且实际上比其他风险敏感方法获得了更高的得分（回报），因为它能更有效地平衡安全与奖励。
灵活性： 单个训练好的模型可以通过在决策瞬间改变一个数字，就在“谨慎驾驶员”、“普通驾驶员”和“鲁莽驾驶员”之间进行切换，而无需重新训练。

简而言之，RS-Diffuser 是一个不仅能猜测未来，还能理解未来风险的规划系统，它让你能够决定愿意承担多少风险，而这一切都只需通过一个预训练好的模型即可实现。

技术摘要：RS-Diffuser

问题陈述

离线强化学习（Offline RL）旨在从固定的数据集中学习决策策略，而无需进一步的环境交互，这一能力对于医疗保健和机器人等成本高昂或不安全的安全性敏感领域至关重要。然而，现有的离线 RL 方法面临两个主要挑战：

分布偏移（Distributional Shift）： 策略往往会采取超出行为数据支持范围的动作，导致价值估计不可靠。
风险中性（Risk Neutrality）： 目前大多数基于扩散的规划器和离线 RL 方法都是针对期望回报进行优化的。它们未能显式地建模回报的尾部行为，使得它们容易受到罕见但灾难性结果的影响。在安全性敏感的设置中，两种具有相似期望回报的行为可能具有截然不同的下行风险，而标准方法忽略了这一区别。

虽然分布强化学习（Distributional RL）提供了一种建模完整回报分布的原则性方法（从而实现诸如风险价值 VaR 和条件风险价值 CVaR 等指标），但现有的风险敏感型离线方法主要构建在 Actor-Critic 架构之上。目前缺乏探索如何赋予基于扩散的规划器以显式的、可控的风险敏感性的研究。

方法论：RS-Diffuser

作者提出了 RS-Diffuser，这是一个将基于扩散的轨迹生成与分布价值学习相结合的风险敏感型离线扩散规划框架。该框架由三个核心组件组成，并在离线数据集上进行训练：

状态轨迹扩散规划器（State Trajectory Diffusion Planner）：
该规划器不是直接生成状态-动作对，而是对未来状态轨迹建模一个条件分布 $p_\theta(x_0 | s_t)$ ，其中 $x_0$ 代表未来状态序列 $(s_{t+1}, \dots, s_{t+H})$ 。这实现了长程规划与底层动作生成的解耦。该模型使用标准的去噪目标（DDPM）进行训练，以逆转状态序列上的噪声破坏过程。
逆动力学动作解码器（Inverse Dynamics Action Decoder）：
一个单独的确定性解码器 $f_\psi$ 通过监督回归进行训练，将计划的状态转移映射回可执行的动作（ $a_t = f_\psi(s_t, \hat{s}_{t+1})$ ）。这使得扩散模型能够专注于可行的状态演变，而解码器则处理动作恢复。
蒙特卡洛分布价值评论家（Monte Carlo Distributional Value Critic）：
这是实现风险敏感性的核心创新。不同于预测单一期望回报的标准评论家，该评论家会对候选计划进行完整的回报分布建模。
- 训练： 它使用**分位数回归（Quantile Regression）**结合蒙特卡洛监督（而非贝尔曼自助采样/Bellman bootstrapping）来预测给定噪声计划 $x_k$ 、当前状态 $s_t$ 和扩散步数 $k$ 的回报分布 $Z(x)$ 的 $N$ 个分位数。
- 损失函数： 评论家通过分位数 Huber 损失进行优化，以准确逼近回报分布。

风险引导推理（Risk-Guided Inference）：
RS-Diffuser 的关键操作特性是其能够在推理阶段控制风险偏好，而无需重新训练。

在计算风险敏感目标 $\rho_\alpha$ （例如用于风险厌恶的 CVaR 或用于风险寻求的上尾平均值）时，利用预测的分布价值评论家的分位数。
在扩散去噪过程中，注入一个引导信号。通过计算风险目标相对于噪声轨迹的梯度（ $g_k = \nabla_{x_k} \rho_\alpha$ ）来引导生成过程，使其向满足所需风险特征的轨迹靠拢。
通过调整风险参数 $\alpha$ 或选择不同的泛函（CVaR 与 VaR），单个训练好的模型可以无缝切换于风险厌恶、风险中性和风险寻求行为之间。

核心贡献

本文概述了三个主要贡献：

框架集成： 引入了一个用于离线 RL 的扩散规划框架，该框架显式地结合了分布价值建模，以实现具备尾部感知能力的决策制定。
灵活引导： 展示了如何将分布价值评论家集成到引导扩散采样中，从而在无需模型重训练的情况下，提供灵活的推理时风险偏好控制。
经验优越性： 实验证据表明，RS-Diffuser 在风险敏感基准测试中优于现有的最先进模型，实现了更高的整体回报和更佳的最坏情况鲁棒性。

实验结果

作者在两个基准测试上评估了 RS-Diffuser：Risk-Sensitive D4RL（带有随机惩罚项的 MuJoCo 任务）和 Risky Robot Navigation（带有危险区域的 PointMass 和 Ant 环境）。

Risk-Sensitive D4RL： RS-Diffuser 在 Half-Cheetah、Walker2D 和 Hopper 的 Medium、Expert 和 Mixed 数据集中均实现了最佳的整体性能。它优于风险中性基准（CQL、Diffusion-QL）和风险敏感型基准（OWCPG、ORAAC、CODAC、UDAC）。值得注意的是，它同时提高了平均回报和条件风险价值（CVaR $_{0.1}$ ），表明其在平均情况和最坏情况场景下均具有卓越的表现。
Risky Robot Navigation： 在 Risky Ant 和 Risky PointMass 任务中，RS-Diffuser 在保持零或接近零安全违规的同时，实现了最高的收益。它成功平衡了安全性与性能，优于那些要么采取危险捷径（风险中性）要么无法有效优化回报的方法。
消融实验： 通过改变风险参数 $\alpha$ 和风险度量（VaR 与 CVaR）进行的实验证实，该方法允许在平均回报与鲁棒性之间进行平滑权衡。研究发现，对于默认配置，基于 CVaR 的引导能提供最佳的权衡效果。

意义与主张

本文声称 RS-Diffuser 通过在生成式扩散范式内实现可控的风险敏感性，填补了离线 RL 的一个关键空白。不同于需要为不同风险特征训练多个模型或依赖固定风险目标的以往方法，RS-Diffuser 允许单个模型在推理时适应多变的安全性需求。

作者将这项工作定位为迈向安全性敏感应用中灵活且可靠决策的重要一步。他们认为，将扩散模型的表达能力（用于建模复杂的、多模态的轨迹）与分布价值引导（用于尾部感知的评估）相结合，创建了一个稳健的框架，适用于在避免灾难性后果方面与最大化平均奖励同样重要的现实世界部署场景。未来的工作建议将此方法扩展到更高维度的机器人任务和多目标安全约束中。