⚡ electrical engineering

Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach

本文提出了一种面向自动驾驶等不确定环境下自主系统的分层决策框架，该框架通过混合马尔可夫决策过程（HMDP）联合建模环境交互的多模态不确定性，并结合联合机会约束模型预测控制（MPC）将机动选择与动态可行性统一优化，从而在理论上保证了递归可行性与渐近稳定性，并在高速及城市场景的评估中验证了其相较于规则基线在安全性与效率上的优势。

原作者： Siyuan Li, Chengyuan Liu, Wen-Hua Chen

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siyuan Li, Chengyuan Liu, Wen-Hua Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让自动驾驶汽车在充满不确定性的复杂路况中，既能安全又能高效做决定的新方法。

为了让你更容易理解，我们可以把自动驾驶汽车（我们叫它“主角车”）想象成一个在拥挤的舞池里跳舞的人，而周围的其他车辆（“周围车辆”）就是舞池里其他跳舞的人。

1. 核心难题：猜谜游戏

在舞池里，你不仅要知道别人现在在哪（位置），还要猜他们接下来想做什么（是继续跳、换位置、还是突然停下？）。

传统方法的问题：以前的方法要么只猜“动作”（比如：他可能要变道），要么只猜“轨迹”（比如：他下一秒会往左移 1 米）。但这就像只猜“他想跳舞”却不管他“怎么跳”，或者只算“他往左移”却不管他“是不是想换舞伴”。这导致决策很割裂，要么太保守（不敢动），要么太冒险（容易撞）。
这篇论文的解法：它把“动作意图”和“具体动作”结合起来，像是一个超级侦探，同时分析周围人的“心理意图”和“身体动作”。

2. 两大核心工具：HMDP 和 MPC

工具一：HMDP（混合马尔可夫决策过程）—— “多模态水晶球”

想象你有一个水晶球，但它不是只给你看一种未来，而是给你看几种最可能的未来剧本。

分层预测：这个水晶球分两层看：
1. 高层（意图层）：猜周围那辆车是想“变道”、“保持车道”还是“加速”？
2. 低层（动态层）：如果它决定变道，它具体会怎么动？是慢慢变还是猛地变？
过滤机制：水晶球会生成很多种可能，但有些可能性极低（比如那辆车突然飞上天）。系统会自动剪掉这些离谱的剧本，只保留最合理的几种（比如：它可能变道，也可能保持车道）。
比喻：就像你预测朋友明天会不会来聚会。你不仅猜“来不来”（意图），还猜“如果来，是开车来还是走路来”（动态）。系统会把“坐火箭来”这种离谱情况过滤掉，只保留“开车”和“走路”这两种最可能的情况。

工具二：MPC（模型预测控制）—— “走钢丝的平衡大师”

有了水晶球的预测，主角车该怎么走呢？这就用到了MPC。

统一优化：以前的系统可能先决定“我要变道”，然后再算“怎么变道才不撞”。但这篇论文把这两个步骤合二为一。它在一个数学公式里同时考虑：“我想变道”这个决定，和“我的车能不能物理上实现这个变道”以及“会不会撞到别人”。
联合机会约束（Joint Chance Constraints）：这是最精彩的部分。
- 比喻：想象你在走钢丝，周围有很多人在乱动。传统的做法是：“只要有人离我太近，我就停下”（太保守，走不动）。
- 新方法：系统会计算：“在所有保留的几种可能剧本里（比如朋友 A 可能向左，朋友 B 可能向右），只要我的路线能让**99%**的情况下不撞到人，我就敢走。”
- 它不是盲目地避开所有风险，而是计算风险的概率。如果风险在可控范围内（比如只有 1% 的概率会擦碰），它就敢于做出更流畅、更高效的决策，而不是死板地停在原地。

3. 实验结果：它有多聪明？

论文通过三个场景测试了这个系统：

场景一（横向不确定性）：旁边的车可能变道，也可能不变。
- 结果：主角车没有傻等，而是预判了旁边车的意图。如果旁边车要挤进来，它就提前变道避让；如果旁边车只是路过，它就顺势超车。它像是一个老练的司机，懂得“预判”而不是“反应”。
场景二（纵向不确定性）：旁边的车可能加速，也可能减速。
- 结果：当后车突然加速逼近时，传统的“规则派”司机（基于固定规则）可能会惊慌失措，或者变道变一半卡住。而主角车提前感知到了后车的加速意图，主动调整速度或变道，既安全又流畅，没有急刹车。
场景三（风险阈值调节）：
- 结果：你可以像调收音机音量一样调节“胆量”。
  - 保守模式（风险容忍度低）：车会非常小心，早早变道，甚至有点犹豫。
  - 激进模式（风险容忍度高）：车会更有进取心，在更晚的时候才变道，效率更高。
- 这证明了系统可以量化风险，而不是凭感觉。

4. 总结：为什么这很重要？

这就好比把自动驾驶从"只会听指令的机器人"升级成了"有直觉的老司机"。

以前的车：看到前面有车，就减速；看到旁边有车，就死等。遇到突发情况容易不知所措。
现在的车（这篇论文的方法）：它脑子里有“剧本库”，能同时推演多种未来，并且知道在什么概率下是安全的。它敢于在安全范围内做更优的决策，让交通更流畅，事故更少。

一句话总结：
这篇论文给自动驾驶装上了一个能同时思考“意图”和“动作”的大脑，并给它一把计算风险概率的尺子，让它能在混乱的交通中，像经验丰富的老司机一样，既大胆又谨慎地做出最佳决策。

这是一份关于论文《Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach》（不确定性下的分层决策：混合 MDP 与机会约束 MPC 方法）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
自动驾驶系统在充满不确定性的动态环境中运行，需要同时处理两类耦合的不确定性：

机动级不确定性 (Maneuver-level uncertainty)： 周围智能体（SA）的高层意图，如变道意图、路线选择或任务分配。
动态级不确定性 (Dynamic-level uncertainty)： 具体的运动状态，如速度、航向和姿态的随机波动。

现有方法的局限性：

解耦建模： 大多数现有研究将机动预测和动态预测作为独立子问题处理，缺乏统一的框架来推理联合风险。
决策与规划分离： 基于模型预测控制（MPC）的方法通常将高层机动选择与底层运动规划分开，未显式约束高层决策的动态可行性。
缺乏安全性保证： 基于规则的方法过于僵化，基于学习的方法缺乏可解释性和安全性保证。
环境预测整合不足： 现有的 MPC 框架很少以显式形式整合环境预测，限制了规划器对未来交互不确定性的推理能力。

目标：
开发一个结构化的分层决策框架，能够联合建模机动级和动态级不确定性，并将多模态环境预测整合到优化过程中，在确保概率安全的前提下实现高效、自适应的决策。

2. 方法论 (Methodology)

论文提出了一种分层决策框架，结合了混合马尔可夫决策过程 (HMDP) 和 机会约束模型预测控制 (Chance-Constrained MPC)。

A. 环境建模：周围智能体 (SAs) 的 HMDP

结构： 将每个周围智能体建模为一个 HMDP，包含离散机动状态（ $S_{sa}$ ）和连续动态状态（ $x_{sa}$ ）。
机动层： 使用概率策略 $\pi_{sa}$ 描述离散机动（如变道、保持车道）的转移概率。
动态层： 采用动作依赖的仿射动态模型，加入高斯过程噪声以捕捉动态不确定性。
概率过滤机制： 为了降低计算复杂度，提出基于策略分布的过滤机制。通过设定阈值 $\delta$ ，剔除低概率的机动分支，仅保留高概率的交互场景，生成紧凑的多模态预测。
可达集构建： 基于保留的高概率机动序列，推导出未来时刻的可达动态状态集（Reachability Sets）。

B. 决策层：自车 (EA) 的 HMDP-MPC

统一结构： 自车的决策过程同样建模为 HMDP，但作为决策结构而非生成模型。离散机动选项被视为决策变量，并显式链接到自车的动态模型。
联合优化： 将 HMDP 结构嵌入 MPC 框架，在一个优化问题中同时优化高层机动选择和底层连续轨迹，消除了规划与控制的不一致性。
机会约束 (Chance Constraints)：
- 利用环境侧生成的多模态预测（可达集），构建联合机会约束。
- 约束形式： $P(\text{所有保留场景下均安全}) \geq 1 - \epsilon$ 。
- 确定性重构： 在仿射 - 高斯假设下，将概率约束转化为确定性的代数不等式（基于均值和协方差），使其可被标准 MPC 求解器高效处理。
理论保证： 通过引入保守的基准策略（Baseline Policy）和终端代价函数，证明了该框架的递归可行性 (Recursive Feasibility) 和 渐近稳定性 (Asymptotic Stability)。

3. 主要贡献 (Key Contributions)

基于 HMDP 的环境建模框架： 开发了一种针对周围智能体的建模方法，联合捕捉机动级和动态级不确定性，生成结构化的多模态未来行为预测。
统一的 HMDP-MPC 决策框架： 为自车设计了统一的决策框架，将机动选择与动态可行性整合，并通过联合机会约束嵌入多模态环境预测，实现了概率安全的规划。
理论保证： 为所提出的决策框架建立了递归可行性和渐近稳定性的理论证明。
全面的仿真验证： 在高速和城市驾驶场景下进行了广泛评估，并与基于规则（Rule-based）的基线方法进行了对比，验证了其在安全性和效率方面的优势。

4. 实验结果 (Results)

论文通过三个案例（Case Studies）在自动驾驶场景中进行了验证：

案例 1：横向机动不确定性验证
- 场景： 三车道城市快速路，周围车辆有变道意图。
- 结果： 自车能够预测周围车辆的变道意图，并自适应地调整策略（如先跟随快车，待其超越后再变道），在保持安全距离的同时实现了平滑运动。
案例 2：纵向机动不确定性验证
- 场景： 周围车辆速度变化（加速/减速/巡航）。
- 结果： 自车能根据周围车辆的速度变化动态调整超车策略。
- 对比： 与基于 IDM+MOBIL 的规则基线相比，HMDP-MPC 框架表现出更高的效率（行驶距离更长）和更优的决策逻辑。规则方法在后方车辆快速逼近时未能及时调整，导致后车急刹；而本文方法通过优化约束自动规避风险，并主动让出超车道。
案例 3：风险阈值分析
- 场景： 城市道路，分析风险容忍度参数 $\epsilon$ 的影响。
- 结果： 较小的 $\epsilon$ （更保守）导致更早的变道决策；较大的 $\epsilon$ （更激进）则延迟决策。证明了框架能够通过概率参数显式调节交互风险，在保守性与效率之间取得平衡。

5. 意义与影响 (Significance)

理论创新： 成功解决了将离散机动推理与连续动态控制统一在优化框架中的难题，填补了现有 MPC 方法在处理高层意图不确定性方面的空白。
安全性与效率的平衡： 通过机会约束，系统能够在保证概率安全（即所有合理场景下均安全）的同时，避免过度保守，从而提升交通效率。
可解释性与鲁棒性： 相比纯数据驱动方法，该框架具有明确的物理意义和数学保证；相比规则方法，它具有更强的前瞻性和适应性，能够处理复杂的交互场景。
应用前景： 该框架为复杂动态环境下的自动驾驶决策提供了可靠的理论基础和实现路径，特别适用于需要处理多模态预测和严格安全约束的高阶自动驾驶系统。

总结： 本文提出了一种创新的混合架构，通过 HMDP 精准建模环境不确定性，并利用机会约束 MPC 将其转化为可求解的优化问题，实现了在高度不确定环境下既安全又高效的自动驾驶决策。