Joint Chance Constrained Safe-Optimal Control

技术摘要：联合机会约束安全最优控制

问题定义
本文探讨了标准联合机会约束（Joint Chance Constrained, JCC）随机系统最优控制的局限性。在传统的 JCC 表述中，目标是在满足保持在安全集内概率超过阈值 $\alpha$ 的约束下，最小化所有轨迹（包括安全和不安全轨迹）的期望代价。作者指出，这种标准方法会产生一种反向激励：控制器可能会故意违反安全约束，以利用低代价的不安全轨迹，只要整体安全性概率仍保持在 $\alpha$ 以上。在约束违规会导致灾难性和不可逆后果的应用场景中（例如飞机坠毁、医疗设备失效），这种行为是不可接受的，因为失败轨迹的代价不应计入优化目标。

为了解决这一问题，本文提出了一种联合机会约束安全最优控制问题。目标被修改为仅最小化安全轨迹的期望代价，同时仍强制执行安全性至少为 $\alpha$ 的联合机会约束。不安全轨迹在目标函数中被有效地赋予零代价，从而消除了为了节省成本而“牺牲”安全性的动机。

方法论
其核心方法论贡献是将这一非马尔可夫（non-Markovian）问题重新表述为一个可求解的框架：

1. 增广状态空间 MDP： 作者证明了安全最优控制问题可以转化为一个在增广状态空间 $Z = X \times C$ 上的约束马尔可夫决策过程（CMDP），其中 $X$ 是原始状态空间，$C$ 代表累积代价。

   • 状态演化包含一个确定性的代价累加器。
   • 引入了一个额外的虚拟时间步和二元输入，以处理轨迹权重函数 $a(\cdot)$，该函数根据轨迹的安全性和总代价来选择是否将其计入代价/约束。
   • 这种转换使得可以使用标准的动态规划（DP）技术，而由于原始表述依赖于完整的轨迹历史，直接应用 DP 是行不通的。

2. 近似与误差界限： 对于连续状态系统，作者采用网格抽象法对状态、代价和动作空间进行离散化。他们推导了由离散化引入的安全性误差的理论界限。具体而言，他们表明，如果一个策略在离散化 MDP 上实现了安全性 $\alpha$，那么在原始连续系统上的安全性将由 $\alpha - N h_x M_x \mu \Delta x$ 限制下界，其中参数与网格大小、Lipschitz 常数以及时间步数相关。这使得通过收紧离散问题的约束来保证连续系统的安全性成为可能。

3. 求解方法： 本文评估了两种求解方法：

   • 动态规划 (DP)： 通过对 CMDP 的拉格朗日对偶进行值迭代（Value Iteration）和对偶乘子 $\lambda$ 的二分查找来求解。
   • 强化学习 (RL)： 实现了一个使用 Soft-Actor-Critic (SAC) 算法的词典序学习框架。这涉及两个阶段的训练过程：首先最大化“到达-规避”（reach-avoid）概率，然后调整拉格朗日乘子以满足特定的安全阈值 $\alpha$。

主要贡献

• 新颖的问题定义： 引入了一种仅针对安全轨迹最小化代价的控制问题，将不安全轨迹的代价与优化目标解耦。
• 理论重构： 证明了安全最优控制问题等价于增广状态空间上的约束 MDP，从而能够使用 DP 进行求解。
• 安全性保证： 推导了在通过网格近似法求解连续状态空间问题时，策略安全性的显式界限。
• 实验验证： 通过数值实验，将所提方法与标准 JCC 控制及 RL 解法进行了全面对比。

实验结果
作者在复杂的到达-规避环境下的二维单轮车（unicycle）模拟系统中验证了其方法。

• 行为差异： 观察到标准 JCC 策略（最小化所有轨迹的代价）会为了规避高代价的安全路径而“放弃”到达目标，通常导致产生一些低代价但处于初始状态附近或采取不安全捷径的轨迹。相比之下，所提的安全最优策略仅针对成功的、安全的轨迹进行优化。
• 性能指标： 在蒙特卡洛模拟中，安全最优方法在保持所需安全性概率的同时，实现了比标准 JCC 更低的安全轨迹驱动代价。标准 JCC 之所以能实现更低的总体期望代价，仅仅是因为它包含了许多低代价的不安全（或未到达目标）轨迹。
• DP 与 RL 对比： DP 在寻找最优策略方面通常优于 RL，特别是在复杂环境（如“Simple-Slit”）中，RL 往往收敛到局部最优且保守的解。然而，RL 展示了处理该问题结构的能力，尽管其计算时间显著更长（90–130 分钟 vs. <2 分钟的 DP）。作者指出，虽然 DP 的复杂度随状态维度呈指数级增长，但在 DP 难以处理的高维现实问题中，RL 通常是更优的选择。

意义与主张
本文声称，对于具有不可逆约束的系统，标准的 JCC 表述在根本上是有缺陷的，因为它会通过激励约束违规来降低成本。通过将目标转向仅最小化安全轨迹的代价，所提方法符合实际直觉：坠毁的车辆或失败的医疗程序所产生的代价，对于成功任务的操作成本而言是无关紧要的。作者断言，其方案避免了标准控制器出现的“放弃目标”行为，并提供了一个数学严谨的框架（通过 CMDP 重构和 DP），以实现安全且代价最优的控制。作者总结道，虽然目前 DP 在低维设置下是求解该问题的更优求解器，但该框架为将这些原则应用于更广泛的时序逻辑约束和现实世界系统开辟了道路。