Safety Beyond the Training Data: Robust Out-of-Distribution MPC via Conformalized System Level Synthesis

1. 研究背景与问题定义 (Problem Statement)

核心挑战：
在机器人和自主系统中，基于学习的动力学模型（Learned Dynamics Models）虽然在训练数据分布内表现良好，但在分布外（Out-of-Distribution, OOD） 场景下往往存在不可预测的误差。传统的模型预测控制（MPC）如果直接依赖这些模型，可能会因为模型不准确而导致违反约束甚至发生碰撞。

现有方法的局限性：

• 经典规划器： 假设模型精确，无法处理不确定性。
• 基于学习的 MPC： 容易利用模型的不准确性进行冒险规划，导致不安全行为。
• 现有鲁棒方法： 通常使用固定的误差边界（如固定半径的球体），或者仅在训练数据附近的“可信域”内规划。这导致在数据稀疏的 OOD 区域过于保守（无法规划路径）或在 OOD 区域缺乏安全保障。此外，许多方法计算速度慢，且未利用梯度信息主动引导系统进入低误差区域。

本文目标：
提出一种名为 CP-SLS-MPC 的框架，旨在利用学习到的动力学模型，在分布外（OOD） 场景下实现概率安全的规划与控制。该方法需具备以下能力：

1. 提供高置信度的模型误差边界。
2. 在 MPC 框架中整合这些边界，确保闭环系统满足约束。
3. 能够主动减少不确定性（Active Uncertainty Reduction），引导机器人回到数据密集区域。

---

2. 方法论 (Methodology)

本文提出的 CP-SLS-MPC 框架结合了 加权共形预测（Weighted Conformal Prediction, WCP） 和 系统级综合（System Level Synthesis, SLS）。

2.1 模型误差边界：加权共形预测 (WCP)

为了处理训练数据与执行数据之间的分布偏移（Distribution Shift），作者没有使用传统的均匀权重共形预测，而是采用了加权共形预测。

• 状态 - 控制依赖的协方差模型： 训练一个神经网络 $\Sigma(x, u)$ 来预测模型误差的局部协方差结构（形状和大小），而非假设各向同性的固定误差。
• 非一致性分数（Non-conformity Score）： 定义分数 $s_i$ 来量化预测值与真实值的马氏距离（Mahalanobis distance），利用 $\Sigma(x, u)$ 进行归一化。
• 加权校准： 根据测试点 $(x_{test}, u_{test})$ 与校准集中点的距离，分配权重 $\tilde{w}_i$。距离越近，权重越大。这使得误差边界能够根据局部数据密度动态调整：在数据密集区边界收紧，在稀疏区（OOD）边界扩大。
• 理论保证： 即使存在分布偏移，WCP 也能提供 $(1-\alpha)$ 的覆盖率保证，并量化了由于分布偏移导致的覆盖率间隙（Coverage Gap）。

2.2 鲁棒规划：基于 SLS 的 MPC

将上述数据驱动的误差边界整合到 系统级合成（SLS） 框架中。

• SLS 参数化： SLS 将闭环系统的响应参数化为名义轨迹和扰动反馈控制器的线性函数。对于非线性系统，通过在线线性化（Jacobian）将其转化为线性时变（LTV）系统。
• 可达集（Reachable Sets）： 利用 SLS 计算闭环轨迹的可达管（Reachable Tube）。通过传播最坏情况下的扰动（由 WCP 提供的误差边界 $E(z_k, v_k)$ 定义），确保真实轨迹以高概率落在该管内。
• 约束收紧（Constraint Tightening）： 将状态和控制约束收紧，使得名义轨迹加上可达管的误差范围后，依然满足原始约束。
• 凸优化： 通过序列凸规划（SCP）将非凸的鲁棒 MPC 问题转化为二阶锥规划（SOCP）进行高效求解。

2.3 主动不确定性减少 (Active Uncertainty Reduction)

• 代价函数设计： 在 MPC 的目标函数中增加一项，惩罚名义轨迹与校准数据点之间的距离。
• 效果： 鼓励规划器在可能的情况下，主动选择靠近训练数据分布的路径，从而降低模型误差和可达管的体积，提高安全性。

2.4 在线更新

算法支持在线数据更新。在执行过程中收集新的状态 - 控制 - 真实动力学数据，动态更新误差集合 $V$ 和分位数 $q_{1-\alpha}$，从而缩小覆盖率间隙，提高后续规划的安全性。

---

3. 主要贡献 (Key Contributions)

1. CP-SLS-MPC 框架： 提出了一种基于优化的快速鲁棒反馈运动规划器，首次将状态 - 控制依赖的共形预测误差边界与系统级合成（SLS） 相结合，用于处理非线性动力学下的 OOD 规划问题。
2. 理论保证： 提供了在分布偏移（Distributional Drift）下的高概率安全保证，并推导了覆盖率间隙（Coverage Gap）的理论上界，分析了数据密度和轨迹管大小对预测覆盖率的影响。
3. 主动不确定性管理： 引入了一种机制，利用梯度信息引导规划器主动减少模型不确定性（即主动靠近数据密集区），而非被动地接受保守的误差边界。
4. 实证验证： 在 4D 汽车（Dubins 车）和 12D 四旋翼飞行器（Quadcopter）的非线性仿真环境中进行了验证。结果显示，相比固定边界（CP-Ball）和无鲁棒性（Vanilla MPC）的基线方法，该方法在 OOD 场景下显著提高了安全性和鲁棒性。

---

4. 实验结果 (Results)

实验在两种系统上进行：4D 汽车模型和 12D 四旋翼模型。

• 分布内（ID）性能： 在训练数据分布内，CP-SLS-MPC 与基线方法表现相当，能够安全到达目标，且计算时间可控（约 126ms/步，满足实时性）。
• 分布外（OOD）性能：
  • 汽车实验： 在训练数据未覆盖的区域（如存在吸引障碍物的动态修改区域），Vanilla MPC 经常失败（碰撞），固定球体边界（CP-Ball）虽然安全但过于保守或偶尔失败。CP-Ellipsoid（本文方法）通过自适应的椭球边界，成功避开了障碍物，且轨迹更平滑。
  • 四旋翼实验： 在 12D 高维空间中，面对 OOD 的向下加速度扰动，Vanilla MPC 在 10 次测试中仅成功 4 次，而 CP-Ellipsoid 成功 8 次（1 次因数值不稳定失败，但未碰撞）。
• 主动不确定性减少： 实验表明，加入主动不确定性代价函数后，规划器倾向于选择经过训练数据密集区域的路径，显著降低了预测误差（从 $2.83 \times 10^{-2}$ 降至 $0.34 \times 10^{-2}$）并减小了可达管的体积。
• 覆盖率验证： 实验验证了模型误差在 99% 以上的时间内落在预测的椭球边界内，符合理论覆盖率保证。

---

5. 意义与结论 (Significance & Conclusion)

核心意义：

• 打破“可信域”限制： 传统方法往往限制机器人在训练数据附近活动。本文方法证明了通过结合 WCP 和 SLS，机器人可以安全地扩展到训练数据之外，同时保持严格的安全保证。
• 平衡保守性与性能： 通过状态依赖的误差边界（椭球而非球体）和主动不确定性减少，该方法避免了传统鲁棒控制中常见的过度保守问题，在 OOD 区域仍能生成可行的轨迹。
• 理论严谨性： 为基于学习的控制提供了有限样本下的概率安全保证，并量化了分布偏移带来的风险。

结论：
CP-SLS-MPC 是一个高效、理论完备的框架，能够有效解决基于学习的动力学模型在分布外场景下的安全规划问题。它通过动态调整误差边界和利用梯度信息主动探索低误差区域，显著提升了机器人在未知或变化环境中的鲁棒性和安全性，为真实世界机器人的部署提供了重要的理论和技术支持。