⚡ electrical engineering

Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

该论文介绍了 SLS²，这是一个结合了动作条件潜空间世界模型与经符合预测增强的鲁棒模型预测控制的框架，旨在实现具有概率安全保证的视觉运动规划。

原作者： Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人完成一项精细的任务，比如在绳子上打结或堆叠积木，但这个机器人只有一个摄像头。它无法看到世界的“真实”状态（例如精确的角度或距离）；它只能看到一段原始图像流。

这篇论文介绍了一种名为 SLS2（安全潜空间系统级综合，Safe Latent Space System Level Synthesis）的新方法，它能帮助机器人直接从这些摄像机图像中规划安全的动作，即使机器人的内部“猜想”关于世界运作的方式并不完美。

以下是其工作原理的拆解，通过简单的概念和类比来呈现：

1. “梦境世界”（潜世界模型）

机器人通常需要一张完美的地图才能进行规划。但在现实世界中，获取这样的地图非常困难。

类比： 想象机器人闭上眼睛，开始在脑海中“梦见”一个简化版的现实世界。它不再处理数百万个像素，而是创建了一个紧凑、抽象的“梦境状态”（即潜空间），捕捉了图像的本质。
论文的做法： 他们训练机器人学习这个梦境世界。他们教机器人预测在做出某个动作后，下一个“梦境”会是什么样子。这使得机器人可以在脑海中极快地模拟成千上索种未来的场景，而无需实际移动机器人。

2. “不完美的造梦者”（预测误差）

问题在于，机器人的梦境并不完美。有时它预测积木会向左移动，但实际上积木向右移动了。

类比： 这就像一位天气预报员，通常很准，但偶尔会预报错风向。如果你仅仅根据他们的预报来计划野餐，你可能会被淋透。
论文的解决方案： SLS2 不仅仅是忽略这些错误，而是承认它们的存在。它使用一种称为符合性预测（Conformal Prediction）的统计工具，在机器人的预测周围画出一个“安全气泡”。
- 你可以将这个气泡想象成一层不确定性的迷雾。机器人知道：“我认为积木在这里，但因为我可能会出错，所以积块实际上可能出现在这个迷雾范围内的任何地方。”

3. “安全气泡”（鲁棒规划）

大多数规划方法试图在梦境世界中找到一条完美的路径。SLS2 做得更聪明：它寻找一条即使在机器人的梦境稍有偏差时也能保持安全的路径。

类比： 想象在浓雾中开车。普通的驾驶员可能会紧贴中心线行驶，希望自己是对的。而一个 SLS2 驾驶员 会行驶在车道的中间，但在两侧都保持较宽的缓冲带。即使车辆发生轻微漂移（由于迷雾/误差），也不会撞到墙。
工作原理： 系统会计算“可达管状区域”（reachable tubes）。这些是三维隧道，代表了考虑到不确定性后，机器人可能到达的所有地方。规划器确保整个隧道都保持在“安全区”内，并避开“障碍区”（如撞墙或掉落积木）。

4. “安全检查员”（符合性障碍物检测器）

机器人还需要知道在它的梦境世界中，“障碍物”看起来是什么样的。

类比： 想象一个夜店的保镖。在现实世界中，保镖检查身份证。在机器人的梦境世界中，保镖检查的是“梦境状态”。
论文的解决方案： 他们训练了一个特殊的“保镖”（神经网络），它观察梦境状态并判断“安全”或“不安全”。至关重要的是，他们使用相同的统计“迷雾”方法来校准这个保镖。这确保了保镖不会过于宽松；如果有一个 99% 的概率某个状态是不安全的，保镖就会将其视为不安全。

5. “超高速规划器”（GPU 加速）

在高维梦境世界中计算所有这些安全气泡和隧道通常非常缓慢。

类比： 这就像要同时计算一百万辆不同汽车的轨迹。一个接一个地计算会耗费太长时间。
论文的解决方案： 他们使用了系统级综合（System Level Synthesis, SLS），这是一种数学技巧，允许他们在强大的计算机芯片（GPU）上并行运行这些计算。这就像拥有了一百万台计算器同时工作，使规划速度足以实现实时响应。

他们在哪些任务上进行了测试

作者在多个任务上测试了这个系统，证明它比以往的方法表现更好：

触达任务（The Reacher）： 一个机械臂尝试触摸目标，同时避免关节弯曲过度（这是一个安全约束）。
方块任务（The Cube）： 一个机械臂拿起一个立方体并移动它，同时确保不会抬得太高（否则会变得不安全）。
绳索任务（The Rope）： 一个复杂的任务，涉及两个机械臂操纵一根松软的绳子。由于绳子可以以无限种方式扭曲，这非常困难。
硬件测试： 他们甚至在实验室里用真实的机械臂测试了它，而不仅仅是在计算机模拟中，成功地将绳子从起始位置拉伸到了目标位置。

核心结论

SLS2 是一个框架，它让机器人能够直接从摄像机图像中规划安全且复杂的动作。它通过以下方式实现：

学习一个简化的现实“梦境”。
精确计算这个梦境可能出错的程度（即“迷雾”）。
规划一条即使在梦境出错时也能保持安全的路径（即“安全气泡”）。
确保这一切都足够快，以便在真实机器人上运行。

结果是，即使在没有完美信息的情况下，机器人也大大降低了碰撞或损坏物品的可能性。

技术摘要：SLS2 —— 基于概率安全潜空间世界模型的控制

问题陈述

本文解决了机器人直接从原始像素观测（如 RGB 图像）在开放世界环境中进行安全反馈运动规划所面临的挑战。传统的安全性关键控制方法依赖于定义明确、低维的状态表示以及已知的动力学模型，而这些对于变形物体和复杂视觉任务而言，往往难以获取或难以估计。虽然近期的潜空间世界模型（例如 JEPA 架构）可以从图像中推断出紧凑的状态表示和动力学，但它们也引入了显著的安全风险：

不完美的动力学： 学习到的潜空间动力学是近似值，在多步展开（rollings）过程中可能会出现偏差。
约束转换： 物理安全约束（例如障碍物规避、关节限制）必须被转换到潜空间中，而这种转换与物理安全性之间的关系无法得到保证。
缺乏校准： 现有的潜空间安全方法通常依赖于启发式近似，或者缺乏正式的、经过校准的保证，以确保尽管存在预测误差，真实系统状态仍能保持在安全边界内。

核心问题在于如何合成一种控制策略，使其能在学习到的潜空间中进行规划，同时为真实的物理系统提供概率安全性保证，并兼顾模型预测误差和分布偏移。

方法论：SLS2（安全潜空间系统级综合）

作者提出了 SLS2，一个结合了学习型潜空间世界模型、系统级综合 (SLS) 鲁棒模型预测控制 (MPC) 以及符合性预测 (Conformal Prediction, CP) 的框架。该流水线由三个主要阶段组成：

1. 训练梯度友好的潜空间世界模型

系统通过离线数据集 $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$ 学习一个紧凑的、马尔可夫性质的潜空间表示。

架构： 一种动作条件的联合嵌入预测架构（类似于 Le-WM）。视觉 Transformer (ViT) 编码器将图像映射为潜嵌入 $z_t$ 。
马尔可夫状态构建： 为了确保潜状态满足多步预测所需的马尔可夫性质，状态通过有限差分特征进行增强： $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$ 。
动力学学习： MLP 预测器 $f_\phi$ 学习转移过程 $s^z_{t+1} = f_\phi(s^z_t, u_t)$ 。
训练目标： 模型使用多步潜空间预测损失、防止表示崩溃的 SIGReg 损失以及鼓励平滑潜轨迹的随时间拉直（temporal straightening）损失进行训练。这种设计促进了高效的基于梯度的轨迹优化（例如 iLQR）。

2. 符合性不确定性量化

为了处理学习到的动力学和潜空间约束检查器的不准确性，作者使用拆分符合性预测 (Split Conformal Prediction, CP) 来校准具有统计保证的不确定性集合。

潜动力学误差： 训练一个协方差模型 $\Sigma_\psi$ 来预测误差分布的形状。利用 CP 计算缩放因子 $q$ （非一致性得分的分位数），使得真实的预测误差 $e_t$ 以 $1-\delta$ 的概率落在椭球集合 $E(s, u)$ 内。
潜空间约束检查器： 训练一个潜空间障碍物分类器 $c_\psi$ 来对安全性进行评分。利用 CP 确定阈值 $\eta$ ，使得分类器能以高概率正确识别安全/不安全区域。
域内支持： 定义一个域内集合 $\mathcal{I}$ ，作为一个经过校准的高斯子水平集，以确保规划器不会在远离训练分布的区域运行。

3. 通过系统级综合 (SLS) 进行鲁棒 MPC

核心控制循环使用系统级综合 (SLS) 在潜空间中求解鲁棒 MPC 问题。

公式化： SLS 不直接优化反馈增益，而是针对闭环系统响应（矩阵 $\Phi_s, \Phi_u$ ）进行优化，这些响应将扰动映射为状态/控制偏差。
鲁棒性： CP 校准的椭球误差集合 $E(s, u)$ 被注入到 SLS 公式中作为扰动集。优化器在规划时界内传播这些不确定性，以构建可达管 (reachable tubes) ( $R^s_k, R^u_k$ )。
约束： 优化过程强制要求整个可达管保持在安全潜空间集合（由校准后的约束检查器定义）和域内集合之内。这导致了“约束收紧”，即调整标称轨迹，以确保即使在最坏情况的有界误差下，真实系统依然安全。
实现： 该方法利用 GPU 加速来处理高维潜状态以及高效传播不确定性管的计算负载。

核心贡献

用于规划的潜空间世界模型： 作者证明了通过特定的正则化（SIGReg、随时间拉直）训练紧凑的马尔可夫潜空间模型，可以实现从像素直接进行准确的多步展开和高效的基于梯度的优化。
符合性不确定性集合： 本文引入了一种方法，利用符合性预测来校准潜动力学误差和潜空间安全性分类器误差，从而提供统计有效的统计不确定性集合。
可扩展的鲁棒 MPC： 将 CP 校准的不确定性集成到 GPU 加速的系统级综合中，实现了在高维潜空间中的可达性约束鲁棒 MPC，这在以前被认为在计算上是不可行的。
经验验证： 该方法在模拟和真实硬件上的多种视觉任务（导航、拾取与放置、变形物体操纵）中得到了验证，展示了优于基准方法的安全性与目标达成性能。

实验结果

作者在四个任务上评估了 SLS2：Reacher、OGBench Cube、Push-T 以及 Bimanual Rope（双臂绳索）操纵任务。

标称规划性能：
- SLS2 的标称规划器（使用学习模型的 iLQR）在成功率上显著优于基准模型（Le-WM, DINO-WM, PLDM）。
- Reacher: 成功率 83.5%（对比基准模型的 17–40%）。
- Rope: 成功率 93.75%（对比基准模型的 7–25%）。
- 消融实验证实，马尔可夫状态表示和多步训练损失对于性能至关重要。
鲁棒安全性性能：
- 在受限任务中（例如关节角度限制、高度阈值、障碍物规避），SLS2 在模拟和硬件中均实现了 100% 的安全性，而传统的非鲁棒约束 iLQR 和其他安全过滤器（如 HJ-filtered, LPB）经常违反约束。
- 鲁棒成功率： SLS2 在严格遵守安全约束的同时，保持了较高的任务完成率（例如 Rope 任务为 88.57%，Cube 任务为 94.29%）。
- 硬件： 该方法成功部署在真实的 KUKA iiwa 机械臂上进行绳索操纵，展示了无需显式状态估计即可直接从像素收敛到目标状态的能力。

意义与主张

本文声称 SLS2 弥合了学习型世界模型的灵活性与安全性关键控制所需的严谨性之间的鸿沟。通过结合用于统计校准的符合性预测和用于可扩展鲁棒优化的系统级综合，该方法提供了概率保证，确保即使在操作具有不完美动力学的高维潜空间时，真实系统状态也能保持在安全边界内。

作者强调，他们的方法不需要人工设计的状态表示或已知的动力学模型，因此适用于复杂的、变形的以及视觉丰富的任务。他们指出，虽然该方法显著提高了安全性和成功率，但其性能取决于闭环残差得分与校准得分具有可交换性的假设，并且在需要复杂序列动作的任务（如 Push-T）中，可能会受到各向同性潜空间表示假设的限制。