⚡ electrical engineering

VISION-SLS: Safe Perception-Based Control from Learned Visual Representations via System Level Synthesis

本文介绍了 VISION-SLS，这是一个可扩展的框架，它将学习得到的低维视觉表示与系统级综合相结合，以实现从高分辨率图像出发的安全、鲁棒且实时的非线性输出反馈控制，有效处理部分可观测性和传感器噪声，同时在仿真和硬件实验中保证约束满足。

原作者： Antoine P. Leeman, Shuyu Zhan, Melanie N. Zeilinger, Glen Chou

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Antoine P. Leeman, Shuyu Zhan, Melanie N. Zeilinger, Glen Chou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅用摄像头教机器人驾驶汽车或操控无人机。机器人通过镜头观察世界，但这镜头并不完美。图像数据量巨大（数百万像素），机器人无法看见一切（存在“盲区”），而且摄像头有时会因阴影而变得模糊或产生混淆。

问题是：当机器人无法获得现实世界的完美图像时，如何确保其安全移动？

如果你只是告诉机器人“直行”，它可能会因为误判距离而撞车。如果你试图计算世界所有可能的状态，数学运算会变得如此繁重，以至于机器人的“大脑”会陷入停滞。

本文介绍了一种名为VISION-SLS的新方法。可以将其视为一张“安全网”，它允许机器人从杂乱的摄像头图像中学习，同时保证不会发生碰撞。以下是其工作原理的分解说明：

1. “总结器”（降低噪声）

想象你正在查看一张停车场的超高清照片。它包含数百万像素。如果你试图通过分析每一个像素来驾驶汽车，你会感到不堪重负。

本文的做法：它使用了一个“总结器”。机器人不再查看每一个像素，而是利用一个预训练的人工智能（就像一个看过数百万张照片的聪明助手）来提取重要细节。
类比：这就像阅读书籍摘要而不是整本小说。机器人将巨大的图像压缩成一份微小且易于管理的数字列表（例如，“汽车距离 5 米”、“障碍物在左侧”）。
安全机制：作者并不仅仅信任这个摘要。他们还计算了一个“误差范围”。他们会说：“摘要显示汽车距离 5 米，但实际上它可能在 4.8 米到 5.2 米之间。”这就在机器人对世界的理解周围创造了一个安全气泡。

2. “双重检查”系统（系统级综合）

一旦机器人拥有了摘要和安全气泡，它就需要决定如何移动。

旧方法：许多机器人使用“分离原则”。它们先猜测自己在哪里，然后决定去哪里。如果猜测错误，计划就会失败。
VISION-SLS 方法：这种方法将猜测和规划合并为一个步骤。它使用了一个名为**系统级综合（SLS）**的数学框架。
类比：想象一名走钢丝的人。
- 旧方法：走钢丝的人向下看，猜测风往哪里吹，然后尝试保持平衡。如果风向改变，他们就会跌落。
- VISION-SLS：走钢丝的人握着一根长长的、灵活的杆子，这根杆子能在走钢丝的人感觉到风之前就对风做出反应。该系统规划了一条路径，能够应对安全气泡内所有可能的阵风。它不仅仅是寄希望于最好的情况，而是在已知限制内为最坏的情况做计划。

3. “好奇心”因素（信息收集）

有时，因为机器人处于黑暗或雾气弥漫的区域，其“安全气泡”会变得过大。

本文的做法：机器人学会以一种能够缩小该气泡的方式移动。
类比：想象你在雾气弥漫的森林中行走。一个天真的机器人可能会径直走向出口，希望不会撞到树。而 VISION-SLS 机器人会意识到：“我在这里看不清楚。”因此，它可能会选择一条稍长的路径，前往阳光照射的地方，从而能够清晰地看到树木。它会主动寻求更好的信息，以缩小其安全气泡。这被称为信息收集行为。

4. “快速计算器”（求解器）

执行所有这些复杂的计算通常耗时过长。

创新点：作者构建了一个特殊的、超快的计算器（求解器），它使用了一种名为Riccati 递归的数学技巧。
类比：这就像拥有一个 GPS，它不仅计算一条路线，还能在毫秒内瞬间计算出针对每一种可能交通拥堵的数千种“如果……会怎样”的情景，并选出最安全的一条。这使得该方法能够应用于复杂的机器人，例如拥有 59 个关节的人形机器人（外观像人类的机器人）或无人机，而不仅仅是简单的玩具车。

他们证明了什么？

作者在多个对象上测试了这种方法：

虚拟汽车：在充满视觉“雾气”（遮挡）的停车场中行驶。机器人通过移动到更清晰的区域，成功避免了碰撞。
虚拟无人机：在杂乱的 3D 房间中飞行。其他方法导致了撞毁，而该方法保持了安全。
人形机器人：一个拥有 59 个状态变量的复杂机器人做空翻动作。即使没有摄像头（仅使用关节传感器），数学模型也防止了它摔倒。
真实硬件：他们将其部署在办公室的一台真实 TurtleBot 机器人上。机器人利用其机载摄像头导航绕过家具，未撞击任何物体，表现优于其他安全方法。

核心结论

VISION-SLS 是一种让机器人通过摄像头“看见”世界的方法，即使视野模糊或不完整。它通过以下方式实现：

将图像总结为简单数据。
为该数据计算严格的“安全气泡”。
规划一条即使机器人猜测略有偏差也能保持在该气泡内的路径。
在机器人感到困惑时，通过移动来帮助其获得更好的视野。

其结果是，机器人能够从高清图像中学习，同时保证不会发生碰撞，使其足以安全地应用于现实世界。

以下是论文《VISION-SLS：基于学习视觉表征的系统级综合实现安全感知控制》的详细技术总结。

1. 问题陈述

本文解决了在部分可观测性和高维视觉输入（例如 RGB 图像）条件下，机器人进行安全非线性输出反馈控制的挑战。

核心难点：机器人必须仅利用含噪的高维传感器数据来稳定非线性动力学并满足安全约束（例如避障）。
现有方法的局限性：
- 强化学习（RL）：虽能扩展至高维，但缺乏安全保证和可解释性。
- 基于模型的控制（MPC、SOS）：提供安全保证，但通常依赖分离原理（估计与控制解耦）。这阻碍了“信息收集”行为（主动感知），即机器人为了减少不确定性而移动，这对于应对遮挡的鲁棒性至关重要。
- 信念空间规划：虽能处理不确定性，但对于高维系统往往计算不可行，或在非线性动力学下无法强制执行硬约束。

目标是开发一个可扩展的框架，将感知与控制耦合，直接从原始像素出发，在实现信息收集行为的同时提供鲁棒的约束满足保证。

2. 方法论：VISION-SLS

所提出的方法VISION-SLS将学习到的视觉表征与**系统级综合（SLS）**相结合。它通过联合优化标称轨迹和主动减少状态不确定性的反馈策略，避免了分离原理。

A. 关键组件

学习到的低维观测映射：
- 该方法不在像素空间（ $10^5+$ 维）进行规划，而是将高维图像映射到低维缩减观测空间（ $y_r$ ）。
- 架构：使用预训练的DINO（自监督视觉基础模型）特征，后接一个学习到的投影网络 $p(\cdot)$ 。
- 训练目标：最小化投影特征与基于状态的缩减模型 $h_r(x)$ 之间的误差，同时最大化底层状态的可观测性（确保缩减后的特征包含控制相关信息）。
- 校准：通过经验校准一个状态相关的误差界（上界），以界定学习到的映射与真实状态之间的残差误差。这使得系统能够将感知误差视为有界扰动。
非线性系统级综合（SLS）：
- 控制策略被参数化为围绕联合优化的标称轨迹 $(z, v)$ 的因果仿射时变输出反馈策略。
- SLS 参数化：SLS 不直接优化反馈增益，而是优化闭环响应映射（ $\Phi$ ），将扰动（过程噪声、测量噪声和感知误差）映射到状态和输入偏差。
- 鲁棒约束满足：该方法实施“管束收紧”。它确保对于校准界内的所有可能扰动，实际轨迹都保持在满足安全约束的“可达管”内。这是通过基于误差的最坏情况传播来收紧标称轨迹的约束来实现的。
高效求解器（双 Riccati + SCP）：
- 由于非线性动力学以及轨迹与控制器的耦合，由此产生的优化问题是非凸的。
- 序列凸规划（SCP）：通过在当前标称轨迹附近线性化动力学和凸化约束，迭代求解该问题。
- 双 Riccati 结构：一个关键的理论贡献是证明了无约束子问题（SLS 形式下的 LQG） admits 一个双 Riccati 解。这使得求解器能够利用并行反向 Riccati 递推（用于控制）和卡尔曼递推（用于估计），随后进行前向传递，来计算最优闭环响应。这种结构使求解器比通用凸求解器快得多，能够扩展至大型系统。

3. 主要贡献

新颖的控制器参数化：首个将非线性轨迹优化与输出反馈 SLS 耦合用于非线性系统的方法，实现了具有安全保证的鲁棒信息收集控制。
动力学感知的视觉抽象：一种从基础模型特征（DINO）中学习低维观测映射的方法，这些映射针对控制可观测性进行了优化，并配有校准的、状态相关的误差界。
高效求解器：推导了无约束输出反馈 SLS 的双 Riccati 解，实现了一个可扩展的求解器，利用并行递推处理高维机器人问题。
实证验证：成功部署于多种系统，包括 4 维小车、10 维四旋翼、59 维人形机器人以及物理 TurtleBot，均使用高分辨率 RGB 图像。

4. 结果

该方法在四个仿真任务和一个硬件实验中进行了评估，与确定性等价（CE）和非鲁棒（NR）基线进行了比较。

性能指标：
- 成功率（SR）：VISION-SLS 在所有仿真任务（明暗环境、4 维小车、四旋翼、人形机器人）中均实现了**100%**的成功率。
- 约束违反率（CVR）：VISION-SLS 保持了0%（或接近 0%）的约束违反。相比之下，基线表现严重失败：
  - 4 维小车：基线的违反率为 6.5%–55%。
  - 四旋翼：非鲁棒基线的违反率为 92.8%。
  - 人形机器人：非鲁棒基线的违反率为 98%。
信息收集：在“明暗环境”和“遮挡停车场”场景中，VISION-SLS 主动将机器人 steering 至感知不确定性较低的区域（例如避免严重遮挡），以减小可达管的尺寸；而 CE 基线则穿过高不确定性区域，导致管尺寸增大并发生约束违反。
可扩展性与速度：
- 该方法成功控制了执行后空翻的59 状态人形机器人（Unitree G1）。
- 由于双 Riccati 结构，求解器比通用 SLS 求解器（如 MOSEK）快得多，能够在数秒内完成 30–60 步的规划视界。
硬件验证：该方法部署在配备机载摄像头的TurtleBot上，成功导航办公环境并避障，在安全性和求解时间上均优于基线。

5. 意义

连接学习与控制：VISION-SLS 证明了学习到的视觉抽象可以与基于模型的控制严格耦合，从而提供硬安全保证，超越了纯 RL 的“黑盒”性质。
主动感知：通过摒弃分离原理，该方法使机器人能够做出改善自身状态估计（信息收集）的决策，这是在现实世界部分可观测环境中稳健运行的关键能力。
可扩展性：在 SCP 框架内使用双 Riccati 结构，使得安全、非线性、基于视觉的控制对于此前难以进行严格安全认证的高维系统（例如人形机器人）变得切实可行。
实用性：成功的硬件部署证明了理论保证在现实世界的噪声、延迟和未建模动力学存在下依然成立。

总之，VISION-SLS 提供了一个可扩展的、理论扎实的流水线，用于安全视觉运动控制，有效地处理了高维感知的复杂性与安全关键机器人严格需求之间的权衡。