⚡ electrical engineering

Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

本文介绍了 OCULAR，这是一种基于共形预测的算法，它利用语义图像信息，为线性高斯动力学模型提供非渐近、分布无关的不确定性量化保证，通过区分高不确定性与低不确定性区域且无需特定环境数据，从而实现在未见环境中的概率安全规划。

原作者： Luís Marques, Dmitry Berenson

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Luís Marques, Dmitry Berenson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人开车。你给机器人一张地图和一套关于汽车应如何移动的规则。但在现实世界中，事情并不总是按照规则发展。有时路面结冰，有时一阵风吹过，或者轮胎打滑。机器人需要知道：“我对下一秒自己会在哪里有多大的把握？”

如果机器人在应该谨慎时过于自信，它可能会撞车。如果它在应该大胆时过于谨慎，它可能会被困住或移动得太慢。

本文介绍了一种名为OCULAR（感知意识共形不确定性局部校准）的新方法。将 OCULAR 想象成一个“智能安全网”，它能帮助机器人根据周围所见，精确判断在多大程度上信任其自身的预测。

以下是其工作原理，分解为简单的概念：

1. 问题：“一刀切”的谬误

传统帮助机器人预测未来位置的方法，通常像一件**“一刀切”的雨衣**。它们会说：“无论你在哪里，都假设最坏的情况。”

缺陷： 如果机器人在干燥、阳光明媚的道路上，这件雨衣太重了，会拖慢机器人的速度。但如果机器人在一片黑冰上，同一件雨衣可能又太薄，导致机器人被淋透（即发生撞车）。
旧方法： 为了解决这个问题，以前的方法要求机器人先在它即将行驶的那条特定新路上行驶一圈，仅仅为了测量路面的滑度。这既危险又低效。你绝不想让机器人为了学习墙壁是硬的而撞向墙壁。

2. 解决方案：“视觉侦探”

OCULAR 则不同。它不需要先在新路上行驶，而是像一个**“视觉侦探”**。

类比： 想象你从未在某条特定的结冰道路上行驶过。然而，你过去曾在许多其他结冰道路上行驶过。你知道“结冰的道路看起来是白色且发亮的”。
OCULAR 如何工作： 当机器人看到一条新道路时，它会查看摄像头画面。如果这条路看起来像它以前见过的结冰道路，OCULAR 就会说：“啊，这看起来像冰！我需要格外小心，并假设我的移动具有极大的不确定性。”如果道路看起来像干燥的沥青，它就说：“这看起来很正常；我可以更有信心。”

3. 魔法技巧：“共形预测”

本文使用了一种称为共形预测的统计技巧。将其想象为一个校准工具。

机器人拥有一个“猜测引擎”（一个数学模型），用于预测它下一秒的位置。
OCULAR 从其他相似环境（例如其他带有冰或干燥道路的地图）中获取一批数据，并检查：“在过去这些情况下，猜测引擎错得有多离谱？”
随后，它在机器人预测的未来位置周围创建一个安全气泡。
- 如果机器人处于“低不确定性”区域（干燥道路），气泡就小且紧凑。
- 如果机器人处于“高不确定性”区域（结冰道路），气泡就会扩大得非常大，给机器人留出充足的安全空间。

4. 为什么这很重要

本文证明，OCULAR 能够以前所未有的方法难以做到的两件事：

无需测试即可泛化： 只要新道路在视觉上与它以前研究过的道路相似，它就能安全地行驶在全新且从未见过的道路上。它不需要先在新路上行驶来进行自我校准。
高效： 它不会仅仅让安全气泡在所有地方都变得巨大（这会让机器人像乌龟一样移动）。它只在真正需要的地方（例如在冰面上）让气泡变大，而在机器人有信心的地方保持气泡小巧。

5. 结果

研究人员在两种场景下对模拟机器人汽车测试了该方法：

简单的二维地图： 机器人需要在有打滑点的走廊中导航。
逼真的三维模拟（Isaac Sim）： 机器人使用摄像头观察一个积雪的 T 字路口。

结果：

旧方法要么因为对冰面过于自信而撞车，要么因为过于害怕移动而陷入停滞。
OCULAR 成功导航了新的、从未见过的结冰道路。当它看到“冰”（高不确定性）时减速，当它看到“干燥道路”（低不确定性）时加速，而这一切都发生在它从未在该特定道路上行驶过的前提下。

简而言之

OCULAR 是一种让机器人能够表达**“我从未到过这里，但我见过像这样的地方。根据我所看到的，我确切知道我对下一步行动应该担心多少”**的方法。这使得机器人能够在新的、不可预测的环境中既安全又高效，而无需先撞车或进行测试。

技术摘要：基于语义图像的动态不确定性局部共形校准

问题陈述
在真实环境中运行的机器人系统，由于未建模的干扰（偶然不确定性）和模型失配（认知不确定性），在不确定性量化方面面临重大挑战。虽然共形预测（CP）为预测区域提供概率保证的无分布框架，但机器人领域现有的 CP 方法存在两个关键局限：

缺乏判别性：标准 CP 提供数据集上的平均（边际）覆盖保证，但无法区分模型失配高与低的状态 - 动作区域。这阻碍了规划器将系统引导至不确定性更低的状态。
特定环境的数据需求：当前方法通常需要收集自完全相同测试时环境的校准数据以确保有效性。这既不切实际又充满风险，因为它需要专门穿越新的、潜在危险的环境（例如结冰道路）来校准动力学模型。

作者提出了一种算法需求，该算法能够利用视觉上相似但不同的环境的感知信息，为未见过的测试时环境提供可证明的有限样本不确定性保证。

方法论：OCULAR
本文介绍了感知共形不确定性局部校准（OCULAR），这是一种利用机器人帧感知数据校准线性高斯动力学模型（ $\tilde{f}$ ）的方法。其核心创新在于用学习到的语义观测表示替代世界帧位姿（后者需要特定环境的数据）。

方法论分为两个阶段：

离线校准：
- 观测处理：原始深度图和语义图被投影到机器人帧的“平面语义足迹”（ $o'_t$ ）。该表示捕捉机器人前方的环境，同时丢弃无关的世界帧坐标。
- 潜在编码：在一系列校准环境的数据上训练卷积自编码器（CAE），将平面足迹压缩为低维潜在向量（ $\phi_t$ ）。
- 局部划分：输入空间定义为 $X = (v_t, a_t, \phi_t)$ ，结合速度、动作和潜在观测。训练决策树（DTree）将该空间划分为区域（ $X_k$ ），在这些区域内非共形分数（ $\tilde{f}$ 与真实值之间的不一致）近似恒定。这通过 LOCART 算法实现，以最小化分区内的分数方差。
- 局部校准：对于每个分区 $X_k$ ，在校准数据的保留子集上执行分割共形预测（SplitCP）过程。这产生了一个特定于分区的缩放因子（ $\hat{q}_k$ ），用于调整高斯预测的协方差。
在线部署：
- 在新且未见过的环境中运行时，机器人将当前观测处理到潜在空间，并通过预训练的 DTree 识别当前分区 $X_k$ 。
- 动力学模型的预测协方差由源自 $\hat{q}_k$ 的相应因子 $\xi_k$ 进行缩放。
- 该校准后的不确定性估计被输入到模型预测控制（MPC）规划器中。规划器构建一个预测区域，保证以 $(1-\alpha)$ 的概率包含真实下一状态，并优化轨迹以避免校准不确定性高或与障碍物相交的区域。

主要贡献
作者做出了三项主要贡献：

算法提出：他们提出了 OCULAR，这是一种算法，仅利用视觉上相似环境的数据，即可在新且未见过的环境中为动力学不确定性提供可证明的有限样本保证。
理论有效性：他们证明了将观测投影、通过 CAE 编码以及通过决策树划分的流程，保留了共形预测所需的交换性。这使得局部（条件）覆盖保证成为可能，而不仅仅是全局边际保证。
实证验证：他们在受随机扰动和显著模型失配（模拟滑溜表面）的双积分器系统上验证了该方法。实验同时使用了简化的平面传感器和逼真的 Isaac Sim 相机。

结果
实验在四个平面地图和三个 Isaac Sim 道路场景中开展，将 OCULAR 与以下方法进行了比较：

NoCP：未校准模型（在分布外（OOD）数据上失效）。
SplitCP：使用测试环境数据进行的全局校准（在分布内过于保守，在 OOD 下保护不足）。
LUCCa：使用测试环境数据进行局部校准（需要特定环境的数据）。

主要发现包括：

覆盖率：OCULAR 在未使用任何测试环境数据的情况下，在分布内和 OOD 区域（例如结冰道路）均达到了用户设定的覆盖概率（90%）。相比之下，NoCP 严重低估了 OOD 区域的覆盖率，而 SplitCP 无法适应局部不确定性变化。
体积效率：OCULAR 构建的预测区域仅比“神谕”最优区域大 12–15%，展示了与那些能访问测试环境数据的方法（如 LUCCa）相当的高体积效率。
安全规划：在轨迹优化任务中，OCULAR 通过减速和避免碰撞成功穿越高不确定性区域，在所有测试地图中实现了 100% 的成功率。未校准（NoCP）或全局校准（SplitCP）的方法分别因过度乐观或过度保守而频繁导致碰撞。

意义与主张
本文声称，OCULAR 弥合了理论不确定性保证与实际机器人部署之间的差距。通过利用感知信息实现跨环境泛化，该方法消除了对高风险的特定环境校准数据收集的需求。作者强调，他们的保证是非渐近且无分布的，无需对未知的真实系统动力学做出强假设。

作者谦逊地指出，虽然他们展示了一步安全保证和启发式多步规划，但由于执行过程中地图生成的观测不具备交换性，他们并未声称多步安全具有严格的理论保证。此外，他们承认 CAE 和决策树对超参数敏感，且当前的潜在表示学习与不确定性预测效用是解耦的，这为未来的工作指明了方向。