💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

本文介绍了 MUSE，这是一种新颖的基于实时学习的框架，它利用 Mamba 架构有效量化视觉惯性状态估计中的多模态不确定性，展现出优于现有方法的可靠性和鲁棒性。

原作者： Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正驾驶着一辆车在浓雾中穿行。你能看清正前方的道路，但目光投向更远处时，一切变得模糊不清。你有一个 GPS，但它有点故障。你知道自己在移动，但无法 100% 确定自己确切的位置或速度。

在机器人和自动驾驶汽车的世界里，这被称为状态估计。这是机器人确定自身位置和朝向的方式。多年来，机器人利用摄像头和运动传感器来推测自身位置的能力已变得非常强。但存在一个大问题：它们不知道何时自己错了。

它们可能有 99% 的把握认为自己处于正确位置，但如果实际上 100% 错误，就可能导致碰撞。它们需要一种方式来表达：“我相当确定”，或者“我完全不知道，请小心”。

问题：过于自信的机器人

当前的机器人就像一个参加考试的学生，答错了一道题，却仍然自信地标记为"A"。

视觉里程法（VO） 就像机器人通过观察图片来推测自己的位置。
惯性里程法 就像机器人感知自身的运动（如同人类在旋转后感到头晕）。

当这两者意见不一致，或者摄像头看到模糊的图像（如镜头上的污渍）或运动传感器失效时，机器人通常只是继续猜测。它没有意识到条件已经改变。它缺乏不确定性量化——即衡量自身应多大程度信任其推测的能力。

解决方案：MUSE（机器人的“第二意见”）

本文作者创建了一个名为MUSE（状态估计的多模态不确定性量化）的新系统。

将 MUSE 想象成坐在机器人主导航系统旁边的超级智能副驾驶。

它观察一切：当机器人的主系统可能只查看摄像头时，MUSE 同时观察所有内容：摄像头图像、运动传感器（IMU）以及机器人自身的速度计数据。
它发现麻烦：如果摄像头看到模糊图像（如污渍），但运动传感器说“嘿，我们刚停止移动”，MUSE 会注意到这种冲突。这就像侦探发现证人的证词与物证不符。
它给出置信度评分：MUSE 不仅仅给出位置，还会说：“这是你的位置，并且这里有一个‘置信度计’，显示你应多大程度信任该数值。”
它修正错误：如果机器人偏离航线，MUSE 不仅发出警告，还会实际将机器人的位置推回正确位置。

工作原理："Mamba"大脑

为了实时完成此任务（而不拖慢机器人速度），MUSE 使用了一种名为Mamba的特殊 AI 大脑。

旧方法（Transformer）：想象每次想回忆一句话时，都要通读整本书来记住一个长篇故事。这很准确，但非常缓慢且笨重。
Mamba 方法：Mamba 就像一位图书管理员，能瞬间扫描长长的书架，记住重要部分并忽略无关内容。它在处理长数据流（如无人机的视频流）时极其快速高效。

这使得 MUSE 能够观察随时间推移的事件序列。它可以说：“五秒前摄像头正常，但两秒前 IMU 传感器失效，现在图像模糊了。因此，我对当前位置的置信度应降低。”

结果：更优秀的导航员

研究人员在两类数据上测试了 MUSE：

标准测试：使用公共数据集，其中机器人在室内场馆飞行。
困难模式：使用他们自己的新数据集UnCal-Flight，其中包含棘手情况，如突然移动、光线变化以及有人从传感器前走过。

研究结果清晰明确：

更高的准确性：MUSE 比之前的方法更好地修正了机器人的位置，尤其是在机器人感到困惑时。
诚实的置信度：当机器人处于棘手情况（如图像模糊）时，MUSE 正确降低了其置信度评分。其他方法即使在出错时仍保持过度自信。
速度：其运行速度足以作为现有机器人系统的“插件”使用，而无需超级计算机。

结论

MUSE 就像赋予机器人一种关于自身导航的“直觉”。它结合机器人的所有感官来检测问题何时发生，修正机器人的路径，并诚实地告诉机器人何时应感到担忧。这使得机器人在混乱、不可预测的现实世界中更加安全和可靠。

技术摘要：MUSE（状态估计的多模态不确定性量化）

1. 问题陈述

准确的视觉状态估计对于自动驾驶、无人机导航以及在 GPS 拒止环境中的操作等机器人应用至关重要。尽管视觉里程计（VO）和视觉惯性里程计（VIO）的最新进展提高了位姿估计的精度，但一个根本性挑战依然存在：量化和校准这些估计的精度。

现有方法在不确定性量化方面面临困难，这源于里程计误差的异方差性（方差依赖于输入）和多模态特性。

基于滤波的方法（如卡尔曼滤波）常因线性化误差和模型失配而遭受不一致性，导致协方差过于自信或过于保守。
基于优化的方法事后估计不确定性，产生局部且校准不佳的度量。
基于学习的方法虽然实现了高精度，但经常保持过度自信，提供不可靠的不确定性估计。
基于先验学习的不确定性方法（如 DICE、D-DICE）通常仅依赖瞬时视觉输入，未能利用对于预测漂移和故障至关重要的时序信息或多模态线索（如 IMU 异常或传感器退化）。

2. 方法论：MUSE 框架

本文介绍了MUSE，这是一个实时的、基于学习的框架，旨在从异步多传感器流中联合校正位姿并预测异方差不确定性。

核心架构

骨干网络：MUSE 利用Mamba（一种结构化状态空间模型，SSM）来高效捕捉传感器数据中的序列关系和长程依赖。这解决了 Transformer 的计算局限性，同时保持了处理长序列的能力。
输入模态：系统接收三个异步流：
1. 视觉：通过预训练的 SuperPoint 编码器编码的立体图像。
2. 惯性：通过预训练的 RONIN 编码器编码的 IMU 数据（线加速度和角速度）。
3. 里程计：来自上游 VO/VIO 模块的原始位姿估计及其相关协方差，通过全连接网络进行编码。
输出：模型预测 $SE(3) $上位姿误差的非零均值高斯分布，表示为$ $上位姿误差的非零均值高斯分布，表示为$ \xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$。
- 均值 ( $\mu_i$ )：用于校正估计的位姿 ( $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ )。
- 协方差 ( $\Sigma_i$ )：提供校准后的不确定性度量。

技术实现

误差建模：位姿误差通过对数映射映射到李代数 $\mathfrak{se}(3)$ 。协方差矩阵 $\Sigma_i$ 使用LDL 分解 ( $\Sigma_i = L_i D_i L_i^T$ ) 进行重构，以确保半正定性和训练稳定性。
训练目标：模型使用两个解耦的损失函数进行端到端训练：
1. 测地线损失 ( $L_{geo}$ )：最小化偏差校正后的估计值与真值之间的距离，包括用于轨迹一致性的平滑惩罚项。
2. 负对数似然 ( $L_{nll}$ )：通过最小化观测误差与预测高斯分布之间的差异来校准不确定性。

3. 主要贡献

作者将其贡献总结如下：

新颖架构：一个学习里程计估计中多模态、异方差不确定性的框架，明确解决了单模态、基于帧方法的局限性。
UnCal-Flight 数据集：发布了一个具有挑战性的开源无人机导航数据集，包含复杂的运动模式、变化的光照条件和动态障碍物，用于评估 VO/VIO 的鲁棒性。
实时插件：证明了其作为现有 VO/VIO 系统（如 VINS-Fusion、MSCKF、ORB-SLAM 3、DPVO）可部署插件的有效性，在多种数据集上提高了准确性和可靠性。

4. 实验结果

实验在EuRoC数据集和作者的UnCal-Flight数据集上进行。

位姿校正：与基线相比，MUSE 显著降低了位姿误差。在 EuRoC 数据集上，它将 VINS-Fusion 的 RMSE 降低了45.7%（从 0.164m 降至 0.089m），优于 D-DICE 和 DPC-Net，后两者显示出极小的改进或性能回退。
不确定性校准：
- 零均值设置：MUSE 在所有测试的里程计方法中实现了更优的预期归一化校准误差（ENCE）（例如，VINS-Fusion 的 ENCE 为 0.300，而 DICE 为 0.765），表明其置信度校准更佳。
- 非零均值设置：MUSE 在对数似然（LL）和 ENCE 指标上均优于 D-DICE，证明了其在量化不确定性的同时校正系统性偏差的能力。
鲁棒性：在具有挑战性的 UnCal-Flight 数据集中，MUSE 在不同轨迹子集上将原始里程计的 RMSE 分别提高了22.2%和38.4%。
消融研究：结果证实，融合所有模态（相机 + IMU + 里程计）能获得最佳性能，验证了多模态集成对于捕捉漂移和不确定性的必要性。
效率：该系统在单块 NVIDIA RTX 6000 GPU 上实现了每个窗口低于3 ms的推理时间。

5. 意义与主张

本文声称，MUSE 代表了首个框架，能够联合解决里程计不确定性的多模态、时序和异方差特性。通过利用 Mamba 进行高效的序列建模，MUSE 克服了以往仅视觉或瞬时不确定性预测器的局限性。

作者将 MUSE 定位为一个多功能、实时的插件，而不仅仅是一个独立的估计器，它能够在动态和资源受限的环境中增强安全关键决策。这项工作弥合了高精度状态估计与可靠不确定性量化之间的差距，使下游规划器能够对其状态估计的置信度进行推理。本文得出结论，多模态集成对于鲁棒的不确定性预测至关重要，这一发现得到了其广泛消融研究的支持。