💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

本論文は、Mamba 構造を活用して視覚慣性状態推定におけるマルチモーダル不確実性を効果的に定量化し、既存手法と比較して優れた信頼性と頑健性を示す新規のリアルタイム学習ベースフレームワークである MUSE を紹介する。

原著者： Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

霧の濃い中を車で運転している状況を想像してください。目の前の道路は見えますが、先を見るとすべてがぼやけてきます。GPS はありますが、少し不具合があります。動いていることはわかりますが、正確にどこにいるのか、どれくらいの速さで進んでいるのかは 100% 確信が持てません。

ロボットや自動運転車の世界では、これを状態推定と呼びます。これはロボットが自身の位置と向きを把握する方法です。長年、ロボットはカメラや運動センサーを使って位置を推測することに非常に長けてきました。しかし、大きな問題があります：自分が間違っているときに気づかないのです。

99% の確信で正しい場所にいると思っていても、実際には 100% 間違っていれば衝突してしまう可能性があります。「かなり確信がある」とか「全く見当がつかないから気をつけて」と言える方法が必要です。

問題：「過信する」ロボット

現在のロボットは、テストを受け間違えた問題に自信を持って「A」とマークする生徒のようです。

視覚オドメトリ (VO) は、ロボットが自分の位置を推測するために画像を見るようなものです。
慣性オドメトリ は、ロボットが自身の動きを感じ取るようなものです（人間が回転した後めまいを感じることと同じ）。

これら 2 つが食い違ったり、カメラがレンズの汚れのようなぼやけた画像を捉えたり、運動センサーが機能しなくなったりした場合、ロボットは通常、推測を続けます。条件が変化したことに気づかないのです。これには不確実性の定量化、つまり自身の推測をどの程度信頼すべきかを測る能力が欠けています。

解決策：MUSE（ロボットの「第二の意見」）

この論文の著者たちは、MUSE（状態推定のマルチモーダル不確実性定量化）と呼ばれる新しいシステムを開発しました。

MUSE を、ロボットの主要な航法システムの隣に座る超賢い副操縦士だと考えてください。

すべてを見守る: ロボットの主要システムがカメラだけを見るのに対し、MUSE はカメラ画像、運動センサー（IMU）、ロボットの速度計データなど、すべてを同時に観察します。
トラブルを特定する: カメラがレンズの汚れのようなぼやけた画像を捉えているのに、運動センサーが「ねえ、私たちは今動きを止めたよ」と言っている場合、MUSE はこの矛盾に気づきます。これは、証人の話が物理的証拠と一致しないことに気づく探偵のようなものです。
信頼度スコアを提供する: 単に位置を伝えるのではなく、MUSE は「ここがあなたの位置ですが、そして、その数字をどの程度信頼すべきかを示す『信頼度メーター』もここにあります」と言います。
間違いを修正する: ロボットがコースから外れつつある場合、MUSE は警告するだけでなく、実際にロボットの位置を本来あるべき場所に戻すように促します。

仕組み：「マンバ」脳

これをリアルタイムで実行し（ロボットを遅くすることなく）、MUSE はマンバと呼ばれる特殊な種類の AI 脳を使用します。

旧来の方法（トランスフォーマー）: 長い物語を思い出すたびに本全体を読み直すようなものです。正確ですが、非常に遅く、重いです。
マンバ方式: マンバは、長い本棚を瞬時にスキャンし、重要な部分を記憶し、無関係な部分を忘れる司書のようなものです。データストリーム（ドローンからのビデオフィードなど）の処理において、信じられないほど高速で効率的です。

これにより、MUSE は時間の経過に伴う一連の出来事を見ることができます。「5 秒前まではカメラは正常だったが、2 秒前に IMU センサーが機能停止し、今は画像がぼやけている。したがって、現在の位置に対する私の信頼度は低下すべきだ」と言えるのです。

結果：より優れた航法者

研究者たちは MUSE を 2 種類のデータでテストしました。

標準テスト: ロボットが屋内アリーナを飛行する公開データセットを使用。
ハードモード: 急な動き、変化する照明、センサーの前に歩く人々などの厄介な状況を含む、独自の新しいデータセットUnCal-Flightを使用。

発見は明確でした:

精度の向上: MUSE は、特にロボットが混乱している場合に、以前の手法よりもロボットの位置をより正確に修正しました。
正直な信頼度: ロボットが厄介な状況（ぼやけた画像など）にあったとき、MUSE は正しく信頼度スコアを下げました。他の手法は、間違っていたとしても過信し続けました。
速度: 既存のロボットシステムへの「プラグイン」として使用できるほど高速に動作し、スーパーコンピュータは不要です。

結論

MUSE は、ロボットに自身の航法に関する「直感」を与えるようなものです。これは、ロボットのすべての感覚を組み合わせ、物事がおかしくなっていることを検知し、ロボットの経路を修正し、ロボットにいつ心配すべきかを正直に伝えます。これにより、ロボットは特に、厄介で予測不可能な現実世界において、より安全で信頼性のあるものになります。

技術概要：MUSE（状態推定のマルチモーダル不確実性定量化）

1. 問題定義

自動運転、ドローン航法、GPS 拒否環境での運用など、ロボット応用において、正確な視覚状態推定は不可欠である。近年の視覚オドメトリ（VO）および視覚慣性オドメトリ（VIO）の進展により姿勢推定の精度は向上したが、根本的な課題が残っている：これらの推定値の精度を定量化し較正することである。

既存の手法は、オドメトリ誤差のヘテロスケダスティック（分散が入力に依存する）かつマルチモーダルな性質により、不確実性の定量化に苦慮している。

フィルタベース手法（カルマンフィルタなど）は、線形化誤差やモデルの不一致により一貫性を欠き、過度に自信過剰または保守的な共分散をもたらす傾向がある。
最適化ベース手法は事後に不確実性を推定するため、局所的で較正が不十分な指標を生成する。
学習ベース手法は高い精度を達成するが、頻繁に過度に自信過剰となり、信頼性の低い不確実性推定を提供する。
事前学習ベースの不確実性アプローチ（DICE、D-DICE など）は、通常、瞬間的な視覚入力に依存しており、ドリフトや故障の予測に不可欠な時間的情報やマルチモーダルな手がかり（IMU の異常やセンサーの劣化など）を活用できていない。

2. 手法：MUSE フレームワーク

本論文は、非同期のマルチセンサーストリームから姿勢を共同で補正し、ヘテロスケダスティックな不確実性を予測するリアルタイムの学習ベースフレームワークであるMUSEを紹介する。

コアアーキテクチャ

バックボーン：MUSE は構造化状態空間モデル（SSM）であるMambaを活用し、センサーデータにおける逐次的関係と長期的依存関係を効率的に捉える。これにより、Transformer の計算上の限界を克服しつつ、長系列の処理能力を維持する。
入力モーダリティ：システムは 3 つの非同期ストリームを取り込む。
1. 視覚：事前学習済みの SuperPoint エンコーダで符号化されたステレオ画像。
2. 慣性：事前学習済みの RONIN エンコーダで符号化された IMU データ（線形加速度と角速度）。
3. オドメトリ：上位の VO/VIO モジュールからの生姿勢推定値および関連する共分散を、全結合ネットワークで符号化。
出力：モデルは $SE(3) $上の姿勢誤差に対する非ゼロ平均のガウス分布を予測し、$ $上の姿勢誤差に対する非ゼロ平均のガウス分布を予測し、$ \xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$ として表される。
- 平均（ $\mu_i$ ）：推定姿勢を補正するために使用される（ $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ ）。
- 共分散（ $\Sigma_i$ ）：較正された不確実性の指標を提供する。

技術的実装

誤差モデリング：姿勢誤差は対数写像を介してリー代数 $\mathfrak{se}(3)$ に写像される。共分散行列 $\Sigma_i$ は、正定値性と学習の安定性を保証するためにLDL 分解（ $\Sigma_i = L_i D_i L_i^T$ ）を用いて再構成される。
学習目的：モデルは 2 つの非結合損失を用いてエンドツーエンドで学習される。
1. 測地線損失（ $L_{geo}$ ）：バイアス補正済み推定値と真値との距離を最小化し、軌道の一貫性のための滑らかさペナルティを含む。
2. 負対数尤度（ $L_{nll}$ ）：観測された誤差と予測されたガウス分布との不一致を最小化することで不確実性を較正する。

3. 主要な貢献

著者は以下の通り貢献を要約している。

新規アーキテクチャ：オドメトリ推定におけるマルチモーダルかつヘテロスケダスティックな不確実性を学習するフレームワーク。単一モーダル、フレームベースのアプローチの限界を明示的に克服する。
UnCal-Flight データセット：VO/VIO の堅牢性を評価するための、複雑な運動パターン、変化する照明、動的な障害物を特徴とする挑戦的なオープンソースのドローン航法データセットの公開。
リアルタイムプラグイン：既存の VO/VIO システム（VINS-Fusion、MSCKF、ORB-SLAM 3、DPVO など）に対して展開可能なプラグインとしての有効性を、多様なデータセット上で実証。精度と信頼性の両方を向上させる。

4. 実験結果

実験はEuRoCデータセットと著者らのUnCal-Flightデータセットで行われた。

姿勢補正：MUSE はベースラインと比較して姿勢誤差を大幅に削減した。EuRoC データセットでは、VINS-Fusion の RMSE を**45.7%**削減（0.164m から 0.089m）し、最小限の改善または後退を示した D-DICE や DPC-Net を上回った。
不確実性の較正：
- ゼロ平均設定：MUSE はテストされたすべてのオドメトリ手法で優れた期待正規化較正誤差（ENCE）を達成した（例：VINS-Fusion の ENCE は 0.300、DICE は 0.765）。これは、よりよく較正された信頼性を示している。
- 非ゼロ平均設定：MUSE は対数尤度（LL）および ENCE 指標の両方で D-DICE を上回り、不確実性を定量化しつつ系統的バイアスを補正する能力を実証した。
堅牢性：挑戦的な UnCal-Flight データセットにおいて、MUSE は異なる軌道サブセットにおいて生オドメトリに対して RMSE をそれぞれ**22.2%および38.4%**改善した。
アブレーション研究：すべてのモーダリティ（カメラ + IMU + オドメトリ）を融合することが最良の性能をもたらすことが確認され、ドリフトと不確実性を捉えるためのマルチモーダル統合の必要性が実証された。
効率性：システムは単一の NVIDIA RTX 6000 GPU 上で、ウィンドウあたり3 ms未満の推論時間を達成する。

5. 意義と主張

本論文は、MUSE がオドメトリ不確実性のマルチモーダル、時間的、ヘテロスケダスティックな性質を共同で扱う最初のフレームワークであると主張している。効率的な逐次モデリングのために Mamba を活用することで、MUSE は従来の視覚のみのアプローチや瞬間的な不確実性予測器の限界を克服する。

著者は、MUSE を単なるスタンドアロンの推定器ではなく、動的かつリソース制約のある環境における安全クリティカルな意思決定を強化できる汎用的なリアルタイムプラグインとして位置づけている。この研究は、高精度な状態推定と信頼性の高い不確実性定量化の間のギャップを埋め、下流のプランナーが状態推定の信頼性について推論することを可能にする。論文は、広範なアブレーション研究によって支持される知見として、堅牢な不確実性予測にはマルチモーダル統合が不可欠であると結論づけている。