💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

본 논문은 비전-관성 상태 추정에서 다중 모달 불확실성을 효과적으로 정량화하기 위해 Mamba 아키텍처를 활용하는 새로운 실시간 학습 기반 프레임워크인 MUSE 를 소개하며, 이는 기존 방법들보다 뛰어난 신뢰성과 강건성을 입증합니다.

원저자: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두꺼운 안개 속에서 자동차를 운전한다고 상상해 보세요. 바로 앞의 도로만 보일 뿐, 더 멀리 바라보면 모든 것이 흐릿해집니다. GPS 가 있지만 약간 오작동을 일으키고 있죠. 움직이고 있다는 건 알지만, 정확히 어디에 있고 얼마나 빠르게 가고 있는지는 100% 확신할 수 없습니다.

로봇과 자율주행차의 세계에서는 이를 **상태 추정 (State Estimation)**이라고 부릅니다. 이는 로봇이 자신의 위치와 방향을 파악하는 방식입니다. 수년 동안 로봇은 카메라와 모션 센서를 이용해 위치를 추정하는 데 매우 능숙해졌습니다. 하지만 큰 문제가 하나 있습니다: 그들은 자신이 틀렸을 때를 모릅니다.

아마도 자신이 올바른 위치에 있을 확률이 99% 일지라도, 실제로는 100% 틀렸다면 충돌할 수 있습니다. 그들은 "꽤 확신한다"거나 "전혀 모르니 조심해 달라"고 말할 수 있는 방법이 필요합니다.

문제: "과신하는" 로봇

현재의 로봇은 시험을 치르고 한 문제를 틀렸음에도 여전히 자신 있게 'A'를 표시하는 학생과 같습니다.

**시각 오도메트리 (Visual Odometry, VO)**는 로봇이 사진을 보고 자신의 위치를 추정하는 것과 같습니다.
**관성 오도메트리 (Inertial Odometry)**는 로봇이 자신의 움직임을 느끼는 것과 같습니다 (예를 들어 빙글빙글 돌고 난 후 사람이 어지러움을 느끼는 것처럼).

이 두 가지가 불일치하거나, 카메라가 렌즈의 얼룩처럼 흐릿한 이미지를 포착하거나 모션 센서가 작동하지 않을 때, 로봇은 보통 추정을 계속합니다. 조건이 변했다는 사실을 깨닫지 못합니다. 로봇은 자신의 추정을 얼마나 신뢰해야 하는지 측정하는 불확실성 정량화 (Uncertainty Quantification) 능력이 부족합니다.

해결책: MUSE(로봇의 "두 번째 의견")

이 논문의 저자들은 MUSE(Multimodal Uncertainty Quantification of State Estimation, 상태 추정의 다중 모달 불확실성 정량화) 라는 새로운 시스템을 개발했습니다.

MUSE 를 로봇의 주요 항법 시스템 옆에 앉은 초지능 조종사로 생각하세요.

모든 것을 감시합니다: 로봇의 주요 시스템이 카메라만 본다면, MUSE 는 한 번에 모든 것을 봅니다. 카메라 이미지, 모션 센서 (IMU), 그리고 로봇의 자체 속도계 데이터 말입니다.
문제를 포착합니다: 카메라가 렌즈의 얼룩처럼 흐릿한 이미지를 보지만 모션 센서가 "hey, 우리는 방금 멈췄어"라고 말한다면, MUSE 는 이 충돌을 알아차립니다. 마치 증인의 진술이 물리적 증거와 맞지 않는 것을 탐정이 알아채는 것과 같습니다.
신뢰도 점수를 제공합니다: 단순히 위치만 알려주는 대신, MUSE 는 "여기가 당신의 위치이며, 그리고 이 숫자를 얼마나 신뢰해야 하는지 보여주는 '신뢰도 미터'가 여기 있습니다"라고 말합니다.
실수를 수정합니다: 로봇이 진로에서 벗어나고 있다면, MUSE 는 단순히 경고만 하는 것이 아니라 로봇의 위치를 올바른 곳으로 실제로 밀어붙여 수정합니다.

작동 원리: "맘바 (Mamba)" 뇌

이를 실시간으로 수행하기 위해 (로봇의 속도를 늦추지 않고) MUSE 는 Mamba라는 특수한 유형의 AI 뇌를 사용합니다.

옛 방식 (Transformer): 한 문장을 떠올릴 때마다 전체 책을 읽으며 긴 이야기를 기억하려고 노력한다고 상상해 보세요. 정확하지만 매우 느리고 무겁습니다.
맘바 방식: MUSE 는 긴 책장 사이를 즉시 스캔하여 중요한 부분은 기억하고 관련 없는 부분은 잊어버리는 사서와 같습니다. 드론의 비디오 피드와 같은 긴 데이터 스트림을 처리하는 데 놀라울 정도로 빠르고 효율적입니다.

이를 통해 MUSE 는 시간의 흐름에 따른 일련의 사건들을 볼 수 있습니다. "5 초 전에는 카메라가 정상적이었지만, 2 초 전에는 IMU 센서가 작동하지 않았고 지금은 이미지가 흐릿합니다. 따라서 현재 위치에 대한 내 신뢰도는 하락해야 합니다"라고 말할 수 있습니다.

결과: 더 나은 항법자

연구진은 MUSE 를 두 가지 유형의 데이터로 테스트했습니다.

표준 테스트: 로봇이 실내 경기장에서 비행하는 공개 데이터셋 사용.
하드 모드: 갑작스러운 움직임, 조명 변화, 센서 앞을 걷는 사람들 등 까다로운 상황을 포함한 자체 신데이터셋인 UnCal-Flight 사용.

결과는 명확했습니다:

더 나은 정확도: MUSE 는 특히 로봇이 혼란스러울 때 이전 방법들보다 로봇의 위치를 더 잘 보정했습니다.
정직한 신뢰도: 로봇이 까다로운 상황 (예: 흐릿한 이미지) 에 처했을 때, MUSE 는 신뢰도 점수를 올바르게 낮췄습니다. 다른 방법들은 틀렸을 때도 여전히 과신했습니다.
속도: 슈퍼컴퓨터가 필요 없이 기존 로봇 시스템에 "플러그인"으로 사용될 만큼 충분히 빠르게 실행됩니다.

결론

MUSE 는 로봇에게 자신의 항법에 대한 "직감"을 부여하는 것과 같습니다. 이는 로봇의 모든 감각을 결합하여 문제가 발생했을 때를 감지하고, 로봇의 경로를 수정하며, 로봇이 언제 걱정해야 하는지 정직하게 알려줍니다. 이는 로봇을 특히 혼란스럽고 예측 불가능한 현실 세계에서 더 안전하고 신뢰할 수 있게 만듭니다.

기술 요약: MUSE (상태 추정의 다중 모달 불확실성 정량화)

1. 문제 제기

정확한 시각적 상태 추정은 자율 주행, 드론 항법, GPS 가 차단된 환경에서의 운용과 같은 로봇 공학 응용 분야에 필수적입니다. 최근 시각적 오도메트리 (VO) 와 시각 - 관성 오도메트리 (VIO) 의 발전으로 포즈 추정 정확도가 향상되었으나, 근본적인 과제는 여전히 존재합니다: 바로 이러한 추정치의 정밀도를 정량화하고 보정하는 것입니다.

기존 방법들은 오도메트리 오차의 이분산성(분산이 입력에 의존함) 과 다중 모달성으로 인해 불확실성 정량화에 어려움을 겪습니다.

필터 기반 방법(예: 칼만 필터) 은 선형화 오차와 모델 불일치로 인해 일관성이 부족하여, 과도하게 확신하거나 지나치게 보수적인 공분산을 초래하는 경우가 많습니다.
최적화 기반 방법은 사후 (post-hoc) 에 불확실성을 추정하여 지역적이고 보정이 잘 되지 않은 측정치를 제공합니다.
학습 기반 방법은 높은 정확도를 달성하지만, 종종 과도하게 확신하여 신뢰할 수 없는 불확실성 추정을 제공합니다.
기존 학습 기반 불확실성 접근법(예: DICE, D-DICE) 은 일반적으로 즉각적인 시각적 입력에 의존하여, 드리프트와 고장을 예측하는 데 결정적인 역할을 하는 시간적 정보나 다중 모달 단서 (예: IMU 이상 또는 센서 열화) 를 활용하지 못합니다.

2. 방법론: MUSE 프레임워크

본 논문은 비동기식 다중 센서 스트림에서 포즈를 공동으로 보정하고 이분산 불확실성을 예측하도록 설계된 실시간 학습 기반 프레임워크인 MUSE를 소개합니다.

핵심 아키텍처

백본: MUSE 는 구조화된 상태 공간 모델 (SSM) 인 Mamba를 활용하여 센서 데이터의 순차적 관계와 장기 의존성을 효율적으로 포착합니다. 이는 트랜스포머의 계산적 한계를 해결하면서도 긴 시퀀스를 처리할 수 있는 능력을 유지합니다.
입력 모달리티: 시스템은 세 가지 비동기 스트림을 입력받습니다:
1. 시각: 사전 훈련된 SuperPoint 인코더를 통해 인코딩된 스테레오 이미지.
2. 관성: 사전 훈련된 RONIN 인코더를 통해 인코딩된 IMU 데이터 (선형 가속도 및 각속도).
3. 오도메트리: 상류 VO/VIO 모듈로부터의 원시 포즈 추정치 및 관련 공분산으로, 완전 연결 네트워크를 통해 인코딩됨.
출력: 모델은 $SE(3) $상의 포즈 오차에 대한 0 이 아닌 평균을 가진 가우시안 분포를 예측하며,$ $상의포즈오차에대한 0 이아닌평균을가진가우시안분포를예측하며,$ \xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$로 표현됩니다.
- 평균 ( $\mu_i$ ): 추정된 포즈를 보정하는 데 사용됩니다 ( $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ ).
- 공분산 ( $\Sigma_i$ ): 보정된 불확실성 측정치를 제공합니다.

기술적 구현

오차 모델링: 포즈 오차는 로그 맵을 통해 리 대수 $\mathfrak{se}(3)$ 로 매핑됩니다. 공분산 행렬 $\Sigma_i$ 는 양의 준정부호성과 학습 안정성을 보장하기 위해 LDL 분해( $\Sigma_i = L_i D_i L_i^T$ ) 를 사용하여 재구성됩니다.
학습 목적: 모델은 두 가지 분리된 손실 함수를 사용하여 엔드 - 투 - 엔드로 훈련됩니다:
1. 측지선 손실 ( $L_{geo}$ ): 편향 보정된 추정치와 실제 값 (ground truth) 간의 거리를 최소화하며, 궤적 일관성을 위한 매끄러움 패널티를 포함합니다.
2. 음수 로그 가능도 ( $L_{nll}$ ): 관측된 오차와 예측된 가우시안 분포 간의 불일치를 최소화하여 불확실성을 보정합니다.

3. 주요 기여

저자들은 다음과 같이 그들의 기여를 요약합니다:

새로운 아키텍처: 단일 모달리티, 프레임 기반 접근법의 한계를 명시적으로 해결하는 오도메트리 추정에서 다중 모달 이분산 불확실성을 학습하는 프레임워크.
UnCal-Flight 데이터셋: VO/VIO 견고성을 평가하기 위해 복잡한 운동 패턴, 다양한 조명, 동적 장애물을 특징으로 하는 도전적인 오픈 소스 드론 항법 데이터셋 공개.
실시간 플러그인: 다양한 데이터셋에 걸쳐 기존 VO/VIO 시스템 (예: VINS-Fusion, MSCKF, ORB-SLAM 3, DPVO) 에 배포 가능한 플러그인으로 효과성을 입증하여 정확성과 신뢰성을 모두 향상시킴.

4. 실험 결과

실험은 EuRoC 데이터셋과 저자들의 UnCal-Flight 데이터셋에서 수행되었습니다.

포즈 보정: MUSE 는 베이스라인에 비해 포즈 오차를 크게 줄였습니다. EuRoC 데이터셋에서 VINS-Fusion 의 RMSE 를 45.7% (0.164m 에서 0.089m 로) 감소시켜, 미미한 개선이나 역전을 보인 D-DICE 와 DPC-Net 을 능가했습니다.
불확실성 보정:
- 0 평균 설정: MUSE 는 모든 테스트된 오도메트리 방법에서 우수한 예상 정규화 보정 오차 (ENCE) 를 달성했습니다 (예: VINS-Fusion 의 ENCE 0.300 대 DICE 의 0.765), 이는 더 잘 보정된 확신을 나타냅니다.
- 비 0 평균 설정: MUSE 는 로그 가능도 (LL) 와 ENCE 지표 모두에서 D-DICE 를 능가하여 체계적 편향을 보정하면서도 불확실성을 정량화하는 능력을 입증했습니다.
견고성: 도전적인 UnCal-Flight 데이터셋에서 MUSE 는 서로 다른 궤적 부분집합에서 원시 오도메트리 대비 RMSE 를 각각 **22.2%**와 38.4% 향상시켰습니다.
절대 실험 (Ablation Studies): 모든 모달리티 (카메라 + IMU + 오도메트리) 를 융합하는 것이 최상의 성능을 제공한다는 결과가 확인되어 드리프트와 불확실성 포착을 위한 다중 모달 통합의 필요성을 입증했습니다.
효율성: 시스템은 단일 NVIDIA RTX 6000 GPU 에서 윈도우당 3 ms 미만의 추론 시간을 달성합니다.

5. 중요성과 주장

본 논문은 MUSE 가 오도메트리 불확실성의 다중 모달, 시간적, 이분산적 성격을 공동으로 해결하는 첫 번째 프레임워크라고 주장합니다. 효율적인 순차 모델링을 위해 Mamba 를 활용함으로써 MUSE 는 기존 시각 전용 또는 순간적 불확실성 예측기의 한계를 극복합니다.

저자들은 MUSE 를 단순히 독립적인 추정기가 아닌, 동적이고 자원이 제한된 환경에서 안전에 중요한 의사 결정을 강화할 수 있는 다목적 실시간 플러그인으로 위치시킵니다. 이 연구는 고정밀 상태 추정과 신뢰할 수 있는 불확실성 정량화 간의 간극을 메워 하류 계획자가 상태 추정치의 신뢰성에 대해 추론할 수 있게 합니다. 논문은 다중 모달 통합이 견고한 불확실성 예측에 필수적이라고 결론지으며, 이는 광범위한 절대 실험을 통해 뒷받침됩니다.