💻 컴퓨터 과학

Uncertainty-Guided Belief World Models for Long-Horizon UAV Navigation under Partial Observability and Visual Degradation

본 논문은 사후 공분산과 앙상블 기반의 예측 불확실성을 활용하여 신념 업데이트를 유도하고 선택적 재계획을 트리거함으로써, 부분 관측성 및 시각적 저하 상황에서 최신 기법(state-of-the-art) 베이스라인 대비 장기 UAV 내비게이션 성공률을 크게 높이고 충돌률을 낮추는 불확실성 유도 신념 세계 모델(Uncertainty-Guided Belief World Model, UG-BWM) 프레임워크를 제안한다.

원저자: Dhayaa Khudher

게시일 2026-11-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Dhayaa Khudher

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

도시나 숲을 통과하여 드론을 비행하는 작업은 끊임없이 찰나의 결정을 내려야 하는 과업입니다. 기계는 자신이 어디에 있는지 파악하고, 잠시 후 자신이 어디에 있을지 예측하며, 나무, 건물 또는 다른 항공기를 피해서 조종해야 합니다. 현실 세계에서 이것은 결코 쉬운 일이 아닙로 안개가 자욱하게 끼거나, 태양이 지평선 아래로 저물거나, 카메라 렌즈가 더러워져 드론에게 주변 환경에 대한 흐릿하거나 불완전한 영상을 남길 수 있기 때문입니다. 시야가 좋지 않을 때, 드론은 단순히 바닥을 보고 결정할 수 없습니다. 대신 자신이 기억하는 것과 다음에 어떤 일이 일어날지에 대한 추측에 의존해야 합니다. 이것이 부분적인 정보로 항행하는 것의 과제입니다. 기계는 변화하는 세상 속에서 과거의 희미한 기억과 미래에 대한 추측을 바탕으로 계획을 세워야 합니다.

연구자들은 인공지능을 사용하여 드론이 이러한 까다로운 상황을 처리하도록 가르치기 위해 오랫동안 노력해 왔습니다. 한 가지 인기 있는 접근 방식은 컴퓨터에게 미래를 상상하도록 가르치는 것입니다. 이 시스템은 세계의 단순화된 버전을 학습하여, 가장 안전해 보이는 경로를 찾기 위해 순식간에 수천 번의 정신적 시뮬레이션을 실행할 수 있게 합니다. 그러나 드론의 시야가 저하될 때 중대한 문제가 발생합니다. 카메라 피드가 좋지 않으면, 자신이 어디에 있는지에 대한 드론의 '기억'은 흔들리게 되고, 미래에 대한 '상상'은 더욱 흔들리게 됩니다. 만약 컴퓨터가 이러한 흔들리는 추측을 사실로 취급한다면, 존재하지 않는 맑은 경로를 확신하며 상상했기 때문에 드론을 벽으로 몰아넣을 수 있습니다. 엔지니어들의 핵심 질문은 드론이 언제 자신이 추측하고 있는지, 그리고 언제 추측을 멈추고 더 신중하게 생각하기 시작해야 하는지를 알게 만드는 방법을 찾는 것입니다.

새로운 연구에서, 바스라 대학교(University of Basrah)의 한 연구자는 바로 이 문제를 해결하기 위해 '불확실성 유도 믿음 세계 모델(Uncertainty-Guided Belief World Model)'이라 불리는 시스템을 개발했습니다. 이 시스템은 드론이 한 번도 가본 적 없는 환경을 통과하며 장시간 비행해야 하고, 종종 안개, 어둠 또는 모션 블러(움직임에 의한 흐림)로 인해 카메라가 고전하는 상황을 위해 설계되었습니다. 핵심 아이디어는 드론에게 자신의 확신도를 부여하는 것입니다. 시스템은 드론에게 단순히 "왼쪽으로 돌아"라고 말하는 대신, "왼쪽으로 돌되, 카메라가 흐릿하기 때문에 그 움직임이 옳다고 확신할 확률은 60퍼센트뿐이다"라고 말합니다. 이는 드론이 현재 어디에 있는지에 대한 지식과 미래에 어디에 있을지에 대한 추측을 분리합니다. 이를 통해 시스템은 카메라의 일시적인 결함과 실제 앞에 놓인 위험을 구별할 수 있습니다.

연구진은 실제 비행의 물리 법칙과 실제 카메라의 동작을 모사한 매우 현실적인 컴퓨터 시뮬레이션에서 이 새로운 시스템을 테스트했습니다. 그들은 이 새로운 시스템을 현재 최고 수준(state of the art)으로 간주되는 몇몇 고급 항행 방식들과 겨루게 했습니다. 테스트는 맑고 화창한 날부터 짙은 안개, 모션 블러, 심지어 드론이 몇 초 동안 시각적 입력 없이 비행해야 하는 완전한 카메라 블랙아웃 상황에 이르기까지 6가지의 서로 다른 시나리오를 포함하여 엄격하게 진행되었습니다. 또한 연구진은 짧은 도약부터 시스템이 머릿속으로 상상할 수 있는 시간을 훨씬 초과하는 긴 여정에 이르기까지 다양한 길이의 경로에서 드론을 테스트했습니다.

결과는 이 새로운 시스템이 드론을 안전하고 경로를 유지하는 데 훨씬 더 효과적임을 보여주었습니다. 시야가 심하게 저하된 상태에서 보이지 않는 장애물을 통과해야 했던 가장 어려운 테스트에서, 새 시스템은 0.63의 AUC를 기록하며 목표에 도달하는 데 성공했습니다. 그다음으로 우수한 시스템은 0.54의 AUC를 기록했습니다. 더 중요한 것은, 새 시스템의 충돌률이 가장 근접한 경쟁 시스템의 20퍼센트에 비해 단 15퍼센트에 불과할 정도로 훨씬 적었다는 점입니다. 또한 이 시스템은 이상적인 경로에 더 가까운 경로를 택하며 더 효율적으로 비행했습니다. 연구는 시스템이 스스로의 불확실성을 측정하는 능력이 이러한 성공의 비결임을 밝혀냈습니다. 시스템은 미래에 대한 자신의 정신적 이미지가 신뢰할 수 없게 된다는 것을 깨달았을 때, 이전의 계획을 맹목적으로 따르는 대신, 새로운 경로를 찾기 위해 신선하고 더 신중한 계산을 실행했습니다.

이러한 선택적 사고 방식은 주요한 효율성 증대를 가져왔습니다. 시스템은 매 초마다 전체 경로를 멈추고 재계산할 필요가 없었습니다. 실제로, 이 시스템은 0.18의 AUC에서만 이 추가적이고 신중한 계획을 트리거했습니다. 이처럼 무거운 계산을 매우 드물게 실행했음에도 불구하고, 매 순간 경로를 재계산하려고 시도하는 시스템만큼이나 잘 수행했습니다. 이는 드론이 안전을 유지하면서도 엄청난 양의 컴퓨팅 전력을 절약할 수 있음을 의미합니다. 연구진은 또한 시스템이 자신의 확신도를 판단하는 능력이 매우 중요하다는 것을 발견했습니다. 시스템이 자신의 확신도를 무시하고 항상 확신이 있는 것처럼 행동하도록 강제했을 때, 성능은 현저히 떨어졌습니다. 이는 자신이 무엇을 모르는지 아는 것이 정답을 아는 것만큼 중요하다는 것을 입증했습니다.

연구는 또한 시스템이 다양한 유형의 불확실성을 어떻게 다루는지 조사했습니다. 미래에 대해 '추측'할수록 정확도가 떨어진다는 점을 발견했는데, 이는 예상된 결과였습니다. 그러나 시스템의 내부 불확실성 측정치는 이러한 정확도 저하를 정확하게 신호했습니다. 드론이 먼 미래를 바라보고 있을 때조차, 예측이 나빠짐에 따라 확신도 점수가 낮아졌습니다. 이를 통해 시스템은 자신의 상상을 언제 믿지 말고 새로운 정보를 찾아야 할지 정확히 알 수 있었습니다. 연구진은 이 방법이 드론이 가본 적 없는 환경에서 비행하거나 날씨가 나쁠 때, 즉 표준 항행 시스템이 자주 실패하는 상황에서 가장 잘 작동한다고 언급했습니다.

결과는 유망하지만, 연구진은 이러한 결과가 컴퓨터 시뮬레이션에서 나온 것임을 주의 깊게 명시했습니다. 상세하게 구현된 가상 세계라 할지라도 실제 바람의 무질서함, 실제 카메라 센서의 특이한 성질, 또는 물리적인 드론에서 발생할 수 있는 갑작스러운 기계적 결함을 완벽하게 복제할 수는 없습니다. 이 연구는 기계에게 자신의 불확실성을 이해하도록 가르치는 이 접근 방식이 강력한 진전임을 시사하지만, 모든 가능한 현실 세계 시나리오에서 안전을 보장하는 마법 같은 해결책은 아닙니다. 이 시스템은 충돌을 방지하는 엄격하고 깨뜨릴 수 없는 규칙을 강제하는 것이 아니라, 위험을 감지할 때 더 똑똑하고 신중한 결정을 내림으로써 충돌을 피하는 법을 배웁니다.

이 작업은 우리가 자율 기계를 구축하는 방식의 변화를 강조합니다. 혼란스러운 세상에서 항상 모든 것에 완벽하게 확신하는 드론을 만들려는 대신, 새로운 접근 방식은 자신이 무엇을 모르는지에 대해 정직한 드론을 만듭니다. 불확실성을 인정하고 그 인정을 바탕으로 언제 더 깊이 생각할지를 결정함으로써, 드론은 더 탄력적인 존재가 됩니다. 연구진은 드론이 특히 악천상 조건이나 미지의 장소에서 안전하게 비행하려면 이러한 종류의 자기 인식(self-awareness)이 필요하다고 결론지었습니다. 다음 단계는 이 시스템을 컴퓨터 밖으로 가져와 실제 비행 기체에 테스트하여, 하늘의 진정한 예측 불가능성을 감당할 수 있는지 확인하는 것이라고 그들은 제안합니다.

기술 요약: 장기 호라이즌 UAV 내비게이션을 위한 불확실성 유도 신념 월드 모델 (Uncertainty-Guided Belief World Models)

1. 문제 정의

본 논문은 부분 관측 가능성(partial observability) 및 시각적 저하(visual degradation) 상황에서 운용되는 무인 항공기(UAV)의 장기 호라이즌(long-horizon) 내비게이션 문제를 다룹로다. 실제 UAV 내비게이션은 안개, 저조도, 모션 블러, 폐쇄(occlusion)와 같이 온보드 시각 센싱을 저하시키는 요인들로 인해 복잡해집니다. 장기 호라이즌 설정에서는 내비게이션 오류가 누적되며, 불완전하거나 노이즈가 섞인 환경 표현을 바탕으로 의사결정을 수정해야 합니다.

기존의 비전 기반 강화 학습(RL) 방법들은 부분 관측 가능성을 처리하기 위해 순환 메모리나 시간적 주의(temporal attention)에 의존하는 경우가 많지만, 현재 추론된 상태에 대한 **신뢰도(confidence)**나 미래의 상상된 궤적에 대한 **불확실성(uncertainty)**을 명시적으로 정량화하는 데는 실패합니다. 유사하게, 표준적인 월드 모델은 신뢰할 수 없는 상상된 롤아웃(rollout)을 사용하여 정책을 최적화함으로써 오류 전파를 초래할 수 있습니다. 결정적으로, 기존의 불확실성 인지 모델들은 현재 관측에 조건화된 신념(belief)의 신뢰도와 재귀적 잠재 예측을 통해 누적된 예측 불확실성을 혼동하는 경 경향이 있는데, 이는 시각적 저하가 존재할 때 매우 중요한 구분입니다.

2. 방법론: UG-BWM

저자는 **불확실성 유도 신념 월드 모델(Uncertainty-Guided Belief World Model, UG-BWM)**을 제안하며, 이 프레임워크는 현재의 신념 신뢰도와 미래의 예측 불확실성을 분리하고, 이 정보를 학습과 배포 모두를 가이드하는 데 사용하도록 설계되었습니다.

핵심 아키텍처

시스템은 두 가지 계산 경로를 통해 작동합니다:

사후 경로 (추론 - Posterior Path): 현재의 온보드 관측값(RGB 이미지, 모션 추정치, 상대적 목표, 카메라 유효성 플래그)을 처리하여 불확실성이 명시된 신념을 형성합니다.
- 시간적 이력을 유지하기 위해 GRU 기반의 순환 신경망을 사용합니다.
- 평균 $\mu^q_t$ 와 대각 공분산 $\Sigma^q_t$ 로 특징지어지는 가우시안 사후 분포 $q_\phi(z_t | h_t, e_t)$ 를 출력합니다.
- 핵점 기능: 액터(actor)와 크리틱(critic) 네트워크는 단순히 샘플링된 잠재 상태뿐만 아니라 **사후 로그 공분산(posterior log-covariance)**을 명시적으로 전달받습니다. 이를 통해 정책은 현재 상태 추정의 신뢰도를 바탕으로 행동할 수 있습니다.
예측 경로 (상상 - Predictive Path): **앙상블 기반의 예측 사전 확률(predictive priors)**을 사용하여 유한 호라이즌 잠재 궤적을 전파합니다.
- $M$ 개의 독립적으로 매개변수화된 헤드 앙상블이 미래의 잠재 상태, 보상, 충돌 확률을 예측합니다.
- 불확실성 추정: 예측 불확실성은 **앙상블 불일치(ensemble disagreement, 에피스테믹 유사)**와 **평균 조건부 예측 분산(average conditional predictive variance, 알레아토리 유사)**을 결합하여 계산됩니다. 이 구성 요소들은 캘리브레이션 참조값에 대해 정규화되어 결합된 불확실성 점수 $U_{t+k}$ 를 생성합니다.
- 충돌 처리: 앙상블 멤버들의 충돌 예측 간의 불일치에 기반한 페널티를 더함으로써 보수적인 충돌 확률 추정치를 도출합니다.

학습 및 제어 메커니즘

불확실성 유도 액터-크리틱 목적 함수: 상상된 롤아웃 동안, 보상 신호는 예측된 충돌 위험과 예측 불확실성 점수에 의해 페널티를 받습니다. 이는 신뢰할 수 없는 잠재 전이에 의한 정책 학습의 영향을 줄입니다.
선택적 재계획 (Selective Replanning): 배포 단계에서 시스템은 결정론적 액터에 의해 생성된 명목상(nominal) 롤아웃의 예측 불확실성을 모니터링합니다.
- **히스테리시스 트리거 규칙(hysteretic trigger rule)**은 모니터링 호라이즌 동안 최대 불확실성이 임계값( $\tau_{on}$ )을 초과할 때만 잠재 공간 플래너를 활성화합니다.
- 트리거가 발동되면, 플래너는 여러 후보 액션 시퀀스를 샘플링하고, 불확실성 페널티가 적용된 리턴(return)을 사용하여 점수를 매긴 뒤 최적의 액션을 선택합니다.
- 이 메커니즘은 무거운 연산(계획)을 명목 정책이 신뢰할 수 없다고 판단되는 경우에만 활성화하는 것을 목표로 합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

불확실성 명시적 신념 인터페이스: 관측에 조건화된 잠재 추정치와 그 사후 신뢰도(로그 공분산)를 모두 액터와 크리틱에게 제공하여, 현재의 신념 신뢰도와 미래 예측 불확실성을 구분하는 메커니즘입니다.
앙상블 예측 사전 확률: 앙상블 불일치와 조건부 예측 분산을 결합하여 상상된 호라이즌 전반의 예측 불확실성을 추정함으로써 앙상블을 통해 잠재 신념을 전파하는 방법입니다.
불확실성 유도 상상 목적 함수: 높은 불확실성을 가진 전이에 페널티를 부여하고 보수적인 충돌 위험 추정치를 통합하여, 신뢰할 수 없는 상상 데이터가 정책 최적화에 미치는 영향을 감소시키는 학습 목적 함수입니다.
선택적 재계획 메커니즘: 명목 정책의 롤아웃이 신뢰할 수 없는 특정 상태에서만 추가적인 계획을 트리거하여, 지속적인 계획보다 계산 부하를 크게 줄이는 배포 시 전략입니다.

4. 실험 결과

본 방법은 경로 길이 변화와 네 가지 유형의 시각적 저하(안개, 저조도, 모션 블러, 폐쇄)를 포함한 6가지 고정 테스트 조건(unseen 구조적 변화 포함)에 대해 Gazebo Harmonic 및 PX4 SITL 환경에서 평가되었습니다.

성능 지표

가장 근접한 대조군인 DreamerV3-CU(불확실성 페널티는 포함하지만 명시적 사후 신뢰도와 선택적 재계획은 결여됨)와 비교했을 때, UG-BWM은 다음과 같은 성과를 달성했습니다:

성공률 (Success Rate): 0.63 vs. 0.54 (DreamerV3-CU).
충돌률 (Collision Rate): 0.15 vs. 0.20.
성공 경로 길이 (SPL): 0.62 vs. 0.54.
장기 호라이즌 성능: UG-BWM은 긴 경로에서도 DreamerV3-CU(0.38)보다 높은 성공률(0.47)을 유지했습니다.

절제 연구 및 분석

사후 신뢰도 (Posterior Confidence): 명시적 공분산 입력을 제거하거나 셔플링(shuffling)할 경우 성능이 크게 저하되었으며, 이는 상태 의존적 신뢰도가 의사결정에 필수적임을 확인시켜 줍니다.
예측 불확실성 (Predictive Uncertainty): 결합된 불확실성 점수(불일치 + 분산)는 두 구성 요소 중 하나만 사용할 때보다 우수한 성능을 보였습니다. 예측 불확실성은 훈련 호라이즌( $H=15$ ) 너머에서도 롤아웃 오차와 양의 상관관계를 유지했습니다.
선택적 재계획 (Selective Replanning): 불확실성 트리거 재계획은 "항상 계획(always-plan)" 방식의 성능과 일치하면서도, 제어 스텝의 단 **18%**에서만 플래너를 활성화했습니다. 이는 플래너 사용량을 82% 감소시켰으며, P95 결정 지연 시간(latency)을 71ms(항상 계획)에서 48ms로 낮추었습니다.
강건성 (Robustness): UG-BWM은 모델 프리(model-free) 베이스라인(TD3, Recurrent PPO) 및 표준 월드 모델(DreamerV3)에 비해 시각적 저하 및 미학습 기하 구조에 대해 탁월한 강건성을 보여주었습니다.

5. 의의 및 주장

본 논문은 불확실성 명시적 신념 모델링과 선택적 계획이 저하된 센싱 조건에서의 UAV 내비게이션에 효과적인 전략임을 주장합니다.

불확실성의 구분: 본 연구는 현재 추론된 상태에 대한 신뢰도(사후 확률)와 미래 상상된 상태의 불확실성(예측 확률)을 구분하는 것의 중요성을 강조합니다. 이러한 구분은 시스템이 즉각적인 센서 저하와 예측 오류의 누적에 적절히 대응할 수 있게 합니다.
효율성: 선택적 재계획 메커니즘은 고성능 내비게이션이 반드시 지속적이고 계산 집약적인 계획을 필요로 하지 않음을 입증합니다. 대신, 불확실성 신호는 재계획이 필요한 특정 상태를 효과적으로 식별하여 성능과 계산 비용 사이의 실질적인 절충안을 제공합니다.
한계점: 저자는 본 연구가 시뮬레이션(Gazebo/PX4 SITL)에 국한되어 있으며 공식적인 안전 보장을 제공하지 않는다는 점을 인정합니다. 또한 예측 앙상블이 단일 가우시안으로 근사되어 있어 다중 모드(multimodal) 미래 결과를 가릴 수 있습니다. 향-후 연구에서는 물리적 UAV에서 이러한 결과를 검증하고 명시적인 안전 제약 조건을 통합할 것을 제안합니다.

요약하자면, UG-BWM은 에이전트가 자신의 무지를 인지하게 함으로써, 그 인식을 바탕으로 학습 과정과 배포 시의 계산 자원을 모두 가이드하여, 까다로운 부분 관측 환경에서 더욱 견고하고 효율적인 내비게이션을 가능하게 하는 프레임워크를 제공합니다.