기술 요약: 부분 관측 가능 환경에서의 내비게이션을 위한 BeliefDiffusion

문제 정의

부분 관측 가능 환경(Partially Observable Environments, POEs)에서의 자율 주행은 근본적인 과제를 제시한다: 에이전트는 전역 지도에 대한 사전 지식 없이 오직 제한된 국소 센서 정보에만 의존하여 목표에 도달해야 한다. 전통적인 접근 방식은 가능한 환경 상태들에 대한 확률 분포를 나타내는 "신념 상태(belief state)"를 유지하기 위해 부분 관측 마르코프 결정 과정(POMDP)에 자주 의존한다. 그러나 기존의 신념 기반 방법들은 이러한 분포를 단일 모드 점 추정치(예: 가장 가능성 높은 단일 상태)로 단순화하는 경우가 많다. 이러한 단순화는 특히 지각적 모호성(perceptual aliasing, 서로 다른 위치가 동일하게 보이는 현상)과 고차원 상태 공간이 존재하는 시나리오에서 신념 공간의 내재적인 **다중 모드성(multimodality)**을 포착하지 못한다. 결과적으로, 에이전트는 여러 가지 그럴듯한 현실에 대비하기보다는 단 하나의 추측에 도박을 거는 방식으로 인해 최적이 아닌 결정을 내릴 수 있다.

생성 모델이 복잡한 상태 분포를 모델링하는 방법을 제공하긴 하지만, 대개 광범한 전문가 시연이나 오프라인 궤적이 필요하며 장기적인 계획을 위한 명시적인 메커니즘이 부족한 경우가 많다. 반대로, 모델 예측 제어(Model Predictive Control, MPC)는 계획 수립에 효과적이지만, 전통적으로 알 수 없는 설정에서는 습득하기 어려운 명시적인 전이 모델을 필요로 한다.

방법론: BeliefDiffusion

저자들은 확산 모델(Diffusion Models)의 생성 능력과 모델 예측 제어(MPC)의 계획 엄밀성을 통합하는 BeliefDiffusion 프레임워크를 제안한다. 이 시스템은 2단계의 "상상 후 계획(imagine then plan)" 루프를 통해 작동한다.

1. 확산 모델을 통한 신념 생성

이 프레임워크는 단일 지도를 예측하는 대신, 에이전트의 관측 이력에 조건화된 가능한 환경 구성(국소 지도)의 다중 모드 분포를 명시적으로 특징짓기 위해 확산 모델을 사용한다.

• 입력: 국소 관측값과 상대적 목표 좌표를 포함하는 에이전트의 관측 이력($\tau$).
• 임베딩: 가변적인 이력 길이를 처리하기 위해, 모델은 **멀티 헤드 어텐션(multi-head attention)**을 사용하여 각 그리드 셀에 대한 과거 관측을 집계한다. 이는 모델이 특정 지도 위치에 대한 관련 과거 데이터에 집중할 수 있도록 하는 조건부 임베딩을 생성한다.
• 학습: U-Net 백본은 노이즈가 섞인 입력으로부터 원래의 이진 지도($m_0$)를 직접 예측하도록 데노이징 확산 확률 모델(DDPM)을 사용하여 학습된다. 표준적인 노이즈 예측과 달리, 이 모델은 원래의 이진 지도를 직접 예측하도록 훈련된다.
• 조건화: 모델은 **분류기 없는 가이드(Classifier-Free Guidance, CFG)**를 채택하여 생성 과정을 제어하며, 이를 통해 에이전트의 부분 관측과 일치하는 다양하고 그럴듯한 지도 레이아웃을 샘플링할 수 있게 한다.

2. 모델 예측 제어(MPC)를 통한 계획

확산 모델이 $N$개의 그럴듯한 지도 샘플을 생성하면, 이들은 최적의 행동을 결정하기 위해 MPC 프레임워크에 통합된다.

• 집계된 역학(Aggregated Dynamics): 전이 함수를 추정하기 위해, 시스템은 $N$개의 샘플링된 지도를 하나의 "합의(consensus)" 지도($m_{agg}$)로 집계한다. 셀은 높은 비율($\ge N \cdot \lambda_p$)로 샘플에서 장애물로 나타날 때만 $m_{agg}$에서 장애물로 표시된다. 이는 플래너가 합리적인 가설 중 하나라도 막혀 있을 가능성이 있는 경로를 피하도록 보장한다.
• 행동 제안: 시스템은 각 개별 샘플 지도에 대해 A* 탐색 알고리즘을 사용하여 후보 경로를 생성한다.
• 선택: 모든 후보 경로는 집계된 역학 모델($m_{agg}$)에 대해 평가된다. 합의된 지도를 위반하는 경로는 보상을 0으로 받는다. 전체 가설 세트 중 가장 높은 보상을 가진 경로가 최종 계획으로 선택된다.
• 실행: 에이전트는 선택된 경로의 첫 번째 행동을 실행하고, 새로운 환경을 관측한 후, 생성-계획 주기를 반복한다.

주요 기여

1. 다중 모드 신념 모델링: 단일 모드 점 추정치를 넘어 다중 모드 신념 상태를 명시적으로 모델링하여 내비게이션에서 다중 모드 신념을 포착하는 새로운 확산 기반 접근 방식을 제시한다.
2. 통합 계획 프레임워크: 생성된 지도 레이아웃을 활용하여 강건한 의사결정을 수행하는 신념 공간 MPC 프레임워크를 구축하여, 생성과 계획을 효과적으로 결합한다.
3. 샘플 효율성: 이 접근 방식이 모델 프리 강화 학습(RL) 방법 및 단일 모드 생성 방식에 비해 훨씬 적은 훈련 데이터로도 우수한 성능을 달}{\text{달성함을 입증하는 실증적 증거를 제시한다.

실험 결과

저자들은 합성 2D 그리드 환경(64x64 지도)에서 BeliefDiffusion을 다음과 같은 베이스라인들과 비교 평가하였다:

• 베이스라인:
  • LSTM-PPO: 근사 정책 최적화(PPO)로 학습된 강력한 모델 프리 RL 베이스라인.
  • 결정론적 예측(Deterministic Prediction): 가장 가능성 높은 단일 지도를 예측하는 지도 학습 모델(U-Net).
  • 궤적 확산(Trajectory Diffusion): 미래 궤적을 직접 예측하는 트랜스포머 기반 모델.
  • 목표 추종(Goal-Follower): 목표를 향해 직선으로 이동하는 단순한 베이스라인.
• 지표: 성공률(Success Rate, SR) 및 경로 길이 가중 성공률(Success weighted by Path Length, SPL).
• 결과:
  • 성능: BeliefDiffusion은 10M 학습 스텝에서 **47.3%**의 SR과 **37.0%**의 SPL을 달성했다. 이는 유사한 성능에 도달하기 위해 500M의 상호작용 스텝이 필요했던 가장 우수한 LSTM-PPO 에이전트(45.5% SR, 35.5% SPL)를 능가하는 수치이다.
  • 데이터 효율성: 제안된 방법은 가장 우수한 LSTM-PPO 베이스라인이 필요로 하는 데이터 크기의 1/500 수준의 데이터셋만으로도 높은 성능에 도달했다.
  • 생성 vs 결정론적: 확산 기반 접근 방식은 결정론적 예측 모델(20.4% SR)과 궤적 확산 베이스라인(9.4% SR) 모두를 크게 앞질렀으며, 이는 궤적이나 단일 상태를 직접 예측하는 것보다 지도 레이아웃 분포를 모델링하는 것이 필수적임을 강조한다.
  • 하이퍼파라미터: 추론 지도 크기는 8x8, 샘플 수($N$)는 10일 때 최적임이 밝혀졌다. $N$을 10 이상으로 늘려도 성능 향상은 미미했으며, 더 큰 지도 크기는 성능 향상 없이 계산 비용만 증가시켰다.

의의 및 주장

본 논문은 다중 모드 신념 표현을 계획에 명시적으로 포함하는 것이 부분 관측 가능 환경에서 강건한 내비게이션을 위한 핵심이라고 주장한다. 보이지 않는 세계의 그럴듯한 여러 버전을 "상상"하고, 이 다양한 가능성 묶음 전체에서 잘 작동하는 행동을 계획함으로써, 에이전트는 지각적 모호성에 강해지고 치명적인 실패(예: 단일 가설이 틀렸기 때문에 벽에 부딪히는 현상)의 위험을 줄일 수 있다.

저자들은 이 방법이 강화 학습의 전형적인 특징인 방대한 훈련 데이터를 요구하지 않는다는 점을 강조한다. 대신, 확산 모델의 생성 능력을 활용하여 가능한 세계들의 구조화된 잠재 공간을 생성함으로써, 복잡하고 알려지지 않은 환경에서 정보에 입각한 의사결정을 가능하게 한다. 이 연구는 지도 레이아웃 추론을 조건부 생성 문제로 다루는 것이 단일 모드 근사치나 직접적인 궤적 예측에 의존하는 것보다 내비게이션에 더 효과적인 전략임을 시사한다.