기술 요약: 비전 - 언어 내비게이션을 위한 불확실성 인지 가우시안 맵

문제 제기

비전 - 언어 내비게이션 (VLN) 은 embodied 에이전트가 자연어 지시를 따라 3D 환경을 항해하도록 요구합니다. 기존 에이전트가 시퀀스 - 투 - 시퀀스 모델에서 맵 기반 패러다임과 월드 모델로 진화해 왔음에도 불구하고, 결정적인 한계가 남아 있습니다: 에이전트들은 일반적으로 의사결정 과정에서 지각적 불확실성을 무시합니다. 실제 세계 내비게이션에서 에이전트는 종종 모호한 상황에 직면합니다. 예를 들어, 신뢰할 수 있는 근거를 위한 시각적 증거가 부족하거나 (시각적으로 유사한 문들을 구별하는 경우 등) 공간적 단서를 가리는 가려짐 (occlusions) 이 발생하거나 합니다. 기존 학습 레시피는 종종 에이전트가 자신감 여부와 관계없이 행동을 예측하도록 유도하여, 지각이 모호할 때 신뢰할 수 없는 근거와 안전하지 않은 궤적을 초래합니다. 본 연구는 정보에 기반한 의사결정을 지원하기 위해 불확실성을 명시적으로 모델링하고 활용해야 할 필요성에 대응합니다.

방법론

제안된 프레임워크인 불확실성 인지 가우시안 맵 (Uncertainty-Aware Gaussian Map) 은 세 가지 서로 다른 형태의 지각적 불확실성을 통합된 3D 표현에 통합합니다. 파이프라인은 다음과 같이 작동합니다:

1. 시맨틱 가우시안 맵 (SGM) 구축

에이전트는 각 웨이포인트에서 멀티뷰 RGB-D 관측치를 기반으로 시맨틱 가우시안 맵 (SGM) 을 구축합니다.

• 초기화: 멀티뷰 관측치는 희소 의사 라이다 (pseudo-lidar) 포인트 클라우드로 변환됩니다. 각 점은 위치 ($\mu$), 공분산 (스케일 $E$ 및 회전 $R$), 불투명도 ($\alpha$), 색상 (구면 조화 함수), 그리고 시맨틱 속성으로 매개변수화된 미분 가능한 3D 가우시안 원시 (primitive) 를 초기화합니다.
• 시맨틱 풍부화: SAM2 를 이용한 공간 분할과 CLIP 임베딩을 사용하여 시맨틱 속성을 추출하고, 가우시안에 객체/영역 시맨틱을 부착합니다.
• 최적화: SGM 은 미분 가능한 렌더링을 통해 정제되며, 관측된 색상, 깊이, 시맨틱 특징과 일치하도록 원시들을 최적화합니다. 기여도가 미미한 원시들 (작은 스케일 또는 낮은 불투명도) 은 노이즈를 줄이기 위해 가지치기 (pruned) 됩니다.

2. 지각적 불확실성 추정

SGM 을 기반으로 에이전트는 세 가지 특정 불확실성 유형을 추정합니다:

• 기하학적 불확실성 ($U_g$): 각 가우시안의 위치 및 스케일 매개변수를 확률 변수로 모델링하여 구조적 신뢰성을 평가합니다. 변분 추론 (variational inference) 을 사용하여 에이전트는 이러한 매개변수에 대한 교란 (perturbations) 의 사후 분포를 근사합니다. 불확실성은 학습된 교란들의 표준 편차로 정량화되어, 에이전트가 신뢰할 수 없는 구조적 원시들을 식별하고 가중치를 낮출 수 있게 합니다.
• 시맨틱 불확실성 ($U_s$): 객체 및 영역 해석의 모호성을 포착합니다. 기하학적 불확실성과 유사하게, 가우시안의 시맨틱 속성이 변분 추론을 통해 교란됩니다. 사후 분포에서 resulting 되는 변동성은 모호한 시맨틱 단서를 드러내어, 에이전트가 의사결정 중 신뢰할 수 없는 시맨틱 정보를 할인 (discount) 할 수 있게 합니다.
• 외관 불확실성 ($U_a$): 가려짐, 질감 불일치, 조명과 같은 요인들로 인해 발생하는 가우시안 수준의 변동에 대한 렌더링된 관측치의 민감도를 특징화합니다. 이는 피셔 정보 (Fisher Information) 를 사용하여 정량화되며, 가우시안 매개변수에 대한 재구성 손실의 블록 대각 헤시안 (block-diagonal Hessian) 의 로그 - 행렬식으로 근사됩니다. 높은 피셔 정보는 작은 교란이 지각 공간에서 큰 변동을 유발함을 나타냅니다.

3. 3D 가치 맵 및 의사결정

추정된 불확실성들은 통합된 3D 가치 맵을 형성하기 위해 SGM 에 통합됩니다.

• 표현: 각 가우시안은 기하학적, 시맨틱, 외관 불확실성 점수와 함께 증강되어, 환경의 구조와 신뢰성을 모두 인코딩하는 풍부화된 표현을 생성합니다.
• 정책: 이러한 증강된 가우시안들은 특징 공간으로 투영되어 글로벌 표현으로 집계됩니다. 이 표현은 지시 임베딩과 결합되어 멀티레이어 트랜스포머를 처리하여 후보 웨이포인트에 대한 행동 확률을 예측합니다. 불확실성 신호들은 어포던스 (affordances) 와 제약 (constraints) 으로 작용하여, 에이전트를 신뢰할 수 있는 경로로 이끌고 모호하거나 안전하지 않은 영역으로부터 멀어지게 합니다.

주요 기여

1. 명시적 불확실성 모델링: 이 연구는 이전 에이전트들의 암시적이거나 무시되었던 불확실성을 넘어, VLN 컨텍스트 내에서 기하학적, 시맨틱, 외관 불확실성을 명시적으로 모델링합니다.
2. 시맨틱 가우시안 맵 (SGM): 불확실성 추정을 위한 기초적 기저 (substrate) 로서 시맨틱 속성이 풍부해진 미분 가능한 3D 가우시안 표현을 도입합니다.
3. 통합된 3D 가치 맵: 불확실성 추정을 공간적 가치 필드로 변환하여 내비게이션을 위한 실행 가능한 제약과 어포던스로 근거화하는 새로운 메커니즘을 제안합니다.
4. 변분 및 피셔 기반 추정: 기하학적 및 시맨틱 불확실성에는 변분 추론을, 외관 불확실성에는 피셔 정보를 적용하여 지각적 신뢰성을 정량화하는 실용적이고 해석 가능한 방법을 제공합니다.

실험 결과

에이전트는 세 가지 표준 VLN 벤치마크인 R2R, RxR, REVERIE에서 평가되었습니다.

• R2R: 에이전트는 val unseen 분할에서 **78%**의 성공률 (SR) 과 **66%**의 경로 길이 가중 성공률 (SPL) 을 달성하여, 이전 최첨단 (VER) 보다 SR 에서 2%, SPL 에서 1% 향상되었습니다.
• RxR: val unseen 분할에서 이 방법은 **65.2%**의 SR 과 **65.6%**의 정규화된 동적 시간 왜곡 (nDTW) 을 산출하여 BEVBert 를 능가했습니다.
• REVERIE: 에이전트는 원격 근거 성공 (RGS) 과 RGSPL 에서 상당한 개선을 달성하여, val unseen 분할에서 **37.65%**의 RGS 와 **27.01%**의 RGSPL 에 도달했습니다. 이는 두 지표 모두에서 보고된 최선 결과 (BEVBert) 를 약 3% 상회하는 수치입니다.

결손 연구 (Ablation studies) 는 SGM 구조와 세 가지 불확실성 유형의 통합이 모두 최적 성능에 필수적임을 확인했습니다. 불확실성 단서를 제거하면 특히 지각적 모호성이 높은 복잡한 장면에서 성능이 크게 저하되었습니다.

중요성 및 주장

이 논문은 지각적 불확실성을 명시적으로 모델링하고 통합함으로써 에이전트가 더 정보에 기반한 의사결정을 내릴 수 있으며, 이전 에이전트들의 실패를 초래하는 모호성을 효과적으로 해결할 수 있다고 주장합니다. 저자들은 불확실성이 단순히 지각의 부산물이 아니라, 공간적 제약 (예: 가려진 경로 회피) 과 어포던스 (예: 신뢰할 수 있는 랜드마크 우선순위) 로 인코딩될 수 있는 가치 있는 단서임을 입증했습니다.

이 연구는 기존 에이전트들이 제한된 증거나 가려짐 조건 하에서 종종 실패하는 이유는 신뢰할 수 없음을 인식하고 이에 반응할 메커니즘이 부재하기 때문임을 강조합니다. 기하학적, 시맨틱, 외관 불확실성을 통합된 3D 가치 맵으로 통합함으로써, 이 프레임워크는 에이전트가 더 견고하게 항해할 수 있게 하여 다양한 벤치마크에서 일관된 개선을 달성합니다. 저자들은 이를 에이전트가 맹목적으로 행동을 실행하는 대신 자신감 있는 지각과 불확실한 지각을 구별할 수 있는 더 안전하고 신뢰할 수 있는 embodied AI 로 나아가는 한 걸음으로 위치시킵니다.