기술 요약: PSG-Nav: 다중 우주 의사결정을 통한 확률적 장면 그래프 내비게이션

문제 정의

복잡하고 미지의 환경에서 오픈 보캐블러리(open-vocabulary) 내비게이션을 수행하려면, 체화된 에이전트(embodied agents)가 자유 형식의 텍스트 목표(예: "파란색 소파를 찾아라")를 사용하여 탐색할 수 있어야 합니다. 이 분야의 핵심 과제는 물리적 객체의 의미론적 모호성과 지각 모델의 오류에서 기인하는 **지각 불확실성(perception uncertainty)**입니다. 기존 방식은 대개 **결정론적 표현(deterministic representations)**에 의존하며, 여기서 노이즈가 섞인 지각 출력은 절대적인 사실로 취급되어 단일 고정 레이블(예: 어떤 물체를 엄격하게 "침대" 또는 "소파"로 라벨링)로 매핑됩니다. 이러한 접근 방식은 다음과 같은 문제를 야기하며 전체 의미론적 분포를 유실합니다:

1. 비논리적 레이아웃: 객체가 의미론적으로 일관되지 않은 맥락(예: 거실에 있는 침대)에 배치되는 부정확한 지도.
2. 과도한 확신에 찬 결정: 노이즈가 있는 데이터에 기반하여 돌이킬 수 없는 결정을 내려, 잘못된 목표 근처에서 에이전트가 에피소드를 조기에 종료하게 만드는 거짓 양성(false positive) 발생.
3. 도메인 변화 실패: 실제 세계의 사전 학습과 시뮬레이션 환경 사이의 간극으로 인한 빈번한 오식별.

본 논문은 노이즈가 섞인 출력을 사실로 취급하는 것이 정보 손실과 신뢰할 수 없는 경로를 초래하므로, 이러한 불확실성을 관리하는 것이 작업 성공에 매우 중요하다고 주장합니다.

방법론

저자들은 의미론적 모호성 하에서도 강건하게 내비게이션할 수 있도록 설계된 통합 프레임워크인 PSG-Nav를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 3D 확률적 장면 그래프 (3D-PSG)

하드 레이블을 할당하는 전통적인 장면 그래프와 달리, 3D-PSG는 모든 객체 노드에 대해 **전체 범주적 분포(full categorical distribution)**를 유지합니다.

• 계층적 구조: 그래프는 객체(Object) 노드, 그룹(Group) 노드(공간적으로 인접한 객체들의 클러스터), 룸(Room) 노드의 세 단계로 구성됩니다.
• 확률적 표현: 각 객체 노드 $o_i$는 디리클레 사전 확률(Dirichlet priors)을 이용한 불안정한 베이지안 업데이트 대신, "투표(vote)" 축적 전략(시간에 따른 탐지 투표 횟수 계산)을 통해 업데이트되는 신념 분포 $P(o_i = c_k)$를 유지합니다.
• 계층적 인수분해: 전역 결합 분포의 조합 폭발을 피하기 위해, 불확실성은 계층적으로 인수분해됩니다. 그룹 노드는 구성 객체들의 결합 확률을 계산하고, 룸 노드는 그룹 분포를 집계합니다.
• 논리적 가지치기(Logical Pruning): 구축 과정에서 시스템은 잠재적인 의미론적 조합을 열거하고, 대규모 언어 모델(LLM)을 논리적 필터로 사용하여 의미론적 충돌이 있는 구성(예: 거실에 있는 변기)을 가지치기함으로써 전역적인 의미론적 일관성을 보장합니다.

2. 다중 우주 의사결정 프레임워크 (Multiverse Decision Framework)

확률적 그래프를 계획(planning)에 활용하기 위해, 이 프레임워크는 3D-PSG의 결합 분포로부터 일련의 이산적이고 결정론적인 "세계(worlds)"를 샘플링합니다.

• 세계 샘플링: 시스템은 3D-PSG의 결합 분포로부터 각각이 환경에 대한 논리적으로 일관된 해석을 나타내는 $K$개의 뚜렷한 세계 인스턴스($G^{(1)} \dots G^{(K)}$)를 생성합니다.
• 내재적 불확실성 인지 탐사: 에이전트는 두 가지 지표를 기준으로 후보 랜드마크(Generalized Voron Voronoi Graph 및 프런티어로부터 도출됨)를 평가합니다:
  • 공간 정보 이득 ($I_{spa}$): 미지의 공간에 대한 기대 커버리지.
  • 의미론적 모호성 해소 잠재력 ($I_{sem}$): 주변 객체의 의미론적 엔트로피(Shannon entropy)의 기대 감소량.
• 확률적 쌍체 비교 (Stochastic Pairwise Comparison): 단일 노이즈 맵에서 랜드마크를 순위 매기는 대신, 에이전트는 $M$번의 평가 라운드를 수행합니다. 각 라운드에서 하나의 세계가 샘플링되며, LLM은 특정 세계 내에서 목표로 이어질 가능성을 기준으로 쌍을 비교하는 선호도 오라클(preference oracle) 역할을 합니다.
• 의사결정 집계: 최종 선호도 점수는 전체 다중 우주에 걸쳐 쌍체 승리(pairwise wins)를 주변화(marginalizing)하여 도출되며, 이를 통해 선택된 경로가 지각 노이즈에 강건하도록 보장합니다.

3. 증거 기반 경험 교정기 (Evidential Experience Calibrator, EEC)

인식론적 불확실성으로 인한 거짓 양성을 완화하기 위해, EEC는 검색 증강 생성(RAG) 기반의 검증 모듈 역할을 합니다.

• 확률적 맥락 메모리: 시스템은 두 개의 메모리 뱅크를 유지합니다: 성공적인 목표 탐지의 **긍정 뱅크($B^+$)**와 과거 거짓 양성의 부정 뱅크($B^-$). 항목에는 시각적 임베딩과 구조적 맥락(방 및 그룹의 의미론적 분포)이 포함됩니다.
• 신뢰도 교정: 후보 객체가 탐지되면, EEC는 두 뱅크에서 유사한 맥락을 검색합니다. 시스템은 성공 사례와 실패 사례 간의 유사성을 기반으로 교정 마진(calibration margin)을 계산합니다.
• 동적 조정: 원시 탐지 점수는 이 마진에 의해 조정됩니다. 에이전트는 교정된 점수가 검증 임계값을 초과하는 경우에만 에피소드를 종료하며, 이는 알려진 오류 모드와 유사한 탐지를 효과적으로 억제합니다.

주요 기여

1. 3D 확률적 장면 그래프: 객체, 그룹, 룸 수준에서 전체 의미론적 분포를 보존하여 결정론적 라벨링과 관련된 돌이킬 수 없는 정보 손실을 방지하는 계층적 표현.
2. 다중 우주 의사결정: 여러 가망 있는 세계 설정을 샘플링하여 내비게이션 랜드마크를 평가함으로써, 에이전트가 지각 노이즈를 주변화하고 안정적인 결정을 내릴 수 있게 하는 새로운 계획 전략.
3. 증거 기반 경험 교정기: 과거의 성공과 실패에 대한 메모리를 활용하여 탐지를 교차 검증하고 신뢰도를 동적으로 교정하며 조기 종료를 방지하는 온라인 평생 학습 모듈.
4. 최첨단 성능: 이 프레임워크는 표준 데이터셋에서 새로운 벤치마크를 수립하는 동시에 물리적 로봇에 대한 실용적인 배포 가능성을 입증했습니다.

실험 결과

저자들은 MP3D, HM3D, HSSD의 세 가지 널리 사용되는 벤치마크에서 PSG-Nav를 평가했습니다.

• 성공률 (SR):
  • HM3D: 66.1% (PSG-Nav) vs. 65.4% (ASCENT, 이전 SOTA).
  • MP3D: 44.8% (PSG-Nav) vs. 44.5% (ASCENT).
  • HSSD: 67.9% (PSG-Nav).
• 제로샷 성능: EEC가 없는 변형(엄격한 제로샷)도 HM3D에서 63.5% SR을 달성하여 BeliefMapNav(61.4%) 및 ApexNav(59.6%)와 같은 방법들을 능가했습니다.
• 절제 연구 (Ablation Studies):
  • 3D-PSG를 제거하여 결정론적 레이블로 되돌렸을 때 성능이 크게 저하되었습니다 (예: HSSD에서 -9.4% SR).
  • 그룹 수준의 계층 구조를 제거하면 전역 구성의 결합 확률이 무의미해져 세계 샘플링이 불가능해졌습니다.
  • EEC는 특정 실패 모드 하위 집합에서 거짓 양성 정지의 76.9%를 차단하였으며, 이전에 실패했던 에피소드의 30.3%를 복구하는 데 기여했습니다.
• 실제 세계 배포: 시스템은 물리적 로봇(Agile계 SCOUT MINI)에 성공적으로 배포되어, 시각적으로 유사한 소파를 의자 타겟으로 잘못 인식하고 탐색을 계속하여 실제 목표를 찾는 과정을 정확히 수행했습니다.

의의 및 주장

본 논문은 PSG-Nav가 환경을 확률적 구조로 명시적으로 모델링함으로써 오픈 보캐블러리 내비게이션에서의 "결정론적 붕괴(deterministic collapse)" 문제를 해결한다고 주장합니다. 전체 의미론적 분포를 보존하고 과거의 경험을 활용하여 교정함으로써, 이 프레임워크는 복잡한 환경에서 더 신뢰할 수 있는 의사결정을 가능하게 합니다.

저자들은 이 연구를 물리적 세계의 내재된 불확실성을 다룰 수 있는 신뢰할 수 있고 유능한 자율 에이전트를 향한 단계로 포지셔닝합니다. 그들은 이 접근 방식이 견고성을 크게 향상시키지만, 현재 2D 점유 격자 지도(occupancy maps)에 의존하고 있어 수직 내비게이션(계단, 다층 토폴로지)을 명시적으로 처리하는 데 한계가 있다고 언급했습니다. 향-후 연구로는 볼륨 기반 계획(volumetric planning) 및 계층적 층 단위 장면 그래프로 확장하는 것을 제안합니다.