기술 요약: StereoNav – 실세계 항해를 위한 견고한 비전-언어-액션 프레임워크

1. 문제 정의 및 동기

비전 및 언어 항해 (VLN) 는 3D 환경 내에서 자연어 지시를 순차적 행동으로 변환하는 것을 요구하는 embodied intelligence 의 근본적인 과제입니다. 시뮬레이션에서 상당한 진전이 있었음에도 불구하고, 현재 VLN 에이전트들은 실세계 환경에 배포될 때 심각한 성능 저하를 겪습니다.

저자들은 기존 "확대 (scaling)" 접근법 (더 큰 모델과 더 많은 데이터) 이 해결하지 못하는 두 가지 주요 병목 현상을 식별했습니다:

1. 지각적 불안정성: 실세계 관측은 조명 변화, 모션 블러, 카메라 흔들림과 같은 환경 요인에 의해 자주 손상됩니다. 깨끗한 합성 데이터로 훈련된 에이전트들은 이러한 방해를 처리할 견고성이 부족하여 실행의 일관성이 떨어집니다.
2. 지시 불충분 명시: 자연어 지시는 종종 희소하고 모호하여, 단일 발화와 여러 가능한 항해 경로 간의 "1 대 다" 매핑을 생성합니다. 이는 방향 모호성(경로 선택의 불확실성) 과 도킹 모호성(목표 위치 파악의 불확실성) 을 초래하며, 명시적인 공간적 근거 없이는 현재 에이전트들이 이를 해결하기 어렵습니다.

본 논문은 주요 한계가 교차 모달 이해의 부재가 아니라, 추상적인 지시와 노이즈가 있는 물리적 지각 사이의 간극을 메울 수 있는 견고한 구조적 사전 지식 (structural priors) 과 공간적 근거 (spatial grounding) 의 부재라고 주장합니다.

2. 방법론: StereoNav

저자들은 실세계 항해 일관성을 강화하도록 설계된 견고한 비전-언어-액션 (VLA) 프레임워크인 StereoNav를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소를 통합합니다:

A. 목표 위치 사전 지식 (시각적 렌더링)

지시 모호성을 완화하기 위해 StereoNav 는 목표 위치 사전 지식 (Target-Location Priors) 을 통합합니다. 목표 좌표를 심볼 입력으로 취급하는 전통적인 방법과 달리, StereoNav 는 이러한 사전 지식을 에이전트의 자기 중심 (egocentric) 시각 공간에 직접 투영합니다.

• 메커니즘: 목표 사전 지식 (모호한 것에서 정밀한 것까지) 은 에이전트의 현재 포즈를 기반으로 동적으로 업데이트되어 스테레오 관측에 렌더링됩니다.
• 시각적 단서: 보이는 목표는 붉은 점으로 표시되고, 시야 밖의 목표는 경계 인식 단서로 표시됩니다.
• 기능: 이는 모호한 언어적 설명이 남긴 간극을 효과적으로 메우며 에이전트의 목표 인식을 grounding 하는 지속적이고 경량인 글로벌 방향 신호를 생성합니다.

B. 통합 이해 모델링

지각적 불안정성을 해결하기 위해 StereoNav 는 스테레오 비전을 활용하여 의미, 구조, 기하학의 통합된 표현을 구축함으로써 기존 단안 (monocular) 지각을 넘어섭니다.

• 2D 의미 인코더: 대규모 사전 훈련으로부터의 의미적 근거를 유지하기 위해 InternViT를 사용합니다.
• 2D 구조 인코더: 세밀한 구조적 패턴 (배치, 윤곽) 을 포착하기 위해 DINOv2를 사용합니다.
• 3D 기하학 인코더: FoundationStereo에서 영감을 받은 이 모듈은 스테레오 쌍을 4D 비용 볼륨으로 처리하며, 주의 기반 하이브리드 필터링을 통해 정제됩니다.
• 퓨전: 이러한 구성 요소는 학습 가능한 가중치 ($\alpha, \beta, \gamma$) 를 사용하여 통합 토큰 ($T_t$) 으로 융합되어, 에이전트가 이안성 중복성을 활용하여 공간적 구별 능력을 향상시키고 시각적 교란에 대한 안정성을 확보할 수 있게 합니다.

C. 결합 예측 모델링

StereoNav 는 값비싼 외부 깊이 센서에 의존하지 않고 기하학적 인식을 향상시키기 위해 결합 행동 - 깊이 예측 전략을 사용합니다.

• 행동 헤드: 통합 토큰과 역사적 맥락을 기반으로 네 가지 항해 행동 (전진, 좌회전/우회전, 정지) 시퀀스를 자기회귀적으로 생성합니다.
• 깊이 헤드: coarse-to-fine 스테레오 매칭 전략을 사용하여 조밀한 깊이 지도를 추정합니다. 이는 필터링된 스테레오 비용 볼륨과 현재 뷰 토큰에서 디코딩된 비용 볼륨을 융합합니다.
• 시너지: 깊이 예측은 보조 기하학적 목적 함수로 작용하여, 행동 선택 중 에이전트의 공간적 추론과 견고성을 강화하는 암시적 3D 감독을 제공합니다.

3. 주요 기여

1. 한계 진단: 본 논문은 Sim-to-Real 전이를 방해하는 결정적 요인으로서 지각적 불안정성(조명, 모션 블러) 과 지시 불충분 명시를 체계적으로 식별하고 정량화하여, 지배적인 "확대 전용 (scaling-only)" 패러다임에 도전합니다.
2. StereoNav 프레임워크: 다음을 통합한 새로운 VLA 프레임워크의 도입:
   • 목표점 사전 지식: 방향 및 도킹 모호성을 해결하기 위해 지속적 시각 안내로 렌더링됨.
   • 스테레오 기반 통합 모델링: 견고한 지각을 위해 의미, 구조, 기하학적 단서를 결합한 다중 모달 아키텍처.
   • 결합 행동 - 깊이 예측: 공간적 추론 및 의사 결정 신뢰성을 향상시키는 메커니즘.
3. 실증적 검증: 이전 확대 기반 접근법보다 훨씬 적은 파라미터와 훈련 데이터로 최첨단 성능을 달성하면서도 실세계 로봇 배포에서 우수한 신뢰성을 보인 StereoNav 의 성과 입증.

4. 실험 결과

시뮬레이션 벤치마크 (R2R-CE 및 RxR-CE)

StereoNav 는 자기 중심 RGB 관측만 사용하는 경량 3B 파라미터 모델을 사용하여 R2R-CE 및 RxR-CE Val-Unseen 분할에서 평가되었습니다.

• R2R-CE: StereoNav 는 성공률 (SR) 81.1% 및 **SPL 68.3%**를 달성하여, 가장 강력한 기존 자기 중심 RGB 베이스라인보다 SR 에서 16.4%, SPL 에서 9.8% 더 높은 성능을 보였습니다.
• RxR-CE: 자기 중심 RGB 설정 내에서 **67.5%**의 SR 을 달성하여 비교 가능한 방법 중 가장 높은 수치를 기록했습니다.
• 효율성: 이러한 결과는 외부 파노라마 또는 깊이 데이터에 의존하지 않고, 베이스라인 (7B–9B) 보다 훨씬 적은 파라미터 (3B) 와 더 적은 훈련 데이터로 달성되었습니다.

실세계 배포

Unitree G1 로봇에 ZED Mini 스테레오 카메라를 장착하여 사무실, 체육관, 로비, 야외 등 네 가지 시나리오에서 실험이 수행되었습니다.

• 성능: StereoNav 는 **60.6%**의 평균화 성공률을 달성하여, 가장 강력한 감독 베이스라인 (StreamVLN, 24.3%) 및 제로샷 베이스라인을 현저히 능가했습니다.
• 견고성: 심각한 시각적 교란 (모션 블러 및 시점 진동) 하에서 StereoNav 는 단안 대안들에 비해 성능 저하가 현저히 낮았습니다. 예를 들어, 모션 블러 하에서 SR 감소폭은 StreamVLN 의 **38.1%**에 비해 StereoNav 는 **8.2%**에 불과했습니다.
• 신뢰성: StereoNav 는 목표 정지 정확도에서 우수한 성능을 보였으며, 성공한 에피소드의 **93.9%**가 엄격한 0.5m 목표 근방 내에 머무는 것을 확인했습니다.

제거 실험 (Ablation Studies)

• 목표 사전 지식: 렌더링된 목표 사전 지식의 추가는 단안 의미 베이스라인 대비 SR 을 17.9% 향상시켜 지속적 시각 안내의 유효성을 확인했습니다.
• 스테레오 및 기하학: 스테레오 기반 2D 모델링과 깊이 감독 기하학의 통합은 각각 SR 에서 **15.1%**와 **7.1%**의 추가 향상을 기여하여 이안성 단서와 결합 예측의 중요성을 강조했습니다.

5. 중요성 및 주장

본 논문은 VLN 의 주요 병목 현상이 단순히 모델 이해의 규모가 아니라 물리적 현실을 처리할 견고한 구조적 사전 지식의 부재라고 주장합니다. 순수 확대에서 견고한 공간적 근거와 교차 도메인 사전 지식으로 초점을 이동함으로써 StereoNav 는 다음을 입증합니다:

• 파라미터나 데이터의 대규모 확대 없이도 실세계 항해 신뢰성을 크게 향상시킬 수 있습니다.
• 시각적 렌더링을 통한 지시 모호성의 명시적 해결과 스테레오 기하학을 통한 지각적 불안정성 해결은 성공적인 Sim-to-Real 전이에 필수적입니다.
• 이 프레임워크는 모바일 조작 및 로코 - 조작 (loco-manipulation) 과 같은 고급 하위 작업을 위한 신뢰할 수 있는 원시 (primitive) 를 제공합니다.

저자들은 현재 한계로 StereoNav 가 명시적 또는 암시적 목표 지향 입력 (사전 지식) 의 가용성에 의존한다고 지적합니다. 향후 연구는 이러한 정보가 부재할 때 관측과 언어로부터 이러한 사전 지식을 직접 추론하는 방향으로 진행될 것입니다.