기술 요약: AgenticNav

문제 정의

연속적 환경에서의 제로샷 시각-언어 내비게이션(VLN-CE)은 에이전트가 사전 정의된 내비게이션 그래프나 작업 특정 학습에 의존하지 않고, 미지의 3D 장면에서 자연어 지시를 따를 수 있도록 하는 것을 목표로 합니다. 대규모 시각-언어 모델(VLM)은 제로샷 추론을 가능하게 만들었지만, 기존의 최첨단 방법론들(예: Open-Nav, SmartWay, EvoNav)은 VLM과 환경 사이의 인터페이스에서 세 가지 결정적인 병목 현상에 직면해 있습니다:

1. 제한된 행동 공간 (Restricted Action Space): 현재의 방법들은 학습된 웨이포인트 예측기에 의존하여 소수의 고정된 탐색 후보군만을 제안합니다. 이는 예측기가 출력하는 후보에 포함되지 않은 경우, VLM이 지시문과 관련된 위치를 선택하는 능력을 제한합니다.
2. 비효효율적인 깊이 활용 (Ineffective Depth Utilization): 깊이 데이터가 사용 가능함에도 불구하고, 이는 종종 가공되지 않은 입력값으로 제공되거나 웨이포인트 예측기 내부에 숨겨져 있습니다. 이로 인해 VLM은 특정 공간 추론 작업(예: 장애물과의 거리 비교)을 위한 정밀한 미터법 거리 정보에 접근할 수 없습니다.
3. 비효율적인 메모리 관리 (Inefficient Memory Management): 기존 방식은 긴 텍스트/시각 이력을 누적하여(관련 없는 컨텍스트를 도입하고 모델을 혼란스럽게 함) 혹은 에피소드 간 경험을 검색하여(이전 에피소드 데이터에 의존함으로써 엄격한 제로샷 가정을 위반함) 문제를 겪습니다.

방법론: AgenticNav

저자들은 AgenticNav를 제안합니다. 이는 제로샷 VLN-CE를 **에이전트 기반 도구 호출 프로세스(agentic tool-calling process)**로 재구성한 경량화된 내비게이션 하네스입니다. VLM이 미리 계산된 웨이포인트를 선택하거나 조밀한 깊이 지도를 파싱하도록 강요하는 대신, AgenticNav는 VLM이 필요에 따라 호출할 수 있는 세 가지 구체적이고 접지된(grounded) 도구를 노출합니다.

1. 액션 도구 (픽셀 수준 선택)

• 메커니즘: VLM은 예측된 웨이포인트 목록 중에서 선택하는 대신, RGB 관측값 내에서 직접 타겟 픽셀 $(u, v)$를 선택합니다.
• 실행: 하네스는 이 2D 픽셀 선택을 깊이 역투영(depth unprojection) 및 카메라 캘리브레이션을 사용하여 3D 실행 가능한 움직임 $(\theta, \rho)$으로 변환합니다.
• 안전성: 실행 전, 결정론적 안전 점검을 통해 경로에 장애물이 없는지(신체 높이 포인트 필터링 사용)와 깊이 값이 유효한지 확인합니다. 만약 타겟이 안전하지 않으면, 도구는 Reselect 신호를 반환하여 VَلM이 다시 선택하도록 유도합니다.
• 이점: 이를 통해 학습된 웨이포인트 예측에 대한 의존성을 제거하여, VLM이 눈에 보이고 접근 가능한 모든 위치로 이동할 수 있게 합니다.

2. 깊이 도구 (온디맨드 미터법 쿼리)

• 메커니즘: 전체 깊이 지도를 제공하는 대신, VLM은 특정 픽셀 배치에 대해 query_depth(P)를 호출할 수 있습니다.
• 출력: 도구는 미터법 깊이 값, 로컬 깊이 통계(5x5 이웃에서의 최소, 평균, 중앙값), 그리고 액션 프리뷰(예상 요 및 전진 거리)를 반환합니다.
• 이점: 이를 통해 VLM은 전체 깊이 이미지를 파싱하는 인지적 부하 없이도 타겟팅된 공간 비교(예: "문이 장애물보다 더 가까운가?")를 수행할 수 있으며, 필요한 경우에만 정밀한 로컬 증거를 제공받을 수 있습니다.

3. 에이전트 메모리 및 회상 도구

• 메커니즘: 시스템은 궤적을 요약하는 컴팩트한 **맵 이미지(Map Image)**와 과거 관측값의 제한된 캐시를 유지합니다.
• 회상(Recall): VLM이 과거의 결정 지점으로부터 시각적 세부 사항이 필요하다고 판단하면, recall(p, k)을 호출하여 특정 캐시된 RGB 이미지를 검색합니다.
• 이점: 이는 컨텍스트 윈도우가 작업 관련 정보로만 성장하도록 보장하여, 불필요한 역사적 프레임의 누적을 방지하면서도 엄격한 에피소드별 제로샷 설정을 유지합니다(교차 에피소드 데이터 검색 없음).

주요 기여

1. 에이전트 도구 호출 프레임워크: 본 논문은 VLM-환경 인터페이스를 도구 호출 프로세스로 재고하여, 학습된 웨이포인트 예측기의 필요성을 제거한 AgenticNav를 소개합니다.
2. 에이전트 깊이 인터페이스: VLM이 정밀한 위치에서 미터법 깊이를 요청할 수 있는 새로운 메커니즘을 도입하였으며, 이것이 원시 깊이 입력이나 웨이포인트 기반 프록시보다 공간 추론에 더 효과적임을 입증했습니다.
3. 선택적 메모리 메커니즘: 컴팩트한 궤적 맵과 선택적 회상 도구를 결합한 하이브리드 메모리 시스템을 통해, 컨텍스트 비대화 없이 장기 의사결정 능력을 크게 향상시켰습니다.
4. 최첨단 성능(SOTA): AgenticNav는 R2R-CE 벤치마크에서 새로운 SOTA 결과를 달ium하며, 하네스 설계가 VLM 백본만큼 중요하다는 것을 보여줍니다.

실험 결과

시뮬레이션 (R2R-CE Val Unseen)

정책 학습 없이 표준 100-에피소드 프로토콜에서 평가되었습니다:

• 성능: GPT-5.5를 백본으로 사용할 때, AgenticNav는 **55% 성공률(SR)**과 **48.41% 경로 길이 가중 성공률(SPL)**을 달성했습니다.
• 비교: 이는 동일한 백본을 사용한 SmartWay의 재현 결과(SR 44%, SPL 35.04%)보다 SR에서 11 퍼센트 포인트, SPL에서 13.37 퍼센트 포인트 앞선 수치입니다.
• 일반화: Gemini-2.5-Pro를 사용했을 때도 AgenticNav는 동일 벤치마크 하에서 Open-Nav와 EvoNav을 능가하여, 이 접근 방식이 특정 VLM에 국한되지 않음을 확인했습니다.
• 절제 연구(Ablations):
  • 액션 도구를 제거(웨이포인트 예측기로 회귀)했을 때 SR이 5포인트 하락했습니다.
  • 깊이 도구를 제거했을 때 SR이 42%로 떨어졌으며, 단순히 깊이 이미지를 입력으로 추가하는 것만으로는 손실의 일부만 회복되었는데, 이는 구조화된 쿼리의 가치를 강조합니다.
  • 선택적 회상 메커니즘을 제거했을 때 SR이 41%로 떨어졌으며, 이는 정적 맵 단독보다 타겟팅된 메모리 검색의 가치를 입증합니다.

실세계 검증

실험실, 사무실, 마당 환경에서 RGB-D 카메라가 장착된 4륜 로봇에 배포되었습니다:

• AgenticNav (4-view)는 46.7% SR과 **2.67m 내비게이션 오차(NE)**를 기록하며, SmartWay (23.3% SR, 3.57m NE)를 크게 압도했습니다.
• 질적 분석 결과, AgenticNav는 SmartWay의 웨이포인트 예측기가 올바른 방향을 제안하지 못한 경우를 성공적으로 처리했으며, 회상 도구를 사용하여 장기 제약 조건을 유지하고 깊이 도구를 사용하여 회전을 조절하는 능력을 보여주었습니다.

의의 및 주장

본 논문은 파운데이션 모델 기반 내비게이션에서 액션, 인지, 메모리 하네스의 설계가 VLM 자체의 선택만큼 중요하다고 주장합니다.

• 패러다임의 전환: 제로샷 VLN-CE의 제한 요소는 더 이상 모델의 추론 능력만이 아니라, 모델이 환경에 어떻게 접지(grounding)되느냐에 있습니다.
• 제로샷 무결성: 학습된 예측기와 교차 에피소드 메모리를 피함으로써, AgenticNav는 엄격한 에피소드별 제로샷 설정을 유지하며, 이는 데이터가 없는 새로운 장면에서의 배포에 더 강력하게 만듭니다.
• 효율성: 도구 호출 인터페이스를 통해 VLM은 무엇을 조사할지(깊이, 메모리)와 어디로 움직일지를 스스로 결정할 수 있으며, 안전 점검은 결정론적으로 유지하면서 모델의 추론 자유도를 극대화합니다.

저자들은 VLM의 의사결정 품질이 여전히 주요 실패 원인(시뮬레이션 실패의 약 89% 차지)이지만, AgenticNav 하네스가 직접적이고 접지된 연속적 인터페이스를 제공함으로써 파운데이션 모델의 잠재력을 성공적으로 끌어올렸다고 결론짓습니다.