기술 요약: LocalNav

문제 정의

시각-언어 모델(VLM)은 에이전트가 일반적인 범주가 아닌 구체적이고 의미론적으로 복잡한 목표(예: "전자레인지 아래에 있는 서랍")를 찾을 수 있게 함으로써 개방형 어휘 객체 탐색(Object Goal Navigation, ObjectNav)을 가능하게 하여 체화된 내비게이션(embodied navigation) 분야에 혁신을 일으켰습니다. 그러나 핵심적인 병목 현상이 존재합니다: 최첨단(SotA) VLM은 자원이 제한된 로봇 하드웨어(예: Jetson Orin과 같은 임베디드 GPU)에서 로컬로 실행하기에는 계산 비용이 너무 높습니다. 결과적으로, 이러한 시스템은 대개 클라우드 실행에 국한되어 네트워크 지연 시간과 의존성 문제를 야기하며, 이는 저지연 실시간 로봇 제어를 방해합니다.

기존의 접근 방식은 다음과 같은 이분법적 한계를 가집니다:

1. 저수준 동작 예측 (VLAs): 이 모델들은 직접적인 이산 동작을 예측하지만, 지속적인 추론(5–10 Hz)이 필요하여 엣지 디바이스에서 감당하기 어려운 심각한 계산 부담을 지웁니다.
2. 고수준 의사결정: 이 시스템들은 추상적 추론(예: Scene Graph 활용)을 위해 VLM을 드물게 사용하는 대신, 저수준 제어를 전용 정책에 위임합니다. 비록 이를 통해 지연 시간 제약은 완화할 수 있으나, SotA 구현체들은 거대하고 클라우드에 종속된 프런티어 모델에 의존하므로 완전한 로컬 배포를 달려하지 못합니다.

과제는 거대 프런티어 모델의 추론 능력을 희생하지 않으면서도, 로컬의 엣지 배포 가능 하드웨어에서 SotA 수준의 개방형 어휘 ObjectNav 성능을 달로하는 것입니다.

방법론

저자들은 모듈형 Scene Graph(SG) 기반 아키텍처와 2단계 증류(distillation) 및 최적화 파이프라인을 통합한 배포 우선 프레임워크인 LocalNav를 제안합니다.

1. 시스템 아키텍처

시스템은 고수준 추론과 저수준 제어를 분리합니다:

• 장면 표현 (Scene Representation): RGB-D 데이터와 오도메트리로부터 구축되어 온라인으로 업데이트되는 명시적인 Scene Graph (SG)입니다. 이는 방, 객체, 탐사 프런티어를 인코딩합니다.
• 프롬프팅 전략: VLM은 다음으로 구성된 멀티모달 프롬프트를 받습니다:
  • 텍스트: 에이전트의 현재 위치, 탐사된/미탐사된 방의 목록, 관찰된 객체 ID 목록.
  • 이미지: 시각적 영역에 심볼릭 ID를 접지(grounding)하기 위해 "set-of-marks" 프롬프팅에서 영감을 얻은, 관찰된 SG 객체의 ID가 투영된 현재 RGB 프레임.
• 동작 공간 (Action Space): VLM은 네 가지 고수준 동작 중 하나를 선택합니다: navigate(object_id), explore(room_id), find_new_rooms(), 또는 done(). 전용 저수준 PointGoal 정책이 물리적 이동을 실행합니다.

2. 훈련 파이프라인

로컬 실행을 가능하게 하기 위해, 저자들은 경량화된 Qwen3.5-4B 모델에 대해 2단계 훈련 전략을 채택합니다:

• 단계 I: 증류를 통한 지도 미세 조정 (SFT via Distillation):

  • 교사 모델 (Teacher Models): 시뮬레이션에서 ObjectNav를 수행하는 프런티어 클라우드 모델(Gemini 3.1 Pro, GPT-5.4, Claude Sonnet 4.6)로부터 추론 궤적(reasoning traces)을 기록합니다.
  • 데이터 효율성: 4B 파라미터 학생 모델을 미세 조정하기 위해 성공적인 궤적(교사당 약 500개 샘 샘플)만을 사용합니다. 이는 수백만 개의 샘플이나 복잡한 특징 공간 정렬(feature-space alignment)의 필요성을 피합니다.
  • 목표: 거대 클라우드 모델의 복잡한 공간-의미론적 추론 능력을 4B 파라미터 로컬 모델로 전이하는 것입니다.

• 단계 II: 검증 가능한 보상을 통한 체화된 강화 학습 (E-RLVR):

  • 목표: 장황한 자기회귀 토큰 생성(TG)으로 인한 추론 지연 병목 현상을 해결합니다.
  • 메커니즘: 저자들은 Low Rank Adaptation (LoRA)을 사용한 Group Relative Policy Optimization (GRPO)을 사용하여 폐쇄 루프 시뮬레이션에서 모델을 훈련합니다.
  • 보상 함수 ($R_{tot}$): 다중 목적 보상은 다음을 결합합니다:
    • $R_{done}$: 목표 도달 성공/실패.
    • $R_{nav}$: 목표를 향한 진행도.
    • $R_{exp}$: SG 내의 새로운 노드 또는 목표 발견.
    • $R_{brev}$: 토큰 간결성 (Token Brevity). 긴 출력 시퀀스를 징벌하는 선형 보상을 통해, 내비게이션 정확도를 유지하면서 추론을 압축하도록 유도합니다.
  • 결과: 모델은 효율적으로 "생각하는" 법을 배우며, 출력 토큰 길이를 줄이면서도 작업 성능을 유지합니다.

3. 배포 최적화

최종 시스템은 llama.cpp를 사용하여 Jetson Orin AGX에 배포됩니다. 저자들은 대부분의 런타임을 차지하는 자기회귀 디코딩 단계를 더욱 가속화하기 위해 양자화(특히 IQ4-XS 포맷)를 적용합니다.

주요 기여

1. 로컬 VLM 최적화: 4B 파라 参数 VLM이 ObjectNav를 위해 최적화될 수 있음을 입증하였으며, HM3D OVON 벤치마크에서 34.5%의 성공률(SR)을 달성하여 클라우드 기반 모델(39.7% SR)과의 격차를 좁혔습니다.
2. 증류 분석: 최소한의 데이터셋(~500개 궤적)을 사용하여 프런티어 모델로부터 추론을 증류하는 것이 복잡한 내비게이션 능력을 전이하는 데 충분함을 보여주었으며, 이를 통해 방대한 SFT 데이터셋의 필요성을 피했습니다.
3. E-RLVR 훈련 전략: 토큰 생성 길이를 명시적으로 규제하는 강화 학습 접근 방식을 도입했습니다. 이는 내비게이션 성능을 크게 저하시키지 않으면서 출력 시퀀스 길이를 72.1% 감소시키고 추론 지연 시간을 71.8% 단축했습니다.
4. 성능 중심 시스템 아키텍처: VLM의 드롭인 교체가 가능한 모듈형 SG 기반 내비게이션 시스템을 구축하여, 클라우드 모델 사용 시 39.7% SR의 SotA 성능을 달성하고 실행 가능한 로컬 배포를 실현했습니다.

결과

• 벤치마크 성능:
  • 클라우드 베이스라인 (Claude Sonnet 4.6): 39.7% SR, 19.7% SPL.
  • 로컬 학생 모델 (Qwen3.5-4B + SFT + E-RLVR): 34.5% SR, 17.2% SPL.
  • 로컬 모델은 클라우드 프런티어 모델과 비교했을 때 SR에서 단 5.2 퍼센트 포인트의 차이만을 보였습니다.
• 효율성 이득:
  • 토큰 감소: E-RLVR은 쿼리당 평균 출력 토큰을 약 535개에서 약 149개로 줄였습니다 (72.1% 감소).
  • 지연 시간: 양자화와 결 함께, 시스템은 에피소드당 전체 추론 지연 시간을 (Jetson Orin 기준 305.2초에서 52.5초로) 82.8% 감소시켰습니다.
  • 쿼리 빈도: 에피소드당 VLM 쿼리 수가 (제로샷 대비) 약 30회에서 약 8회로 감소했습니다.
• 실세계 검증: 시스템은 실제 아파트에서 핸드헬드 로봇 장치에 성공적으로 배포되었으며, SG를 메모리와 내비게이션에 활용하여 네 가지 연속적인 ObjectNav 작업(소파, 피아노, 욕조, 테이블에 앉은 사람 찾기)을 완료했습니다.

의의

본 논문은 LocalNav가 물리적 로봇 하드웨어에서 저지연, 고성능 체화된 지능을 위한 실행 가능한 패러다임을 제시한다고 주장합니다. 모듈형 고수준 의사결정과 효율적인 증류 및 토큰 규제를 결합함으로써, 저자들은 자원이 제한된 엣지 디바이스가 클라우드 연결에 의존하지 않고도 복잡한 개방형 어휘 내비게이션 작업을 수행할 수 있음을 입증했습니다. 이 연구는 프런티어 모델의 추론 능력과 실제 로봇 배포의 제약 사이의 간극을 메우며, 진정한 자율적 개방형 어휘 에이전트를 향한 경로를 제시합니다.