1. 문제 정의 (Problem)

시각 - 언어 내비게이션 (VLN) 시스템은 벤치마크 (R2R, RxR 등) 에서 높은 성능을 보이지만, 실제 로봇 배포 시에는 'Stop-and-Go(정지 - 이동 반복)' 현상이 빈번하게 발생합니다.

• 근본 원인: 대부분의 VLN 시스템이 블로킹 (Blocking) 방식의 3 단계 인터페이스 (감지 $\rightarrow$ 추론 $\rightarrow$ 실행) 를 따르기 때문입니다.
  • 로봇은 새로운 관측 데이터를 수집하고, 이를 서버로 전송한 후, 모델이 다음 행동 시퀀스를 추론할 때까지 기다려야 합니다.
  • 이 대기 시간 동안 로봇은 움직임을 멈추게 되며, 이는 행동 생성 비용 감소만으로는 해결되지 않는 구조적 병목 현상입니다.
• 실제 데이터: 실제 로봇 (Unitree G1) 에 NaVIDA 를 배포한 실험 결과, 한 에피소드당 평균 10.64 초의 대기 시간이 발생하여 전체 시간의 **30.5%**를 차지했고, 약 **94.9%**의 추론 라운드에서 정지 - 이동 현상이 관찰되었습니다.

2. 방법론 (Methodology)

저자들은 학습이 필요 없는 (Training-free) 런타임 프레임워크인 LiveVLN을 제안합니다. 이 프레임워크는 사전 훈련된 VLM 내비게이터와 호환되며, 실행 (Execution) 과 새로운 관측 데이터 처리 (Sense & Inference) 를 **중첩 (Overlap)**시켜 연속적인 운동을 가능하게 합니다.

핵심 메커니즘

1. 이중 스레드 아키텍처 (Dual-Thread Runtime):

   • Thread A (실행): 현재 할당된 '가드 버퍼 (Guard Buffer)'에 포함된 행동을 계속 실행합니다.
   • Thread B (배경 추론): 최신 관측 데이터를 기반으로 다음 행동 시퀀스를 비동기적으로 추론합니다.
   • Thread B 가 Thread A 의 가드 버퍼를 소진하기 전에 다음 시퀀스를 준비하면, 로봇은 멈추지 않고 계속 움직입니다.

2. 단기 행동 상태 (Short-horizon Action State):
   각 행동 시퀀스를 세 가지 역할로 분할하여 관리합니다.

   • 실행된 행동 (Executed Actions): 이미 수행된 행동.
   • 가드 버퍼 (Guard Buffer): 현재 실행 중인 행동. 다음 추론이 완료될 때까지 로봇이 멈추지 않도록 보장하는 '안전 장치'입니다.
   • 수정 가능한 꼬리 (Revisable Tail): 아직 실행되지 않았으며, 새로운 관측 데이터가 들어오면 업데이트될 수 있는 행동 부분입니다.

3. 가드 핸드오프 (Guarded Handoff) 및 실시간 적응 (Real-time Adaptation):

   • 가드 핸드오프: 현재 가드 버퍼가 소진되기 전에 새로운 행동 시퀀스가 준비되면, 실행된 행동을 기록하고 새로운 시퀀스의 앞부분을 새로운 가드 버퍼로 교체합니다.
   • 실시간 적응: 이전 라운드의 감지 - 추론 지연 시간 (Latency) 을 기반으로 다음 라운드의 가드 버퍼 크기 (실행 시간 기준) 를 동적으로 조정합니다.
     • $\psi_{t+1} = \tilde{\ell}_{t+1, SI} + \delta$ (지연 시간 예측 + 안전 마진)
     • 이 지연 시간을 커버할 수 있는 최소한의 행동 접두사 (Prefix) 만을 가드 버퍼로 공개하고, 나머지는 수정 가능한 꼬리로 남깁니다.

3. 주요 기여 (Key Contributions)

1. 블로킹 VLN 의 병목 현상 분석: 실제 로봇 배포 시 대기 시간이 전체 시간의 30% 이상을 차지하며, 이는 정책의 성능 문제가 아닌 런타임 구조 문제임을 실증했습니다.
2. LiveVLN 프레임워크 제안: 학습 없이 기존 VLM 내비게이터에 적용 가능한 런타임 솔루션을 제시했습니다. 이는 실행, 가드 버퍼, 수정 가능한 꼬리로 구성된 상태 관리와 실시간 적응 로직을 포함합니다.
3. 성능 입증: 시뮬레이션 (R2R, RxR) 과 실제 로봇 (StreamVLN, NaVIDA) 환경 모두에서 벤치마크 성능을 유지하면서 대기 시간을 획기적으로 줄였습니다.

4. 실험 결과 (Results)

시뮬레이션 (R2R, RxR)

• 성능 유지: LiveVLN 을 적용한 StreamVLN 과 NaVIDA 는 기존 벤치마크 지표 (SR, SPL, NE 등) 에서 원본 모델과 유사하거나 미세하게 개선된 성능을 보여주었습니다. 이는 성능 향상이 재학습이 아닌 런타임 최적화에서 비롯됨을 의미합니다.

실제 로봇 배포 (Real-Robot Deployment)

• 대기 시간 감소:
  • StreamVLN: 평균 대기 시간이 7.32 초에서 1.63 초로 감소 (77.7% 감소).
  • NaVIDA: 평균 대기 시간이 10.64 초에서 2.89 초로 감소 (72.8% 감소).
• 정지 횟수 (Pause Count) 감소:
  • StreamVLN: 6.75 회 $\rightarrow$ 0.80 회
  • NaVIDA: 9.25 회 $\rightarrow$ 1.20 회
• 총 소요 시간 단축:
  • Wall-clock 에피소드 시간이 StreamVLN 에서 12.6%, NaVIDA 에서 19.6% 단축되었습니다.
• 연속성: 로봇이 목표 지점까지 멈춤 없이 더 매끄럽게 이동하는 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

• 런타임의 중요성 강조: VLN 의 'Stop-and-Go' 문제는 단순히 정책 (Policy) 의 성능 부족이 아니라, 런타임 (Runtime) 구조의 문제임을 규명했습니다.
• 배포 지향적 평가 지표 제안: 단순한 성공률 (Success Rate) 뿐만 아니라 대기 시간, 정지 횟수, 연속성 등을 실제 배포 시의 핵심 평가 지표로 삼아야 함을 주장합니다.
• 범용성: 특정 모델 아키텍처나 재학습 없이, 행동 시퀀스를 생성하는 호환 가능한 VLM 내비게이터라면 누구나 적용 가능한 범용 솔루션을 제공합니다.

요약하자면, LiveVLN 은 로봇이 새로운 데이터를 처리하고 추론하는 동안에도 기존에 계획된 행동을 실행하여 로봇이 멈추지 않고 계속 움직이도록 하는 '중첩 실행' 전략을 통해, 실제 환경에서의 VLN 연속성을 획기적으로 개선한 기술입니다.