💻 computer science

VerNav: Verifier-First Low-Latency Vision-and-Language Navigation

VerNav는 매 단계의 자기회귀적 생성을 배치 기반 액션 검증 및 엔트로피 기반 적응형 생성기로 대체함으로써 의사결정 단계의 지연 시간을 크게 줄이는 동시에, R2R 벤치마크에서 경쟁력 있는 내비게이션 성능을 유지하기 위해 2단계 정렬 체계를 채택한 검증자 우선 방식(verifier-first framework)의 시각-언어 내비게이션 프레임워크이다.

원저자: Zhixin Wang, Chengzheyi Yao, Leyuan Liu, Xiaosong Zhang, Yongzhao Zhang

게시일 2026-09-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhixin Wang, Chengzheyi Yao, Leyuan Liu, Xiaosong Zhang, Yongzhao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 로봇이 한 번도 본 적 없는 집 안에서 길을 찾으려고 노력하는 모습을 상상해 보십시오. 이 로봇은 "주방으로 가서, 파란 의자에서 왼쪽으로 꺾은 다음, 멈춰라"와 같은 말로 된 문장의 안내를 받습니다. 이것이 바로 시각-언어 내비게이션(vision-and-language navigation)의 과제입니다. 로봇은 주변 환경을 관찰하고, 인간의 말을 이해하며, 정확히 다음에 어디로 움직여야 할지 결정해야 합니다. 오랫동안 연구자들은 로봇에게 매 단계마다 스스로에게 말을 거는 강력한 두뇌를 부여함으로써 이 문제를 해결하려고 노력해 왔습니다. 움직임을 취하기 전, 로봇은 자신의 추론을 설명하고, 주변 환경을 확인하며, 다음 회전을 계획하는 긴 사고의 흐름을 생성하곤 했습니다. 이러한 명시적인 사고 방식은 로봇이 복잡한 지침을 이해하는 데 도움을 주지만, 믿기 힘들 정도로 느립니다. 모든 걸음 단계를 말로 설명하며 걷는 사람이 그냥 걷는 사람보다 훨씬 느리게 움직이는 것처럼, 매 단계마다 긴 문단의 추론을 생성하는 로봇은 결정을 내리는 데 너무 많은 시간이 걸립니다. 속도가 중요한 실제 환경에서 이러한 지연은 기술을 비실용적으로 만듭니다.

중국 전자과기대학교의 한 연구팀은 이 문제에 대해 다른 방식의 사고를 제안했습니다. 그들은 로봇에게 매번 움직이기 전에 긴 이야기를 쓰도록 강요하는 대신, 가능한 이동 경로 목록을 빠르게 확인하고 그중 최선의 것을 선택하도록 제안합니다. 그들은 이 새로운 시스템을 VerNav라고 부릅니다. 핵심 아이디어는 느리고 단계적인 사고 생성 과정을 빠른 검증 과정으로 대체하는 것입니다. 로봇의 두뇌가 처음부터 새로운 경로를 발명하도록 요청하는 대신, 시스템은 "앞으로 이동", "왼쪽으로 회전" 또는 "정지"와 같이 사용 가능한 방향들의 집합을 제시하고, 두뇌에게 각 방향에 대해 단순히 "예" 또는 "아니오"라고 답하게 합니다. 이를 통해 로봇은 모든 옵션을 하나씩 하나씩 검토하는 대신 한꺼번에 평가할 수 있습니다. 이렇게 함으로써, 이 시스템은 기존 방식에 비해 결정에 걸리는 시간을 10배 이상 단축하면서도 로봇이 올바른 경로를 유지하도록 합니다.

하지만 단순히 옵션을 빠르게 확인하는 것만으로는 충분하지 않습니다. 연구진은 만약 이 빠른 확인 방식만을 사용한다면, 로봇이 혼란에 빠져 특히 까다로운 상황에서 실수를 저지를 것이라는 점을 발견했습니다. 빠른 확인 방식은 나쁜 아이디어를 배제하는 데는 뛰어나지만, 옵션들이 매우 유사해 보일 때 단 하나의 최선의 아이디어를 선택하는 데는 어려움을 겪기도 합니다. 이를 해결하기 위해 연구팀은 똑똑한 안전망을 추가했습니다. 그들은 로봇의 확신도를 관찰하는 시스템을 구축했습니다. 만약 로 {봇이 갈 방향에 대해 확신이 있다면, 빠른 확인 방식을 고수합니다. 하지만 가능한 선택지들 사이의 혼란도가 높아 로봇이 불확не 확신을 갖게 되면, 시스템은 잠시 멈추고 더 강력하고 느린 사고 엔진에 상황에 대한 짧고 집중적인 요약을 요청합니다. 이 요약은 빠른 확인 방식이 올바른 판단을 내릴 수 있도록 돕는 빠른 힌트 역할을 합니다. 이런 방식으로, 로봇은 꼭 필요할 때만 느리고 비용이 많이 드는 사고 능력을 사용하게 되어, 전체 과정을 빠르고 효율적으로 유지합니다.

이 빠른 확인 시스템이 내비게이션을 위해 실제로 잘 작동하는지 확인하기 위해, 연구진은 로봇에게 움직임을 올바르게 판단하는 법을 가르쳐야 했습니다. 그들은 2단계 훈련 과정을 개발했습니다. 먼저, 시스템이 어떤 즉각적인 움직임이 다른 것보다 더 나은지를 인식하도록 가르쳐, 목표에 더 가까워지는 행동을 선호하도록 학습시켰습니다. 그다음, 시스템이 전체 경로를 탐색하도록 연습하게 하여, 최종 목적지뿐만 아니라 진전을 만들어낸 모든 작은 단계에 대해서도 보상을 주었습니다. 이러한 훈련은 빠른 확인 방식이 단순히 무작위적인 움직임을 선택하는 것이 아니라, 긴 거리에서도 지침을 정확하게 따르도록 보장했습니다. 표준적인 내비게이션 작업 세트에 테스트했을 때, 이 새로운 시스템은 무겁고 느린 사고를 사용하는 기존의 가장 뛰어난 로봇들과 대등한 성능을 보여주었지만, 결정 시간은 훨씬 단축되었습니다. 결과는 옵션을 빠르게 확인하고 꼭 필요할 때만 깊은 사고를 호출함으로써, 로봇이 길을 잃지 않으면서도 훨씬 빠르게 복잡한 환경을 탐색할 수 있음을 보여줍니다.

기술 요약: VerNav

문제 정의
시각-언어 항해(Vision-and-Language Navigation, VLN)는 에이전트가 자연어 지침을 따라 보지 못한 3D 환경을 횡단하도록 요구합니다. 최근의 대규모 언어 모델(LLM) 기반 접근 방식은 지시문 이해와 의미론적 접지(semantic grounding)를 개선하기 위해 명시적 추론(예: Chain-of-Thought)을 활용하지만, 결정 단계에서 상당한 지연 시간(latency) 문제를 겪습니다. 이러한 지연은 매 항해 단계마다 발생하는 자기회귀적 생성(autoregressive generation)으로 인해 발생하며, 이 과정에서 많은 시간이 중복되게 소모됩니다(예: 반복적인 입력 재진술 또는 일반적인 포맷팅). 핵심 과제는 비용이 많이 드는 생성적 추론을 불확실한 결정이 필요한 경우에만 호출함으로써 저지연 결정 경로를 어떻게 유지할 것인가 하는 점입니다.

방법론
저자들은 항해 성능을 유지하면서 지연 시간을 최소 최소화하도록 설계된 검증기 우선(verifier-first) 프레임워크인 VerNav를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 이루어져 있습니다:

검증기 우선 액션 인터페이스 (Verifier-First Action Interface):
추론과 액션을 자기회귀적으로 생성하는 대신, VerNav는 액션 스코어링 검증기를 채택합니다. 각 타임스텝에서 시스템은 실행 가능한 각 후보 액션에 대해 하나의 쿼리로 구성된 배치 세트를 구축합니다. 검증기는 지시문, 항해 이력, 그리고 (텍스트로 변환된) 시각적 관찰 결과에 조건화되어, 해당 액션이 작업 완수에 도움이 되는지를 나타내는 이진 "Yes" 또는 "No" 점수(logit)를 출력합니다. 가장 높은 "Yes" 로짓을 가진 액션이 선택됩니다. 이 배치 검증 방식은 단계별 생성을 대체하여 추론 시간을 획기적으로 단축합니다.
엔트로피 기반 협업 프레임워크 (Entropy-Based Collaboration Framework):
순수 검증과 전체 생성 사이의 성능 격차를 해결하기 위해, VerNav는 검증기가 불확실할 때만 압축된 상태 증거(시각-의미적 단서 및 경로 진행 상황 요약)를 생성하는 적응형 생성기를 도입합니다.
- 트리거 메커니즘: 시스템은 검증기의 후보 액션 점수에 대한 정규화된 엔트로피를 계산합니다. 높은 엔트로피는 검증기가 후보들 사이에서 명확한 선호도를 갖지 못함을 나타냅니다(이는 복잡한 상태나 에이전트가 경로를 벗어났을 때 자주 발생합니다).
- 적응형 흐름: 엔트로피가 임계값을 초과하면, 적응형 생성기가 호출되어 상태 증거( $z_t$ )를 생성합니다. 이 증거는 재점수화를 위한 검증 쿼리에 다시 입력됩니다. 엔트로피가 낮으면 시스템은 원래의 검증기 전용 경로로 진행하여 불필요한 생성을 피합니다.
2단계 검증기 정렬 (Two-Stage Verifier Alignment):
검증기의 점수가 항해 선호도와 일치하도록 하기 위해, 저자들은 2단계 훈련 체계를 제안합니다.
- 정적 정렬 (Verifier Preference Optimization - VPO): DPO(Direct Preference Optimization)에서 영감을 받은 이 단계는 동일한 결정 맥락 내에서 선택된 액션과 거절된 액션 쌍을 사용하여 검증기를 훈련합니다. 이는 검증기가 주석 처리된 경로를 따르거나 이탈에서 회복하는 액션에 더 높은 점수를 부여하도록 유도합니다.
- 동적 정교화 (Step-Level Reinforcement Fine-Tuning - RFT): 항해는 장기적인 작업이므로 정적 정렬만으로는 불충분합니다. 이 단계는 조밀한 단계별 보상을 사용하여 정책 유도 롤아웃(policy-induced rollouts)에 대해 검증기를 최적화합니다. 보상은 국소적 진행(예: 목표물까지의 거리 단축, 새로운 랜드마크 발견)을 기반으로 하며, 중복 루프(관점 재방문)를 페널티로 부여하며, 에피소드 수준의 성공 이점을 결합합니다.

주요 기여

검증기 우선 저지연 인터페이스: 실행 가능한 후보들에 대한 배치 검증으로 VLN 액션 선택을 공식화하여, 자기회귀적 생성보다 수십 배 빠른 결정 경로를 제공합니다.
엔트로피 기반 협업: 검증기와 적응형 생성기를 조정하는 메커니즘을 통해, 엔트로피가 높은(불확실한) 결정에 대해서만 압축된 상태 증거를 제공하도록 생성기를 호출합니다.
정적 및 동적 검증기 정렬: 국소적 액션 선호도 정렬을 위한 VPO와 동적 궤적 수준 최적화를 위한 단계별 강화 학습을 결리한 훈련 파이프라인을 제공합니다.
효율성-성능 평가: 본 프레임워크가 경쟁력 있는 항해 성능을 달면서도 지연 시간을 크게 줄인다는 것을 실증적으로 입증했습니다.

실험 결과
실험은 Qwen2.5-3B 백본을 사용하여 Room-to-Room (R2R) 벤치마크(val-seen 및 val-unseen 분할)에서 수행되었습니다.

지연 시간 감소: VerNav의 검증기 전용 결정 경로는 평균 결정 단계 지연 시간을 0.08초로 달성했습니다. 이는 대표적인 자기회귀 LLM 기반 VLN 방법들(예: NavCoT 0.98초, NavGPT 3.52초, DiscussNav 21.13초)에 비해 10배 이상의 감소를 나타냅니다.
항해 성능:
- R2R val-unseen에서 VPO와 RFT로 훈련된 VerNav 모델은 성공률(SR) **39.63%**와 경로 길이 대비 성공 가중치(SPL) **34.13%**를 달이트. 이 성능은 최첨단 LLM 기반 에이전트(예: NavCoT: 40.23% SR; NavGPT: 34% SR)와 경쟁할 만한 수준입니다.
- R2R val-seen에서 모델은 **43.10%**의 SR을 달성합니다.
구성 요소 분석:
- 훈련 영향: 순수 검증기(0.38% SR)에서 VPO(37.25% SR)로, 그리고 RFT 추가(39.63% SR)로 이어지는 과정은 2단계 정렬의 필요성을 입증합니다.
- 적응형 생성: 분석 결과, 엔트로피 트리거가 어려운 궤적(실패한 경로는 더 높은 엔트로피와 더 많은 호출을 보임)에 생성기 호출을 성공적으로 집중시킴을 보여줍니다. 불확실한 단계에 상태 증거를 추가하면 검증기 전용 경로에 비해 SR이 6.0~8.0 퍼센트 포인트 향상됩니다.

의의
본 논문은 VerNav가 저지연 LLM 기반 항해를 위한 실질적인 경로를 제공한다고 주장합니다. 결정 인터페이스를 전체 자기회귀 생성으로부터 분리함으로써, 고성능 항해가 반드시 단계별로 비싼 추론을 필요로 하지 않는다는 것을 입증합니다. 대신, 선택적이고 엔트로피에 의해 트리거되는 증거 생성 및 특화된 정렬 훈련으로 보강된 검증기 우선 접근 방식은, 계산 오버헤드를 획기적으로 줄이면서도 경쟁력 있는 결과를 얻을 수 있음을 보여줍니다. 이는 명시적인 단계별 추론 생성이 효과적인 VLN을 위해 필수적이라는 기존의 가설에 도전하며, 검증 기반 선택이 효율적인 대안이 될 수 있음을 시사합니다.

기술 요약: VerNav

유사한 논문