💻 computer science

Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation

본 논문은 느린 시각-언어 모델에서 빠른 플로우 매칭 플래너로 중간 은닉 상태를 실시간으로 스트리밍하는 이중 시스템 프레임워크인 SPARK-VLN을 제안하며, 이를 통해 역동적인 인간 중심 내비게이션 환경에서 심사숙고형 추론과 반응형 안전성 사이의 결정적인 긴장 관계를 해결한다.

원저자: Tianshuai Hu, Yangyi Zhong, Zeying Gong, Lingdong Kong, Xiaodong Mei, Guoyang Zhao, Xiaolu Liu, Song Wang, Rong Li, Junwei Liang

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianshuai Hu, Yangyi Zhong, Zeying Gong, Lingdong Kong, Xiaodong Mei, Guoyang Zhao, Xiaolu Liu, Song Wang, Rong Li, Junwei Liang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 로봇이 복잡하고 북적이는 도시의 거리에서 친구가 길을 안내하는 소리를 들으며 항해하려고 한다고 상상해 보십시오. 친구는 복잡한 경로를 설명하기 위해 단어 하나하나를 신중하게 고르며 천천히 말합니다. "직진하다가, 빨간 건물에서 왼쪽으로 도세요. 하지만 개를 조심해야 해요." 그와 동시에 도시는 살아 움직입니다. 사람들은 걷고 있고, 자동차는 움직이며, 개는 달리고 있습니다. 만약 로봇이 친구가 문장 전체를 끝낼 때까지 기다렸다가 움직이기 시작한다면, 주변 세상은 이미 변해 있을 것입니다. "빨간 건물"은 이미 로봇의 뒤편에 있을 수도 있고, 개는 이미 로봇을 걸려뜨렸을지도 모릅니다. 이것이 바로 **시각-언어 항해(Vision-Language Navigation, VLN)**의 핵심 과제입니다. 즉, 로봇에게 인간의 언어를 이해하는 법과 동시에 역동적인 세상 속에서 안전하게 움직이는 법을 가르치는 것입니다.

문제는 로봇의 '두뇌' 부분(언어 모델)은 느리고 사려 깊은 사고가인 반면, '근육' 부분(움직임을 제어하는 플래너)은 빠르고 즉각적으로 반응해야 한다는 점입니다. 과거에는 로봇이 생각을 마칠 때까지 완전히 멈춰 서곤 했는데, 이는 로봇의 계획이 실행될 즈음에는 이미 구식이 되어버리는 위험한 공백을 초래했습니다. 이 논문은 다음과 같은 질문을 던지며 그 간극을 해결하고자 합니다. "우리가 로봇의 근육이 느린 두뇌의 '초기 속삭임'을 바탕으로 움직이기 시작하여, 문장이 완성될 때까지 기다리는 대신 문장이 만들어지는 과정에서 계획을 업데이트하게 할 수 있을까?"

문제점: "얼어붙은 세상"의 함정

오랫동안 과학자들은 이 항해 로봇들을 기묘할 정도로 완벽한 세상에서 테스트해 왔습니다. 로봇의 두뇌가 생각할 때마다 게임의 '일시 정지' 버튼을 누르는 비디오 게임을 상상해 보십시오. 로봇이 다음 움직임을 고민하는 동안, 게임 속 사람들과 장애물들은 그 자리에 얼어붙어 있습니다. 이는 로봇이 아주 잘하고 있는 것처럼 보이게 만들었습니다. 하지만 현실 세계에서 아무도 멈춰 서지 않습니다. 로봇이 생각하는 데 2초가 걸린다면, 로봇을 향해 걷던 사람은 이미 2미터를 이동했을 것입니다. 로봇이 마침내 왼쪽으로 돌기로 결정했을 때, 그 사람은 이미 로고의 경로를 가로막고 있을 것입니다.

이 논문은 이를 **"관측 노후화(observation staleness)"**라고 부릅니다. 이는 마치 교통량이 시속 60마일로 움직이고 있는데, 5분 전에 그려진 지도를 보고 운전하는 것과 같습니다. 계획을 세울 당시에는 완벽했을지 몰라도, 실행하려는 시점에는 위험한 상태가 됩니다.

기존 방식 vs 새로운 방식

대부분의 현재 로봇은 "추론 후 행동(Reason-Then-Act)" 방식을 사용합니다. 그들은 멈춰서 생각하고, 전체 문장을 다 듣고 나서야 비로소 움직입니다. 이는 완벽하게 다음 열 수를 계산하기 전까지는 체스 말을 움직이기를 거부하는 체스 선수와 같습니다. 정적인 방 안에서는 괜찮지만, 붐비는 복도에서는 재앙입니다.

일부 연구자들은 빠른 로봇이 배경에서 느린 두뇌가 생각하는 동안 돌아다니는 "이중 시스템(Dual-System)" 접근 방식을 시도했습니다. 하지만 이 방식에도 결함이 있었습니다. 빠른 로봇은 느린 두뇌가 전체 문장을 다 말하고 "자, 이제 왼쪽으로 가!"라고 외칠 때까지 눈을 감고 달리는 것과 같았습니다. 그때쯤이면 상황은 이미 다시 변해 있습니다. 가이드가 "노후화"된 것입니다.

영감: 라이브 피드처럼 스트리밍되는 생각들

SPARK-VLN이라는 시스템을 만든 저자들은 영리한 사실을 깨달았습니다. 느린 두뇌는 단순히 최종 답변만을 내뱉는 것이 아닙니다. 단어 단위(또는 "토큰 단위")로 문장을 생성하면서, 이미 자신의 의도를 드러내고 있습니다.

이것은 문자 메시지 대화를 생각하면 쉽습니다. 친구가 문단 전체를 다 보낼 때까지 기다리지 않아도, 첫 몇 마디만으로도 친구가 화가 났다는 것을 알 수 있습니다. SPARK-VLN은 로봇의 두뇌를 완성된 신문이 아니라, 실시간 뉴스 피드처럼 취급합니다.

그들이 구축한 방식은 다음과 같습니다:

토큰 단위 은닉 스트리머(The Token-Wise Hidden Streamer): 로봇이 문장을 끝낼 때까지 기다리는 대신, 이 모듈은 단어가 생성되는 대로 그 "생각"(은닉 상태)을 잡아냅니다. 이는 번역가가 연사가 입을 떼는 순간부터 그 의미를 운전자에게 속삭여 주는 것과 같습니다. 연사가 말을 마칠 때까지 기다리는 것이 아닙니다.
시퀀스-투-슬롯 잠재 브릿지(The Sequence-to-Slot Latent Bridge): 생각의 흐름은 무질서하고 계속 길어집니다. 로봇의 빠른 플래너는 끝없이 이어지는 흐름을 처리할 수 없습니다. 이 모듈은 스마트한 필터 역할을 하여, 점점 커지는 생각의 흐름을 고정되고 관리 가능한 일련의 "슬롯"(몇 개의 핵심 표시등이 있는 대시보드와 같은 형태)으로 압축합니다. 새로운 단어가 도착할 때마다 이 슬롯들을 지속적으로 업데이트합니다.
진화하는 잠재 컨디셔너(The Evolving Latent Conditioner): 이것은 운전자입니다. 이 모듈은 로봇이 지금 보고 있는 세상의 모습과 두뇌로부터 오는 신선하고 업데이트되는 "생각 슬롯"을 결합합니다. 이를 통해 로봇은 두뇌가 여전히 말하고 있는 동안에도 경로를 조정할 수 있습니다.

결과: 더 빠르고, 더 안전하며, 더 똑똑하게

이를 테스트하기 위해 저자들은 "얼어붙은 세상" 게임을 사용하지 않았습니다. 그들은 로봇이 생각하는 동안에도 시뮬레이션 속의 사람들과 로봇이 계속 움직이는 **인간 중심 벤치마크(human-centric benchmark)**를 구축했습니다. 이는 현실적이고 혼란스러운 환경입니다.

결과는 명확했습니다:

성공률: 현실적인 움직이는 세상에서 SPARK-VLN은 항해 작업의 **34.80%**를 성공했습니다. 전체 생각을 기다렸던 차세대 방식은 **29.00%**의 성공률을 보였습니다.
안전성: 새 시스템은 사람과 충돌하는 경우가 **29.3%**였던 반면, 기존 방식은 **39.3%**였습니다. 또한 평균 거리에서도 5.13미터를 유지하여, 경쟁 모델의 4.32미터보다 더 멀리 떨어져 있었습니다.
속도: "스트리밍" 방식은 로봇이 가이드를 기다리는 시간을 0.788초에서 0.185초로 단축했습니다. 이는 로봇이 생각하는 동안 세상이 움직인 거리가 기존 방식의 0.213미터(약 8인치)에 비해 0.050미터(약 2인치)에 불과했음을 의미합니다.

이것이 중요한 이유

이 논문은 똑똑한 로봇과 빠른 로봇 중 하나를 선택할 필요가 없다는 것을 보여줍니다. 빠른 플래너가 느린 두뇌의 "라이브 피드" 형태의 생각을 듣게 함으로써, 로봇은 사려 깊으면서도 즉각적으로 반응할 수 있습니다. 이는 역동적인 세상에서 완벽한 계획을 기다리는 것이 종종 가장 위험한 행동이 될 수 있음을 증명합니다. 대신, 최선의 전략은 현재 가진 최선의 추측을 바탕으로 움직임을 시작하고, 새로운 정보가 들어오는 즉시 그 추측을 업데이트하는 것입니다.

요컨대, SPARK-VLN은 로봇에게 이야기가 다 끝나기를 기다리기보다, 이야기가 펼쳐지는 과정 속에서 세상과 함께 춤추는 법을 가르칩니다.

기술 요약: SPARK-VLN

문제 정의

동적인 인간 중심 환경에서의 시각-언어 내비게이션(Vision-Language Navigation, VLN)은 근본적인 긴장 상태에 직면해 있습니다. 즉, 대규모 시각-언어 모델(VLM)을 통한 의미론적 추론은 본질적으로 느리고 숙고적인 반면, 안전한 사회적 내비게이션은 즉각적이고 반응적인 계획을 요구한다는 점입니다. 이러한 불일치는 결정적인 "관측 노후화(observation staleness)" 문제를 야기합니다. 동적인 환경에서는 모델이 추론하는 동안 환경이 계속 변화합니다. 결과적으로, 초기 관측치를 기반으로 계산된 행동은 실행되는 시점에 이미 안전하지 않거나 사회적 규범을 준수하지 못하는 상태가 될 수 있습니다.

기존 방식들은 이 문제를 완전히 해결하지 못합니다:

추론 후 행동(단일 시스템, Reason-then-act): 추론 중에 실행을 완전히 중단하므로, 상당한 지연 시간과 노후된 관측치를 초래합니다.
실시간 청킹(Real-Time Chunking): 추론과 실행을 중첩시키지만, 여전히 긴 추론 주기의 시작 시점의 관측치에 의존하므로, 처리되는 시점에는 가이드가 노후화됩니다.
이중 시스템(차단형 업데이트, Dual-System/Blocking Update): 느린 추론기와 빠른 플래너를 분리하지만, VLM이 전체 추론을 완료한 후에만 가이드를 전달합니다. 빠른 플래너가 신호를 받는 시점에는 이미 장면이 변해 있어 가이드가 무용지물이 됩니다.

또한, 현재의 벤치마크들은 추론 중에 환경을 정지시키는 경우가 많아, 실제 배포 시 문제가 되는 지연 시간으로 인한 노후화 현상을 처벌하거나 측정하지 못합니다.

방법론: SPARK-VLN

저자들은 느린 VLM 추론기에서 빠른 전문가 플래너로 토큰 단위로 지식을 스트리밍하도록 설계된 이중 시스템 프레임워크인 SPARK-VLN(Streaming Progressively Aggregated latent Reasoning Knowledge)을 제안합니다. 완전한 추론 체인이 완성되기를 기다리는 대신, 이 시스템은 추론 과정 전반에 걸쳐 새롭고 진화하는 가이드를 제공합니다.

이 프레임워크는 세 가지 핵심 모듈로 구성됩니다:

토큰 단위 은닉 상태 스트리머 (Token-Wise Hidden Streamer):
- 전통적인 방식과 달리, 이 모듈은 텍amp; 생성이 끝난 후 특징을 추출하는 것이 아니라, 토큰이 자기회귀적으로 생성됨에 따라 지정된 디코더 레이어에서 중간 은닉 상태( $h^{(k)}_L$ )를 추출합니다.
- 이 모듈은 이러한 상태들을 누적 은닉 스트림( $H^{(kt)}_{t'}$ )으로 집계하여, VLM이 여전히 추론하는 동안 플래너에게 점진적으로 정교해지는 의미론적 의도를 제공합니다.
시퀀스-투-슬롯 잠재 브릿지 (Sequence-to-Slot Latent Bridge):
- 원시 은닉 스트림은 가변 길이의 고차원이지만, 플래너는 고정 크기의 저차원 조건이 필요합니다.
- 이 모듈은 먼저 학습 가능한 레이어 및 시간 위치 인코딩을 통해 스트림을 증강합니다.
- 그 다음, $N$ 개의 학습 가능한 쿼리 벡터를 사용하는 Perceiver 스타일의 교차 주의(cross-attention) 메커니즘을 사용하여 가변 길이의 스트림을 고정 크기의 압축된 잠재 슬롯 세트( $R_t$ )로 투영합니다. 이를 통해 VLM의 생성 진행 상황에 관계없이 플래너가 일관된 입력 크기를 받을 수 있게 합니다.
진화하는 잠재 컨디셔너 및 전문가 플래너 (Evolving Latent Conditioner & Expert Planner):
- 전문가 플래너는 연속적인 궤적을 생성하도록 훈련된 정류 흐름 매칭(rectified flow-matching) 네트워크입니다.
- 이는 현재의 자기중심적 관측치(RGB-D)를 스트리밍된 잠재 슬롯( $R_t$ )과 융합하여 궤적 생성을 조건화합니다.
- VLM이 새로운 토큰을 생성함에 따라 잠재 슬롯이 재계산되고 업데이트되어, 플래너가 최신 의미론적 가이드를 바탕으로 지속적으로 재계획할 수 있도록 합니다.
- 유클리드 부호 거리 함수(ESDF) 점수에 의해 감독되는 목표 불가지론적(goal-agnostic) 안전 비평가(safety critic)가 여러 후보 중 최종 궤적을 선택하여 충돌 없는 매끄러운 실행을 보장합니다.

주요 기여

SPARK-VLN 프레임워크: 느린 VLM으로부터 토큰 단위 은닉 상태를 스트리밍하여, 플래너가 추론 종료 시점이 아닌 추론 창 전반에 걸쳐 신선한 의미론적 가이드에 따라 행동할 수 있게 하는 새로운 이중 시스템 아키텍처를 제안합니다.
세 가지 결합 모듈: 토큰 단위 은닉 상태 스트리머, 시퀀스-투-슬롯 잠재 브릿지, 진화하는 잠재 컨디셔너라는 구체적인 구현을 통해, 추론을 차단형 호출에서 연속적인 신호로 변환합니다.
인간 중심 벤치마크 스위트: 보행자와 로봇이 모델 추론 중에도 활성화되어 있는 동적 사회적 VLN 벤치마크를 도입했습니다. 여기에는 다음이 포함됩니다:
- 이상적인 동적 환경: 보행자는 움직이지만, 모델 추론 중에는 시뮬레이터가 일시 정지됩니다(지연 시간 없음).
- 현실적인 동적 환경: 모델이 계산하는 동안 보행자가 지속적으로 움직여 관측 노후화를 드러냅니다.
- 작업 완료(SR, SPL), 사회적 준수(PSC, 충돌률) 및 추론 속도 통계를 다루는 지표들.

실험 결과

저자들은 제안된 벤치마크에서 SPARK-VLN을 최신 단일 시스템 방식(예: NaVILA, NaVid) 및 이중 시스템 베이스라인(예: DualVLN)과 비교 평가했습니다.

VLN 성능: 현실적인 동적 환경에서 SPARK-VLN은 성공률(SR) 34.80%, 경로 길이 가중 성공률(SPL) **28.68%**를 달려 최고의 단일 시스템 베이스라인(NaVILA: 29.00% SR)과 이중 시스템 베이스라인(DualVLN: 22.90% SR)을 능가했습니다. 또한 가장 우수한 사회적 준수 지표(최저 충돌률 29.3% 및 최고 평균 보행자 거리)를 달성했습니다.
PointNav 성능: 빠른 플래너 단독 모델(Ours-S1)은 이상적 및 현실적 환경 모두에서 다른 학습 기반 플래너(예: NavDP)와 오라클 기반 클래식 방법보다 뛰어난 성능을 보여, 흐름 매칭 백본의 견고함을 입증했습니다.
절제 연구(Ablation Studies):
- 스트리밍 vs. 대기 후 행동: "대기 후 행동(Wait-then-Act)" 전략을 토큰 단위 스트리밍으로 교체했을 때 SR이 10.0 포인트 향상되었으며(24.80%에서 34.80%로), 지연 시간을 크게 줄였습니다.
- 브릿지 설계: 교차 주의(Cross-Attention)를 사용하는 것이 단순 평균 풀링(Mean-Pooling)보다 SR에서 9.60 포인트 더 높은 성능을 보였으며, 이는 토큰 수준의 세밀함을 보존하는 것의 필요성을 입증합니다.
지연 시간 분석: SPARK-VLN(스트림 방식)은 유효 업데이트당 지연 시간을 0.788초(대기 후 행동)에서 0.185초로 단축하여, 추론 중 평균 보행자 변위(displacement)를 0.213m에서 0.050m로 극적으로 줄였습니다.

의의 및 주장

본 논문은 SPARK-VLN이 가이드 전달을 추론 완료로부터 분리함으로써 동적 VLN의 결정적인 "관측 노후화" 간극을 해결한다고 주장합니다. 중간 은닉 상태를 스트리밍함으로써, 시스템은 빠른 플래너가 최신의 의미론적 의도에 의해 유도되도록 보장하며, 이는 동적인 환경에서 더 안전하고 사회적으로 준수하는 내비게이션으로 이어집니다.

저자들은 기존의 정적인 벤치마크가 실시간 동적 시나리오에서 실패를 유발하는 지연 문제를 가리기 때문에, 자신들의 비동기 벤치마크 스위트가 이러한 실패를 밝혀내는 데 필수적이라고 강조합니다. 이 연구는 대규모 모델의 추론 능력을 유지하면서도 실시간 인간-로봇 상호작용에 필요한 반응성을 회복하는 것이 가능하다는 것을 보여줍니다. 향후 연구로는 이를 더 긴 호흡의 지시사항으로 확장하고, 예측적 계획을 위해 보행자 의도 예측을 통합하는 것이 언급되었습니다.