💻 computer science

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Nav는 Bi-GRU 인코더와 대조 학습을 통해 구조화된 움직임 이력을 단일 토큰으로 압축하는 뇌 모사 방식의 컴팩트한 궤적 메모리를 도입함으로써, 토큰 비용을 증가시키지 않으면서도 효과적인 장기 추론을 가능하게 하여 시각-언어 내비게이션에서의 희소 프레임 선택의 한계를 해결한다.

원저자: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 무전기만을 사용하여 거대하고 낯선 미로 속의 로봇을 안내하려고 한다고 상상해 보세요. 당신은 "앞으로 가, 큰 빨간 문에서 왼쪽으로 돌아, 그리고 소파가 보일 때까지 직진해"와 같은 지침을 내립니다.

오랫동안 AI 로봇은 단어들을 이해하고 현재 있는 방을 보는 데는 매우 뛰어났습니다. 하지만 그들에게는 치명적인 약점이 있습니다: 그들은 자신이 어디에 있었는지를 잊어버립니다.

만약 당신이 로봇에게 100걸음을 걸으라고 말한다면, 대부분의 현재 시스템은 지난 몇 개의 방을 찍은 "사진 앨범"을 보는 방식으로 기억하려고 노력합니다. 하지만 여정이 길어질수록 이 사진 앨범은 너무 커져서 들고 다닐 수 없게 되며, 결국 대부분의 사진을 버려야 합니다. 만약 그들이 몇 개의 흩어진 스냅샷만을 간직하게 된다면, 그들은 그곳에 도달하기까지의 '과정'을 놓치게 됩니다. 그들은 소파가 있는 방에 있다는 것은 알 수 있겠지만, 그곳에 오기 위해 왼쪽으로 세 번을 돌았는지 아니면 원을 그리며 돌았는지는 알지 못할 것입니다.

BIT-Nav는 이 기억력 문제를 해결하기 위해 설계된 새로운 시스템입니다. 이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "정신적 지도(Mental Map)" vs. "사진 앨범"

현재의 로봇들은 사진(시각적 프레임)을 저장함으로써 자신의 여정을 기억하려고 합니다. 논문은 사진이 긴 여행에는 부적합하다고 주장합니다. 사진은 너무 많은 공간을 차지하며 움직임의 "흐름"을 놓치기 때문입니다.

BIT-Nav는 판도를 바꿉니다. 사진을 저장하는 대신, 움직임 자체의 압축된 요약본을 저장합니다. 다음과 같이 생각해보세요:

기존 방식: 10마일 하이킹을 한 뒤, 나무와 바위가 찍힌 100장의 무작위 스냅샷을 보며 기억하려고 노력하는 것. 당신은 자신이 큰 루프를 그리며 돌았다는 사실을 놓칠 수 있습니다.
BIT-Nav 방식: "나는 10마일을 걸었고, 왼쪽으로 4번 회전했으며, 북쪽을 향하고 있다"라는 아주 작은 메모 한 장을 주머니에 넣어두는 것.

2. "뇌에서 영감을 얻은" 기억 (BITE)

논문은 이 기억 모듈을 BITE(Bi-GRU Trajectory Encoder)라고 부릅니다. 이는 인간의 뇌(특히 해마)가 작동하는 방식에서 영감을 받았습니다. 우리가 어딘가를 걸을 때, 우리 뇌는 시야의 모든 픽셀을 기록하는 것이 아니라, **경로 적분(path integration)**을 계산합니다. 우리는 발걸음, 회전, 방향을 추적하여 정신적 지도를 구축합니다.

BIT-Nav도 로봇을 위해 똑같은 일을 수행합니다:

로봇의 행동(앞으로, 왼쪽 회전, 오른쪽 회전)을 관찰합니다.
수학적으로 로봇의 위치와 헤딩(방향)을 계산합니다.
전체 여정의 역사를 **단 하나의 "메모리 토큰(memory token)"**으로 압축합니다.

3. "거대 뇌"를 위한 "번역기"

로봇은 지침을 이해하기 위해 매우 똑똑한 "거대 뇌"(Qwen3-VL-8B라는 시각-언어 모델)를 사용합니다. 이 거대 뇌는 읽고 보는 능력은 뛰어나지만, 수학이나 움직임의 역사를 자연스럽게 이해하지는 못합니다.

BIT-Nav는 번역기 역할을 합니다. 이 작은 "움직임 요약본"(메모리 토큰)을 가져와서 거대 뇌가 이해할 수 있는 언어로 번역합니다. 그런 다음 이 단일 토큰을 현재의 카메라 화면 및 지침과 함께 거대 뇌에 전달합니다.

4. 왜 이것이 중요한가: "토큰" 경제

AI에서 "토큰"은 컴퓨터가 처리해야 하는 단어나 데이터 조각과 같습니다.

문제점: 만약 로봇이 긴 여행을 기억하기 위해 모든 과거의 행동을 목록으로 만드는 방식(예: "1단계: 전진, 2단계: 회전... 100단계: 전진")으로 거대 뇌에 전달하려 한다면, 수천 개의 토큰을 사용하게 됩니다. 이는 느리고 비용이 많이 들 뿐만 아니라, 거대 뇌를 혼란스럽게 만듭니다.
BIT-Nav의 솔루션: 로봇이 10걸음을 걸었든 1,000걸음을 걸었든, BIT-Nav는 오직 단 하나의 토큰만을 보냅니다. 이는 1,000페이지짜리 일기를 보내는 대신, 완벽하게 요약된 단 한 문장을 보내는 것과 같습니다.

연구 결과

연구진은 Isaac Sim 환경에서 R2R 데이터셋(표준 로봇 내비게이션 테스트)을 통해 이를 테스트했습니다.

더 나은 방향 감각: "그 모든 회전을 거친 후, 출발했을 때와 비교하여 우리는 왼쪽을 향하고 있습니까, 오른쪽을 향하고 있습니까?"라는 질문에 대해, BIT-Nav 로봇은 83%의 확률로 정답을 맞혔습니다. 이 기억 기능이 없다면 로봇은 무작위로 추측하게 됩니다(정확도 약 7%).
효율성: BIT-Nav 로봇은 과거의 모든 단계를 목록으로 나열하려 했던 로봇들보다 22배 적은 데이터 토큰을 사용하면서도 이 높은 정확도를 달فاء했습니다.
지침 추적: 로봇은 자신이 어떻게 움직여 왔는지 정확히 알고 있기 때문에, 긴 지침 목록(예: "첫 번째 부분을 마쳤으니, 이제 두 번째 부분을 해야 한다")에서 자신이 어디에 와 있는지 더 잘 이해할 수 있었습니다.

요약

BIT-Nav는 로봇에게 과거의 사진을 보는 대신, 자신의 움직임을 이해함으로써 여정을 기억하도록 가르칩니다. 길고 복잡한 경로를 하나의 스마트한 "메모리 토큰"으로 압축함으로써, 로봇은 길을 잃거나 메모리가 부족해지는 일 없이 장거리를 항해할 수 있으며, 동시에 강력한 AI 뇌와 동일한 언어로 소통할 수 있게 해줍니다.

기술 요약: BIT-Nav

문제 정의

시각-언어 모델(VLM)은 시각적 인지와 자연어 추론을 통합함으로써 체화된 내비게이션(embodied navigation)을 발전시켜 왔습니다. 그러나 기존의 방식들은 장기적 관점(long-horizon)의 시각-언어 내비게이션(VLN)에서 결정적인 한계에 직면해 있습니다. 즉, 이들은 추론 수준에서 실질적으로 '상태가 없는(stateless)' 상태입니다. NaVILA와 같은 기존 방법들은 과거 이미지 프레임의 고정된 윈도우를 샘플링하여 이력을 포함합니다. 에피소드가 길어짐에 따라, 이 고정된 크기의 시각적 이력은 점점 희소해지며 중요한 중간 동작 구조를 누락하게 됩니다. 선행 연구의 경험적 증거에 따르면, 단순히 샘플링된 프레임의 수를 늘리는 것(예: 8개에서 64개로)이 내비게이션 정확도를 개선하지 못한다는 점은, 병목 현상이 프레임의 양이 아니라 표현의 본질에 있음을 시사합니다. 희소한 프레임 선택은 회전 패턴, 누적 변위, 경로 토폴로지와 같이 장기적 추론에 필요한 구조화된 행동 신호를 포착하는 데 실패합니다. 또한, 제어 헤드(control heads)에서 사용되는 저수준 순환 상태(low-level recurrent states)는 일반적으로 VLM에 명시적이고 쿼리 가능한 궤적 표현으로서 노출되지 않습니다.

방법론

저자들은 BIT-Nav(Brain-Inspired Trajectory Memory for Embodied Navigation)를 제안합니다. 이는 뇌의 해마-내후각 시스템(hippocampal-entorhinal system)에서 영감을 얻은 프레임워크로, 가공되지 않은 감각 재현 대신 공간적 경험을 구조화된 에피소드 흔적으로 압축하는 방식을 모방하여, 궤적 이력을 하나의 명시적인 모달리티로 취급합니다.

파이프라인은 네 가지 주요 단계로 구성됩니다:

궤적 표현 및 특징 공학 (Trajectory Representation and Feature Engineering):
시스템은 이산적인 내비게이션 액션( $a_{1:T}$ )을 각 타임스텝마다 7차원 모션 특징 벡터( $m_t$ )로 변환합니다. 이 벡터에는 누적 평면 위치( $c_x, c_y$ ), 누적 헤딩( $\theta$ ), 헤딩 변화량( $\Delta\theta$ ), 그리고 전진 이동 및 회전에 대한 지표 변수가 포함됩니다. 이러한 풍부한 표현은 로컬 제어 신호와 에이전트의 누적 기하학적 상태를 모두 노출합니다.
BITE (Bi-GRU 궤적 인코더):
2층 바이디렉셔널(bidirectional) GRU는 가변 길이의 모션 시퀀스를 인코딩합니다. 마지막 은닉 상태에만 의존하는 방법들과 달리, BITE는 전체 유효 시퀀스에 대해 마스크드 평균 풀링(masked mean-pooling)을 적용하여 고정 차원의 임베딩( $\bar{h} \in \mathbb{R}^{512}$ )을 생성합니다. 이를 통해 임베딩이 단순히 최종 상태만을 요약하는 것이 아니라 전체 경로 구조를 요약하도록 보장합니다. 출력은 프로젝션 헤드를 거쳐 $\ell_2$ -정규화되어 128차원 궤적 임베딩( $z$ )을 생성합니다.
대조 학습 목적 함수 (Contrastive Learning Objective):
인코더는 그룹 구조를 가진 미니배치 상에서 멀티 포지티브 InfoNCE(SimCLR 스타일)를 사용하여 학습됩니다. 데이터셋은 동일한 시작점과 종료점을 공유하지만 중간 단계와 총 길이가 다른 10개의 증강된 궤적들로 구성된 그룹으로 조직됩니다. 각 앵커 궤적에 대해, 그룹 내 나머지 9개의 궤적은 포지티브(positive) 역할을 하며, 다른 그룹의 궤적들은 네거티브(negative) 역할을 합니다. 이 목적 함수는 인코더가 특정 경로를 암기하기보다 구조적 불변성을 포착하는 "시작-목표 동등 클래스(start-goal equivalence class)"의 압축된 표현을 학습하도록 강제합니다.
VLM과의 통합 (Integration with VLM):
학습된 Bi-GRU 인코더는 동결(frozen)됩니다. 경량화된 학습 가능 멀티모달 프로젝터(MLP)는 궤적 임베딩을 사전 학습된 VLM(특히 Qwen3-VL-8B)의 토큰 공간으로 매핑합니다. 각 결정 단계에서, 이 투영된 벡터는 현재의 시각적 관측값, 희소한 과거 프레임, 그리고 언어 지시문과 함께 단일 "궤적 메모리 토큰"으로 주입됩니다. 이를 통해 모델은 아키텍처 수정 없이 단 한 번의 순방향 패스(forward pass) 내에서 구조화된 모션 이력을 바탕으로 추론할 수 있습니다.

핵심 기여

고유한 모달리티로서의 궤적: 본 논문은 궤적과 위치를 시각 및 언어 입력과 보완하여, 에이전트의 움직임에 대한 명시적 표현을 제공하는 별도의 필수적인 모달리티로 도입합니다.
창발적 지시문 국지화 (Emergent Instruction Localization): 궤적 메모리를 포함하는 것이 명시적인 감독 없이도 모델이 지시문의 진행 상황을 암시적으로 추적할 수 있게 하여, 완료된 하위 목표를 추론하고 남은 단계에 근거하여 결정을 내릴 수 있게 함을 입증합니다.
궤적-VLM 정렬: 저자들은 학습된 궤적 임베딩을 학습된 프로젝터를 통해 대규모 VLM과 성공적으로 정렬하여, 모델이 시각적 관측과 함께 구조화된 모션 이서에 기반하여 추론할 수 있도록 했습니다.
데이터셋 구축: R2R 및 RxR 벤치마크로부터 궤적 인식 데이터셋을 구축하였으며, 여기에는 모션 구조를 학습하도록 유도하기 위해 기하학적으로는 동일하지만 실행 방식은 다양한 궤적 변형을 생성하는 증강 전략이 포함됩니다.

결과

본 논문은 궤적 기반 쿼리에 대한 정량적 정확도와 시뮬레이션(Isaac Sim)에서의 정성적 추론이라는 두 가지 축에서 BIT-Nav를 평가합니다.

정량적 정확도: 누적 헤딩 추정(Q1) 및 액션 빈도(Q2) 쿼리에 대해, 15에서 125 스텝에 이르는 궤적 길이에 걸쳐 BIT-Nav는 베이스라인을 크게 앞섭니다.
- 누적 헤딩 추정의 경우, BIT-Nav는 모든 궤적 길이에 대해 0.83의 정확도를 달성합니다. 반면, 베이스라인(텍스트 이력이 있는 Qwen 또는 이력이 없는 모델)은 궤적이 길어짐에 따라 $\approx 0.07$ 로 급락하며, 긴 이력에 걸친 부호가 있는 회전각을 통합하는 데 실패합니다.
- 액션 빈도 추론의 경우, BIT-Nav는 일정한 토큰 비용을 유지하면서 텍스트 이력 베이스라인과 대등한 성능을 보여줍니다.
토큰 효율성: BIT-Nav는 궤적 길이에 관계없이 정확히 하나의 토큰을 주입합니다. 124 스텝에서 텍스트 이력 베이스라인은 903개의 토큰이 필요하지만, BIT-Nav는 밀도 높은 모션 컨텍스트를 유지하면서도 단 41개의 토큰(베이스라인 비용의 약 4.5%)만을 사용합니다.
정성적 평가: 시뮬레이션에서 BIT-Nav는 장기 에피소드 동안 실행된 회전 방향과 순서를 정확하게 보고합니다. 반면, 기본 Qwen 모델은 종종 회전을 누락하거나 에피소드 진행 상황을 잘못 판단하며, 전체 액션 이력보다는 현재의 시각적 프레임에 추론을 고착시키는 경상를 보입니다.

의의 및 주장

저자들은 BIT-Nav가 VLM 기반 내비게이션의 근본적인 한계인 '상태가 없는 추론(stateless reasoning)'을 해결한다고 주장합니다. 궤적 이력을 압축되고 구조화된 토큰으로 인코딩함으로써, 이 프레임워크는 원시 프레임으로 컨텍스트 윈도우를 확장하는 계산적 오버헤드 없이 **구조화된 장기 추론(structured long-horizon reasoning)**을 가능하게 합니다.

본 논문은 이러한 접근 방식이 VLM이 에이전트의 누적 모션 이력에 근거하여 현재의 결정을 내림으로써, 지시문의 어느 정도가 실행되었고 무엇이 남았는지를 판단하는 능력인 **지시문 국지화(instruction localization)**를 수행할 수 있게 한다고 강조합니다. 저자들은 현재의 결과가 학습된 표현과 그 정렬 특성을 설명하는 것이며, 전체 엔드투엔드 벤치마크 평가(예: R2R/RxR val-unseen 분할에 대한 Success Rate, SPL)는 진행 중인 작업임을 언급합니다. 제안된 방법은 기존 VLM의 추론 능력을 보존하면서 이를 구조화된 시간적 모션 이력으로 확장하는 보완적인 증강 방식으로 제시됩니다.