기술 요약: MemVLN – 시각-언어 내비게이션을 위한 일화적 및 절차적 기억

문제 정의

연속적 환경에서의 시각-언어 내비게이션(VLN-CE)은 에이전트가 사전 지도나 깊이(depth) 또는 오도메트리(odometry)와 같은 보조 센서에 의존하지 않고, 자연어 지시와 자기중심적 RGB 관측만을 기반으로 미지의 3D 공간을 탐색할 것을 요구한다. 핵심 과제는 두 가지 상충하는 요구사항을 동시에 충족하는 것이다:

1. 장기적 일관성(Long-Horizon Consistency): 에이전트는 경로의 일관성을 유지하고 장거리 이동 중 발생하는 드리프트(drift)를 방지하기 위해 장기적인 시각적 이력을 유지해야 한다.
2. 실시간 지연 시간(Real-Time Latency): 에이전트는 연속적이고 동적인 환경에서 효과적으로 작동하기 위해 최소한의 지연 시간(높은 FPS)으로 저수준 동작을 실행해야 한다.

기존 방식들은 이러한 요구사항 사이의 균형을 맞추는 데 어려움을 겪는다. 비디오 기반 방식은 고정된 희소 프레임을 샘플링함으로써 시간적 밀도를 희생하는 경우가 많으며, 토큰 병합(pooling/merging)을 통해 시각적 토큰을 압축하는 방식은 공간적 세부 정보를 손실시키고 M-RoPE와 같은 고급 위치 인코딩 및 현대적 트랜스포머 아키텍처와 충돌한다. 또한, 거대 시각-언어 모델(LVLM)의 자기 회귀(auto-regressive) 특성은 상당한 추론 지연을 초래하여 실시간 제어를 어렵게 만든다.

방법론: MemVLN 프레임워크

MemVLN은 인간의 기억 체계를 모방하여 긴 형태의 비디오 컨텍스트와 실시간 응답성을 조화시키도록 설계된 새로운 VLN 프레임워크이다. 이는 연속적인 관측 처리를 위한 시각 인코더와 지시문 해석 및 동작 생성을 위한 거대 언어 모델(LLM)을 통합한다. 이 아키텍처는 두 가지 핵심적인 생물학적 영감 메커니즘에 의존한다:

1. 피라미드 해상도를 갖춘 일화적 기억 (Episodic Memory with Pyramidal Resolution)

광범위한 시각적 이력을 효율적으로 관리하기 위해, MemVLN은 균일한 샘플링이나 토큰 병합 대신 피라미드 해상도 전략을 사용한다.

• 메커니즘: 역사적 관측치는 즉각적(immediate), 단기(short-term), *장기(long-term)*의 세 가지 시간 계층으로 분류된다.
  • 즉각적 프레임(가장 최근)은 정밀한 국소 단서를 포착하기 위해 고해상도로 처리된다.
  • 단기 및 장기 프레임은 전역적인 경로 일관성을 유지하면서 토큰 수를 최소화하기 위해 점진적으로 다운샘플링(공간적 압축)된다.
• 근거: 어텐션 분석 결과, 최근의 관측치가 모델의 집중을 지배하는 반면, 먼 과거의 이력은 필요한 맥락을 제공하지만 낮은 지각적 충실도를 요구한다는 점이 밝혀졌다.
• 장점: 2D 공간 그리드를 파괴하고 M-RoPE와 같은 위치 인코딩과 충돌하는 토큰 병합과 달리, 피라미드 해상도는 토큰화 전 원시 픽셀 공간에서 다운샘플링을 수행한다. 이는 엄격한 공간적 위상(topology)을 유지하여 Qwen3-VL 및 DeepStack과 같은 현대적 LVLM 백본과의 호환성을 보장한다.

2. 빠른 동작을 위한 절차적 기억 (Procedural Memory for Fast Action)

자기 회귀 디코딩의 지연 시간 병목 현상을 극복하기 위해, MemVLN은 절차적 기억에서 영감을 얻은 빠른 동작 메커니즘을 도입한다.

• 메커니즘: 모델이 동작 시퀀스(예: "왼쪽으로 30도 회전")를 토큰 단위로 생성하는 대신, 연속 제어 신호를 압축된 어휘의 **원자적 중간 수준 동작 토큰(atomic mid-level action tokens)**에 매핑한다.
• 구현: 이러한 증강된 동작들(예: "앞으로 이동"을 위한 <a1>, "왼쪽으로 회전"을 위한 <a2>)은 LLM 어휘 내의 단일 토큰이다.
• 이점: 이를 통해 모델은 복잡한 내비게이션 결정을 **단 한 번의 순방향 패스(single forward pass, one-shot decoding)**로 예측할 수 있으며, 일반적으로 지연을 유발하는 반복적인 디코딩 루프를 우회할 수 있다.

주요 기여

1. MemVLN 아키텍처: 긴 형태의 시각적 관측을 효과적으로 활용하면서 추론 속도를 14 FPS까지 높인 새로운 VLN 모델.
2. 생물학적 영감의 기억 메커니즘:
   • 일화적 기억: 고충실도 국소 내비게이션과 압축된 전역 이력 사이의 균형을 맞추는 피라미드 해상도 전략을 통해, 토큰 예산을 늘리지 않고 관측 관리를 최적화한다.
   • 절차적 기억: 중간 수준 동작을 위한 단일 토큰 어휘를 사용하는 빠른 동작 모듈을 통해, 자기 회귀 디코딩을 우회하여 추론 지연 시간을 줄인다.
3. 최첨단 성능(SOTA): 오직 단안 RGB 입력만을 사용하여 표준 VLN-CE 벤치마크(R2R 및 RxR)에서 검증되었으며, 이를 통해 우수한 일반화 능력이 깊이 또는 파노라마 센서의 부재를 보완할 수 있음을 입증했다.

실험 결과

저자들은 Qwen3-VL 백본을 사용하여 R2R-CE 및 RxR-CE 벤치마크(Val-Unseen 분할)에서 MemVLN을 평가하였다.

• 성능:
  • MemVLN-8B는 R2R에서 65.3% Oracle Success (OS) 및 **58.4% Success Rate (SR)**를, RxR에서 66.0% SR 및 **57.3% Success weighted by Path Length (SPL)**를 달성하며 최첨단 성능을 기록했다.
  • MemVLN-4B는 R2R에서 베이스라인인 Qwen3-VL-4B보다 5.8% SR 높았고, RxR에서는 9.7% SR 높았다.
  • 이 모델은 단일 뷰 RGB 입력만을 사용했음에도 불구하고, 기존의 웨이포인트 기반 및 연속 제어 방식, 그리고 다른 VLM 기반 방식(예: NaVILA, Uni-NaVid, StreamVLN)보다 뛰어난 성능을 보였다.
• 효율성:
  • 절차적 기억 메커니즘은 표준 자기 회귀 디코딩에 비해 추론 지연 시간을 7배 단축시켜, 처리량을 2 FPS에서 14 FPS로 높였다.
  • 어블레이션 연구를 통해 빠른 동작 모듈이 R2R에서 SR을 1.8%, RxR에서 2.1% 향상시키는 동시에 지연 시간을 획기적으로 줄였음을 확인했다.
• 어블레이션 통찰:
  • 피라미드 해상도: "상승(Ascending)" 구성(최근 프레임의 고해상도를 우선시함)이 비피라미드 베이스라인에 비해 R2R에서 SR을 1.2%, SPL을 1.9% 향상시키며 가장 좋은 성능을 보였다.
  • 학습 데이터: 성능은 데이터 양에 따라 확장되었다. DAgger로 생성된 합성 데이터를 포함하는 것이 OS와 SR을 크게 개선하였으며, 이는 상호작용적인 온-폴리시(on-policy) 데이터의 가치를 강조한다.

의의 및 주장

본 논문은 MemVLN이 연속적 환경에서 VLN 모델을 배포하기 위한 확장 가능하고 견고한 경로를 구축한다고 주장한다. 피라미드 해상도를 통해 계산 비용을 유지하면서 장기적 컨텍스트의 필요성을 분리하고, 절차적 기억을 통해 자기 회귀 지연을 제거함으로써, MemVLN은 오직 단안 RGB 입력과 표준 LVLM 백본만으로도 실시간 고성능 내비게이션이 가능하다는 것을 보여준다. 이 연구는 미래의 임바디드 에이전트가 특수 센서나 복잡한 모듈형 파이프라인 없이도, 시간적 일관성과 반응 속도를 모두 갖춘 통합 시각-언어 프레임워크에 의존할 수 있음을 시사한다.