One Agent to Guide Them All: Empowering MLLMs for Vision-and-Language Navigation via Explicit World Representation

1. 연구 배경 및 문제 정의 (Problem)

**비전 - 언어 내비게이션 (VLN)**은 에이전트가 자연어 지시를 따라 3D 환경에서 이동하는 작업입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 은 강력한 일반화 능력을 보여주어 VLN 에이전트로 각광받고 있으나, 기존 접근 방식에는 다음과 같은 한계가 존재했습니다.

• 밀접 결합된 설계 (Tightly Coupled Design): 기존 MLLM 기반 VLN 시스템은 공간적 추론 (Spatial Reasoning) 과 의미적 계획 (Semantic Planning) 을 동시에 수행하도록 설계되었습니다. 이는 에이전트가 방대한 관측 데이터에서 암묵적으로 전역 공간 관계를 추론해야 하므로, 잘못된 공간 정보 추론이 의미적 추론으로 전파되어 오류가 누적되는 문제를 야기합니다.
• 과도하게 단순화된 지도 표현: 기존 방법들은 종종 사전 정의된 텍스트 기반 지도나 추상화된 메모리 버퍼에 의존합니다. 이는 물리적 공간의 기하학적 정밀도를 잃게 하여, 복잡한 환경이나 시야가 제한된 상황에서 정확한 경로 계획을 수립하는 데 실패하게 만듭니다.
• 실제 물리 세계와의 괴리: 시뮬레이션에서 학습된 모델이 실제 로봇에 적용될 때 (Sim-to-Real), 조명이나 질감의 차이로 인해 성능이 급격히 저하되는 문제가 발생합니다.

2. 제안 방법론: GTA (Methodology)

저자들은 **GTA (Guide Them All)**라는 새로운 제로샷 (Zero-shot) VLN 프레임워크를 제안합니다. 핵심은 **공간 상태 추정 (Spatial State Estimation)**과 **고수준 의미 계획 (High-level Semantic Planning)**을 해체 (Decouple) 하여 분리하는 것입니다.

A. 상호작용형 메트릭 월드 표현 (Interactive Metric World Representation)

기존의 텍스트 기반 지도 대신, 에이전트가 실시간으로 상호작용할 수 있는 기하학적으로 정밀한 메트릭 지도를 구축합니다.

• 볼륨 매핑 (Volumetric Mapping): TSDF(Truncated Signed Distance Field) 를 사용하여 RGB-D 카메라의 연속적인 관측 데이터를 통합하여 3D 기하학적 지도를 실시간으로 생성합니다.
• 위상적 그래프 추상화 (Topological Graph): 이동 경로를 그래프 구조로 추상화하여 장기 기억 (Long-horizon Memory) 을 지원하고, 루프 (Loop) 감지 및 백트래킹을 가능하게 합니다.
• 장점: MLLM 이 직접 복잡한 공간 정보를 추론할 필요가 없으며, 일관된 전역 공간 컨텍스트를 제공받아 물리적으로 유효한 행동을 결정할 수 있습니다.

B. 상호작용 추론 인터페이스 (Interactive Reasoning Interface)

MLLM 이 메트릭 월드 표현을 이해하고 추론할 수 있도록 변환하는 인터페이스입니다.

• 직교 뷰 선택: 에이전트의 현재 위치에서 4 방향 (0°, 90°, 180°, 270°) 의 RGB-D 뷰를 선택하여 시각적 토큰으로 제공합니다.
• 좌표 그리드 오버레이: 3D 지도를 3 차원 (Top-down) 뷰로 렌더링하고 정규화된 좌표 그리드를 겹쳐 MLLM 이 정확한 좌표 (x, y) 를 출력할 수 있도록 합니다.

C. 반사실적 추론 뇌 (Counterfactual Reasoning Brain)

MLLM 이 최종 행동을 결정하기 위해 사용하는 전략입니다.

• 절차적 추론 청사진 (Procedural Reasoning Blueprints): 주어진 지시를 논리적 체크리스트 (TODO List) 로 분해하고, 각 단계에서 수행해야 할 작업을 업데이트합니다.
• 반사실적 시나리오 평가 ("What if"): MLLM 은 메트릭 월드에서 여러 후보 행동 (Waypoint) 을 시뮬레이션하여, "만약 이 방향으로 간다면 어떻게 될까?"를 추론합니다. 이를 통해 지시문의 의미와 물리적 제약 조건 (충돌 회피, 계단 등) 을 모두 만족하는 최적의 경로를 선택합니다.

3. 주요 기여 (Key Contributions)

1. GTA 프레임워크: 공간적 추론과 의미적 추론을 분리하여 오류 전파를 방지하고, 작업별 추론 전략을 가능하게 하는 제로샷 VLN 아키텍처를 제안했습니다.
2. 상호작용형 메트릭 월드 표현: 인간이 설계한 선입견 (Prior) 이나 수동적 메모리에 의존하지 않고, 에이전트가 능동적으로 상호작용하며 의사결정에 활용하는 정밀한 공간 표현을 도입했습니다.
3. 물리 기반 반사실적 추론: 메트릭 월드 표현을 기반으로 한 반사실적 추론 전략을 통해 MLLM 의 추론 능력을 극대화하고, 생성된 행동의 물리적 유효성을 보장했습니다.

4. 실험 결과 (Results)

저자들은 시뮬레이션 (Habitat) 과 실제 로봇 환경에서 광범위한 실험을 수행했습니다.

• 벤치마크 성능 (R2R-CE, RxR-CE):
  • R2R-CE: 성공률 (SR) 48.8%, 경로 길이 가중 성공률 (SPL) **41.8%**를 기록하여 기존 제로샷 SOTA(BZS-VLN) 를 크게 상회했습니다.
  • RxR-CE: 복잡한 다국어 및 긴 지시문을 다루는 RxR-CE 에서 SR **42.2%**를 달성했습니다.
  • 의미: 완전한 지도 학습 (Supervised Learning) 기반의 전문가 모델들과 경쟁하거나 이를 능가하는 성능을 제로샷으로 달성했습니다.
• Ablation Study:
  • 메트릭 월드 표현 (EWR) 을 추가하면 기존 베이스라인의 성능이 크게 향상됨을 확인했습니다.
  • 절차적 추론 청사진 (PB) 은 에이전트가 복잡한 환경에서 길을 잃지 않고 목표에 도달하는 데 결정적인 역할을 했습니다.
  • 다양한 MLLM 백본 (Qwen, Gemini, GPT 등) 을 적용했을 때, 모델의 추론 능력이 향상됨에 따라 GTA 의 성능도 비례하여 향상되었습니다.
• 실제 로봇 배포 (Sim-to-Real Transfer):
  • **TurtleBot 4 (바퀴형 로봇)**와 커스텀 드론에 GTA 를 적용하여 실제 환경에서 테스트했습니다.
  • 기존 지도 학습 모델들은 실제 환경에서 성능이 급격히 떨어졌으나 (SR 1620%), GTA 는 **4042%**의 성공률을 유지하며 뛰어난 제로샷 시뮬레이션 - 실제 전이 (Sim-to-Real) 능력을 입증했습니다. 이는 메트릭 지도가 도메인 불변 (Domain-invariant) 성을 가지기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 Embodied AI(구체적 인공지능) 분야에서 다음과 같은 중요한 통찰을 제공합니다.

• 추론 모델의 한계가 아닌 표현의 문제: MLLM 자체의 추론 능력이 부족해서가 아니라, 물리 세계를 어떻게 표현하느냐 (Representation) 가 성능의 병목 현상임을 증명했습니다.
• 구조적 해체의 중요성: 고수준의 의미적 추론과 저수준의 공간적 제어를 분리하는 아키텍처가 복잡한 내비게이션 문제를 해결하는 핵심 열쇠임을 보였습니다.
• 미래 지향성: GTA 는 MLLM 의 성능이 발전함에 따라 자연스럽게 성능이 향상되는 "플러그 - 앤 - 플레이" 인터페이스 역할을 하며, 추가 학습 없이도 다양한 로봇 플랫폼과 환경에 적용 가능한 강력한 프레임워크임을 입증했습니다.

결론적으로, GTA 는 MLLM 의 추론 능력을 실제 로봇의 물리적 행동으로 연결하는 격차를 메우는 획기적인 솔루션으로, 향후 지능형 로봇 내비게이션의 새로운 표준을 제시합니다.