LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments

LaViRA 는 고수준 계획, 중수준 지각, 저수준 제어를 계층적으로 분해하여 다양한 규모의 멀티모달 대규모 언어 모델 (MLLM) 의 강점을 활용함으로써, 사전 학습 없이도 미지의 환경에서 자연어 지시를 따라 이동하는 제로샷 비전 - 언어 내비게이션의 성능을 획기적으로 향상시킵니다.

핵심

라비라 (LaViRA): 로봇이 길을 찾을 때 "생각", "눈", "발"을 나누는 혁신

이 논문은 로봇이 사람의 말만 듣고 새로운 곳으로 스스로 길을 찾아갈 수 있게 해주는 새로운 방법, **'라비라 (LaViRA)'**를 소개합니다. 기존 방법들은 로봇이 길을 찾을 때 큰 어려움에 부딪혔는데, 라비라는 이를 아주 똑똑하고 간단한 방식으로 해결했습니다.

🤔 기존 방법의 문제: "너무 무겁거나, 너무 멍청한" 로봇들

기존에 로봇이 길을 찾을 때 주로 두 가지 방식 중 하나를 썼는데, 둘 다 문제가 있었습니다.

1. 지도에 의존하는 방식: 로봇이 미리 정해진 '중간 지점 (웨이포인트)'을 찾아야 했습니다. 마치 미리 찍힌 스탬프만 찍을 수 있는 도장처럼, 새로운 환경에서는 이 도장이 맞지 않아 길을 잃었습니다.
2. 대충 눈으로 보는 방식: 로봇이 "저기 저게 목표일 것 같아"라고 대충 추측만 했습니다. 하지만 큰 그림을 그릴 줄 아는 지능이 부족해서, 복잡한 미로에서는 방향을 잃기 일쑤였습니다.

즉, **"지능은 있지만 눈이 안 좋은 로봇"**과 "눈은 좋지만 머리가 나쁜 로봇" 사이에서 줄다리기 하던 셈입니다.

✨ 라비라의 해결책: "임원, 중역, 실무자" 팀워크

라비라는 이 문제를 해결하기 위해 로봇의 일을 세 단계로 나누어 각 단계에 맞는 '전문가'를 투입합니다. 마치 회사에서 **임원 (전략), 중역 (현장 파악), 실무자 (실행)**가 팀을 이루어 일하는 것과 같습니다.

1 단계: 언어 행동 (Language Action) - "지휘관 (임원)"

• 역할: "우리가 어디로 가야 해?"를 결정합니다.
• 방법: 가장 똑똑하고 큰 인공지능 (LLM) 을 사용합니다. 사람의 말 ("거실로 가") 과 로봇이 본 장면을 보고 큰 그림 전략을 세웁니다. "앞으로 가", "뒤로 돌아서", "그만 멈춰" 같은 큰 방향만 정합니다.
• 비유: 마치 군대의 장군이 "북쪽으로 진격하라"고 명령만 내리는 것과 같습니다. 구체적인 길은 모릅니다.

2 단계: 시각 행동 (Vision Action) - "정찰병 (중역)"

• 역할: "그 방향으로 구체적으로 무엇을 향해 가야 해?"를 찾습니다.
• 방법: 조금 더 빠르고 효율적인 인공지능을 사용합니다. 장군이 정한 방향 (예: "왼쪽으로") 으로 시선을 돌려, 그 방향에 있는 구체적인 목표물을 찾습니다. "유리창이 있는 검은 문"이나 "빨간 소파" 같은 것을 찾아내고, 그 위치를 정확히 표시합니다.
• 비유: 장군의 명령을 듣고 현장을 정찰하는 정찰병이 "왼쪽 길 끝에 검은 문이 있네요"라고 보고하는 것입니다.

3 단계: 로봇 행동 (Robot Action) - "운전수 (실무자)"

• 역할: "어떻게 그 곳까지 물리적으로 갈까?"를 실행합니다.
• 방법: 복잡한 인공지능이 아니라, 단순하고 확실한 규칙을 따르는 프로그램이 사용합니다. 정찰병이 찾은 '검은 문'의 위치를 지도에 찍고, 로봇이 그 곳까지 장애물을 피하며 이동하도록 구체적인 발걸음을 옮깁니다.
• 비유: 운전수가 "저 검은 문으로 가"라는 보고를 듣고 핸들을 돌리고 브레이크를 밟는 것입니다.

🚀 왜 이 방법이 대단한가요?

1. 훈련이 필요 없습니다 (Zero-Shot): 이 로봇은 새로운 집이나 건물을 처음 가도, 그 장소에 대해 한 번도 배운 적이 없어도 길을 찾을 수 있습니다. 마치 유능한 여행 가이드가 처음 가는 나라에서도 지도와 말만 보고 길을 찾는 것과 같습니다.
2. 비용과 효율의 완벽한 조화: 가장 비싸고 무거운 인공지능 (지휘관) 은 중요한 결정만 내리고, 가벼운 인공지능 (정찰병) 은 반복적인 일을 처리합니다. 덕분에 빠르고 저렴하면서도 똑똑합니다.
3. 실제 로봇에도 적용 가능: 컴퓨터 시뮬레이션뿐만 아니라, 실제 **개형 로봇 (Unitree Go1)**이나 **바퀴형 로봇 (Agilex)**에서도 성공적으로 길을 찾아갔습니다.

📝 결론

라비라는 로봇이 길을 찾을 때, 한 명의 천재에게 모든 일을 시키는 대신, 각자 특기를 가진 세 명의 전문가가 팀을 이루어 일하게 합니다.

• 지휘관 (큰 AI): 큰 방향을 잡는다.
• 정찰병 (중간 AI): 구체적인 목표를 찾는다.
• 운전수 (규칙): 실제로 움직인다.

이렇게 나누어 일함으로써, 로봇은 어떤 새로운 환경에서도 스스로 생각하고, 보고, 움직일 수 있는 진정한 자율 주행을 가능하게 했습니다. 이는 앞으로 우리가 집이나 사무실에서 로봇과 함께 살아가는 미래를 한 걸음 더 앞당기는 중요한 기술입니다.

기술 요약

1. 문제 정의 (Problem Definition)

지속적 환경에서의 제로샷 비전 - 언어 내비게이션 (VLN-CE) 은 에이전트가 사전 학습 없이 자연어 지시를 따라 이전에 보지 못한 연속적인 환경에서 이동해야 하는 과제입니다. 기존 방법론들은 다음과 같은 근본적인 트레이드오프에 직면해 있었습니다:

• 웨이포인트 예측 의존성: 사전 학습된 웨이포인트 예측기를 사용하는 방법들은 고수준 추론은 가능하지만, 예측기의 일반화 능력 부족으로 인해 새로운 환경에 적용하기 어렵습니다.
• 추론 능력의 미활용: 비전 - 언어 모델 (VLM) 을 사용하여 시맨틱 히트맵을 생성하는 방법들은 예측기 학습이 불필요하지만, 내비게이션 중 동적인 추론 능력을 충분히 활용하지 못해 실시간 계획 수립에 한계가 있습니다.

이러한 딜레마를 해결하기 위해 사전 학습된 웨이포인트 예측기에 대한 의존성을 제거하면서도 멀티모달 대규모 언어 모델 (MLLM) 의 추론 능력을 내비게이션 의사결정 전반에 걸쳐 완전히 활용할 수 있는 프레임워크가 필요했습니다.

2. 방법론 (Methodology: LaViRA)

저자들은 LaViRA (Language-Vision-Robot Action Translation) 를 제안합니다. 이는 복잡한 내비게이션 작업을 ** coarse-to-fine (거시에서 미시)** 의 계층적 구조로 분해하여, 각 단계에 적합한 규모의 MLLM 을 활용하는 모듈식 프레임워크입니다.

3 단계 계층적 아키텍처:

1. Language Action (고수준 계획):

   • 역할: "어디로 가야 하는가?"에 대한 거시적 전략 수립.
   • 모델: 강력한 대규모 MLLM (예: GPT-4o, Gemini-2.5-Pro) 사용.
   • 입력: 자연어 지시문, 현재 관측 (전후좌우 4 시야), 내비게이션 히스토리.
   • 출력: 고수준 방향 명령 (이동, 후퇴, 정지) 및 진행도 추정 (Progress Estimation).
   • 특징: 환경의 연속성을 몇 가지 고수준 선택지로 추상화하여 장기적 계획을 수립합니다.

2. Vision Action (지각적 그라운딩):

   • 역할: "그 방향으로 어떤 구체적인 대상을 향해 이동해야 하는가?"
   • 모델: 더 작고 효율적인 MLLM (예: Qwen2.5-VL-32B) 사용.
   • 입력: 고수준 계획, 진행도 추정, 선택된 방향의 단일 이미지.
   • 출력: 목표 객체 또는 영역의 2D 바운딩 박스 및 설명.
   • 특징: 고수준 추론이 아닌 구체적인 시각적 타겟팅에 특화되어 계산 효율성을 높입니다.

3. Robot Action (저수준 제어):

   • 역할: "물리적으로 어떻게 그곳에 도달할 것인가?"
   • 구현: 규칙 기반 (Rule-based) 컨트롤러.
   • 과정: 비전 단계에서 추출된 바운딩 박스의 하단 중앙 픽셀을 3D 세계 좌표계로 투영 (Depth 정보 활용) 하고, Fast Marching Method (FMM) 를 통해 경로를 계획하여 로봇을 이동시킵니다.
   • 특징: 추론 체인을 물리적 행동으로 연결하며, 로봇 플랫폼만 교체하면 실제 환경에 적용 가능합니다.

3. 주요 기여 (Key Contributions)

• 계층적 행동 분해 전략 제안: 내비게이션을 언어 계획, 비전 그라운딩, 로봇 제어의 3 단계로 분리하여, 추론과 지각 모듈을 유연하게 통합하는 제로샷 프레임워크를 제시했습니다.
• 다중 규모 MLLM 활용 (LaViRA): 고수준 계획에는 강력한 모델을, 저수준 지각에는 효율적인 모델을 매칭하여 최적의 성능을 달성하는 구체적인 구현체를 개발했습니다.
• SOTA 성능 달성: VLN-CE 벤치마크에서 기존 제로샷 방법론을 크게 능가하는 성능을 기록했으며, 지도 학습 (Supervised Learning) 기반 방법론을 능가하는 성공률 (SR) 을 보여주었습니다.
• 실제 로봇 적용 가능성: 시뮬레이션뿐만 아니라 Unitree Go1(4 발 로봇) 및 Agilex Cobot Magic(바퀴형 로봇) 등 실제 하드웨어에서도 성공적으로 내비게이션을 수행하여 시뮬레이션 - 실제 (Sim-to-Real) 전이 능력을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (VLN-CE):
  • 성공률 (SR): LaViRA(Gemini-2.5-Pro) 는 38.3% 의 성공률을 기록하여, 이전 최강 제로샷 방법론 (InstructNav, 31.0%) 보다 7.3%p 향상되었습니다.
  • 경로 길이 가중 성공률 (SPL): 28.3 로 기존 방법론 대비 4.3%p 개선되었습니다.
  • 지도 학습 대비: 사전 학습이 전혀 없는 제로샷 방식임에도 불구하고, 지도 학습 기반 방법론들 (예: BEVBert, ETPNav) 보다 높은 성공률을 보였습니다.
• 애블레이션 연구 (Ablation Studies):
  • 모델 매칭의 중요성: 고수준 계획에 강력한 모델 (GPT-4o) 을, 비전 그라운딩에 효율적인 모델 (Qwen-32B) 을 사용하는 조합이 가장 우수했습니다. (두 단계 모두 강력한 모델을 사용하면 오히려 성능이 저하됨).
  • 구조적 유효성: 계층적 분해 (Language + Vision) 가 없으면 성공률이 0% 에 수렴하거나 급격히 하락하여, 3 단계 파이프라인의 필수성을 입증했습니다.
  • 히스토리 표현: 텍스트 지시문과 시각적 관측을 모두 포함한 히스토리가 성능에 가장 긍정적 영향을 미쳤습니다.
• 비용 효율성: 1 에피소드당 추론 비용은 약 $0.084 USD 로, 고비용 모델의 사용을 최소화하면서 효율적인 설계임을 보였습니다.

5. 의의 및 결론 (Significance)

LaViRA 는 사전 학습된 웨이포인트 예측기 없이 순수한 제로샷 방식으로 복잡한 연속 환경 내비게이션을 해결한 최초의 성공적인 사례 중 하나입니다.

• 해석 가능성 (Transparency): 언어, 비전, 로봇 행동으로 명확히 분리된 구조 덕분에 에이전트의 의사결정 과정을 인간이 이해하고 디버깅하기 쉽습니다.
• 실용성: 다양한 로봇 플랫폼에 저수준 컨트롤러만 교체하여 적용 가능하므로, 실제 로봇 공학 분야로의 확장성이 매우 높습니다.
• 한계 및 향후 과제: 현재 상용 MLLM API 에 의존하고 있어 지연 시간 (Latency) 과 비용 변동성 문제가 있으며, 복잡한 지시나 넓은 영역에 대한 그라운딩 오류가 발생할 수 있습니다. 향후 오픈소스 모델로의 지식 증류 (Distillation) 및 로버스트한 지각 모듈 통합이 필요하다고 결론지었습니다.

이 연구는 대규모 언어 모델의 추론 능력을 로봇 제어에 효과적으로 접목하여, 훈련 데이터 없이도 새로운 환경에 적응할 수 있는 지능형 로봇 내비게이션의 새로운 패러다임을 제시했습니다.