VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

기술 요약: VEGA – 기하학적 궤적 감독을 통한 야생의 1인칭 시점 비디오로부터의 학습 기반 내비게이션 VLA

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 대규모의 다양한 데이터셋을 활용함으로써 로봇 조작 분야에서 상당한 가능성을 보여주었습니다. 그러나 이러한 모델을 **지상 이동 로밀 로봇 내비게이션(ground mobile robot navigation)**으로 확장하는 것은 여전히 중요한 병목 구간으로 남아 있습니다. 기존의 내비게이션 데이터셋은 희소하며, 일반적으로 하나의 장면당 하나의 목표(내재적 또는 명시적 목표)를 향한 단일 궤적만을 제공합니다. 이러한 밀도 낮은 감독 방식은 동일한 환경 내에서도 목표, 장애물 구성, 시작 위치에 따라 실행 가능한 궤적이 어떻게 달라지는지를 정책(policy)에 학습시키는 데 실패합니다. 결과적으로 학습된 정책은 약한 목표 접지(goal grounding), 열악한 근거리 장애물 회피, 그리고 복잡한 장면에서의 안전하지 않은 동작을 보입니다.

자율 주행 데이터셋은 규모 면에서는 뛰어나지만, 구조화된 환경을 대상으로 하며 일반적인 모바일 로봇에서 나타나는 근거리의 객체 중심적 복잡함을 포착하지 못합니다. 반대로, 방대한 환경, 목표, 장애물 배치를 커버할 수 있는 충분한 양의 원격 제어 로봇 데이터를 수집하는 것은 확장성이 떨어집니다. 대규모 1인칭 시점 비디오(예: 워킹 투어, 가구 기록 영상)는 풍부한 실제 내비게이션 시각 관측치를 포함하고 있어 매우 풍부하지만, 정책 학습에 필요한 명시적인 로봇 행동, 목표 조건화 및 장애물 인지 궤적이 결여되어 있습니다.

방법론: VEGA

저자들은 VEGA(Geometric Action 감독을 통한 1인칭 시점 비디오 기반 시각-언어 내비게이션)를 제안합니다. 이는 레이블이 없는 행동 정보가 없는 1인칭 시점 비디오를 학습 가능한 내비게이션 VLA를 위한 확장 가능한 감독 신호로 변환하는 프레임워크입니다. 핵심 혁신은 학습 단계에서만 재구성된 장면 기하 구조를 사용하여 장애물 인지 궤적을 생성하고, 이를 추론 시에는 RGB 관측값과 목표만을 필요로 하는 시각 기반 정책으로 증류(distill)하는 것입니다.

1. 데이터 생성 파이프라인

VEGA는 레이블이 없는 1인칭 시점 비디오를 다음 단계들을 통해 처리합니다:

• 단안 기하 구조 재구성(Monocular Geometry Reconstruction): MoGe-2 파운데이션 모델을 사용하여 각 RGB 프레임으로부터 밀집된 메트릭 3D 포인트 맵($P_t$)을 재구성합니다. RANSAC을 통해 로컬 지면 평면을 피팅하고, 로봇의 좌표계에 맞춰 포인트를 회전시킵니다.
• 가시성 인지 ESDF 구축(Visibility-Aware ESDF Construction): 시스템은 레벨링된 포인트 맵을 버드 아이 뷰(Bird's-Eye-View, BEV) 도메인으로 투영합니다. 레이 트레이싱(raytracing)을 사용하여 알려진 자유 공간($X_{free}$), 점유된 공간($X_{occ}$), 관찰되지 않은 공간($X_{unk}$)을 구분합니다. 유클리드 부호 거리 함수(Euclidean Signed Distance Field, ESDF)를 계산하며, 여기서 양수 값은 안전한 여유 공간을, 음수 값은 장애물이나 미관측 영역을 나타냅니다.
• 다중 모달 목표 앵커링(Multimodal Goal Anchoring):
  • 객체 목표(Object Goals): Florence-2가 객체를 탐지하고 바운딩 박스를 생성합니다. 이들은 지면 평면에 투영되어 텍스트 및 이미지 영역 목표와 정렬된 공간 웨이포인트($g_{wp}$)를 생성합니다.
  • 자유 공간 목표(Free-Space Goals): 임의의 통행 가능한 위치에 대한 감독을 제공하기 위해 관찰된 자유 공간에서 보조 웨이포인트를 샘플링합니다.
• 궤적 생성(Trajectory Generation): 모델 예측 경로 적분(Model Predictive Path Integral, MPPI) 플래너가 목표를 향한 장애물 인지 웨이포인트 궤적을 생성합니다. 플래너는 ESDF를 사용하여 목표 도달, 충돌 회피, 여유 공간 확보, 제어 노력 및 매끄러움을 최적화합니다. 목표에 도달할 수 없는 경우, 최선의 부분 궤적이 선택됩니다.

2. 모델 아키텍처 및 학습

VEGA는 로컬 2D 웨이포인트 청크(chunk)를 예측하도록 플로우 매칭(flow-matching) VLA를 학습시킵니다.

• 아키텍처: $\pi_{0.5}$ VLA 아키텍처를 기반으로 하며, 사전 학습된 시각-언어 백본과 플로우 매칭 액션 전문가를 결-합합니다. 특정 인코더를 통해 텍스트, 이미지, 웨이포인트 목표를 지원합니다.
• 학습 목적 함수: 모델은 노이즈 샘플을 타겟 궤적으로 변환하는 벡터 필드를 예측하도록 학습됩니다. 단일 결정론적 출력을 예측하는 방식과 달리, 플로우 매칭은 동일한 관측-목표 쌍에 대해 여러 개의 서로 다른 경로가 실행 가능하다는 사실을 포착하는 다중 모달 액션 분포를 모델링할 수 있게 합니다.
• 추론(Inference): 배포 시, 정책은 RGB 관측값과 목표 명세만을 필요로 합니다. 기하학적 추론은 학습 과정에서 정책 가중치에 증류되었으므로, 온라인 깊이 센서, LiDAR 또는 명시적인 기하학적 맵이 필요하지 않습니다.

주요 기여

1. 기하학 감독 기반 VLA 학습: 수동 액션 레이블이나 로봇 시연 없이도, 레이블이 없는 1인칭 시점 비디오로부터 장애물 인지 내비게이션 행동을 증류하는 패러다임을 제시합니다.
2. 대규모 다중 모달 궤적 데이터셋: 텍스트, 이미지 영역 및 공간 웨이포인트 주석과 정렬된 약 500만 개의 목표 조건부 궤적을 포함하며, 재구성된 3D 포인트 클라우드 및 ESDF가 동반된 데이터셋을 구축하였습니다.
3. VEGA-Bench: 목표 진행도, 충돌률 및 장애물 여유 공간을 엄격하게 평가하기 위해 설계된 25만 개의 장면과 500만 개의 다중 모달 타겟으로 구성된 새로운 평가 스위트입니다.
4. 실제 환경 검증: 물리적 로봇에 대한 접근 방식의 전이 가능성을 입증하는 실증적 근거를 제시합니다.

결과 및 평가

저자들은 VEGA-Bench와 실제 로봇 실험에서 SOTA 베이스라인(OmniVLA, NaVILA, $\pi_{0.5}$)을 대상으로 VEGA를 평가했습니다.

• VEGA-Bench 성능: VEGA는 베이스라인과 대등한 목표 진행도를 달성하면서도, 충돌률을 현저히 낮추고 장애물 여유 공간을 개선했습니다. 구체적으로 가장 강력한 베이스라인 대비 충돌을 33.0% 감소시켰고, 장애물 여유 공간을 17.9% 향상시켰습니다.
• 실제 로봇 실험: 정적 및 동적 장애물이 있는 복잡한 환경에서 사족 보행 로봇에 배치된 결과, VEGA는 다음과 같은 상당한 개선을 보였습니다:
  • 성공률(Success Rate): 최소 150.0% 향상.
  • 충돌 회피(Collision Avoidance): 최소 66.7% 감소.
  • 장애물 여유 공간(Obstacle Clearance): 최소 60.0% 향상.
• 목표 접지(Goal Grounding): 정성적 및 정량적 분석 결과, VE가를 통해 특정 목표(텍스트, 이미지 또는 웨이포인트)에 성공적으로 조건화됨을 확인하였으며, 목표와 상관없이 유사한 경로를 생성하는 베이스라인의 "모드 붕괴(mode collapse)" 현상을 방지했습니다.

의의 및 주장

본 논문은 비디오 유래 기하학적 감독이 장애물 인지 내비게이션 VLA를 학습시키기 위한 확장 가능하고 효과적인 신호를 제공한다고 주장합니다. 풍부한 1인칭 시점 비디오를 활용하고 기하학을 학습 시의 교사(teacher)로만 사용하는 VEGA는, VLA의 의미론적 추론 능력과 고전적 플래닝의 기하학적 안전 요구 사항 사이의 간극을 메웁니다. 이 접근 방식은 비용이 많이 드는 대규모 로봇 데이터 수집의 필요성을 제거하는 동시에, 복잡하고 혼잡한 실제 환경으로 일반화할 수 있는 정책을 가능하게 합니다.

한계 및 향-후 과제

저자들은 두 가지 주요 한계를 인정합니다:

1. 무기억성(Memorylessness): 현재 정책은 현재의 RGB 관측값과 목표에만 의존하는 무기억성 모델입니다. 이는 목표나 장애물이 카메라 시야를 벗어날 때 취약할 수 있습니다. 향후 연구에서는 시간적 어텐션(temporal attention)이나 잠재 메모리(latent memory)를 통합할 수 있습니다.
2. 정적 기하 구조 가정: 로컬 ESDF 감독은 동적 장애물의 움직임을 명시적으로 모델링하지 않습니다. 재계획(replanning)이 새로 발견된 장애물을 처리하기는 하지만, 플래너가 움직이는 객체의 미래 움직임을 예측하지는 않습니다. 향후 버전에서는 궤적 예측이나 시간 인덱스 기반의 거리 필드를 통합할 수 있습니다.