MiniVLA-Nav v1: A Multi-Scene Simulation Dataset for Language-Conditioned Robot Navigation

"MiniVLA-Nav v1: A Multi-Scene Simulation Dataset for Language-Conditioned Robot Navigation" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

본 논문은 Embodied AI 분야에서 중요한 격차를 다룹니다. 즉, 연속 차동 구동 제어 (continuous differential-drive control) 를 포함하는 언어 조건부 객체 접근 (Language-Conditioned Object Approach, LCOA) 작업을 위한 대규모 고품질 데이터셋의 부재입니다.

• 격차: 기존 데이터셋은 이산적인 파노라마 행동 (예: R2R, ObjectNav) 이나 탁상 조작 (예: ALFRED) 에 초점을 맞추거나, 체계적인 분포 외 (Out-of-Distribution, OOD) 평가 분할이 부족합니다.
• 과제: 실제 로봇 시연 데이터 수집은 비용이 많이 들고 물류적으로 어렵습니다. 시뮬레이션이 해결책을 제시하지만, 기존 시뮬레이터들은 견고한 비전 - 언어 - 행동 (VLA) 모델을 훈련하는 데 필요한 다중 장면 다양성, 연속 행동 공간, 밀집된 단계별 전문가 라벨, 그리고 다중 모달 관측 (RGB + 깊이 + 분할) 의 조합이 종종 결여되어 있습니다.

2. 방법론

저자들은 NVIDIA Isaac Sim 5.1과 NVIDIA Nova Carter 차동 구동 로봇을 사용하여 확장 가능하고 재현 가능한 데이터 생성 파이프라인을 개발했습니다.

A. 작업 정의 (LCOA)

• 목표: 자연어 명령과 전방 RGB-D 관측을 기반으로 로봇이 명명된 객체로 이동하여 1.0 미터 이내에서 정지해야 합니다.
• 종료 조건:
  • 성공: 로봇이 1m 이내이며 $\ge$ 5 단계 동안 정지 상태일 때.
  • 충돌/정지: 장애물 근처에서 $\ge$ 16 단계 동안 진행이 없을 때.
  • 시간 초과: 1000 단계 도달 시.
• 행동 공간: VLA 스타일 훈련을 위해 **7$\times$7 토큰 어휘 (49 개 토큰)**로 양자화된 연속 $(v, \omega)$ 속도 명령.

B. 데이터 수집 파이프라인

• 시뮬레이션 환경: Isaac Assets 에서 로드된 네 가지 사진 같은 실내 장면 (사무실, 병원, 전체 창고, 여러 선반이 있는 창고).
• 로봇 및 센서: 60Hz 에서 동기화된 RGB, 미터 단위 깊이 (float32), 인스턴스 분할 마스크를 제공하는 전방 스테레오 카메라 (640$\times$640) 가 장착된 Nova Carter.
• 전문가 제어기: 인스턴스 분할 마스크를 사용하여 목표물을 추적하는 비전 기반 비례 제어기.
  • 가시적 목표물: 마스크 중심에 기반한 heading 조정 및 중앙 깊이 기반 속도 조정.
  • 가려진 목표물: 알려진 목표 좌표에 기반한 bearing-only 제어 사용.
  • 장애물 회피: 전경 깊이가 0.25m 미만일 경우 속도 제한.
• 생성 전략: 난이도 다양성을 보장하기 위해 에피소드는 세 가지 생성 거리 계층을 사용합니다.
  • 근접 (Near): 1.5–3.5 m (에피소드의 30%).
  • 중간 (Mid): 3.5–7.0 m (40%).
  • 원거리 (Far): 전역 큐레이션 포인트 (30%, 현재 과소 대표됨).
• 언어 명령: 18 개 훈련 템플릿과 12 개 OOD 재문장 템플릿에서 생성됨. (참고: 자산에 색상 메타데이터가 부족하여 v1 에서는 색상 슬롯 템플릿이 억제됨).

C. 데이터셋 구조

• 총 에피소드: 1,174 개의 검증된 성공 에피소드.
• 모달리티: 동기화된 RGB, 깊이, 분할, 연속 행동 $(v, \omega)$, 이산화된 행동 토큰.
• 평가 분할: 다음을 테스트하도록 설계된 다섯 가지 분할:
  1. 분포 내 정확도 (train_id, val_id, test_id).
  2. 템플릿 재문장 견고성 (test_paraphrase_ood).
  3. 객체 범주 일반화 (test_ood_obj).

3. 주요 기여

1. 최초의 다중 장면 LCOA 데이터셋: 여러 실내 장면 유형, 연속 차동 구동 전문가 행동, 언어 명령, 그리고 단계별 다중 모달 관측을 결합한 최초의 공개 데이터셋.
2. 확장 가능한 생성 파이프라인: 단일 무작위 시드를 통해 비트 단위 재현성을 보장하는 Isaac Sim 5.1 기반의 완전 자동화 및 재개 가능한 파이프라인.
3. 구조화된 OOD 평가: 재문장된 명령과 보이지 않는 객체 범주에 대한 모델 견고성을 벤치마크하도록 특별히 설계된 다섯 가지 평가 분할.
4. 풍부한 주석: 12 개 객체 범주, 3 개 생성 거리 계층, 60Hz 의 동기화된 다중 모달 데이터 (RGB, 깊이, 분할) 포함.
5. 종합적 통계: 궤적 길이, 항법 오차, 생성 거리 상관관계에 대한 상세 분석.

4. 결과 및 통계

• 궤적 다양성: 생성 거리와 궤적 길이 사이에 강한 선형 상관관계 ($r=0.94$) 가 있으며, 이는 전문가 제어기가 효율적이고 거의 직선인 경로를 따르는 것을 확인합니다.
  • 근접 계층: 평균 길이 1.56m (129 단계).
  • 원거리 계층: 평균 길이 4.46m (415 단계).
• 항법 정확도: 유지된 모든 에피소드가 성공하였으며, 평균 항법 오차 (NE) 는 0.967m로, "정지 유지" 기준 때문에 1.0m 성공 임계값 바로 아래에 밀집되어 있습니다.
• 장면 난이도: 사무실/병원 장면 (156–160 단계) 에 비해 창고 장면이 더 긴 에피소드를 생성합니다 (중앙값 189–207 단계). 이는 혼잡함과 복도 제약 때문입니다.
• 전문가 성공률: 장면 복잡도에 따라 다릅니다 (사무실: 약 80–90%; 병원/창고: 약 40–60%). 이는 현재 데이터셋에서 장애물이 없는 경로에 대한 선택 편향을 초래합니다.

5. 중요성 및 향후 작업

• 중요성: MiniVLA-Nav v1 은 언어 기반 연속 바퀴 항법을 위한 벤치마크를 제공함으로써 VLA 연구 환경의 중요한 공백을 메웁니다. 이는 이산 행동 공간을 넘어 새로운 객체 범주 및 명령 표현에 일반화될 수 있는 엔드 투 엔드 정책 훈련을 가능하게 합니다.
• 한계 및 향후 작업:
  • 원거리 계층 과소 대표: 에피소드의 1.2% 만 "원거리 계층"에 속함; 향후 업데이트에서 전역 생성 포인트를 확장할 예정.
  • 색상 주석: 현재 억제됨; 향후 버전에서는 메시 기반 색상 추출을 추가할 예정.
  • 전문가 편향: 비례 제어기는 좁은 복도에서 어려움을 겪음; 향후 작업에서는 더 나은 커버리지를 위해 경로 계획 전문가 (예: RRT*) 를 통합할 예정.
  • 시뮬레이션 - 실제 간극: 렌더링, 깊이 노이즈, 바닥 역학의 차이는 실제 세계 배포 전에 도메인 무작위화가 필요함.
  • 동적 장애물: 현재 장면은 정적임; 향후 버전에는 이동하는 장애물이 포함될 예정.

이 데이터셋은 생성 파이프라인 및 평가 도구를 동반하여 Hugging Face 에서 공개적으로 제공되며, 동반 출판물에서 기본 훈련 결과가 제공될 예정입니다.