GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

GRaD-Nav++ 기술 요약: 가우시안 방사장 및 미분 가능 동역학을 활용한 비전 - 언어 모델 기반 시각적 드론 항법

문제 정의
본 논문은 비구조화된 환경에서 자율 드론이 고수준 자연어 명령을 해석하고 실행할 수 있도록 하는 과제를 다룹니다. 최근 모듈식 지각 - 계획 - 제어 파이프라인, 모방 학습, 그리고 강화 학습 (RL) 의 발전이 드론의 능력을 향상시켰지만, 기존 방법들은 종종 수동으로 설계된 기술, 광범위한 파라미터 튜닝, 또는 온보드 배포에 부적합한 대규모 모델에 의존합니다. furthermore, 대규모 언어 모델 (LLM) 이나 비전 - 언어 모델 (VLM) 을 활용하는 현재 접근법들은 일반적으로 고수준 의사결정과 저수준 제어 사이에 병목 현상을 초래하는 계층적 아키텍처를 사용하거나, 계산적 제약으로 인해 지상국 지원을 필요로 합니다. 외부 인프라 없이 추상적인 인간의 의도를 이해하고 새로운 작업 및 환경에 적응할 수 있는 에이전트와 현재 시스템 사이에는 여전히 큰 격차가 존재합니다.

방법론
저자들은 드론 전체에 탑재되어 실행되도록 설계된 경량 비전 - 언어 - 행동 (VLA) 프레임워크인 **GRaD-Nav++**를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소를 통합합니다:

1. 훈련 환경 (3DGS 및 DiffRL): 고품질 시각적 시뮬레이션과 샘플 효율적인 훈련을 달성하기 위해, 저자들은 상호작용 속도의 사진처럼 사실적인 렌더링을 위해 **3D 가우시안 스플래팅 (3DGS)**을 활용합니다. 이는 **미분 가능 강화 학습 (DiffRL)**과 결합되는데, 미분 가능 쿼드콥터 동역학을 활용하여 그라디언트 기반 최적화를 통해 정책 학습을 가속화합니다. 이 하이브리드 파이프라인은 메시 기반 시뮬레이션이나 NeRF 렌더링의 계산 비용 없이 시각 및 언어 입력으로부터 저수준 제어를 효율적으로 학습할 수 있게 합니다.
2. 모델 아키텍처:
   • 비전 - 언어 모델 (VLM): 사전 훈련된 CLIP 모델이 자연어 명령과 1 인칭 RGB 이미지를 인코딩합니다. 온보드 제약 (NVIDIA Jetson Orin Nano) 을 수용하기 위해, VLM 은 비동기적으로 실행되어 10 시간 간격마다 의미론적 특징 벡터를 업데이트합니다.
   • 정책 네트워크 (MoE): 핵심 제어 정책은 멀티헤드 액션 헤드를 갖춘 혼합 전문가 (MoE) 아키텍처를 사용합니다. 게이트 네트워크는 각 입력에 대해 연산을 특수화된 전문가 네트워크의 부분 집합 (top-k=2) 으로 적응적으로 라우팅합니다. 이 설계는 실시간 추론을 위한 작은 파라미터 수를 유지하면서 과적합을 완화하고 다양한 작업 및 환경에 대한 일반화를 개선하는 것을 목표로 합니다.
   • 컨텍스트 추정기: $\beta$-변분 오토인코더 ($\beta$-VAE) 기반의 컨텍스트 추정기 네트워크 (CENet) 는 과거 관측치를 처리하여 잠재 벡터를 생성하여 시뮬레이션 - 실제 간극을 완화하고 견고성을 향상시킵니다.
3. 훈련 절차: 정책은 부드러운 동적 제어, 웨이포인트 추적, 그리고 장애물 회피에 중점을 둔 보상 함수를 사용하여 훈련됩니다. 훈련에는 다중 작업 일반화 (연속적인 공간 추론 및 객체 고정 학습) 와 다중 환경 적응 (서로 다른 3DGS 환경 전반에 걸친 훈련) 이 포함됩니다.

주요 기여

• 온보드 VLA 프레임워크: 외부 인프라나 지상국 지원 없이 작동하는 완전한 온보드 드론 비행 VLA 프레임워크 제안.
• 일반화 및 적응: 고수준 자연어 명령에 기반한 항법 작업을 수행할 수 있는 VLA 정책을 입증하여, 보지 못한 작업에 대한 일반화와 여러 환경에 대한 적응을 보여줌.
• 새로운 MoE 액션 모듈: 3DGS 와 DiffRL 을 통해 훈련된 멀티헤드 MoE 액션 모듈 도입으로, 표준 베이스라인 대비 샘플 효율성과 작업 성공률에서 최첨단 성능 달성.

실험 결과
저자들은 시뮬레이션과 인텔 Realsense D435 카메라와 Jetson Orin Nano 가 장착된 실제 하드웨어 (드론) 모두에서 프레임워크를 평가했습니다.

• 다중 작업 일반화: 시뮬레이션에서 이 방법은 훈련된 작업에서 83%, 보지 못한 작업에서 **75%**의 성공률을 달성했습니다. 실제 하드웨어에서는 훈련된 작업에서 67%, 보지 못한 작업에서 **50%**의 성공률을 기록했습니다. 제거 실험은 VLM 을 제거하거나 DiffRL 없이 표준 근접 정책 최적화 (PPO) 를 사용할 경우 성공률이 거의 0% 가 됨을 확인시켜, VLM 이의 고정과 DiffRL 의 샘플 효율성 필요성을 강조했습니다.
• 다중 환경 적응: 다양한 시뮬레이션 및 실제 환경에 걸친 실험에서 MoE 정책은 시뮬레이션에서 평균 81%, 실제 환경에서 **67%**의 성공률을 달성했습니다. 특히, MoE 아키텍처는 환경 간 전환 시 과적합을 방지하는 데 있어 단일 전문가 및 대규모 네트워크 베이스라인보다 훨씬 우수한 성능을 보였습니다.
• 작업 전환 및 견고성: 시스템은 비행 중 변경된 명령에 적응할 수 있는 능력을 입증했습니다 (예: "왼쪽으로 날아라"에서 "오른쪽으로 날아라"로 전환). 이때 VLM 유사도 점수가 새로운 의미론적 정렬을 반영하여 동적으로 변화했습니다.
• 확장성: 실험 결과, 전문가 수를 늘리는 것 (4 개 또는 8 개) 은 시뮬레이션 성능을 약간 향상시켰지만, 계산적 지연 (제어 주파수 10Hz 로 하락) 으로 인해 실제 환경 성능이 저하됨을 보여주어, 모델 용량과 온보드 추론 제약 사이의 트레이드오프를 확인시켰습니다.

의의 및 주장
본 논문은 외부 인프라에 의존하지 않고 컴팩트하고 효율적인 모델이 신뢰할 수 있는 언어 기반 항법을 가능하게 함으로써 완전한 온보드 VLA 비행에 대한 새로운 기준을 수립했다고 주장합니다. 저자들은 그들의 접근 방식이 통합된 엔드 - 투 - 엔드 아키텍처를 통해 고수준 의미론적 이해와 저수준 제어 사이의 간극을 메운다고 강조합니다.

그러나 저자들은 그들의 주장에 대해 겸손한 범위를 유지합니다. 그들은 정책이 훈련 중에 개별적으로 보인 하위 작업들의 새로운 조합에 적응하지만, 전체적으로 보지 못한 하위 작업으로 구성된 명령에는 실패한다고 명시적으로 밝힙니다. 따라서 그들은 GRaD-Nav++ 를 오픈 - 어휘 embodied AI 를 위한 일반적인 해결책으로 주장하지 않고, 대신 효율적이고 온보드이며 명령을 따르는 자율성을 향한 중요한 단계로 간주합니다.