AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control

본 논문은 복잡한 모듈식 시스템에 의존하지 않고, 원시 시각 데이터와 모호한 언어 지시를 직접 연속적인 물리적 제어 신호로 매핑하는 'AerialVLA'라는 최소주의 엔드투엔드 비전 - 언어 - 행동 모델을 제안하여, UAV 의 자율 항법 및 정밀 착륙 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

🚁 하늘을 나는 AI: 'AerialVLA' 이야기

이 논문은 드론 (무인 항공기) 이 사람의 말로 지시받은 목적지를 스스로 찾아갈 수 있게 해주는 새로운 인공지능 기술, **'AerialVLA'**를 소개합니다. 기존 방식이 얼마나 복잡하고 비효율적인지, 그리고 이 새로운 방식이 어떻게 드론을 더 똑똑하고 자유롭게 만들었는지 쉽게 설명해 드릴게요.

1. 기존 드론의 문제점: "눈가리개 하고 걷는 사람"

기존 드론 내비게이션 시스템은 마치 눈가리개를 하고, 누군가 귀에 대고 "오른쪽으로 3 걸음, 왼쪽으로 2 걸음"이라고 속삭여 주는 사람과 비슷했습니다.

• 과도한 의존성: 드론이 스스로 길을 찾지 못하고, 미리 정해진 정답 (오라클) 을 입력받아야만 움직였습니다.
• 별개의 눈: 드론이 "어디로 가야 할지" 판단하는 뇌와 "어디에 착륙해야 할지" 판단하는 눈 (객체 감지기) 이 따로 놀았습니다. 마치 운전자가 핸들을 돌리는 손과 브레이크를 밟는 발이 서로 다른 사람이 조종하는 것과 같아, 시스템이 무너지기 쉬웠습니다.
• 복잡함: 너무 많은 카메라와 복잡한 계산 과정을 거치느라, 실제 하늘에서 빠르게 반응하기 어려웠습니다.

2. AerialVLA 의 등장: "직관적인 천재 드론"

이 연구팀은 드론을 **스스로 보고, 생각하고, 행동하는 '한 명의 천재'**로 만들었습니다. 이를 위해 세 가지 핵심 비법을 사용했습니다.

🧩 비법 1: "두 눈으로만 보는 간결한 시선" (미니멀리스트 듀얼 뷰)

기존 드론은 앞, 뒤, 좌, 우, 아래 등 5 개나 되는 카메라로 주변을 훑어보느라 정보를 과부하 시켰습니다.

• 비유: 마치 스마트폰 카메라처럼, 드론은 **'앞 (전방)'**과 '아래 (지하)' 두 가지 시선만 집중합니다.
• 효과: 불필요한 정보 (옆이나 뒤의 잡음) 를 버려서, 드론이 "앞에 장애물이 있나?"와 "아래에 착륙할 땅이 있나?"에 집중할 수 있게 되었습니다. 이는 마치 주변 소음을 차단하고 중요한 말만 듣는 것처럼 효율적입니다.

🗣️ 비법 2: "정확한 지시 대신 '느낌'을 주는 나침반" (퍼지 방향 프롬프팅)

기존 방식은 "오른쪽으로 35 도 회전"처럼 수학적으로 정확한 지시를 줬습니다. 하지만 실제 하늘에서는 GPS 오차나 바람 때문에 정확한 지시는 오히려 방해가 됩니다.

• 비유: AerialVLA 는 **"저기 오른쪽 앞쪽에 뭔가 있어, 가 봐!"**라고 모호하지만 직관적인 힌트만 줍니다.
• 효과: 드론은 이 힌트를 받으면, 스스로 주변을 살피며 "아, 저기 저게 목표물이구나!"라고 **스스로 찾아내는 능력 (능동적 시각 착지)**을 키웁니다. 마치 부모님이 아이에게 "저기 저기 있어"라고만 알려주고 아이가 스스로 찾아보게 하는 것과 같습니다.

🎮 비법 3: "한 번에 모든 것을 조절하는 마법 지팡이" (통합 착륙)

기존 드론은 날다가 목적지에 다다르면, 별도의 감지기가 "착륙할 때!"라고 신호를 보내야 했습니다.

• 비유: AerialVLA 는 날다가 착륙할 때까지 하나의 흐름으로 처리합니다. 드론이 "아, 여기가 목표구나!"라고 스스로 판단하면, **스스로 착륙 신호 (LAND)**를 내보내며 부드럽게 내려앉습니다.
• 효과: 외부 감지기가 고장 나거나 실패할까 봐 걱정할 필요가 없습니다. 드론이 스스로 "이제 그만 내려가야겠다"라고 판단하는 자율성을 갖게 된 것입니다.

3. 실험 결과: "새로운 환경에서도 3 배 더 잘하는 드론"

이 새로운 드론을 실제 테스트 (TravelUAV) 해본 결과는 놀라웠습니다.

• 본격적인 훈련장 (Seen): 이미 본 환경에서도 기존 최고 성능보다 훨씬 잘했습니다.
• 완전 낯선 곳 (Unseen): 가장 중요한 부분입니다. 전혀没见过 (본 적 없는) 건물이나 장애물이 있는 곳에서도, 기존 드론들이 10% 미만의 성공률을 보인 반면, AerialVLA 는 약 3 배 이상 높은 성공률을 기록했습니다.
• 이유: 복잡한 규칙을 외운 게 아니라, 시각과 언어를 직접 연결하는 본능을 배웠기 때문에, 낯선 환경에서도 유연하게 대처할 수 있었습니다.

📝 한 줄 요약

"AerialVLA 는 드론에게 '정답지'를 빼앗고 '직관'을 심어주었습니다. 복잡한 기계 장치 대신, 드론이 스스로 보고 느끼며 날아갈 수 있게 만든, 하늘을 나는 진정한 자율 주체입니다."

이 기술은 앞으로 구조대 드론이 재난 현장에서 스스로 길을 찾거나, 배송 드론이 낯선 도시에서 정확한 집 앞까지 착륙하는 등, 실제 세상에서 드론이 더 자유롭게 일할 수 있는 기반이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

무인 항공기 (UAV) 를 위한 비전 - 언어 내비게이션 (VLN) 은 3 차원 동적 환경에서 복잡한 시각적 해석과 연속적인 제어가 필요하지만, 기존 접근 방식은 다음과 같은 한계를 가지고 있습니다.

• 이중 의존성 (Double Crutches):
  1. 정밀한 오라클 가이드 (Oracle Guidance): 기존 방법들은 학습 및 추론 시 정밀한 지시 (예: "오른쪽으로 회전") 와 같은 사전 정의된 지상 진실 (Ground Truth) 기반의 방향성 힌트에 의존합니다. 이는 에이전트가 능동적인 공간 추론을 하지 않고 수동적으로 지시를 따르도록 만들어 자율성을 저해합니다.
  2. 외부 객체 탐지기 의존: 착륙 단계를 트리거하기 위해 Grounding DINO 와 같은 외부 객체 탐지기를 필수적으로 사용합니다. 이는 인식 - 제어 루프를 단절시키고, 탐지기가 실패하는 오픈 월드 환경에서 시스템의 견고성을 떨어뜨립니다.
• 모듈식 구조의 비효율성: 계층적 (Hierarchical) 인 접근 방식은 인식과 제어를 분리하여 시맨틱 간극 (Semantic Gap) 을 발생시키고, 추론 지연을 초래하며, 정밀한 착륙을 어렵게 만듭니다.

2. 제안 방법론: AerialVLA (Methodology)

저자들은 오라클 가이드와 외부 탐지기를 완전히 배제하고, 원시 시각 관측과 모호한 언어 지시를 연속적인 물리적 제어 신호로 직접 매핑하는 최소주의적 엔드 - 투 - 엔드 (Minimalist End-to-End) 비전 - 언어 - 액션 (VLA) 프레임워크를 제안합니다.

핵심 구성 요소:

1. 최소주의적 듀얼 뷰 인식 (Minimalist Dual-View Perception):

   • UAV 의 하드웨어 구성에 맞춰 **전방 (Front)**과 하방 (Down) 두 가지 뷰만 사용합니다.
   • 수직 모자이크 (Vertical Mosaic) 방식으로 이미지를 결합하여 SigLIP 와 DINOv2 를 통해 처리합니다.
   • 불필요한 다중 카메라의 중복성을 제거하면서도 전방 장애물 회피, 목표 식별, 정밀 착륙을 위한 필수적인 기하학적 및 시맨틱 정보를 보존합니다.

2. 모호한 방향성 프롬프팅 (Fuzzy Directional Prompting):

   • 정밀한 오라클 대신 onboard 센서 (IMU/GPS) 에서 유래한 모호한 방향성 힌트 (예: "정면", "전방 - 우측", "오른쪽 뒤") 만을 프롬프트에 포함합니다.
   • Table 1 에 명시된 바와 같이 상대 각도를 coarse-grained 범주로 매핑합니다.
   • 이는 에이전트가 정밀한 경로 추적이 아닌, **능동적인 시각적 그라운딩 (Active Visual Grounding)**을 통해 스스로 경로를 계획하도록 강제하여 센서 노이즈와 환경적 불확실성에 강한 정책을 학습시킵니다.

3. 수치 토큰화를 통한 고차원 제어 (High-DoF Control via Numerical Tokenization):

   • 통합 착륙 정책: 외부 탐지기가 아닌, 모델 자체에서 착륙을 결정합니다. 3 자유도 (3-DoF: 전후, 상하, 요 (yaw) 각도) 의 연속적인 제어 명령을 LLM 의 어휘 내 기존 수치 토큰으로 매핑합니다.
   • 내재적 정지 (Intrinsic Stopping): 목표에 도달하면 LAND 토큰을 생성하거나 0 에 가까운 공간 오프셋을 예측하여 자동으로 착륙을 수행합니다.
   • 냉간 시작 문제 해결: 새로운 액션 토큰을 학습하는 대신, 사전 학습된 LLM 의 수치 추론 능력을 활용하여 빠른 수렴과 부드러운 제어 궤적을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 최소주의적 듀얼 뷰 인식: 소비자급 UAV 하드웨어에 부합하는 전방/하방 뷰만 사용하여 계산 효율성을 높이고 필수 정보를 보존하는 새로운 시각 인터페이스를 제안했습니다.
2. 오라클 없는 자율성: onboard 센서 기반의 모호한 힌트만을 사용하여 에이전트가 수동적 지시 수행자가 아닌 능동적 공간 추론자가 되도록 했습니다.
3. 통합 엔드 - 투 - 엔드 제어: 외부 탐지기가 필요 없는 내재적 착륙 정책을 포함한 3-DoF 연속 제어 공간을 수치 토큰화하여 단일 정책으로 항해와 정밀 착륙을 통합했습니다.

4. 실험 결과 (Results)

TravelUAV 벤치마크 (Seen, Unseen Object, Unseen Map) 에서 기존 최첨단 (SOTA) 모델들과 비교 평가되었습니다.

• Seen 환경 (관측된 환경):
  • 성공률 (SR) 47.96%, 경로 길이 가중 성공률 (SPL) **38.54%**를 기록하여 기존 최강 베이스라인 (LongFly) 보다 SR 에서 11.57%p, SPL 에서 7.47%p 향상되었습니다.
  • 특히 Hard 분할에서 성능 격차가 더욱 벌어졌습니다.
• Unseen Object (미관측 객체):
  • 새로운 객체 카테고리에서 SR **56.60%**를 달성하여, 외부 탐지기에 의존하는 모델들의 일반화 실패를 극복하고 LLM 의 오픈-보카불러리 표현력을 효과적으로 활용함을 입증했습니다.
• Unseen Map (미관측 지도):
  • 완전히 새로운 환경에서 SR 37.58%, **SPL 28.22%**를 기록했습니다. 이는 기존 SOTA (LongFly) 대비 약 3 배 높은 성공률로, 복잡한 공간 기억 없이도 즉각적인 관측에 기반한 강력한 제로샷 (Zero-shot) 적응 능력을 보여줍니다.
• 효율성:
  • 외부 모듈 (Grounding DINO 등) 을 제거하여 전체 시스템 지연 시간을 0.63s 에서 0.38s로 단축했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: UAV 내비게이션 분야에서 복잡한 모듈식 시스템과 정밀한 오라클 의존에서 벗어나, 단순하고 자율 중심적인 엔드 - 투 - 엔드 VLA 패러다임이 더 강력한 비전 - 모션 표현을 학습할 수 있음을 입증했습니다.
• 실용성: 외부 탐지기와 정밀한 지상 진실 데이터 없이도, onboard 센서와 언어 지시만으로 복잡한 3D 환경에서 정밀한 항해와 착륙이 가능함을 보여주어, 구조화되지 않은 오픈 월드 (Search & Rescue, 원격 검사 등) 에서의 UAV 적용 가능성을 크게 높였습니다.
• 미래 방향: 단순한 행동 복제 (Behavior Cloning) 의 한계를 넘어, 향후 경량화된 기억 메커니즘과 강화학습을 결합하여 더 복잡한 글로벌 추론과 능동적 탐사를 가능하게 할 것으로 기대됩니다.

이 논문은 AerialVLA를 통해 UAV 가 외부의 도움 없이도 시각적 관측과 언어 지시만으로 자율적으로 비행하고 착륙할 수 있는 새로운 기준을 제시했습니다.