OnFly: Onboard Zero-Shot Aerial Vision-Language Navigation toward Safety and Efficiency

이 논문은 불안정한 의사결정과 안전성-효율성 트레이드오프를 해결하기 위해 공유 지각 기반의 이중 에이전트 아키텍처와 하이브리드 메모리, 그리고 의미-기하학적 검증기를 도입하여 복잡한 3D 환경에서 자연어 지시를 따르는 무인기 (UAV) 의 제로샷 항공 비전 - 언어 항법을 안전하고 효율적으로 수행하는 온보드 프레임워크 'OnFly'를 제안합니다.

핵심

🚁 "OnFly": 드론이 스스로 길을 찾는 마법 같은 두뇌

이 논문은 드론이 사람의 말만 듣고 복잡한 3D 공간에서 스스로 비행하며 목적지에 도달하는 기술에 대한 것입니다. 기존 기술들은 드론이 길을 잃거나, 너무 조심해서 제자리걸음을 하거나, 아예 충돌하는 문제가 많았는데, 연구팀은 **'OnFly'**라는 새로운 시스템을 만들어 이 모든 문제를 해결했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🌟 1. 문제점: 왜 기존 드론들은 길을 잃었을까?

기존 드론들은 마치 "한 번에 모든 일을 하려는 초보 운전사" 같았습니다.

• 혼란: "앞으로 가라!"는 명령을 내리면서 동시에 "지금 목표에 도달했나?"를 고민하느라 머리가 복잡해져서 결정이 늦어졌습니다.
• 망각: 긴 여행을 하다 보면 "어디서 왔지?"를 기억하는 메모리가 부족해져서 길을 잃었습니다.
• 안전 vs 속도: 너무 조심하면 (안전) 제자리걸음만 하고, 너무 빠르면 (효율) 벽에 부딪힙니다.

🚀 2. OnFly 의 해결책: "두 명의 전문가"가 팀을 이룹니다

OnFly 는 드론의 뇌를 두 명의 전문가로 나눕니다. 이 두 사람은 같은 눈 (카메라) 을 공유하지만, 서로 다른 일을 전문으로 합니다.

👮‍♂️ 전문가 A: "즉흥 전술가" (고빈도 의사결정 에이전트)

• 역할: "지금 당장 어디로 날아가야 하지?"를 매우 빠르게 결정합니다.
• 비유: 마치 레이싱 드라이버처럼, 시야에 보이는 장애물을 피하고 다음 1 초를 위한 방향을 즉석에서 잡습니다.
• 효과: 드론이 멈추지 않고 부드럽게 날아갑니다.

🧐 전문가 B: "장기 전략가" (저빈도 모니터링 에이전트)

• 역할: "우리가 원래 목적지에 가까워졌나? 아니면 길을 잘못 들었나?"를 천천히, 하지만 정확하게 점검합니다.
• 비유: 마치 등산 가이드처럼, "우리가 30 분 전부터 이 숲을 지나왔는데, 목표인 호수는 아직 안 보이네? 혹시 길을 잘못 들었나?"라고 전체 경로를 기억하며 확인합니다.
• 효과: 드론이 목적지에 도착하면 정확히 멈추고, 길을 잃으면 즉시 복구합니다.

🧠 3. 핵심 기술: "기억력"과 "안전 장치"

📚 기억력 업그레이드: "하이브리드 메모리"

기존 드론은 최신 사진만 기억하다가 과거를 잊어버렸습니다. OnFly 는 세 가지 종류의 사진만 골라서 기억합니다.

1. 출발 사진: 어디에서 시작했는지.
2. 핵심 사진 (Keyframes): 중요한 갈림길이나 랜드마크가 찍힌 사진들.
3. 최신 사진: 지금 보고 있는 사진.

• 비유: 긴 여행을 할 때, 모든 순간을 다 기억하는 게 아니라 '출발지', '중요한 휴게소', '지금'만 기억해서 길을 잃지 않는 것입니다. 덕분에 드론은 머릿속 (컴퓨터 메모리) 이 복잡해지지 않으면서도 긴 여행을 성공적으로 마칩니다.

🛡️ 안전 검사관: "의미 - 기하학적 검증"

드론이 "저기 빨간 꽃이 있는 곳으로 가자"고 말했을 때, 그 꽃이 벽 뒤에 숨겨져 있거나 가시덤불 위에 있다면 어떡할까요?

• OnFly 는 드론이 말한 목표가 실제로 갈 수 있는 곳인지 두 번 확인합니다.
• 비유: 요리사가 "소금 좀 가져와"라고 했을 때, 서랍장 안의 소금이 아니라 실제로 손이 닿는 곳에 있는 소금을 찾아주는 것처럼, 드론이 부딪히지 않고 안전하게 갈 수 있는 경로를 다시 계산합니다.

🏆 4. 결과: 얼마나 좋아졌을까요?

연구팀은 시뮬레이션과 실제 드론 비행으로 실험했습니다.

• 성공률: 기존 최고 기술 (26.4%) 에서 **67.8%**로 2 배 이상 크게 향상되었습니다.
• 안전: 충돌 사고가 거의 사라졌습니다.
• 실제 비행: 실제 드론에 이 시스템을 탑재해서 실시간으로 작동시켰으며, 사람이 말한 대로 복잡한 건물 안이나 정원을 날아다니는 데 성공했습니다.

💡 요약

OnFly는 드론에게 **"빠르게 결정하는 운전사"**와 **"깊게 생각하는 내비게이션"**을 동시에 심어주었습니다. 그리고 드론이 길을 잃지 않도록 중요한 기억만 잘 보관하게 하고, 위험한 길은 미리 피하게 만들었습니다.

이 기술 덕분에 드론은 이제 복잡한 도시나 재난 현장에서도 사람의 말만 듣고 스스로 안전하게 임무를 수행할 수 있게 되었습니다. 마치 마법처럼 말이죠! 🪄🚁

기술 요약

OnFly: 안전성과 효율성을 위한 온보드 제로샷 항공 비전-언어 내비게이션

이 논문은 복잡한 3D 환경에서 자연어 지시를 따라 드론 (UAV) 을 조종하는 **항공 비전 - 언어 내비게이션 (AVLN)**의 현실적 배포 장벽을 해결하기 위해 제안된 OnFly 시스템을 소개합니다. OnFly 는 클라우드 의존 없이 드론 자체 (Onboard) 에서 실시간으로 작동하며, 안전성과 효율성을 동시에 확보한 제로샷 (Zero-shot) 프레임워크입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 제로샷 AVLN 방법론들은 실제 환경에 배포할 때 다음과 같은 세 가지 주요 한계에 직면해 있었습니다.

• 불안정한 의사결정: 고주파수 비행 제어와 저주파수 작업 진행 모니터링을 단일 스트림으로 결합하여, 서로 다른 업데이트 주기로 인한 간섭과 의사결정 불안정을 초래합니다.
• 신뢰성 없는 장기 모니터링: 기존 슬라이딩 윈도우 메모리는 글로벌 궤적 맥락을 잃거나 KV 캐시 (KV-cache) 의 접두사 안정성을 해쳐, 긴 작업 동안의 진행 상황 추적 및 종료 신호 생성이 불안정합니다.
• 안전성 vs 효율성의 트레이드오프: 안전을 위해 보수적인 단기 행동을 반복하면 정지 - 이동 (stop-and-go) 현상으로 효율성이 떨어지고, 효율성을 위해 공격적인 장기 예측을 하면 충돌 위험이 증가합니다.

2. 방법론 (Methodology)

OnFly 는 위의 문제를 해결하기 위해 세 가지 핵심 혁신 설계를 도입했습니다.

A. 공유 지각 기반 듀얼 에이전트 아키텍처 (Shared-Perception Dual-Agent Architecture)

• 구조: 고주파수 **의사결정 에이전트 (Decision Agent)**와 저주파수 **모니터링 에이전트 (Monitoring Agent)**로 구성됩니다.
• 동작: 두 에이전트는 동일한 비전 트랜스포머 (ViT) 백본과 시각 특징을 공유하여 중복 계산을 제거하지만, 각자의 프롬프트와 KV 캐시를 독립적으로 유지합니다.
  • 의사결정 에이전트: 실시간으로 이미지 좌표상의 목표 지점을 예측하여 비행 경로를 생성합니다.
  • 모니터링 에이전트: 작업 진행 상황을 추적하고, 목표 달성, 이탈, 또는 재시작이 필요한지 판단하는 상태 신호 (STOP, CONTINUE, LOST) 를 출력합니다.
• 효과: 서로 다른 주기의 요구 사항을 분리하여 의사결정 간섭을 제거하고 안정성을 높입니다.

B. 하이브리드 키프레임 - 최근 프레임 메모리 (Hybrid Keyframe-Recent-Frame Memory)

• 구조: 초기 프레임, 대표적 키프레임, 그리고 최신 실시간 프레임으로 구성된 메모리를 사용합니다.
• 키프레임 관리: 이동 거리와 회전 임계값을 기반으로 새로운 키프레임 후보를 생성하고, 중복을 제거하여 글로벌 궤적 맥락을 유지합니다.
• KV 캐시 최적화: 입력의 접두사 (프롬프트 + 초기 메모리) 를 고정된 순서로 유지하여 KV 캐시 재사용률을 높이고, 장기 모니터링 시 지연 시간을 줄입니다.
• 효과: 긴 작업 동안에도 글로벌 맥락을 유지하면서 효율적인 추론을 가능하게 합니다.

C. 시맨틱 - 기하학적 검증 및 재귀적 계획 (Semantic-Geometric Verified Local Planning)

• 시맨틱 - 기하학적 검증기: VLM 이 예측한 2D 목표 지점이 지시사항과 일치하는지 (시맨틱) 그리고 장애물이 없는지 (기하학적/깊이 정보) 검증합니다.
  • 깊이 맵과 특징 매칭을 통해 장애물 영역을 제외하고 목표 지점을 보정합니다.
  • 이미지 경계 근처의 목표에 대해서는 과도한 전진 대신 회전 (Yaw) 을 우선시하도록 게이트 (Gating) 를 적용합니다.
• 재귀적 국소 계획기 (Receding-Horizon Planner): 검증된 목표를 바탕으로 ESDF 지도를 사용하여 충돌 없는 최적의 비행 궤적을 생성합니다.
• 효과: VLM 의 예측 오류를 보정하여 안전성을 확보하면서도 효율적인 경로를 제공합니다.

3. 주요 기여 (Key Contributions)

1. OnFly 시스템 제안: 온보드에서 실시간으로 작동하는 제로샷 AVLN 시스템으로, 공유 지각 듀얼 에이전트 아키텍처를 통해 고/저주파수 의사결정을 분리하여 안정성을 확보했습니다.
2. 하이브리드 메모리 설계: 장기 진행 모니터링을 위한 키프레임 기반 메모리를 설계하여 글로벌 맥락 유지와 KV 캐시 안정성을 동시에 달성했습니다.
3. 안전성 강화 모듈: 시맨틱 - 기하학적 검증기와 안전 인지형 국소 계획기를 통합하여, VLM 예측을 실행 가능한 안전한 궤적으로 변환했습니다.
4. 실제 배포 검증: 시뮬레이션과 실제 드론 비행 실험을 통해 모든 모듈이 드론 내부에서 작동함을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능: 가장 강력한 기존 최첨단 (SOTA) 베이스라인 (SPF) 대비 작업 성공률 (SR) 을 **26.4% 에서 67.8%**로 크게 향상시켰습니다. 또한 충돌률 (CR) 은 42.7% 에서 **2.7%**로 획기적으로 감소시켰고, 비행 시간 (FT) 도 단축했습니다.
• 실제 비행 실험: Jetson Orin NX 기반의 커스텀 쿼드콥터에서 보행자 추적, 긴 복도 내비게이션, 정밀한 야외 지형 이동 등 4 가지 실제 과제를 성공적으로 수행하여 시스템의 실시간 배포 가능성을 입증했습니다.
• 효율성: 하이브리드 메모리와 TensorRT 가속을 통해 모니터링 및 의사결정 지연 시간을 기존 대비 약 4~6 배 단축하여 실시간성 요구사항을 충족했습니다.

5. 의의 및 결론 (Significance)

OnFly 는 클라우드 의존 없이 드론 자체에서 복잡한 자연어 지시를 이해하고 안전한 비행을 수행할 수 있는 첫 번째 온보드 제로샷 시스템 중 하나로 평가됩니다. 이 연구는 분리된 의사결정 아키텍처, 장기 맥락 유지 메모리, 그리고 안전성 검증 메커니즘의 결합이 AVLN 의 현실적 배포를 가능하게 하는 핵심 요소임을 보여줍니다. 이는 미래의 자율 드론이 구조대, 도시 관리, 정밀 검사 등 다양한 개방형 환경에서 인간과 상호작용하며 임무를 수행하는 데 중요한 기반 기술이 될 것입니다.