Openfly: A comprehensive platform for aerial vision-language navigation

이 논문은 실외 항공 시야에서의 시각 - 언어 항법 (VLN) 을 위한 대규모 벤치마크, 자동화 데이터 수집 도구체인, 그리고 3D 가우시안 스플래팅을 활용한 고품질 시뮬레이션 환경을 포함한 포괄적인 플랫폼 'OpenFly'와 이를 기반으로 한 에이전트를 제안합니다.

핵심

1. 왜 이 프로젝트가 필요했을까요? (문제점)

지금까지 드론이 "저기 빨간 지붕 있는 건물로 가라"는 말을 듣고 날아가는 법을 배우려면, 사람이 직접 드론을 조종해서 경로를 만들고, 그걸 기록한 뒤 사람이 일일이 "여기서 왼쪽으로 돌아라"라고 설명을 적어줘야 했습니다.

• 비유: 마치 아이가 자전거를 타는 법을 배울 때, 부모님이 일일이 "발 페달을 3 번, 핸들을 30 도 돌려라"라고 종이에 적어주며 가르치는 것과 같습니다.
• 문제: 이 과정이 너무 시간이 걸리고, 비용이 많이 들며, 데이터 양도 적었습니다. 그래서 드론이 똑똑해지기가 어려웠죠.

2. OpenFly 가 해결한 3 가지 핵심 비법

OpenFly 는 이 문제를 해결하기 위해 세 가지 마법 같은 도구를 만들었습니다.

① 다양한 '가상 현실' 놀이터 (렌더링 엔진 통합)

기존에는 드론 훈련용 가상 세계가 딱 하나나 둘 정도였는데, OpenFly 는 4 가지 다른 세계를 하나로 합쳤습니다.

• 비유: 드론 훈련을 시키기 위해 '실제 도시', '영화 속 도시', '게임 속 도시', 그리고 실제 드론이 찍은 사진을 3D 로 재구성한 진짜 같은 도시까지 모두 섞어놓은 거대한 놀이터를 만든 것입니다.
• 효과: 드론이 다양한 날씨, 건물 스타일, 조명 조건을 경험하며 훨씬 똑똑해집니다. 특히 '3D 가우스 스플래팅' 기술을 써서 실제 드론이 찍은 사진을 가상 세계로 완벽하게 옮겨와, 가상과 현실의 경계를 없앴습니다.

② 자동화 공장 (데이터 생성 툴체인)

사람이 일일이 드론을 조종하고 설명을 적는 대신, 컴퓨터가 알아서 모든 일을 하게 했습니다.

• 비유: 드론 훈련용 '교과서'를 만드는 공장을 지은 것입니다.
  1. 먼저 3D 지도를 스캔합니다.
  2. 건물을 자동으로 찾아내어 '목표물'로 지정합니다.
  3. 드론이 벽에 부딪히지 않고 날 수 있는 길을 자동으로 찾습니다.
  4. 마지막으로 AI(거대 언어 모델) 가 그 경로를 보고 "저기 빨간 지붕 건물로 가라" 같은 자연스러운 지시문을 자동으로 작성합니다.
• 결과: 사람이 일일이 할 수 없었던 10 만 개 (100K) 의 드론 비행 데이터를 단기간에 만들어냈습니다.

③ 새로운 드론 조종사 AI (OpenFly-Agent)

만든 데이터를 바탕으로 드론을 조종하는 새로운 AI 모델을 개발했습니다.

• 핵심 기술: 드론이 날 때 모든 장면을 다 기억하면 머리가 터집니다. OpenFly-Agent 는 중요한 순간 (랜드마크가 보일 때) 만 집중하고, 그 외의 지루한 구간은 요약해서 기억합니다.
• 비유: 길을 찾을 때 "길가 모든 가게를 다 기억할 필요는 없고, '빨간 간판'이나 '큰 은행' 같은 랜드마크만 기억하면 된다"는 전략을 쓴 것입니다. 덕분에 계산 속도도 빨라지고 정확도도 높아졌습니다.

3. 어떤 성과를 냈나요?

• 데이터 규모: 기존 드론 데이터셋보다 10 배 이상 큰 10 만 개의 비행 경로를 확보했습니다.
• 성능: 이 새로운 AI 모델을 테스트했을 때, 기존 방법들보다 성공률이 14%~7.9% 더 높았습니다.
• 실제 적용: 컴퓨터 시뮬레이션뿐만 아니라, 실제 드론을 가지고 실험했을 때도 다른 방법들보다 훨씬 잘 날아다녔습니다.

4. 요약: 이 논문이 우리에게 주는 메시지

OpenFly 는 **"드론이 하늘을 자유롭게 날아다니게 하려면, 사람이 일일이 가르칠 게 아니라 AI 가 스스로 다양한 가상 세계를 경험하고 학습할 수 있도록 환경을 만들어주는 게 중요하다"**는 것을 증명했습니다.

이제 드론은 구조대원이 되어 재난 지역을 수색하거나, 배송 기사가 되어 물건을 나르는 등 더 복잡하고 중요한 임무를 수행할 수 있는 기반을 마련하게 되었습니다. 연구진은 이 플랫폼과 데이터를 모두 공개하여, 전 세계의 연구자들이 함께 드론 기술을 발전시킬 수 있도록 했습니다.

기술 요약

1. 연구 배경 및 문제점 (Problem)

공중 비전 - 언어 내비게이션 (Aerial VLN) 은 드론 (UAV) 이 언어 지시와 시각적 단서를 기반으로 목표 지점으로 이동하도록 하는 작업으로, 인간과 드론 간의 새로운 상호작용 패러다임을 제시합니다. 하지만 기존 연구들은 다음과 같은 심각한 한계에 직면해 있었습니다.

• 데이터 다양성 부족: 기존 방법들은 주로 AirSim 과 Unreal Engine (UE) 에 의존하여 디지털 자산의 다양성이 제한되었고, 실제와 유사한 (photorealistic) 환경의 활용이 어려웠습니다.
• 높은 데이터 수집 비용: 경로 생성을 위해 조종사가 시뮬레이터에서 드론을 조종하고, 이후 언어 지시를 수동으로 주석 (annotation) 해야 하는 과정이 매우 노동 집약적이고 확장성이 떨어집니다.
• 데이터 규모 작음: 기존 공중 VLN 데이터셋은 약 1 만 개 (10k) 의 궤적에 불과하여, 대규모 VLA(Vision-Language-Action) 모델 학습에 필요한 규모에 미치지 못했습니다. (예: Open X-Embodiment 는 100 만 개 이상의 에피소드를 보유)

2. 제안 방법론 (Methodology)

이 논문은 이러한 문제들을 해결하기 위해 OpenFly라는 포괄적인 플랫폼을 제안합니다. OpenFly 는 크게 네 가지 핵심 요소로 구성됩니다.

가. 다중 렌더링 엔진 통합 및 실사 재구성 (Rendering Engines & Real2Sim)

데이터의 다양성과 현실감을 극대화하기 위해 4 가지 렌더링 엔진과 기술을 통합했습니다.

• Unreal Engine (UE4/UE5): 100km² 이상의 도시 환경 및 다양한 자산 제공.
• GTA V: 로스앤젤레스를 모델로 한 고도로 사실적인 도시 풍경.
• Google Earth: 버클리, 오사카, 워싱턴 D.C. 등 4 개 도시의 위성 및 3D 데이터.
• 3D Gaussian Splatting (3D GS): 실제 드론으로 촬영한 이미지를 기반으로 3D 장면을 재구성하여 Real-to-Sim(실제에서 시뮬레이션으로) 환경을 구현. 이는 5 개 캠퍼스 (약 7km²) 에서 수집된 데이터를 활용합니다.

나. 자동화된 데이터 생성 툴체인 (Automatic Toolchain)

수동 주석을 대체하는 자동화 파이프라인을 구축했습니다.

1. 3D 포인트 클라우드 획득: 레이저 스캔, 이미지 기반 희소 재구성 (COLMAP) 등을 통해 장면의 3D 점유율 맵을 생성.
2. 시맨틱 세그멘테이션: Octree-Graph, 포인트 클라우드 투영 등을 활용하여 랜드마크 (건물, 탑 등) 를 식별.
3. 자동 궤적 생성: A* 알고리즘을 기반으로 충돌 없는 경로를 자동 탐색하고 생성.
4. 자동 지시문 생성: 생성된 궤적과 UAV 시점 (Egocentric) 이미지를 VLM(예: GPT-4o) 에 입력하여 자연스러운 언어 지시문을 생성. 특히, 모든 프레임을 입력하는 대신 키프레임 (Keyframe) 과 행동 전환 지점을 추출하여 지시문의 정확도를 높이고 계산 비용을 절감했습니다.

다. 대규모 데이터셋 (OpenFly Dataset)

• 규모: 10 만 개 (100K) 의 궤적, 15.6K 어휘, 18 개의 다양한 장면.
• 특징: 다양한 고도 (0210m) 와 거리 (0300m) 를 포함하며, 기존 공중 VLN 데이터셋보다 훨씬 큰 규모입니다.

라. OpenFly-Agent 모델 (Keyframe-aware VLN Model)

기존의 균일한 프레임 샘플링 (Uniform Sampling) 의 비효율성을 해결하기 위해 OpenFly-Agent를 제안했습니다.

• 키프레임 선택 (Keyframe Selection): 드론의 궤적 변화나 랜드마크 인식 시점을 감지하여 중요한 프레임을 선별합니다. 랜드마크 바운딩 박스 영역이 임계값을 넘는 프레임을 유지합니다.
• 시각 토큰 병합 (Visual Token Merging): 인접 프레임 간의 유사한 패치를 병합하여 계산 부하를 줄이고, 텍스트 토큰과 시각 토큰 간의 불균형을 해소합니다.
• 기반 모델: OpenVLA 를 베이스로 하여, 이미지와 지시문을 입력받아 UAV 의 6 가지 행동 (전진, 회전, 상승/하강, 정지 등) 을 예측합니다.

3. 주요 성과 및 결과 (Results)

가. 벤치마크 성능

OpenFly 데이터셋을 기반으로 다양한 VLN 방법론을 평가한 결과, OpenFly-Agent가 압도적인 성능을 보였습니다.

• Seen(학습된 장면): 성공률 (SR) 34.3% (기존 최상위 모델 대비 14.0%p 향상), 경로 길이 가중 성공률 (SPL) 24.9%.
• Unseen(학습되지 않은 장면): 성공률 (SR) 22.6% (기존 최상위 모델 대비 7.9%p 향상).
• 실제 환경 실험: 23 개의 실제 야외 장면에서 수행된 실험에서도 OpenFly-Agent 는 26.09% 의 성공률을 기록하여 차세대 모델 (Navid, NaVila) 보다 월등히 우수한 성능을 입증했습니다. 이는 시뮬레이션과 실제 환경 간의 격차 (Sim-to-Real Gap) 를 효과적으로 줄였음을 의미합니다.

나. 오프라인 분석

• 데이터 품질: 자동 생성된 3,000 개 샘플에 대한 수동 검수 결과, 91% 의 높은 합격률을 기록했습니다.
• 효율성: 키프레임 선택 및 토큰 병합 전략을 통해 계산 비용을 줄이면서도 중요한 시각적 정보를 유지하여 성능을 극대화했습니다.

4. 기여도 및 의의 (Contributions & Significance)

1. 최대 규모의 공중 VLN 데이터셋: 10 만 개 궤적과 18 개의 고화질 장면을 포함하는 현재까지 가장 큰 규모의 공중 VLN 벤치마크를 구축했습니다.
2. 자동화 및 확장성: 다중 렌더링 엔진과 자동 툴체인을 통해 노동 집약적인 데이터 수집 과정을 제거하고, 사용자가 원하는 대로 맞춤형 데이터를 생성할 수 있는 플랫폼을 제공했습니다.
3. 실제 환경 적용 가능성: 3D GS 기반의 Real-to-Sim 기술과 실제 드론 실험을 통해, 시뮬레이션에서 학습된 모델이 실제 세계에서도 효과적으로 작동함을 증명했습니다.
4. 효율적인 모델 아키텍처: 키프레임 인식 및 토큰 병합 기법을 통해 긴 비디오 시퀀스 처리의 비효율성을 해결하고, 공중 내비게이션에 특화된 고성능 모델을 제시했습니다.

결론

OpenFly 는 공중 비전 - 언어 내비게이션 분야의 데이터 부족과 수집 비용 문제를 해결하는 획기적인 플랫폼입니다. 다양한 렌더링 엔진과 자동화 파이프라인을 통해 대규모 고품질 데이터를 생성하고, 이를 바탕으로 한 OpenFly-Agent 는 시뮬레이션과 실제 환경 모두에서 뛰어난 성능을 발휘하여, 향후 UAV 의 자율 비행 및 인간 - 드론 상호작용 연구의 새로운 표준을 제시합니다.