Drones that Think on their Feet: Sudden Landing Decisions with Embodied AI

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 드론은 재난 대응, 인프라 점검 등 다양한 분야에서 활용되지만, GPS 스푸핑, 센서 고장, 갑작스러운 기상 악화 등 예기치 않은 비상 상황 발생 시 즉각적이고 적응적인 대응이 필수적입니다.
• 기존 방법의 한계:
  • 기존 접근법은 안전 엔지니어가 수동으로 작성한 방대한 복구 규칙 (Hand-coded rules) 에 의존합니다.
  • 이는 미리 정의된 특정 실패 모델이나 고정된 안전 구역 (Safe Set) 에만 작동하며, 동적이고 예측 불가능한 실제 환경에서 새로운 상황을 처리하거나 새로운 착륙 지점을 결정하는 데 한계가 있습니다.
• 핵심 문제: 비상 상황 발생 시, 드론이 실시간으로 주변 환경을 해석하고, 인간과 장애물이 없는 안전한 착륙 지점을 상식적 추론 (Common-sense reasoning) 을 통해 동적으로 선택하고 실행할 수 있는 시스템이 필요합니다.

2. 제안된 방법론 (Methodology)

이 논문은 신체화된 AI (Embodied AI) 와 대형 시각 - 언어 모델 (LVLM, Large Visual-Language Models) 을 결합한 하이브리드 복구 파이프라인을 제안합니다.

A. 시스템 아키텍처 (3 단계 모듈)

1. Surface ID Module (표면 식별 모듈):
   • 드론의 하향 RGB 카메라와 단안 깊이 추정 (Monocular Depth Estimation, Depth Anything V2 사용) 을 통해 깊이 지도를 생성합니다.
   • 평평한 지역을 탐지하고 노이즈를 제거하여 착륙 후보 지점 (Bounding Box) 을 추출합니다.
   • LVLM 이 원본 이미지를 직접 처리하는 과부하를 방지하기 위해 후보 지점만 선별하여 전달합니다.
2. LVLM Ranking Module (LVLM 순위 매기기 모듈):
   • 2 단계 프로세스를 통해 안전성을 평가합니다.
     • 순위 매기기 (Ranking): 추출된 최대 5 개의 후보 이미지 (크롭된 이미지) 를 LVLM 에 입력하여 평탄도, 장애물 유무, 인간 존재 여부 등을 고려해 가장 안전한 지점을 선정합니다.
     • 확인 (Confirmation): 드론이 선정된 지점 위로 이동한 후, 근접 촬영 이미지를 다시 LVLM 에 입력하여 최종 착륙 전 안전성을 재확인합니다.
   • 프롬프트 엔지니어링: "MUST"와 같은 명령어를 사용하여 안전 제약 조건을 강화하고, Chain-of-Thought(CoT) 방식을 통해 모델이 단계별로 추론하도록 유도합니다.
3. Movement Planner Module (이동 계획 모듈):
   • LVLM 이 선택한 이미지 내 픽셀 좌표를 LiDAR 데이터와 역투영 매핑 (Inverse Perspective Mapping, IPM) 을 통해 3D 세계 좌표계로 변환합니다.
   • 변환된 좌표로 드론을 이동시킨 후, 고도 센서를 이용해 하강을 수행합니다.

B. 배포 시나리오

• 온보드 (Onboard): 드론 내부에서 실행 (경량화 모델 필요, 지연 시간 최소화).
• 에지 (Edge): 지상국이나 인근 기지국에서 실행 (중간 규모 모델, 낮은 지연 시간).
• 클라우드 (Cloud): 클라우드 서버에서 실행 (최대 규모 모델, 높은 정확도, 네트워크 의존성).

3. 주요 기여 (Key Contributions)

1. 새로운 파이프라인 제안: 지각 (Perception), 추론 (Reasoning), 제어 (Control) 를 통합한 LVLM 기반의 급강하 결정 파이프라인을 최초로 제안했습니다.
2. 재현 가능한 벤치마크 구축: Unreal Engine 5 기반의 도시 시뮬레이션 (Cosys-AirSim) 을 활용하여 동적 장애물과 다양한 기상 조건을 포함한 벤치마크를 개발하고 오픈소스로 공개했습니다.
3. 적응형 복구 행동 증명: 실험을 통해 기존 수동 설계로는 불가능했던, 동적 환경에서의 적응형 복구 행동이 신체화된 AI 를 통해 가능함을 입증했습니다.
4. 모델 성능 및 지연 시간 분석: 다양한 크기의 LVLM (GPT-5 시리즈, Gemini, Mistral, InternVL 등) 을 비교 분석하여 정확도와 지연 시간 간의 트레이드오프를 규명했습니다.

4. 실험 결과 (Results)

• 벤치마크 환경: Unreal Engine 5 의 'City Sample'을 사용하여 도시 지붕, 도로, 보행자, 차량이 포함된 동적 환경을 시뮬레이션했습니다.
• 모델 성능 비교:
  • 고성능 모델 (GPT-5, Gemini 2.5 F): 95% 이상의 높은 성공률을 보였으며, 복잡한 도시 환경에서도 안전하고 평평한 지붕을 정확히 선택했습니다.
  • 경량 모델 (GPT-5-nano, Mistral 3): 정확도가 낮았으며 (20~50%), 특히 도로를 착륙지로 잘못 선택하거나 텍스처 (지붕의 이음매 등) 를 장애물로 오인하는 오류가 빈번했습니다.
  • 맥락 (Context) 의 영향: 작은 모델들은 전체 이미지 (Full Image) 나 넓은 맥락을 제공받을 때 성능이 향상되었으나, 대형 모델은 잘라낸 이미지 (Cropped View) 만으로도 높은 정확도를 유지했습니다.
• 전체 파이프라인 성능:
  • 안전성: 20 회 실험 중 75% 의 성공적인 착륙을 기록했습니다. 실패 사례는 주로 교통이 있는 도로 착륙 시도나 과도한 HVAC 장비가 있는 지붕 착륙 시도에서 발생했습니다.
  • 속도: 평균 2.2 회의 라운드 (탐지 → 순위 매기기 → 이동 → 확인) 내에 착륙을 완료했습니다.
  • 기상 조건: 안개와 비 조건에서도 대형 모델은 90% 이상의 성공률을 유지했으나, 소형 모델은 성능이 급격히 저하되었습니다.
• 자원 소비: 파이프라인 전체는 약 715MB 의 시스템 메모리와 0.41GB 의 GPU 메모리만 사용하여 엣지 장치에서도 실행 가능한 경량성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 자율 드론이 예기치 않은 비상 상황에서 고정된 규칙에 의존하지 않고, 상식적 추론 능력을 갖춘 AI를 통해 스스로 안전한 결정을 내릴 수 있음을 보여줍니다. 이는 드론의 신뢰성과 복원력 (Resilience) 을 획기적으로 높이는 기술적 진전입니다.
• 한계 및 향후 과제:
  • 현재 가장 신뢰할 수 있는 성능을 내기 위해서는 대형 LVLM 이 필요하며, 이는 드론 온보드에서 실행하기에는 계산 자원이 부족합니다.
  • 계층적 추론 아키텍처 (Hierarchical Inference): 온보드에서는 기하학적 검사를, 에지/클라우드에서는 대형 모델을 사용하는 하이브리드 방식이 필요합니다.
  • 불확실성 모델링: AI 의 판단 불확실성을 정량화하여 위험 시 대체 수단을 취할 수 있는 메커니즘이 필요합니다.
  • 적대적 공격 방어: 시각적 조작 (Adversarial patches) 에 대한 취약성을 해결해야 실제 배포가 가능합니다.

요약하자면, 이 논문은 대형 언어 모델의 추론 능력을 드론의 비상 착륙 결정에 성공적으로 통합하여, 동적이고 복잡한 도시 환경에서도 안전하고 적응적인 자율성을 실현할 수 있는 새로운 패러다임을 제시했습니다.