A Universal Large Language Model -- Drone Command and Control Interface

기술 요약: 범용 대규모 언어 모델 - 드론 명령 및 제어 인터페이스

문제 제기
대규모 언어 모델 (LLM) 과 드론 명령 및 제어 (C2) 의 통합은 범용 인터페이스의 부재로 인해 방해받아 왔습니다. 현재의 접근 방식은 모든 특정 사용 사례, LLM, 드론 플랫폼마다 지루하고 노동 집약적이며 맞춤형으로 코딩된 연결을 요구합니다. 이러한 "NxM" 통합 문제 (여기서 N 은 LLM 의 수, M 은 드론 하드웨어/소프트웨어 플랫폼의 수) 는 분열된 환경을 조성합니다. 기존 솔루션들은 종종 수동으로 작성된 JSON 스키마, 맞춤형 파이프라인, 또는 실시간 상황 인식이 결여된 "일단 쏘고 잊어라 (fire-and-forget)" 방식의 코드 생성에 의존합니다. 또한, LLM 은 일반적으로 프롬프트 - 응답 상호작용을 위해 설계되어 있어 안전하고 장시간 지속되는 드론 임무에 필요한 지속적인 모니터링 및 상태 의존적 논리와 잘 맞지 않습니다.

방법론
저자들은 **모델 컨텍스트 프로토콜 (MCP)**을 기반으로 한 범용적이고 중립적인 인터페이스를 제안하고 증명합니다. "DroneServer"라고 명명된 이 아키텍처는 MCP 호환 LLM 과 Mavlink 프로토콜 (Ardupilot 및 PX4 프레임워크의 표준) 을 지원하는 모든 드론 사이의 가교 역할을 합니다.

• 아키텍처: 시스템은 커스텀 Python 기반 MCP 서버를 실행하는 클라우드 호스팅 Linux 서버로 구성됩니다. 이 서버는 Mavlink 프로토콜을 사용하여 TCP/IP 로 드론에 연결하고, MCP 표준을 사용하여 HTTP 로 LLM 과 통신합니다.
• 추상화 계층: 수백 개의 저수준 Mavlink 메시지를 LLM 에 직접 노출하는 것 (이는 컨텍스트 창을 압도하고 과도한 프롬프트 엔지니어링을 요구함) 대신, 시스템은 MavSDK를 활용합니다. MavSDK 는 "이륙", "xyz 로 이동", "착륙"과 같은 고수준 임무 지향 명령을 제공합니다.
• 도구 큐레이션: 저자들은 MavSDK 메서드의 하위 집합 (약 155 개 중 40 개) 을 구현하고, "기다리기" 명령 및 실시간 모니터링 논리와 같은 특정 운영 요구 사항을 해결하기 위해 11 개의 커스텀 도구를 수동으로 큐레이션했습니다. 그 결과 총 45 개의 노출된 도구가 생성되었습니다.
• 개발: 전체 코드베이스 (15,000 줄) 는 프런티어 모델을 활용하여 제어 스택 자체를 구축한 AI 지원 코딩 도구 (Cursor IDE) 를 사용하여 생성되었습니다.
• 테스트: 검증은 두 가지 측면에서 수행되었습니다:
  1. 실제 드론: LiDAR 및 광학 흐름을 이용한 안정화를 위해 GPS 가 차단된 케이지에서 Ardupilot 을 실행하는 250g 미만의 쿼드콥터로, Raspberry Pi Zero W 를 통해 연결됨.
  2. 가상 드론: 클라우드 Ubuntu 서버의 소프트웨어 인 더 루프 (SITL) 인스턴스로, 광범위한 비행 계획 수립 및 외부 MCP 서버와의 통합을 가능하게 함.

주요 기여

1. 범용 인터페이스: 본 논문은 최초의 "드론 중립적"이자 "LLM 중립적"인 C2 인터페이스를 제시합니다. 이는 각기 다른 맞춤형 통합 코드를 요구하지 않고도 주요 프런티어 모델 (Claude, GPT-4/5, Gemini) 과 오픈소스 모델 (Llama, Qwen) 을 지원합니다.
2. MCP 를 통한 표준화: Linux 재단에 기증된 MCP 표준을 활용함으로써, 이 작업은 드론 제어를 맞춤형이고 취약한 통합에서 표준화되고 플러그 - 앤 - 플레이 패러다임으로 전환시킵니다.
3. 멀티 서비스 통합: 시스템은 단일 에이전트 워크플로우에서 여러 MCP 서버를 결합할 수 있는 능력을 보여줍니다. 특정 데모에서는 DroneServer 를 Google Maps MCP 서버와 통합하여 LLM 이 실시간 위치 데이터 (예: "가장 가까운 식료품점으로 비행") 를 검색하고 이를 비행 좌표로 변환할 수 있도록 했습니다.
4. 실시간 모니터링 논리: 저자들은 MCP 서버 내부에 실시간 모니터링 및 상태 검증을 처리하는 내부 논리를 구현함으로써 LLM 의 "일단 쏘고 잊어라"라는 한계를 해결했습니다. 이는 "이륙" 기동이 완료되기 전에 "비행" 명령을 내리는 것과 같은 위험한 실패 모드를 방지합니다.
5. 오픈소스 구현: 지속적인 운영을 위한 systemd 서비스 파일을 포함한 전체 코드베이스는 GitHub 에서 이용 가능합니다.

결과

• 비행 데모: 시스템은 실제 환경에서 자연어 명령을 성공적으로 실행했습니다. 한 테스트에서는 LLM 에게 "동전 던지기"를 요청하여 앞면이 나오면만 이륙하도록 했으며, 이는 논리와 비행을 정확하게 수행했습니다. 또 다른 테스트에서는 영화 사실에 대한 질문을 기반으로 드론을 착륙시켰습니다.
• 가상 임무: 가상 드론은 Google Maps 와 통합된 실시간 항법 데이터를 포함하여 이륙, 착륙, 특정 좌표로의 항해 등 복잡한 임무 계획을 입증했습니다.
• 도구 커버리지: 시스템은 비행 제어, 안전, 항법, 임무 관리, 원격 측정 및 매개변수 관리를 다루는 45 개의 도구를 노출하며, 총 MavSDK 메서드 세트의 약 26% 를 커버합니다. 저자들은 이를 초기 범용 제어를 위해 충분하다고 평가합니다.
• 관찰된 한계: 저자들은 현재 LLM 이 토큰 제한과 현재 에이전트 모드의 "일단 쏘고 잊어라" 특성으로 인해 5~10 분 이상의 지속적인 장시간 모니터링 (임무) 에 어려움을 겪는다고 지적했습니다. MCP 서버는 내부 상태와 논리를 유지함으로써 이를 보충해야 했습니다.

의의 및 주장
이 논문은 물리적 AI (Physical AI) 분야에서 "고수준의 기준 (high-water mark)"을 확립했다고 주장합니다. 인터페이스 과제를 해결함으로써, 이 작업은 연구 커뮤니티가 "드론을 어떻게 연결할 것인가"에서 복잡한 목표를 위해 "드론을 어떻게 최적으로 활용할 것인가"로 초점을 전환할 수 있게 합니다.

저자들은 이 접근 방식이 다음과 같은 패러다임 전환을 나타낸다고 주장합니다:

• 맞춤형 통합에서 범용 표준화로 (MCP 를 통해).
• 프롬프트 엔지니어링에서 네이티브 도구 발견으로 (LLM 이 메타데이터를 통해 드론 기능을 자동으로 이해).
• 실로화된 시스템에서 멀티 서비스 워크플로우로 (지도, 데이터베이스, 드론 통합).
• 온보드 컴퓨팅에서 클라우드 연결 지능으로 (가벼운 드론을 위해 무제한 데이터 센터 컴퓨팅 활용).

이 작업은 단순히 새로운 제어 방법이 아니라, 인간의 의도와 협력하여 물리적 세계의 복잡성을 추론할 수 있는 유연한 인지 에이전트로서 드론이 기능하는 차세대 "에이전트 저고도 이동성 (Agentic Low-Altitude Mobility)"을 위한 필수 인프라로 제시됩니다. 저자들은 인터페이스가 확립되었지만, 진정한 장기 상황 인식과 기억을 갖춘 LLM 의 개발이 수시간의 자율 임무를 완전히 실현하기 위한 향후 연구의 핵심 영역임을 인정합니다.