SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

기술 요약: SkySim – 대규모 언어 모델을 이용한 드론 군집의 자연어 제어를 위한 ROS2 기반 시뮬레이션 환경

문제 정의
무인 항공기(UAV) 군집은 물류, 농업 및 감시 분야에서 상당한 잠재력을 제공하지만, 안전성과 물리적 타당성을 보장하기 위해 전문가 수준의 지식이 필요하다는 점이 배포를 저해하고 있습니다. 전통적인 제어 방식은 정적인 사전 프로그래밍된 흐름에 의존하므로 역동적인 환경에서의 적응력이 부족합니다. 대규모 언어 모델(LLM)은 자연어 제어를 가능하게 하는 유망한 방안을 제시하지만, 본질적으로 실세계의 물리적 접지(grounding)가 결여되어 있습니다. 결과적으로 LLM은 충돌 위험, 운동학적 한계 또는 환경적 제약을 고려하지 못하여 안전하지 않은 참조 궤적을 생성하는 경우가 많습니다. 따라서 LLM의 인지적 추론 능력을 활용하면서도 엄격한 실시간 안전 제약을 강제하여, 고수준의 인간 의도와 저수준의 로봇 실행 사이의 간극을 메울 수 있는 프레임워크가 절실히 필요합니다.

방법론
저자들은 고수준의 인지적 계획과 저수준의 안전 강제를 분리한 ROS2 (Jazzy) 및 Gazebo (Harmonic) 기반의 시뮬레이션 프레임워크인 SkySim을 소개합니다. 시스템 아키텍처는 다음과 같은 구성 요소를 갖춘 "감지-계획-실행(sense-plan-act)" 루프로 작동합니다:

1. 상태 감지 (State Sensing): 시스템은 Gazebo의 /odom 토픽을 구독하여, 모든 에이전트의 노이즈 없는 실시간 3D 위치 텔레메트리를 얻기 위해 고정밀 모션 캡처 시스템(예: OptiTrack)을 모사합니다.
2. LLM 기반 계획 (고수준): Gemini 3.5 Pro를 사용하여, 시스템은 자연어 명령(예: "원형을 형성하라")을 공간적 웨이포인트로 변환합니다. LLM은 군집 크기, 좌표계 및 지면 충돌 제한($Z \ge 0.5$ m)에 관한 엄격한 시스템 지침에 의해 제약됩니다. 모델은 시스템 지침, 현재 드론 상태, 사용자 명령을 포함하는 동적 프롬프트를 수신하여 직렬화된 Python 리스트 형태의 목표 좌표를 출력합니다.
3. 안 safety 필터 (저수준): 물리적 타당성을 보장하기 위해, 결정론적인 인공 퍼텐셜 필드(Artificial Potential Field, APF) 컨트롤러가 LLM의 추론 지연 시간과 독립적으로 20 Hz에서 작동합니다. 이 계층은 다음을 적용합니다:
   • 인력 (Attractive Forces): LLM이 생성한 웨이포인트를 향해 에이전트를 유도하는 비례 제어.
   • 척력 (Repulsive Forces): 에이전트 간 거리가 안전 반경($r_{min} = 0.8$ m) 미만으로 떨어질 때 충돌을 방지하기 위해 생성되는 척력 벡터.
   • 운동학적 제약 (Kinematic Constraints): 명령이 운용 볼륨 및 모터 한계 내에 머물도록 보장하는 속도 포화($v_{max} = 0.5$ m/s) 및 지오펜싱(geo-fencing).

주요 기여

• 분리된 아키텍처: 본 논문은 LLM 계획의 확률적 특성을 실시간 안전 요구 사항으로부터 격리하는 모듈형 프레임워크를 제안하여, 비전문가가 저수준 제약을 관리하지 않고도 복잡한 동작을 정의할 수 있도록 합니다.
• 제로샷 공간 추론 (Zero-Shot Spatial Reasoning): 시간적 협응 안무에 초점을 맞춘 기존 연구와 달리, SkySim은 특정 형상에 대한 사전 학습 없이도 추상적인 자연어 명령(예: "크리스마스 트리", "그리드", "구체")을 유효하고 임의적인 정적 기하 구조로 변환하는 능력을 입증합니다.
• 경량 안전 메커니즘: 반응형 APF 컨트롤러의 구현은 무거운 학습 기반 안전 계층(예: DRL)이나 비선형 솔버(예: MPC)에 대한 계산 효율적인 대안으로 강조되며, 무시할 수 있는 오버헤드로 즉각적인 반사적 충돌 회피를 보장합니다.

실험 결과
프레임워크는 N = 3, 10, 30 규모의 Crazyflie 2.1 Brushless 드론을 사용하여 평가되었습니다.

• 공간 추론 정확도: LLM은 테스트된 모든 군집 규모에서 다양한 기하학적 원형에 대해 유효한 목표 좌표를 생성하는 데 100% 성공률을 달ol했습니다.
• 충돌 회 avoidance: 정적 장애물(한 점으로 수렴) 및 동적 장애물(동시 위치 교환)이 포함된 스트레스 테스트에서 APF 필터는 충로를 성공적으로 방지했습니다. 에이전트 간 거리가 APF 활성화 임계값인 0.8 m 미만으로 잠시 떨어졌으나, 물리적 충돌 한계(약 55 mm)보다는 엄격히 높게 유지되었습니다.
• 확장성 및 지연 시간: 시스템은 하위 선형 확장성을 보여주었습니다. 군집 규모를 3에서 30으로 늘렸을 때 평균 계획 지연 시간은 약 45% 증가(34초에서 50초로)했습니다. 결정적으로, 가변적인 계획 지연 시간(초 단위)은 제어 루프 지연 시간(밀리초 단위)과 완전히 분리되어 있어, LLM 추론 지연 중에도 군집의 안정성을 보장했습니다.
• 궤적 타당성: 속도 프로파일을 통해 생성된 궤적이 부드럽고 운동학적 한계($v_{max} = 0.5$ m/s) 내에 머물며 고주파 진동이 없음을 확인했습니다.

의의 및 한계
본 논문은 SkySim이 AI의 인지와 로봇의 안전 사이의 간극을 성공적으로 메워, 비전문가가 역동적인 환경을 위해 드론 군집의 동작을 반복적으로 개선할 수 있도록 한다고 주장합니다. 분리된 접근 방식은 복잡하고 즉각적인 동작이 요구되는 농업 및 재난 대응 분야에 드론 군집을 배치하기 위한 실행 가능한 경로를 제시합니다.

그러나 저자들은 다음과 같은 현재의 한계를 명시적으로 인정합니다:

• 지연 시간 변동성: 클라우드 기반 API(Gemini)에 대한 의존은 상당한 지연 시간 변동을 초래하여, 밀리초 단위의 새로운 명령에 대한 반응이 필요한 시간-중요 임무에는 부적합합니다.
• 시뮬레이션 제약: 현재 검증은 Gazebo의 노이즈 없는 그라운드 트루스 데이터에 의존하고 있습니다. 실제 세계 배포 시 센서 노이즈, 패킷 손실 및 환경적 교란 문제에 직면할 것입니다.
• 지역 최솟값 (Local Minima): 결정론적인 APF 컨트롤러는 혼잡한 환경에서 지역 최솟값에 빠지기 쉬우며, 이로 인해 에이전트가 갇힐 수 있습니다.
• 컨텍스트 윈도우 제한: 현재 시스템은 LLM 컨텍스트 윈도우 제한 및 실시간 물리 시뮬레이션을 위한 하드웨어 자원으로 인해 N=30으로 제한됩니다.

향와의 과제
저자들은 스택을 물리적 하드웨어(OptiTrack을 사용하는 Crazyflie)로 전환하고, 지역 최솟값 문제를 해결하기 위해 모델 예측 제어(MPC)를 통합하며, 다중 모달 입력을 포함하고, 클라우드 기반 지연 시간 병목 현상을 제거하기 위해 로컬에 배포된 소규모 언어 모델(SLM)로 전환할 계획을 밝히고 있습니다.