VLN-Pilot: Large Vision-Language Model as an Autonomous Indoor Drone Operator

기술 요약: VLN-Pilot

문제 정의

시각-언어 내비게이션(Vision-and-Language Navigation, VLN)은 지상 로봇 분야에서는 크게 발전했으나, 자율 실내 드론에 대한 적용은 여전히 도전적인 영역으로 남아 있습니다. 실내 드론 내비게이션은 협소한 공간, 동적 장애물, GPS 신호의 부재와 같은 독특한 제약 조건을 가집니다. 현재 많은 산업적 응용 분야에서는 인간이 개입하는 'human-in-the-loop' 방식의 조종이 표준으로 사용되고 있습니다. 본 논문은 자유 형식의 자연어 지침을 해석하고 이를 시각적 관찰에 결합하여, GPS가 차단된 실내 환경에서 드론의 궤적을 계획하고 실행함으로써 운영자의 작업 부하를 줄이면서도 안전성과 임무 유연성을 유지할 수 있는 시스템의 필요성을 다룹니다.

방법론

저자들은 대규모 시각-언어 모델(VLLM)이 실내 드론의 고수준 감독 제어기(high-level supervisory controller) 역할을 수행하는 VLN-Pilot 프레임워크를 제안합니다. 이 시스템은 DJI Tello 드론을 재현한 맞춤형 포토리얼리스틱 Unity 기반 시뮬레이션 내에서 작동합니다. 아키텍처는 세 가지 주요 모듈로 구성됩니다:

1. Unity 시뮬레이터: 가구로 채워진 캐빈(거실/주방, 침실, 욕실 포함) 형태의 가상 환경을 제공합니다. 이는 ML-Agents 프레임워크를 통해 전방 및 후방 RGB 이미지, 드론 위치(X, Y, Z), 요(yaw) 방향, 충돌 상태를 포함한 관측 데이터를 생성합니다.
2. Python 컨트롤러 (FSM): 유한 상태 머신(Finite State Machine, FSM)을 사용하여 저수준 실행을 관리합니다. FSM은 "방 인식(Recognize room)", "열린 문 탐색(Search open door)", "문을 향해 방향 전환(Orient towards door)", "문 통과(Go through door)", "물체 탐색(Search object)", "물체 도달(Reach object)"과 같은 의미론적 상태를 정의합니다. 컨트롤러는 시뮬레이터와 VLLM 사이의 통신을 관리하고, 모델의 출력을 파싱하며, 사전 정의된 이동 명령(예: 전진 10/25/50cm, 회전 15/45/90도)을 실행합니다.
3. VLLM 모듈: "파일럿" 역할을 수행합니다. 이 모듈은 사용자의 자연어 지침, 현재 시각적 관찰, 위상 지도(topological map, 방 연결 그래프), 현재 FSM 상태, 그리고 이전 동작이 포함된 구조화된 프롬프트를 전달받습니다. 입력된 정보를 바탕으로 VLLM(GPT-4.1 및 Gemini-2.5-flash로 테스트됨)은 다음을 결정합니다:
   • 다음 이동 명령.
   • 다음 이산(discrete) FSM 상태.
   • 현재 방 식별.
   • 결정에 대한 간략한 시각적 설명 및 추론.

시스템은 정밀한 미터법 좌표 대신, 노드를 방으로, 에지를 이동 가능한 연결로 정의하는 위상 지도를 활용합니다.

핵심 기여

• 새로운 프레임워크: 자연어에 의해 구동되는 자율 실내 드론 내로 VLN-Pilot을 도입하여, VLLM과 규칙 기반 FSM을 통합했습니다.
• 하이브리드 아키텍처: 의사결정을 위한 VLLM의 고수준 추론 및 의미론적 이해 능력과, 저수준 안정성 및 충돌 회피를 위한 결정론적 상태 머신의 능력을 결합한 설계를 활용합니다.
• 벤치마킹: 복잡하고 긴 호흡의 지시 이행 과제(예: 특정 방으로 이동하거나 냉장고, 거울, 싱크대와 같은 물체 찾기)를 포함하는 맞춤형 포토리얼리스틱 실내 시뮬레이션 벤치마크를 통해 프레임워크를 평가했습니다.
• 경험적 분석: 드론 제어 맥락에서 GPT와 Gemini 모델의 비교 연구를 수행하여, 공간 추론 및 상태 전이에서의 구체적인 행동 차이를 강조했습니다.

실험 결과

시스템은 다양한 시작 지점에서 출발하는 여러 쿼리에 대해 5회 반복 실험을 통해 평가되었습니다. 주요 결과는 다음과 같습니다:

• 성능 비교: 일반적으로 GPT 모델이 Gemini 모델보다 우수한 성능을 보였습니다. 예를 들어, "침실로 가라"는 과제를 거실에서 시작했을 때, GPT는 4/5의 성공률을 기록한 반면 Gemini는 0/5를 기록했습니다. 마찬가지로 "냉장고를 찾아라"라는 과제에서 GPT는 4/5번 성공했으나, Gemini는 5번 모두 실패했습니다.
• 실패 모드:
  • Gemini: "진동적 재중심화(oscillatory re-centering)" 경향을 보였습니다. "문 근처에 있음"을 문과의 거리가 멀어야 하고 시야 중심에 엄격하게 위치해야 하는 것으로 해석했습니다. 이로 인해 반복적인 정렬 조정이 발생하여 드론이 문을 통과하지 못하게 되었습니다. 프롬프트를 수정하여 더 가까이 접근하도록 유도했을 때는, 부피 인지 능력의 부족으로 인해 문틀이나 프로펠러에 자주 충돌했습니다.
  • GPT: 더 타이트한 근접 임계값을 사용하여 더 자신감 있게 통과하는 동작을 보여주었습니다. 그러나 드론의 물리적 크기와 문 너비 사이의 관계를 고려하지 못해, 정렬이 올바르다고 판단했음에도 불구하고 간헐적으로 경미한 충돌(예: 프로펠러 접촉)이 발생했습니다.
• 성 सफलता율: 두 모델 모두 시작한 방으로 돌아오거나 욕실에서 욕실으로 이동하는 것과 같은 단순한 작업에서는 높은 성공률(5/5)을 달양했으나, 복잡한 다단계 내비게이션 및 공간 추론의 한계가 있는 물체 위치 파악 작업에서는 어려움을 겪었습니다.

의의 및 주장

본 논문은 VLN-Pilot이 실내 무인 항공기(UAV)를 위해 언어 가이드 기반의 자율 에이전트로 원격 인간 파일럿을 대체할 수 있는 잠재력을 보여준다고 주장합니다. 결과는 VLLM이 효과적인 내비게이션 성능을 유지하면서 운영자의 작업 부하를 크게 줄일 수 있음을 시사합니다.

저자들은 VLLM이 유망한 가능성을 보여주지만, 현재 진정한 부피 인지(volumetric awareness)와 물리적 치수(예: 드론 크기 대비 문 너비)에 대한 정밀한 공간 추론 능력이 부족하다고 겸허히 결론지었습니다. 또한, 내비게이션 문제(예: 진동 현상)를 해결하기 위해 텍전적인 텍스트 프롬프트 조정에만 의존하는 것이 의도치 않게 새로운 실패 모드(예: 충돌)를 초래할 수 있음을 강조합니다. 본 연구는 점검, 수색 및 구조, 시설 모니터링과 같은 작업에서 확장 가능하고 인간 친화적인 제어의 길을 열어주는 동시에, 향-VLLM 기반 내비게이션 프레임워크에 구조화된 공간 제약과 부피 인지 능력을 통합해야 할 필요성을 역설합니다.