CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

당신은 번화한 도시를 질주하는 작고 똑똑한 드론의 조종사라고 상상해 보세요. 당신의 임వ은 거리에서 걷고 있는 특정 인물을 추적하는 것입니다. 보통 이 일은 쉽습니다. 그들을 발견하고, 그들을 향해 날아가서, 카메라 렌즈 안에 계속 담아두기만 하면 됩니다. 하지만 도시는 까다롭습니다. 갑자기 높은 건물, 울창한 나무, 또는 인파가 시야를 가로막을 수 있습니다. 사람의 모습이 화면에서 사라집니다. 일반적인 드론은 당황하여 잘못된 예측을 하고, '정신적 지도'를 놓치는 바람에 벽에 부딪혀 추락할 수도 있습니다. 이것이 바로 기계가 움직이는 목표물을 쫓는 법을 배우는 로봇 공학 분야인 무인 항공기(UAV) 추적의 세계입니다. 큰 과제는 단순히 목표물을 보는 것이 아니라, 더 이상 볼 수 없을 때 무엇을 해야 할지 아는 것입니다. 이를 해결하기 위해 과학자들은 시각-언어-행동(Vision-Language-Action, VLA) 모델을 사용합니다. 이것을 드론의 뇌라고 생각하면 됩니다. 이미지를 "보고", "빨간 옷을 입은 러너를 따라가라"와 같은 명령을 "읽고", 동시에 모터를 움직여 "행동"하는 것이죠.

CosFly-VLA의 등장을 주목하세요. 연구자들이 이러한 '사각지대'를 처리하기 위해 설계한 새롭고 매우 똑똑한 드론 조종사입니다. 단순히 화면을 응시하며 목표물이 다시 나타나기를 기다리는 대신, CosFly-VLA는 강력한 상상력을 가진 탐정처럼 행동합니다. 목표물이 건물 뒤로 사라지면 드론은 얼어붙지 않습니다. 드론은 도시 구조에 대한 지식과 대상의 마지막 알려진 속도를 사용하여 그들이 아마 어디에 있을지 추측합니다. 드론은 이렇게 생각합니다. "좋아, 그들은 오른쪽으로 걷고 있었고, 저 건물은 왼쪽에 있으니, 건물 반대편 쪽으로 나오고 있을 거야." 그러고 나서 드론은 그곳에서 그들을 만날 수 있도록 계산된 경로로 비행합니다. 연구진은 드론에게 긴 시간 동안 눈이 보이지 않는 상황을 경험하게 하는 특별한 "레시피"를 사용하여 훈련시켰으며, 이를 통해 눈이 기능을 못 할 때 시각보다 공간적 추론을 신뢰하도록 가르쳤습니다. 그들은 이 드론을 복잡한 도시 지형 속에서 보행자를 추격해야 하는 고성능 비디오 게임 세계인 CARLA에서 테스트했습니다. 결과는 이 새로운 접근 방식이 목표물이 오랫동안 숨겨져 있을 때, 기존의 더 기초적인 드론 뇌보다 목표물을 시야에 유지하고 충돌을 피하는 데 훨씬 더 뛰어나다는 것을 보여줍니다.

탐정 드론: CosFly-VLA의 작동 원리

이 논문의 핵심 아이디어는 도시에서 움직이는 목표물을 쫓는 것이, 찾는 사람이 숨은 사람을 볼 수 없을 때도 계속 움직여야 하는 "숨바꼭질" 게임과 같다는 것입니다. Autel Robotics와 여러 대학의 연구진이 이끄는 연구팀은 기존의 대부분의 드론 시스템이 "보고 따르는 것"에는 뛰어나지만, 시야가 차단되었을 때 "추측하고 회복하는 것"에는 매우 서툴다는 점을 깨달았습니다.

문제점: "사각지대"의 패닉
당신이 캐릭터를 따라가야 하는 비디오 게임을 하고 있다고 상상해 보세요. 갑자기 벽이 화면을 가립니다. 만약 당신의 캐릭터가 그냥 멈춰버리거나 무작정 날아다닌다면, 당신은 게임에서 지게 됩니다. 현실 세계에서 드론이 사람을 놓치면, 잘못된 방향으로 날아가거나 나무에 부딪히거나, 혹은 그냥 포기해 버릴 수 있습니다. 이 논문은 드로네에게 수천 장의 걷는 사람 사진을 보여주는 기존의 훈련 방식이, 사람이 보이지 않는 순간을 다루는 법을 가르쳐주지 못한다고 주장합니다.

해결책: 3D로 생각하는 뇌
CosFly-VLA는 "시각-언어-행동(VLA)" 모델입니다. 간단한 비유로 이를 풀어보겠습니다:

• 시각(Vision): 세상을 보는 눈(카메라)을 가지고 있습니다.
• 언어(Language): "빨간 셔츠를 입은 사람을 따라가라"와 같은 지시를 읽을 수 있습니다.
• 행동(Action): 드론의 모터를 제어하여 위, 아래, 왼쪽, 오른쪽으로 움직이고 회전합니다.

하지만 CosFly-VLA를 특별하게 만드는 것은 바로 **공간 인지 능력(Spatial Awareness)**입니다. 목표물이 숨겨졌을 때, 드론은 단순히 추측하는 것이 아니라 "정신적 가설"을 세웁니다. 드론은 스스로에게 묻습니다. "사람이 마지막으로 어디에 있었지? 건물들은 어디에 있지? 만약 그들이 계속 직진했다면, 지금쯤 어디에 있을까?" 그런 다음 드론은 그 지점으로 날아가, 대상이 다시 나타나는 즉시 포착할 준비를 합니다.

훈련 레시피: 학생에서 마스터까지
연구진은 단순히 드론에게 나는 법을 가르친 것이 아니라, 마스터 추적자로 만들기 위해 매우 구체적인 4단계 훈련 과정을 제공했습니다:

1. "도시 지도" 입문 과정 (공간 기반 사전 훈련): 추격을 배우기 전, 드론은 수천 장의 항공 사진과 3D 퍼즐을 공부했습니다. 드론은 거리, 높이, 그리고 건물이 시야를 어떻게 가리는지에 대해 배웠습니다. 이는 마치 학생에게 보물찾기를 보내기 전에 지도를 읽는 법을 가르치는 것과 같습니다.
2. "쉬움에서 어려움으로" 학교 (커리큘럼 학습): 드론은 사람이 항상 보이는 쉬운 경로부터 시작했습니다. 그 후, 선생님들(연구진)은 점차 난이도를 높여 사람이 건물 뒤로 오랫동안 숨겨지는 상황을 도입했습니다. 이는 드론이 자신의 "추측" 기술을 연습하도록 강제했습니다.
3. "생각하며 말하기" 수업 (Chain-of-Thought): 이것이 가장 멋진 부분입니다. 드론은 움직이기 전에 "생각을 밖으로 내뱉도록" 교육받았습니다. 목표물이 사라지면, 드론은 *"대상은 건물 뒤에 있다. 그들은 오른쪽으로 걷고 있었으므로, 나는 오른쪽으로 날아가서 기다려야 한다"*와 같은 텍text 설명을 생성합니다. 이 추론 단계는 드론이 단순히 무엇을 할지가 아니라, 왜 그 동작을 하는지 이해하도록 도왔습니다.
4. "실전 훈련" (강화 학습): 마지막으로, 드론은 시뮬레이션된 도시(CARLA 게임 엔진)에서 직접 수행하며 배웠습니다. 만약 충돌하면 "낮은 점수"를 받았고, 오랫동안 숨겨진 사람을 성공적으로 찾아내면 "높은 점수"를 받았습니다. 시간이 흐르면서 드론은 더 부드럽고 안전하게 비행하는 법을 익혔습니다.

숫자가 말해주는 것
연구진은 자신들의 새로운 드론을 기존의 표준 모델들과 비교 테스트했습니다. 두 가지 유형의 테스트를 사용했습니다:

• Open-Loop (개방 루프): 드론이 비디오 클립을 보고 실제로 비행하지 않고도 사람이 어디에 있을지 예측하는 테스트입니다.
• Closed-Loop (폐쇄 루프): 드론이 시뮬레이터 안에서 실제로 비행하며 실시간 결정을 내리는 테스트입니다.

결과는 유망했습니다. "Open-Loop" 테스트에서 CosFly-VLA는 표준 모델에 비해 대상의 경로를 예측하는 오류가 적었습니다. 구체적으로, 익숙한 지도에서는 대상 위치 예측 평균 오차를 약 34% 줄였고, 본 적 없는 새로운 지도에서는 35% 줄였습니다.

실제 "Closed-Loop" 비행 테스트에서는 성공률 면에서 개선이 더욱 극적이었습니다. 익숙한 지도에서 새로운 드론은 표준 모델보다 29.8% 더 자주 대상을 추적하는 데 성공했습니다 (성공률 57%에서 74%로 상승). 완전히 새로운 지도에서도 개선이 있었으나 그 폭은 더 작았습니다 (2.5%). 가장 중요한 점은, 새로운 드론가 충돌이 적었고 대상과 더 안전한 거리를 유지했다는 것입니다.

한계: 아직은 시뮬레이션이다
결과는 흥미롭지만, 논문은 한계점에 대해서도 매우 명확히 밝히고 있습니다. 이 모든 테스트는 컴퓨터 시뮬레이션(CARLA 게임) 내부에서 이루어졌습니다. 드론은 실제 바람, 실제 비, 혹은 실제 예측 불가능한 사람들과 함께 실제 세상에서 날아본 적이 없습니다. 연구진은 실제 물리 법칙이 게임보다 더 복잡할 수 있음을 인정합니다. 또한, 드론이 특정 도시 지도와 보행자 행동 패턴에 맞춰 훈련되었기 때문에, 이전에 보지 못한 환경(예: 밀집된 숲이나 붐비는 실내 쇼핑몰)에서는 어려움을 겪을 수 있다고 언급했습니다.

핵가장 큰 시사점
CosFly-VLA는 드론이 복잡한 도시에서 진정으로 유용해지려면, 단순히 보이는 것에 "반응"하는 것을 넘어 보이지 않는 것에 대해 "추론"하기 시작해야 한다는 점을 시사합니다. 3D 공간에 대한 강력한 이해와 단계별 추론 과정을 결 조합함으로써, 이 드론들은 목표물이 사라져도 궤도를 유지할 수 있습니다. 이는 드론을 단순히 점을 따라가는 카메라가 아니라, 동네 지리를 잘 아는 숙련된 인간 조종사처럼 영리하게 만드는 단계로 나아가는 길입니다.