당신의 드론이 단순히 원격 조종 장난감이 아니라, "큰 참나무 뒤에 있는 빨간색 창고로 날아가"와 같은 당신의 음성 명령을 이해할 수 있는 스마트한 탐험가가 되는 세상을 상상해 보십시오. 이것이 바로 **시각-언어 내비게이션(Vision-Language Navigation)**의 꿈입니다. 오랫동안 과학자들은 로봇에게 단어를 듣고 사진을 보며 어디로 가야 할지 파악하도록 가르치기 위해 노력해 왔습니다. 하지만 한 가지 문제가 있습니다. 생각하는 속도와 움직이는 속도가 매우 다르다는 점입니다. 똑똑한 컴퓨터 뇌(거대 언어 모델과 같은)는 "빨간 창고"가 무엇을 의미하는지 파악하는 데 1초 정도 걸릴 수 있지만, 공중을 비행하는 드론은 나무 가지에 부딪히지 않기 위해 초당 수백 번씩 안전 결정을 내려야 합니다. 만약 드론이 매번 뇌가 생각하기를 기다린다면, 결국 충돌하고 말 것입니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 느리고 똑똑한 뇌가 빠른 비행체가 당황하거나 추락하지 않도록 하면서 방향을 지시하게 할 것인가?

이 논문은 느리고 사려 깊은 뇌와 빠르고 반응적인 조종사 사이의 통역사 역할을 하는 Fly0라는 영리한 해결책을 소개합니다. 똑똑한 뇌에게 매초 드론을 조종하라고 요청하는 대신, Fly0는 뇌가 약 2초에 한 번씩만 숙제를 수행하여 실제 세계에 안정적이고 보이지 않는 "목표 앵커(target anchor)"를 설정하도록 합니다. 이것은 마치 '마르코 폴로' 게임과 같습니다. 똑똑한 뇌(부르는 쪽)가 "너는 큰 나무 근처에 있어!"라고 외치면, 드론(헤엄치는 쪽)은 그 지점을 향해 헤엄치기 시작합니다. 설령 나무가 덤불 뒤로 숨겨지거나 카메라 시야에서 잠시 사라지더라도, 드론은 당황하지 않습니다. 드론은 이전에 뇌가 설정해 놓은 보이지 않는 앵커를 향해 계속 헤엄치며, 그 과정에서 자신의 빠른 센서를 사용하여 나뭇가지나 바위 등을 피합니다. 뇌는 드론이 경로에서 너무 벗어나거나 목표가 변경될 때만 다시 말을 하면 됩니다.

연구진은 이 아이디어를 고성능 컴퓨터 시뮬레이션과 실제 드론을 이용한 실전 비행 모두에서 테스트했습니다. 그들은 이 "설정하고 잊어버리는(set it and forget it)" 방식이 똑똑한 뇌가 드론을 직접 조종하려고 시도하는 것보다 훨씬 더 효과적이라는 것을 발견했습니다. 테스트 결과, Fly0는 시뮬레이션에서 다른 스마트한 방식보다 성공률이 약 23.7% 더 높았고, 실제 환경에서는 21.4% 더 높았습니다. 또한 충돌이 적었으며, 목표물이 가려져 있거나 주변에 혼란스러운 물체가 있을 때도 실수를 적게 했습니다. 이 논문은 비결이 단순히 더 똑똑한 뇌를 갖는 것이 아니라, 그 뇌의 느린 생각과 드론의 빠른 움직임 사이에 더 나은 다리를 구축하는 데 있다고 제안합니다. "생각하는 것"과 "비행하는 것"을 분리하면서도 연결함으로써, 드론은 마침내 정신을 잃거나 날개를 잃지 않고도 복잡한 지시를 이해할 수 있게 되었습니다.

문제점: 빠른 몸에 비해 너무 느린 뇌

Fly0가 왜 특별한지 이해하려면 드론의 두 가지 주요 작업인 생각하기와 비행하기를 상상해야 합니다.

"생각하기" 부분은 거대한 AI 모델(MLLM이라 불림)에 의해 수행됩니다. 이 모델은 지도를 읽고, "나무 앞쪽으로 날아가"와 같은 문장을 이해하며, 사진 속의 올바른 지점을 가리킬 수 있는 천재 사서와 같습니다. 하지만 이 사서는 느립니다. 읽고, 생각하고, 답을 적는 데 시간이 걸립니다.

"비행하기" 부분은 드론의 비행 컨트롤러에 의해 수행됩니다. 이것은 공중에 떠 있고 물체에 부딪히지 않기 위해 초당 50~100번씩 날개와 모터를 조정해야 하는 반사적인 운동선수와 같습니다.

기존 방식에서 과학자들은 이 사서가 운동 선수를 조종하게 만들려고 시도했습니다. 그들은 느린 뇌에게 드론이 움직일 때마다 새로운 조종 명령을 내리도록 요청했습니다. 이는 세 가지 큰 문제를 일으켰습니다:

1. 속도 불일치: 드론은 뇌가 생각하기를 기다렸고, 답이 왔을 때 드론은 이미 경로를 벗어났거나 벽에 부딪히기 직전이었습니다.
2. 기억의 공백: 드론이 고개를 돌려 타겟(예: 나무)이 카메라 시야에서 사라지면, 느린 뇌는 그것이 어디에 있었는지 잊어버립니다. 그러면 드론은 혼란에 빠져 멈추거나 뱅뱅 돌게 됩니다.
3. 정밀도 문제: 뇌는 "나무로 날아가"라고 말할 수 있지만, 드론은 나무 줄기에 부딪히지 않기 위해 3D 공간의 정확히 어디에서 멈춰야 하는지 알아야 합니다. 단순한 텍스트 답변은 고속 비행에 충분히 정밀하지 않습니다.

해결책: 지속적인 앵커 (The Persistent Anchor)

Fly0는 규칙을 바꿈으로써 이 문제를 해결합니다. 뇌에게 조종을 요청하는 대신, 뇌에게 목적지를 설정하게 한 뒤 물러나라고 요청합니다.

Fly0가 작동하는 단계는 다음과 같습니다:

1. "계약" (구조화된 출력): 드론이 사진과 명령(예: "오른쪽 전신주 앞으로 날아가")을 뇌로 보내면, 뇌는 단순히 추측하지 않습니다. 뇌는 엄격한 규칙을 따릅니다. 반드시 특정 정보 패키지를 반환해야 합니다: 이미지 상의 한 점, 물체를 둘러싼 박스, 관계 단어(예: "앞" 또는 "위"), 그리고 신뢰도 점수입니다. 이는 뇌가 모호하거나 엉망인 답을 내놓는 것을 방지합니다.

2. "3D 리프트" (불확실성 체크): 뇌의 답변은 사진 속의 2D 점일 뿐입니다. Fly0는 이 점을 가져와 깊이 센서(3D 카메라와 같은)를 사용하여 실제 세계로 들어 올립니다(lift). 여기서 똑똑한 부분이 등장합니다. Fly0는 오류를 확인합니다. 만약 깊이 데이터가 불안정하거나 물체가 가려져 있다면, Fly0는 "이 데이터를 믿을 수 없다"라고 판단하고 잘못된 데이터를 무시합니다. 데이터가 확실할 때만 타겟을 수용합니다.

3. "자유 공간" 조정: 명령이 "나무 앞으로 날아가"라면, 뇌는 나무 줄기를 가리킬 수 있습니다. 하지만 드론은 나무 속으로 날아 들어갈 수 없습니다. Fly0에는 "좋아, 나무는 여기에 있지만, '앞'은 실제로 그 앞의 2미터 지점, 즉 빈 공기 중이다"라고 말하는 규칙이 있습니다. 이 규칙은 타겟을 드론이 실제로 호버링(제자리 비행)할 수 있는 안전하고 열린 공간으로 이동시킵니다.

4. "지속적인 앵커" (마법 같은 기술): 타겟이 설정되면, Fly0는 이를 지속적인 3D 앵커로 저장합니다. 이것은 마치 드론의 메모리에 남아 있는 GPS 좌표와 같아서, 카메라가 더 이상 나무를 볼 수 없더라도 유지됩니다. 이제 드론의 빠른 비행 컨트롤러가 제어권을 갖습니다. 드론은 느린 뇌를 무시하고 저장된 앵커를 향해 비행하며, 자신의 빠른 센서를 사용하여 장애물을 피합니다. 뇌는 드론이 타겟에 가까워지거나 타겟이 변경될 때만 다시 깨어나면 됩니다.

결과가 보여주는 것

연구진은 이 시스템을 두 가지 방식으로 테스트했습니다: 매우 사실적인 컴퓨터 시뮬레이션과 실제 공원 및 캠퍼스에서 실제 드론을 띄운 실전 비행입니다.

• 성공률: 컴퓨터 테스트에서 Fly0는 차세대 방식보다 23.7% 더 자주 성공했습니다. 실제 환경에서도 21.4% 더 자주 성공했습니다. 이는 엄청난 도약입니다.
• 안전성: 드론의 충돌이 줄어들었습니다. "앵커" 방식이 느린 뇌가 직접 조종을 시도하게 하는 것보다 드론을 더 안전하게 유지한다는 것을 보여주듯 충돌률이 크게 감소했습니다.
• 혼란 처리: 유사한 나무들이 여러 개 있거나(반복되는 물체 문제), 타겟이 잎사귀 뒤에 숨겨져 있을 때도 Fly0는 훨씬 더 잘 대처했습니다. 앵커를 메모리에 유지했기 때문에 시야가 차단되어도 혼란에 빠지지 않았습니다.
• 속도: 시스템은 "뇌"(강력한 서버에서 실행 중)와의 연결이 느리거나 지연이 발생하더라도 작동합니다. 드론은 매초 새로운 방향을 물어볼 필요가 없었기 때문에 매끄럽게 비행을 계속할 수 있었습니다.

Fly0가 아닌 것

Fly0가 아닌 것이 무엇인지 명시하는 것도 중요합니다.

• Fly0는 새로운 비행 컨트롤러가 아닙니다. 드론은 실제로 움직이기 위해 여전히 검증된 표준 비행 소프트웨어(Ego-Planner)를 사용합니다.
• Fly0는 새로운 AI 뇌가 아닙니다. 연구진은 기존의 거대 언어 모델(Qwen2.5VL 등)을 사용했으며 새로운 모델을 발명하지 않았습니다.
• Fly0는 모든 것을 해결하는 마법의 해결책이 아닙니다. 만약 드론이 아주 빽빽한 숲 속에 있거나, 명령이 매우 복잡하고 중첩되어 있다면(예: "램프 왼쪽에 있는 표지판 뒤의 나무로 가"), 시스템은 여전히 혼란을 겪을 수 있습니다. 논문은 복잡한 공간 관계를 이해하는 것이 여전히 어려운 문제임을 인정합니다.

요약

Fly0의 핵심 교훈은 드론을 똑똑하게 만들기 위해서 단순히 더 똑똑한 뇌가 필요한 것이 아니라는 점입니다. 우리는 더 나은 인터페이스—즉, 시스템의 느리고 사려 깊은 부분과 빠르고 반응적인 부분을 연결하는 더 나은 방법—가 필요합니다. AI를 '조종사'가 아닌 '목표 설정자'로 취급하고, 드론에게 붙잡을 수 있는 안정적인 메모리 앵커를 제공함으로써, 우리는 자율 비행을 더 안전하고 신뢰할 수 있으며 복잡하고 무질서한 실제 세계를 이해할 수 있도록 만들 수 있습니다. 이 논문은 이러한 역할의 분리가 차세대 비행 로봇의 잠재력을 여는 열쇠라고 제안합니다.