당신이 거대한 보이지 않는 미로 속에서 드론을 조종하고 있다고 상상해 보세요. 그런데 조이스틱 대신 귀에 들리는 목소리가 클루를 줍니다. 예를 들어, "빨간색 소화 hydrants(소방 시설물)를 찾아 그 위에 착륙하세요"라고 말이죠. 이것은 컴퓨터가 무엇을 보고 있는지, 그리고 무엇을 듣고 있는지를 이해하여 실제 세상 속을 움직이려고 노력하는 분야인 **시각-언어 탐색(Vision-Language Navigation, VLN)**의 세계입니다. 이는 로봇에게 지도를 읽는 동시에 특정 물체를 포착할 수 있는 탐정처럼 행동하도록 가르치는 것과 같습니다. 보통 이 로봇들은 항상 모든 것을 동일한 수준의 상세도로 보는 '카메라'를 사용합니다. 하지만 여기에는 함정이 있습니다. 목표물에서 멀리 떨어져 있을 때는 자신이 어디로 가고 있는지 알기 위해 거리의 배치나 건물의 모양 같은 전체적인 그림(big picture)을 봐야 합니다. 반면, 일단 목표물 바로 옆에 도달하면 벽돌의 질감이나 표지판의 색깔 같은 아주 작은 디테일을 보기 위해 화면을 확대해야 합니다. 현재 대부분의 로봇은 내내 동일한 '줌 레벨'로 세상을 보려 하는데, 이는 마치 안개 낀 안경을 쓰고 길 표지판을 읽으려 하거나 현미경으로 도시 전체를 보려는 것과 같습니다. 이는 비효율적이고 혼란스럽습니다.

여기서 FreqNav라는 새로운 아이디어가 등장합니다. 연구진은 드론의 '시야'가 단순히 픽셀에 관한 것이 아니라, **주파수(frequencies)**에 관한 것이라는 점을 깨달았습니다. 이미지를 음악 한 곡이라고 생각해 보세요. '저주파'는 노래의 전반적인 형태와 구조(또는 도시의 레이아웃)를 알려주는 깊은 베이스 음과 같습니다. '고주파'는 섬세한 디테일(예: 특정 패턴)을 주는 날카롭고 선명한 고음과 같습니다. 논문은 스마트한 드론이라면 언제 트랙을 전환할지 아는 DJ처럼 행동해야 한다고 제안합니다. 드론이 멀리 있을 때는 지형을 파악하기 위해 '베이스'(저주파)에 집중해야 합니다. 가까워지면 정확한 착륙 지점을 찾기 위해 '트레블'(고주파)로 전환해야 합니다.

이 논문의 팀은 공중 드론과 함께 협력하여 실제로 이렇게 작동하는 시스템을 구축했습니다. 그들은 드론의 시야를 결정하는 일종의 똑똑한 교통 경찰 역할을 하는 '주파수 토큰 라우터(Frequency Token Router)'를 만들었습니다. 이미지의 모든 부분을 동일한 강도로 보는 대신, 이 라우터는 드론이 목표물로부터 얼마나 멀리 떨어져 있느냐에 따라 이미지의 어느 부분에 주의를 기울일지 동적으로 결정합니다. 만약 타겟이 멀리 있어 보이지 않는다면, 라우터는 큰 그림인 '저주파' 정보만을 유지하고 주변의 산만한 배경 노이즈는 무시합니다. 드론이 가까워지고 타겟이 눈에 보이게 되면, 라우터는 즉시 초점을 '고주파' 디테일로 옮겨 큰 그림을 배제하고 착륙 구역을 정밀하게 겨냥합니다. 이것은 단순한 이론이 아닙니다. 그들은 TravelUAV라는 현실적인 시뮬레이션에서 이를 테스트했는데, 여기서 드론은 특정 물체를 찾기 위해 긴 거리를 항법 수행했습니다. 결과는 인상적이었습니다. FreqNav는 이전 방식들보다 훨씬 더 높은 정확도로 타겟을 발견하고 착륙했을 뿐만 아니라, 의사결정 속도 또한 3배 더 빨랐습니다. 심지어 그들은 물리적인 드론을 사용하여 이 시스템이 성공적으로 경로를 탐색하고 착륙하는 것을 보여줌으로써 실세계에서도 통용됨을 입증하며 현실 세계로 나갔습니다.

FreqNav 이야기: 언제 줌을 당길지 아는 드론

그렇다면 이것이 실제로 어떻게 작동할까요? 당신이 숨겨진 보물을 찾는 비디오 게임을 하고 있다고 상상해 보세요. 레벨 시작 단계에서는 어떤 방향으로 달려갈지 결정하기 위해 지도 전체를 봅니다. 아직 개별 풀잎 하나하나를 볼 필요 없이, 산과 강의 위치만 알면 됩니다. 하지만 보물 상자에 근접하는 순간, 산을 보는 것을 멈추고 바닥을 뚫어지게 응시하며 상자의 잠금장치를 확인합니다.

FreqNav는 드로는 위해서도 이 작업을 수행하지만, 드론의 시야를 두 가지 유형의 정보로 나누어 처리합니다:

1. 전체적인 모습 (저주파 - Low Frequency): 이는 글로벌 레이아웃입니다. 드론에게 "당신은 지금 도시에 있고, 왼쪽에 건물들이 있으며, 경로는 직진이다"라는 정보를 제공합니다.
2. 섬세한 디테일 (고주파 - High Frequency): 이는 로컬 텍스처입니다. 드론에게 "저 빨간 물체가 소화전이며, 당신은 그것의 왼쪽 2m 지점에 정확히 착륙해야 한다"라고 알려줍니다.

대부분의 기존 드론 시스템은 고정된 양의 컴퓨팅 자원을 사용하여 전체 그림과 세부 사항을 동시에 보려고 했습니다. 이는 누군가가 옆에서 라디오 방송을 외치고 있는데 책을 읽으려는 것과 같으며, 이러한 추가적인 소음은 집중력을 흐립니다. 저자들은 이러한 '원사이즈 폴 올(one-size-fits-all)' 접근 방식이 문제라고 주장합니다. 그들은 매 비행 단계마다 동일한 시각적 '토큰'(이미지 데이터 덩어리)을 사용하는 기존 방법들이 관련 없는 배경 잡음에 의해 혼동을 일으킨다는 것을 발견했습니다.

솔루션: 역동적인 스위칭
팀은 스마트한 교환기 역할을 하는 가벼운 시스템인 FreqNav를 제작했습니다. 설계된 단계별 프로세스는 다음과 같습니다:

• 주파수 토큰 라우터 (The Frequency Token Router): 이것은 운영의 브레인입니다. 카메라 피드를 받아 주파수 성분으로 분해합니다. 드론은 자신이 세계 어디에 있는지 기억하기 위해 항상 일정량의 '저주파' 데이터를 유지합니다. 하지만 나머지 관심사에 대해서는 사용할 수 있는 토큰 '예산'을 가지고 있습니다.

  • 초기 단계 (탐색): 타겟이 멀리 있거나 가려져 있을 때, 라우터는 장면의 레이아웃을 이해하기 위해 저~중주파 영역에 예산을 할애합니다.
  • 후기 단계 (도달): 드론이 가까워짐에 따라, 라우터는 자동으로 예산을 고주파 토큰으로 전환하여 타겟의 구체적인 디테일에 강력하게 집중합니다.
  • 이 과정은 동적으로 이루어집니다. 시스템은 단순히 추측하는 것이 아니라, 언어 명령(예: "파란 자동차를 찾아라")을 바탕으로 어떤 주파수 뱅크를 끌어올지 결정합니다.

• 단계 종속적 접지 (Phase-Dependent Grounding): 라우터가 적절한 시각적 단서를 선택하고 나면, 시스템은 이 단서들이 정말 의미가 있는지 확인해야 합니다. 우리는 '교사' 역할을 하는 '그래운딩 모듈(Grounding Module)'을 추가했습니다. 이 모듈은 드론이 미래의 특정 지점(예: 약 3단계 앞)을 향해 주의를 기울이도록 강제하고, 해당 시각 데이터가 일치하는지 체크합니다. 이를 통해 드론이 단순히 허구의 경로를 만들어내는 것이 아니라, 실제로 갈 곳을 제대로 보고 있는지 확립합니다.

• 매끄러운 파일럿 (확산 트랜스포머 - Diffusion Transformer): 마지막으로, 드론은 이동해야 합니다. 끊기는 동작 대신 부드럽게 움직이기 위해, 일반적인 생성형 AI 모델에서 쓰이는 확산 트랜스포머(Diffusion Transformer)를 사용하여 매끄러운 비행 경로를 생성합니다. 이는 연속적인 궤적을 예측하여 드론이 충돌하지 않고 부드럽게 착륙하도록 보장합니다.

숫자가 말해주는 것들

연구진은 다양한 환경(도시, 설원, 초원 등)과 50m에서 400m 떨어진 타겟들을 포함한 수천 번의 시뮬레이션 비행이 담긴 표준 벤치마크인 TravelUAV에서 이를 테스트했습니다.

• 성공률: 유사한 지도를 본 적이 있는 경우(Seen Scenarios)에서, FreqNav는 **51.55%**의 확률로 임무를 완수했습니다. 이는 기존 최고 모델이었던 AeroVLA(47.96%)를 능가하는 기록입니다.
• 효율성: 더욱 놀라운 것은, FreqNav가 훨씬 적은 시각적 토큰을 사용하면서도 이 결과를 달성했다는 점입니다. 표준 128개의 토큰을 단 50개의 라우팅된 토큰으로 압축했습니다. 처리할 데이터가 줄었기에 의사결정 속도는 3배 더 빨랐습니다.
• 실세계 테스트: 실험실 안에 머물지 않았습니다. 그들은 실제 드론인 Feisi J310에 시스템을 적용했습니다. 드론은 AI가 실행되는 지상 서버와 통신했습니다. 서버는 각 단계당 불과 0.17초 만에 새로운 비행 계획을 처리할 수 있었습니다. 이는 안전한 속도인 초당 2m로 비행하는 드론의 속도를 충분히 따라잡을 수 있는 속도로, 이 시스템이 실제 활용 가능함을 증명했습니다.

왜 중요한가

본 논문은 여정의 모든 구간에서 동일한 양의 시각적 디테일을 사용할 필요가 없다는 의견을 명시적으로 제시합니다. 연구진은 여행 내내 고해상도 디테일을 유지하려는 시도가 오히려 '노이즈'를 유발하고 AI를 방해하여 성능을 저하시킨다는 것을 보여주었습니다. **단계별 주파수 변화(stage-wise frequency shift)**가 더 효과적임을 입증함으로써, 자율 주행 드론의 미래는 더 크고 강력한 컴퓨터를 만드는 데 있는 것이 아니라, 무엇을, 언제 바라봐야 하는지를 아는 더 똑똑한 시스템을 만드는 데 있다는 것을 암시합니다.

결국 FreqNav는 좋은 드론 조종사의 비밀은 모든 것을 선명하게 보는 것이 아니라, 언제 지도를 보고 언제 타겟을 주목해야 하는지를 아는 것에 있다는 사실을 보여줍니다. 그렇게 함으로써 드론을 더 빠르고, 영리하며, 실제 세상에서 비행할 준비가 된 존재로 만듭니다.