당신이 로봇에게 조감도(bird's-eye view)의 관점에서 세상을 보는 법을 가르치려 한다고 상상해 보세요. 이것은 **멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)**이라 불리는, 흥미롭고도 까다로운 과학의 영역입니다. 이 모델들을 텍스트를 읽는 동시에 사진을 볼 수 있고, 보이는 것과 알고 있는 것 사이의 점들을 연결할 수 있는 초스마트 디지털 두뇌라고 생각해보세요. 보통 이러한 두뇌들은 셀카나 거리 뷰처럼 지상에서 찍은 사진으로 훈련됩니다. 하지만 드론(UAV)에 카메라를 장착하고 높이 날아오르면 세상은 완전히 달라 보입니다. 물체들은 아주 작아지고, 각도는 기묘해지며, 모든 것이 빽빽하게 모여 있습니다. 과학자들이 던지는 핵심 질문은 이것입니다. "우리가 이 디지털 두뇌들에게 이 혼란스럽고 축소된 드론의 세계를 이해하도록 가르칠 수 있을까, 그리고 그 과정에서 이들의 능력을 망가뜨리지 않을 수 있을까?" 만약 가능하다면, 이 드론들은 단순히 날아다니는 카메라가 아니라 재난 상황에서 사람을 구조하거나, 다리의 균열을 점검하거나, 농작물을 모니터링하는 지능적인 하늘의 눈 역할을 할 수 있기 때문에 이 문제는 매우 중요합니다.

이 논문의 저자들은 먼저 현재의 도구들이 이 작업을 수행할 준비가 되어 있지 않다는 점을 인정함으로써 이 문제를 해결하기로 했습니다. 그들은 드론 사진에 관한 1,500개의 질문이 담긴 거대하고 인간이 직접 만든 시험인 UAVQA-Bench라는 새롭고 매우 도전적인 테스트를 구축했습니다. 그들은 기존의 "스마트한" AI 시스템들을 이 테스트에 적용했을 때, 세 가지 구체적인 방식으로 계속 실패한다는 것을 발견했습니다. 즉, 적절하지 않은 도구를 사용하거나, 작은 실수가 큰 재앙으로 눈덩이처럼 불어나게 방치하거나, 경직된 일률적 사고방식을 고수한다는 것이었습니다. 이를 해결하기 위해 팀은 UAV-MAS라는 새로운 시스템을 발명했습니다. 하나의 거대한 두뇌가 모든 것을 하려고 노력하는 대신, 그들은 협력하는 전문화된 에이전트 팀을 만들었습니다. 한 에이전트는 적절한 도구(돋보기나 깊이 센서 같은)를 선택하고, 다른 에이전트는 오류가 퍼지기 전에 잡아내기 위해 매 단계를 재검토하며, 세 번째 에이전트는 질문이 얼마나 까다로운지에 따라 얼마나 깊이 생각할지를 결정합니다.

이 새로운 팀 접근 방식의 결과는 인상적이었습니다. 그들이 320억 개의 파라미터를 가진 오픈 소스 모델을 사용하여 테스트했을 때, **77.0%**의 점수를 기록했습니다. 이는 매우 강력한 폐쇄형 경쟁 모델인 Gemini 3 Pro를 4.0% 차이로 앞선 것으로, 이는 매우 큰 성과입니다. 더욱 놀라운 점은, 80억 개의 파라미터를 가진 더 작은 버전의 시스템이 추가 훈련 없이도 새로운 팀워크 전략만을 사용하여 점수가 8.7% 향상되었다는 것입니다. 이 논문은 AI 에이전트들을 더 신중하고, 적응력 있고, 전문화되도록 조직함으로써, 우리가 오픈 소스 모델로 복잡한 항공 작업에서 거대하고 비싼 모델들을 능가할 수 있음을 시사합니다.

문제점: 왜 드론은 AI에게 어려운가

이 논문이 왜 중요한지 이해하려면, 길가에서 자동차를 보는 것과 비행기에서 자동차를 보는 것의 차이를 상상해야 합니다. 지상에서는 자동차가 크고 바퀴도 보이며, 그것이 자동차라는 것을 알 수 있습니다. 하지만 드론에서 보면, 그 똑같은 자동차는 아주 작은 점처럼 보일 수 있고, 트럭 옆에 주차되어 있다면 마치 하나의 커다란 덩어리처럼 보일 수도 있습니다.

저자들은 현재의 AI 모델들이 열심히 공부했지만 지상 수준의 사진으로만 연습한 학생들과 같다는 것을 발견했습니다. 이 모델들을 드론 이미지 위로 띄웠을 때, 크게 세 가지 문제가 발생했습니다.

1. 잘못된 도구 벨트: 망치로 시계를 고치려는 상황을 상상해 보세요. AI는 드론 문제를 해결하기 위해 지상 수준의 이미지로 훈련된 도구들을 사용하려고 했습니다. AI는 극단적인 줌이나 기묘한 각도를 처리하는 법을 몰랐습니다.
2. 눈덩이 효과: 만약 AI가 초기에 작은 실수(예: 그림자를 사람으로 오인함)를 저지른다면, 그 실수는 다음 단계로 전달됩니다. 다음 단계는 그 오류를 바탕으로 진행되며, 결국 마지막 답은 완전히 틀리게 됩니다. 이는 메시지가 단 한 번의 전달만으로도 엉망이 되는 '전화기 게임(telephone game)'과 같습니다.
3. 경직된 로봇: AI는 "차가 있는가?"와 같은 단순한 질문이든, "가장 높은 건물을 찾아 그 근처에 몇 명의 사람이 있는지 세어라"와 같은 복잡한 퍼즐이든, 모든 문제를 동일한 방식으로 해결하려고 했습니다. AI는 언제 더 깊이 생각해야 하는지, 혹은 언제 빠르게 답을 내야 하는지를 알지 못했습니다.

해결책: 전문화된 에이전트 팀

이를 해결하기 위해 저자들은 단순히 AI를 더 "똑똑하게" 만든 것이 아닙니다. 대신, 그들은 **멀티 에이전트 시스템(Multi-Agent System, MAS)**을 구축했습니다. 이것을 단일 천재가 아니라, 각자 특정 직무를 가진 잘 조직된 건설 현장 팀이라고 생각해보세요.

1. 도구 선택자 (DSPE): 전문 포맨(Foreman)
시스템의 첫 번째 부분은 **도메인 특화 인지 엔진(Domain-Specific Perception Engine, DSPE)**입니다. 작업에 딱 맞는 도구를 정확히 집어내는 현장 소장(foreman)을 상상해 보세요. 질문이 자동차 수를 세는 것이라면, 소장은 "계수 도구"를 집어 듭니다. 건물의 높이를 찾는 것에 관한 것이라면, "깊이 감지 도구"를 집어 듭니다. 결정적으로, 이 소장은 아무 도구나 마구잡이로 집어 드는 것이 아니라, 드론 이미지를 위한 적절한 도구를 선택하여 "잘못된 도구 벨트" 문제를 피합니다. 또한, 자동차가 실제로 존재하는지 확인한 후에 박스를 그리려고 시도하는 등, AI가 환각(hallucination, 없는 것을 있다고 상상하는 것)을 일으키는 것을 방지하는 특별한 기술도 가지고 있습니다.

2. 더블 체커 (CAIR): 품질 관리 검사관
다음으로, 문맥 인식 반복 정교화(Context-Aware Iterative Refinement, CAIR) 모듈을 추가했습니다. 이것은 작업 팀이 매 단계마다 작업을 마칠 때마다 멈춰 서서 "잠깐, 이게 말이 되나?"라고 말하는 품질 관리 검사관과 같습니다. 만약 팀이 "빨간색 트럭이 보입니다"라고 말하면, 검사관은 사진을 확인하고 "사실 저것은 빨간색 버스처럼 보입니다"라고 말합니다. 만약 검사관이 실수를 잡아내면, 팀은 다음 단계로 넘어가기 전에 즉시 오류를 수정합니다. 이는 "눈덩이 효과"를 막아주어, 작은 오류가 최종 답변을 망치지 않도록 보장합니다.

3. 스마트 플래너 (DAAS): 자원 관리자
마지막으로, 난이도 인식 적응형 탐색(Difficulty-Aware Adaptive Search, DAAS) 메커니즘이 있습니다. 이 스마트 플래너는 질문을 보고 얼마나 많은 에너지를 쏟을지 결정합니다. 만약 질문이 쉬운 것("나무가 있는가?")이라면, 플래너는 "빠르게 답하고 넘어가자"라고 말합니다. 하지만 질문이 어려운 것("붐비는 도시에서 가장 높은 건물을 찾아라")이라면, 플래너는 "좋아, 다양한 경로를 탐색하고, 우리 작업을 확인하고, 깊이 생각하자"라고 결정합니다. 이는 AI가 쉬운 질문에 시간을 낭비하거나 어려운 질문에서 너무 빨리 포기하는 것을 방지합니다.

결과: 거인들을 이기다

저자들은 자신들의 시스템인 UAV-MAS를 UAVQA-Bench를 통해 테스트했습니다. 이 벤치마크는 단순히 무작위로 모은 사진이 아니라, 단순한 계수부터 안전 및 높이에 관한 복잡한 추론에 이르기까지 16가지 서로 다른 작업을 다루는 1,500개의 인간 주석(human-annotated) 질문으로 정교하게 구축되었습니다.

결과는 명확했습니다:

• 오픈 소스의 승리: 32B(320억 파라미터) 오픈 소스 모델에서 실행된 그들의 시스템은 **77.0%**의 전체 정확도를 달달성했습니다. 이는 거대 기술 기업의 거대하고 폐쇄적인 모델인 Gemini 3 Pro를 4.0% 차이로 앞선 것으로, 매우 유의미한 결과입니다.
• 소형 모델의 도약: 그들의 더 작은 8B 모델조차 엄청난 상승을 보였습니다. 새로운 팀 전략을 사용함으로써, 동일한 모델을 사용했을 때보다 점수가 8.7% 향상되었습니다.
• 효율성: 시스템은 단순히 더 좋아진 것뿐만 아니라, 시간을 사용하는 방식도 더 똑똑해졌습니다. 단순히 계산을 반복하며 무차별 대입(brute-force) 방식으로 문제를 풀려는 다른 방법들보다 더 빠르고 적은 "추측"으로 정답을 찾아냈습니다.

이것이 의미하는 바

이 논문은 복잡한 드론 문제를 해결하기 위해 반드시 더 크고 비싼 AI 두뇌를 만들 필요는 없다는 점을 시사합니다. 대신, 우리는 서로 협력하고, 서로의 작업을 확인하며, 적절한 도구를 사용하는 더 작은 두뇌들의 더 나은 팀을 구축할 수 있습니다. 적응력 있고 신중한 시스템을 구축함으로써, 저자들은 오픈 소스 모델이 항공 지능이라는 특수하고 까다로운 영역에서 가장 강력한 독점 모델들과 경쟁하고 심지어 능가할 수 있음을 보여주었습니다.

하지만 저자들은 한계에 대해서도 솔직합니다. 현재 이 시스템은 에이전트들이 서로 대화하고 작업을 확인하는 데 시간이 걸리기 때문에, 드론이 비행 중에 나무를 피하는 것과 같은 실시간 온보드(on-board) 드론 비행에는 너무 느립니다. 현재로서는 드론이 착륙한 후 사진을 분석하는 데 가장 적합합니다. 그러나 현재로서는 이 "에이전트 팀" 접근 방식이 우리의 비행 로봇에게 하늘에서 세상을 이해하는 데 필요한 눈과 두뇌를 제공하는 유망한 새로운 길을 제시하고 있습니다.