💻 computer science

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

이 논문은 초소형 항공 표적을 위한 최초의 픽셀 수준 개방형 어휘 데이터셋인 **DroneEyes**와, 스트리밍 항공 영상 내 작은 객체에 대한 실시간적이고 자원 효율적인 이해를 가능하게 하는 의미론적 인지 토큰 라우터 및 계층적 메모리 뱅크를 특징으로 하는 메모리 증강 멀티모달 거대 언어 모델인 **SkyAnchor**를 소개한다.

원저자: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

게시일 2026-07-23

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 번화한 도시 위를 비행하는 작고 첨단 기술이 집약된 드론의 조종사라고 상상해 보세요. 당신의 임무는 단순히 예쁜 사진을 찍는 것이 아닙니다. "저 빨간 차를 찾아줘" 또는 "저 흰색 트럭을 보여줘"와 같이 인간 운영자의 질문에 실시간으로 답해야 합니다. 이것이 바로 컴퓨터가 하늘에서 무엇을 보고 있는지 이해하려고 노력하는 **항공 시각(aerial vision)**의 세계입니다. 하지만 여기에는 함정이 있습니다. 드론이 보는 대상은 종종 거대한 피크닉 매트 위의 개미 한 마리처럼 믿기지 않을 정도로 작습니다. 더욱 어려운 점은 드론이 비행 중이기 때문에, 전체 영화를 다 볼 때까지 기다릴 수 없으며 영상이 스트리밍되는 대로 프레임 단위로 즉각 반응해야 한다는 것입니다. 이를 **스트리밍 비디오 이해(streaming video understanding)**라고 합니다.

이제 마라톤을 하면서 친구에게 그 작은 개미를 묘사한다고 상상해 보세요. 모든 발걸음의 거대한 사진첩을 들고 뛸 수는 없습니다(그것은 너무 무겁습니다). 하지만 1초 전의 상황을 잊어버린다면, 군중 속에서 개미를 놓칠 수도 있습니다. 이것이 바로 연구자들이 **멀티모달 대규모 언어 모델(MLLMs)**에서 직면하는 정확한 문제입니다. 이들은 매우 똑똑한 AI 뇌를 가지고 있어 보고 읽을 수 있지만, 보통 아주 작은 세부 사항에 압도되거나 영상이 계속 흘러갈 때 과거를 잊어버리곤 합니다. 이 논문은 이 AI 뇌가 배터리 전력을 다 써버리거나 혼란에 빠지지 않으면서도, 라이브 드론 영상 속에서 작고 움직이는 물체를 포착하도록 가르치는 과제를 다룹니다.

작은 타겟 문제 (The Tiny Target Problem)

연구진은 기존의 AI 도구들이 이 특정 작업에 매우 서툴다는 점을 깨닫는 것부터 시작했습니다. 대부분의 AI 모델은 사람이나 강아지가 공원에 있는 것처럼 대상이 크고 보기 쉬운 영상으로 훈련되었습니다. 드론 영상을 AI에게 보여주면, AI는 공간을 절약하기 위해 전체 이미지를 압축하여 작은 자동차를 거대한 건물과 똑같이 취급합니다. 그 결과는 어떨까요? 작은 자동차는 흐릿함 속에 길을 잃고 맙니다.

이를 해결하기 위해 팀은 먼저 DroneEyes라는 새로운 훈련장을 구축했습니다. 이것은 2,140개의 고해상도 드론 영상이 담긴 거대한 도서관과 같지만, 특별한 점이 있습니다. 모든 프레임의 모든 작은 물체가 픽셀 단위의 정밀도로 윤곽이 그려져 있다는 것입니다. 그들은 단순히 물체 주위에 상자를 그리는 데 그치지 않고, 작은 은색 자동차나 멀리 있는 보행자의 정확한 형태를 따라 그렸습니다. 이 데이터셋은 176,000개 이상의 질문-답변 쌍을 포함하고 있어, AI가 이러한 작은 것들을 찾을 뿐만 아니라 "원형 광장에 있는 빨간 조형물이다"와 같이 상세하게 묘사할 수 있도록 가르칩니다.

SkyAnchor를 만나보세요: 드론의 새로운 뇌

이 새로운 데이터를 바탕으로 팀은 SkyAnchor라는 새로운 AI 모델을 만들었습니다. 기존 모델이 저글링을 하며 책을 읽으려는 학생이라면, SkyAnchor는 잘 정리된 노트와 마법 형광펜을 가진 학생과 같습니다. SkyAnchor는 두 가지 영리한 기술을 통해 드론 시각의 두 가지 주요 난제를 해결합니다.

마법 형광펜 (Semantics-Aware Token Router):
보통 AI가 영상을 볼 때, 이미지를 수천 개의 작은 퍼즐 조각(토큰이라고 불림)으로 나눕니다. 그리고 배경의 지루한 하늘조차도 모든 조각을 동등하게 취급합니다. SkyAnchor는 스마트 형광펜처럼 작동하는 "라우터"를 사용합니다. 이 라우터는 이미지를 스캔하여 "이 하늘 조각은 지루하니까 무시하자"라고 말하면서도, "이 작은 자동차는 중요하니까 모든 세부 사항을 유지하자!"라고 판단합니다. 이를 통해 AI는 거대한 이미지 전체를 처리할 필요 없이 작은 타겟에 뇌의 힘을 집중할 수 있으며, 에너지를 절약하고 디테일을 선명하게 유지할 수 있습니다.
두 권의 노트 시스템 (Hierarchical Memory Bank):
드론은 비행 중이므로, 물체가 현재 어디에 있는지 알기 위해 몇 초 전에 무엇을 보았는지 기억해야 합니다. 하지만 모든 것을 영원히 기억할 수는 없습니다. 그렇지 않으면 메모리가 즉시 가득 찰 것입니다. SkyAnchor는 두 층의 메모리 시스템을 사용합니다.
- "누구"에 대한 노트 (Semantic Memory): 물체의 정체를 저장합니다. "저것은 은색 세단이다"라는 것을 기억합니다. 이 부분은 AI가 추적 중인 대상을 잊지 않도록 메모리에 오랫동안 머뭅니다.
- "어디"에 대한 노트 (Tracking Memory): 마지막 몇 초간의 움직임만을 담는 단기적인 슬라이딩 윈도우입니다. "차가 방금 왼쪽으로 움직였다"라는 것을 기억합니다.
  "누구인지"와 "어디에 있는지"를 분리함으로써, SkyAnchor는 드론이 줌인하거나 줌아웃하더라도 혼란을 느끼거나 물체를 놓치지 않고 부드럽게 추적할 수 있습니다.

연구 결과

팀은 새로운 DroneEyes 데이터셋으로 SkyAnchor를 테스트하고 현재 사용 가능한 가장 똑똑한 AI 모델들과 비교했습니다. 결과는 인상적이었습니다. 물체를 묘사하는 작업에서 SkyAnchor는 최고의 범용 모델보다 두 배 더 높은 점수를 기록했습니다. 작은 물체를 찾고 윤곽을 그리는 작업(referring segmentation)에서는 SkyAnchor가 훨씬 더 작고 가벼움에도 불구하고 차세대 모델보다 15.3% 더 높은 성능을 보였습니다.

하지만 진짜 테스트는 이 AI가 한 번도 본 적 없는 완전히 새로운 환경을 처리할 수 있는지였습니다. 연구진은 해양 장면을 특징으로 하는 SkyFind라는 다른 데이터셋을 던져주었습니다. 추가 훈련 없이도 SkyAnchor는 물체를 정확하게 찾는 능력에서 이전의 최고 기록을 25.9% 개선했습니다. 이는 SkyAnchor가 단순히 훈련 영상을 암기한 것이 아니라, 작은 것을 포착하는 일반적인 기술을 배웠음을 시사합니다.

실제 비행

마지막으로, 팀은 SkyAnchor를 컴퓨터 실험실에만 두지 않았습니다. 그들은 대학교 캠퍼스 위를 나는 실제 드론에 탑재했습니다. 클라우드로 데이터를 보낼 필요 없이 소형 휴대용 컴퓨터(NVIDIA Jetson AGX Orin)에서 실행될 수 있도록 소프트웨어를 최적화했습니다. 결과는 어떠했을까요? 시스템은 표준 설정보다 3.05배 더 빠르게 작동하여, 드론이 비행하는 동안 실시간으로 질문에 답하고 윤곽을 그릴 수 있게 해주었습니다.

실제 세계의 영상에서 SkyAnchor는 드론이 움직이고 시야가 변하는 와중에도 빨간색 SUV, 자갈길에 숨겨진 은색 자동차, 심지어 연못의 비단잉어까지 성공적으로 추적했습니다. 그림자에 길을 잃거나 비슷하게 생긴 물체 때문에 혼란을 겪지도 않았습니다.

핵심 요약

이 논문은 고품질의 새로운 데이터셋과 스마트한 메모리 시스템, 그리고 초점 유지형 라우터를 결합함으로써, 라이브 드론 영상 속의 아주 작은 것들을 포착하는 능력을 크게 향상시킬 수 있음을 보여줍니다. 이는 이를 수행하기 위해 거대하고 무거운 컴퓨터가 필요한 것이 아니라, 효율적이고 메모리를 인식하는 모델이 드론에 탑재되어 운영자가 원하는 것을 지금 바로 찾도록 도울 수 있음을 증명합니다. 이 논문은 특정 데이터셋과 실제 테스트에서 강력한 결과를 보여주었지만, 동시에 향후 연구가 시스템을 더욱 빠르게 만들고 타겟을 시야에 계속 두기 위해 드론의 비행 경로를 자동으로 제어하는 법을 가르치는 데 집중될 것임을 암시합니다.

기술 요약: 스트리밍 항공 비디오에서의 소형 객체 이해를 위한 메모리 증강 멀티모달 대규모 언어 모델

1. 문제 정의

본 논문은 무인 항공기(UAV)로 촬영된 스트리밍 항공 비디오 환경에서 발생하는 온라인 참조 비디오 객체 분할(RVOS) 문제를 다룹니다. 오프라인 처리와 달리, UAV는 미래의 데이터에 접근할 수 없이 프레임이 순차적으로 도착함에 따라 실시간으로 대응해야 합니다. 이러한 설정은 두 가지 본질적인 과제를 제시합니다:

미세 타겟 인지 (Tiny Target Perception): 항공 타겟은 고해형 프레임 내에서 매우 미미한 부분(예: 이미지 면적의 <0.24%)을 차지하는 경우가 많습니다. 기존의 멀티모달 대규모 언어 모델(MLLM)은 일반적으로 균일한 시각적 압축(예: 고정 비율 토큰 병합)을 적용하는데, 이는 작은 타겟과 거대한 배경을 동일하게 취급하여 소형 객체 식별에 필수적인 세밀한 디테일을 손실하게 만듭니다.
스트리밍 컨텍스트와 자원 제약 (Streaming Context vs. Resource Constraints): 연속적인 비디오 스트림을 이해하려면 타겟의 표류(drift)나 사라짐을 방지하기 위해 시간적 컨텍스트가 필요합니다. 그러나 온보드 하드웨어는 자원이 제한적이어서, 계속 늘어나는 스트림의 전체 시각적 이력을 캐싱하는 것은 불가능합니다. 기존의 메모리 메커즘(예: SAM 3의 선형 스케일링)은 장기적인 정체성을 유지하지 못하거나 엣지 배포에는 너무 무겁습니다.

또한, 본 논문은 적절한 데이터의 부재를 지적합니다. 기존의 항공 데이터셋(예: SkyFind, AerialMind)은 거친 바운딩 박스나 정적 이미지에 의존하며, 일상생활 데이터셋(예: MeViS)은 큰 객체에 집중되어 있습니다. 스트리밍 항공 시나리오를 위한 픽셀 수준의 오픈 보캐블러리(open-vocabulary), 프레임별 세그멘테이션 마스크를 제공하는 데이터셋은 존재하지 않습니다.

2. 방법론: SkyAnchor

저자들은 스트리밍 항공 비디오의 소형 객체 이해를 위해 설계된 MLLM 프레임워크인 SkyAnchor를 제안합니다. 이 시스템은 비전-언어 백본(Qwen2.5-VL)과 마스크 디코더(SAM 2)를 기반으로 하며, 두 가지 핵심 구성 요소에 의해 강화됩니다:

A. 시맨틱 인식 토큰 라우터 (Semantics-Aware Token Router)

고정된 시각적 토큰 예산 하에서 "미세 타겟" 문제를 해결하기 위해:

메커니즘: 라우터는 조밀한 공간 토큰을 중첩되지 않는 블록으로 분할합니다. 균일한 병합 대신, 경량화된 스코어링 네트워크가 블록 내 각 토کن의 시맨틱 돌출도(semantic salience)를 평가합니다.
집계: 토큰은 소프트맥스 가중치 집계(softmax-weighted aggregation)를 통해 병합되며, 타겟 관련 영역에는 높은 가중치를, 배경에는 낮은 가중치를 할당합니다.
학습: 그라운드 트루스 마스크에 의해 감독되는 보조 라우팅 손실( $L_{route}$ )은 라우터가 배경 노이즈를 압축하면서도 소형 객체의 변별력 있는 특징을 보존하도록 유도합니다.

B. 계층적 메모리 뱅크 (Hierarchical Memory Bank)

메모리를 관리하면서 "스트리밍 컨텍스트" 문제를 해결하기 위해:

시맨틱 메모리 레이어 (장기): 주요 "앵커 프레임"( $N$ 프레임마다 업데이트됨)에서 추출된 지속적인 객체 수준의 외형 특징(앵커)을 저장합니다. 이 레이어는 타겟의 정체성(예: "은색 세단")을 보존하여 표류를 방지하고 VLM의 추론을 돕습니다.
트래킹 메모리 레이어 (단기): 최근의 공간 상태(트래킹 메모리)를 유지하는 고정 크기 FIFO(First-In-First-Out) 슬라이딩 윈도를 유지합니다. 이 레이어는 SAM 2 디코더를 사용하여 앵커 프레임 사이의 단기 마스크 전파를 지원합니다.
통합: 두 레이어는 시간적 정보를 분리하여, 모델이 전체 이력을 저장하지 않고도 안정적인 이해를 유지할 수 있게 합니다.

C. 엣지 배포 전략

시스템은 비동기 추론 스케줄을 채택합니다:

무거운 VLM 백본은 시맨틱 앵커를 업데이트하기 위해 희소한 앵커 프레임(예: 16번째 프레임마다)에서만 실행됩니다.
경량화된 SAM 2 디코더는 모든 프레임에 대해 조밀하게 실행되며, 캐시된 토큰과 계층적 메모리 뱅크를 활용하여 마스크를 전파합니다.
최적화에는 TensorRT 컴파일, 메모리 어텐션을 위한 CUDA Graph 캡처, 그리고 엣지 디바이스(NVIDIA Jetson AGX Orin)에서 처리량을 극대화하기 위한 비동기 스케줄링이 포함됩니다.

3. 주요 기여

데이터: DroneEyes 데이터셋

저자들은 스트리밍 항공 비디오에서의 픽셀 수준, 오픈 보캐블러리 참조 분할을 위한 최초의 대규모 데이터셋인 DroneEyes를 구축했습니다.

규모: 2,140개의 고해상도 드론 비디오(1080p–4K) 및 176,623개의 QA 쌍.
정밀도: 바운딩 박스가 아닌 조밀한 프레임별 세그멘테이션 마스크(픽셀 수준).
태스크 레벨:
- 레벨 1 (L1): 객체 묘사 (특정 영역이 주어졌을 때 객체를 설명).
- 레벨 2 (L2): 참조 표현 (텍린 쿼리가 주어졌을 때 객체를 분할).
특징: 평균적인 객체 대비 이미지 비율이 매우 낮은(0.24%) 특징을 가지며, 이는 미세 객체 탐지를 위한 엄격한 벤치마크가 됩니다.

방법론: SkyAnchor 프레임워크

압축 환경에서도 미세 타겟의 세밀한 디테일을 보존하기 위한 시맨틱 인식 토큰 라우터 도입.
스트리밍 시나리오에서 장기적 정체성 보존과 단기적 트래킹 효율성 사이의 균형을 맞추기 위한 계층적 메모리 뱅크 설계.

실험 결과

DroneEyes 성능: SkyAnchor (3B 파라미터)는 기존의 범용 MLLM 및 전문 분할 모델들을 모두 능가합니다.
- L1 (묘사): 가장 강력한 베이스라인 대비 2배 향상된 GPT 점수를 달성했습니다.
- L2 (분할): 훨씬 적은 파라미터를 사용함에도 불구하고, 이전 최고 모델(Sa2VA-26B, 33.05%)보다 15.3% 높은 38.10%의 J&F 점수를 달로했습니다.
- 소형 객체 강건성: 초미세 객체(상대 면적 $< 10^{-4}\%$ )에 대해 현저한 우위를 보이며, 베이스라인보다 최대 10.8 퍼센트 포인트 높은 성능을 기록했습니다.
교차 도메인 일반화: 미세 조정 없이 SkyFind 벤치마크에서 평가되었습니다. 미학습 해양 테스트 스플릿에서 SkyAnchor는 이전 도메인 특화 SOTA(AerialREC) 대비 IoU@0.5는 25.9%, IoU@mean은 95.5% 개선되어 강력한 도메인 변화 강건성을 입증했습니다.
실제 배포: NVIDIA Jetson AGX Orin 기반의 UAV에 배포되었습니다. 최적화 파이프라인을 통해 바닐라 PyTorch 대비 3.05배의 속도 향상을 달고, 5.8 FPS(지연 시간 172ms)에 도달하여 클라우드 없는 온라인 모니터링을 가능하게 했습니다.

4. 의의 및 주장

본 논문은 SkyAnchor가 온라인 항공 인지를 위한 실질적인 솔루션을 제공하며, MLLM의 높은 계산 요구량과 UAV의 자원 제약 사이의 간극을 메운다고 주장합니다.

데이터 기여: 스트리밍 항공 비디오를 위한 픽셀 수준의 오픈 보캐블러리 주석을 갖춘 최초의 데이터셋을 제공함으로써 문헌의 중요한 공백을 채웠으며, 바운딩 박스 기반 데이터셋의 한계를 넘어섰습니다.
방법론적 통찰: 단순히 MLLM의 파라미터를 키우는 것만으로는 항공 소형 객체 작업에 충분하지 않으며, 극단적인 전경-배경 불균형과 스트리밍 제약을 처리하기 위해서는 특화된 아키텍처 설계(시맨틱 인식 압축 및 계층적 메모리)가 필요함을 입증했습니다.
실용적 타당성: 실제 하드웨어에서의 성공적인 배포는 복잡한 멀티모달 추론과 분할이 클라우드 오프로딩 없이 온보드에서 수행될 수 있음을 검증하며, 감시, 수색 및 구조, 인프라 점검 분야의 응용을 지원합니다.

저자들은 향업 연구가 네이티브 캡처 속도에 맞추기 위한 추가적인 하드웨어 인식 최적화와, 세그멘테이션 출력을 능동적 카메라 제어 및 자율 항법에 통합하는 방향으로 진행될 것이라고 결론지었습니다.