Structured Evidence and Vision-Language Models for Interpretable Vision-Only UAV Behavior Analysis

기술 요약: 해석 가능한 비전 전용 UAV 행동 분석을 위한 구조화된 증거 및 시각-언어 모델(Vision-Language Models)

문제 정의
비전 전용 대드론(counter-UAV) 시스템은 비용, 수동 감지(passive sensing), 기존 카메라 인프라와의 호환성 측면에서 상당한 이점을 제공한다. 그러나 현재의 파이프라인은 주로 탐지와 추적에 국한되어 있어, 운영자에게 표적의 위치는 제공하지만 UAV의 행동이나 요구되는 대응의 긴급성에 관한 감사 가능한 증거를 제공하지 못한다. 운영자는 드론이 어디에 있는지는 쉽게 알 수 있지만, 느리고 인지적 부하가 큰 수동 비디오 검토 없이 드론이 무엇을 하고 있는지(예: 양호한 통과, 감시, 접근 또는 불규칙한 기동)를 판단하기는 어렵다. 기존의 비전 기반 파이프라인은 저수준의 시각적 추적과 고수준의 행동 해석 사이의 간극을 메우지 못하고 있다.

방법론
저자들은 표준 추적기와 시각-언어 모델(VLM) 사이에 해석 가능한 증거 계층을 도입하기 위해 설계된 4계층 프레임워크를 제안한다. 이 시스템은 엄격하게 비전 전용이며 다음과 같이 작동한다:

1. 탐지 계층(Detection Layer): 단일 클래스 YOLOv8 탐지기(1280-픽셀 해상도로 학습된 YOLOv8s 모델)가 각 프레임에서 UAV를 식별한다.
2. 추적 및 병합(Tracking and Merging): 탐지 결과는 ByteTrack을 사용하여 궤적으로 연결되며, 이는 신뢰도가 낮은 탐지까지 활용하여 견고함을 유지한다. 폐쇄(occlusion)나 신뢰도 저하로 인한 궤적 단절 문제를 해결하기 위해, 그리디(greedy) 트랙 병합 알고리즘이 시간적 간격, 공간적 거리 및 운동 연속성을 기준으로 짧은 세그먼트들을 하나의 일관된 경로로 결합한다.
3. 구조화된 증거 추출(Structured Evidence Extraction): 이것이 해석 가능성의 핵심 구성 요소이다. 병합된 각 궤적은 다음을 포함하는 고정 템플릿 증거 기록으로 변환된다:
   • 운동 통계(Motion Statistics): 평균/최대 속도, 속도 표준 편차, 총 변위, 경로 길이, 그리고 선형성(변위와 경로 길이의 비율).
   • 규모 특징(Scale Features): 바운딩 박스 영역의 시작, 끝, 그리고 변화율(접근/이탈의 대리 지표).
   • 곡률(Curvature): 평균 및 최대 회전 각도.
   • 호버링 지표(Hovering Metrics): 거의 정지된 움직임을 보이는 프레임의 비율.
   • 규칙 기반 제안(Rule-Based Suggestions): 경량 규칙 엔진이 이러한 지표들에 임계값을 적용하여 예비 행동 레이블(예: 호버링, 선회, 순항, 접근)을 생성한다.
4. VLM 추론(VLM Reasoning): 네 번째 계층인 VLM(Qwen-VL-Max)은 다음의 멀티모달 입력을 통해 프롬프트된다:
   • 2×3 키 프레임 모자이크(균일하게 샘м플링된 6개의 프레임).
   • 구조화된 증거 기록(수치적 특징과 규칙 제안이 직렬화된 텍스트).
     모델은 행동 레이블, 대응 긴급도 추정치, 그리고 특정 증거 값에 근거한 자연어 근거를 출력하도록 지시받으며, 이는 JSON 블록 형식으로 구성된다.

주요 기여
본 논문의 주요 기여는 새로운 탐지기나 추적기를 제시하는 것이 아니라, 해석 가능한 증거 인터페이스가 어떻게 전통적인 탐지-추적 파이프라인을 감사 가능한 행동 분석 시스템으로 변모시킬 수 있는지를 입증하는 데 있다.

• 원시 픽셀 대비 구조화된 증거: 이 프레임워크는 인지와 추론을 명시적으로 분리한다. VLM이 희소한 정적 프레임만으로 복잡한 시간적 역학을 추론하게 하는 대신, 압축된 수치적 궤적 사실을 제공한다.
• 감사 가능성(Auditability): VLM이 특정 증거 값(예: 선형성, 규모 변화율)을 근거로 제시하도록 강제함으로써, 엔드 투 엔드(end-to-end) 시각적 프롬프팅이 가지는 불투명한 추론 과정과 달리 추론 과정을 검사 가능하게 만든다.
• 하이브리드 접근 방식: 이 시스템은 규칙 기반 휴리스틱과 VLM의 의미론적 합성 능력을 결합하여, 모델이 필요할 때 예비 규칙 기반 제안을 정교화하거나 덮어쓸 수 있도록 한다.

실험 결과
프레임워크는 DUT Anti-UAV 데이터셋의 20개 시퀀스를 대상으로 평가되었으며, 52개의 유효한 트랙을 생성했다. 50개의 트랙 서브셋은 6가지 카테고리(호버링, 선회, 순항, 접근, 이탈, 불규칙)에 대한 행동 평가를 위해 수동으로 주석 처리되었다.

• 성능: 풀 멀티모달 구성(이미지 + 구조화된 증거)은 가장 높은 **기본 매치 정확도(0.700)**와 **Any-match 정확도(0.760)**를 달성했다.
• Ablation 연구 결과:
  • 이미지만 사용(Image-Only): 키 프레임 모자이크만을 사용하는 변형 모델은 성능이 저조했으며(기본 매치 정확도 0.220), 이는 희소한 정적 프레임이 시간적 행동을 신뢰성 있게 추론할 수 없음을 확인시켜 준다.
  • 증거만 사용(Evidence-Only): 구조화된 증거만을 사용하는 변형 모델은 0.680의 기본 매치 정확도를 기록하여, 궤적 통계가 지배적인 정보원임을 입증했다.
  • 비교: 전체 구성은 두 가지 단일 모달리티 변형 및 규칙 엔진 단독 모델보다 우수한 성능을 보였다. 특히, 시각적 프레임은 기하학적으로 모호한 경우(예: '순항' 정확도를 증거 전용 모델의 0.57에서 0.71로 향상)에 측정 가능한 이득을 제공했다.
• 클래스별 성능: 시스템은 "접근" 및 "이탈" 행동에 대해 우수한 성능을 보였다. "호버링"은 호버링 비율이 지배적이지 않을 때 선회와 혼동되는 경우가 많아 가장 어려운 클래스로 남았다.

의의 및 주장
본 논문은 비전 전용 대드론 행동 분석에 있어 구조화된 궤적 증거가 필수적인 정보원이며, 시각적 프레임은 보조적이지만 유용한 이득을 제공한다고 주장한다. 저자들은 제안된 프레임워크가 저수준 트랙을 감사 가능한 행동 레이블과 대응 중심의 설명으로 성공적으로 전환했다고 단언한다.

본 연구는 VLM이 희소한 정적 이미지로부터 시간적 행동을 추론하도록 요청받기보다는 명시적인 궤적 증거에 기반할 때 이 도메인에서 효과적이라는 점을 강조한다. 이 시스템은 운영자가 경보의 논리를 검증할 수 있는 확장 가능하고 해석 가능한 대드론 작전으로 가는 실질적인 경로를 제공한다. 저자들은 주석 처리된 서브셋의 크기가 작고(50개 트랙), 단일 주석가에 의존하며, 이미지 베이스라인을 위한 키 프레임 수가 제한적이라는 점 등 한계점을 언급하며 연구 범위를 겸허히 밝히고 있다. 향후 연구로는 데이터셋 확장, 다수 주석가 참여, 그리고 더 조밀한 시간적 시각 입력의 탐색이 제안되었다.