🤖 AI

HDST-GNN: Heterogeneous Dynamic Spatiotemporal Graph Neural Networks for Multi-Object Tracking in UAV Aerial Imagery

본 논문은 고도 적응형 엣지 구축, 서로 다른 객체 상태를 위한 이종 노드 표현, 그리고 폐쇄 게이트형 시계열 집합을 도입함으로써 UAV 기반 다중 객체 추적의 과제를 해결하고 VisDrone2019-MOT 데이터셋에서 최첨단 성능을 달성하는 이종 동적 시공간 그래프 신경망인 HDST-GNN을 제안한다.

원저자: Phillip Jiang

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Phillip Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 드론이 번화한 도시 광장 위를 비행하는 모습을 지켜보고 있다고 상상해 보세요. 당신의 임무는 움직이는 모든 사람과 자동차를 추적하며, 매 초마다 그들이 누구인지 파악하는 것입니다. 이것을 **다중 객체 추적(Multi-Object Tracking, MOT)**이라고 부릅니다.

드론에서 이를 수행하는 것은 지상의 보안 카메라로 하는 것보다 훨씬 어렵습니다. 그 이유는 다음과 같습니다:

높이 문제: 드론은 높게 날기도 하고 낮게 날기도 합니다. 높이 있을 때는 사람들이 빽빽하게 모여 있는 아주 작은 점처럼 보입니다. 낮게 있을 때는 사람들이 커 보이고 넓게 퍼져 보입니다.
"놓침" 문제: 사람들이 건물이나 그림자 뒤로 걸어가서 잠시 사라집니다. 그들이 다시 나타났을 때, 당신은 즉시 그들을 알아봐야 합니다.
"혼합된 상황" 문제: 어느 순간이든 당신은 세 가지 다른 유형의 대상을 보고 있습니다: 방금 발견된 완전히 새로운 사람, 계속 추적해 온 사람, 그리고 몇 초 전 놓친 사람입니다.

대부분의 기존 추적 시스템은 이러한 모든 상황을 동일하게 취급합니다. 마치 다양한 크기의 물고기를 잡기 위해 단일 크기의 그물을 사용하는 것과 같습니다. 이로 인해 혼동이 생기거나 정체를 놓치는 경우가 빈번합니다.

이 논문은 HDST-GNN이라는 새로운 시스템을 소개합니다. 이것은 세 가지 영리한 기술을 사용하여 문제를 해결하는 "스마트하고 형태가 변하는 탐정"이라고 생각하면 됩니다.

1. "마법의 줌 렌즈" (고도 적응형 에지 구축 - Altitude-Adaptive Edge Construction)

문제점: 종이 위의 점들을 고무줄으로 연결한다고 상 tượng해 보세요. 점들이 작고 밀집되어 있다면(고고도), 큰 고무줄은 엉뚱한 점들을 연결하게 됩니다. 점들이 크고 멀리 떨어져 있다면(저고도), 작은 고무달은 연결을 놓치게 됩니다. 기존 시스템은 고정된 크기의 고무줄을 사용했기에 두 경우 모두에서 실패했습니다.

해결책: HDST-GNN은 "마법의 줌 렌즈"를 가지고 있습니다. 이 시스템은 객체가 화면에서 얼마나 크게 보이는지를 살핍니다.

객체가 작게 보이면(드론이 높이 있으면), 자동으로 "연결 반경"을 줄여 근처의 이웃들만 연결합니다.
객체가 크게 보이면(드론이 낮게 있으면), 더 넓은 범위를 포착하도록 반경을 확장합니다.
비유: 이는 물의 깊이에 따라 작은 물고기를 위한 미세한 그물과 큰 물고기를 위한 넓은 그물 사이를 자동으로 전환하는 어부와 같습니다.

2. "특수 신분증" (이종 노드 표현 - Heterogeneous Node Representation)

문제점: 군중 속에서, 새로 나타난 사람, 일반적인 보행자, 그리고 벽 뒤로 막 들어간 사람은 모두 다릅니다. 기존 시스템은 이들을 모두 똑같은 "사람"으로 취급하여 컴퓨터를 혼란스럽게 만들었습니다.

해결책: HDST-GNN은 상태에 따라 각기 다른 색깔의 신분증을 부여합니다:

파란색 카드 (Type-D): 방금 발견된 새로운 탐지 대상용.
초록색 카드 (Type-T): 확정된 추적 대상용.
빨간색 카드 (Type-L): 놓친 추적 대상용.
비유: 클럽의 보안 요원을 상상해 보세요. 그는 VIP, 새로운 손님, 그리고 쫓겨난 사람을 똑같이 대하지 않습니다. 그는 각 그룹과 소통하는 서로 다른 규칙을 가지고 있습니다. 이 시스템은 새로운 사람을 기존 사람과 매칭하는 방식과, 놓친 사람을 새로운 목격 정보와 매칭하는 방식에 대해 서로 다른 "규칙"을 학습합니다.

3. "음소거 마이크" (폐쇄 게이트 시간적 집계 - Occlusion-Gated Temporal Aggregation)

문제점: 누군가 벽 뒤에 숨겨졌을 때(폐쇄), 그들의 "목소리(데이터)"는 흐릿하거나 왜곡됩니다. 만약 시스템이 이 흐릿한 목소리에 너무 귀를 기울인다면, 잘못된 판단을 내려 주변의 다른 모든 추적을 망칠 수 있습니다.

해출책: 시스템은 모든 사람에 대해 "볼륨 조절 노브"를 가집니다.

사람이 명확하게 보이면 볼륨을 높입니다.
사람이 부분적으로 가려졌거나 방금 다시 나타난 경우, 볼륨을 낮춥니다(게이팅).
비유: 한 사람이 두꺼운 벽 너머에서 소리를 지르고 있는 토론 현장을 상상해 보세요. 사회자(AI)는 그 사람의 목소리가 나머지 그룹을 혼란스럽게 하지 않도록 그 사람의 마이크 볼륨을 낮추는 법을 압니다. 이는 "나쁜 데이터"가 깨끗한 데이터를 추적하는 것을 방해하지 않도록 방지합니다.

결과: 얼마나 잘 작동했는가?

저자들은 유명한 드론 영상 데이터셋(VisDrone2019)을 통해 이 시스템을 테스트했습니다. 그들은 이를 SORT라는 표준적인 기존 시스템과 비교했습니다.

점수: HDST-GNN은 94.51%(MOTA)의 점수를 기록하며, 기존 시스템을 상당한 차이로 앞질렀습니다.
더 적은 실수: 기존 시스템은 영상 시퀀스당 약 144번 정체를 혼동(사람 간의 이름이 바뀜)했지만, HDST-GNN은 단 28번만 혼동했습니다. 이는 혼란이 81% 감소했음을 의미합니다.
열악한 카메라 환경에서도: 오류를 일으키는 "노이즈가 섞인" 카메라를 시뮬레이션했을 때도, HDST-GNN은 기존 시스템에 비해 혼란을 절반으로 줄였습니다.

요약

HDST-GNN은 하늘에서 사물을 추적하는 더 스마트한 방법입니다. 단순히 경직된 규칙을 사용하는 것이 아니라, 드론의 고도에 따라 "시야"를 조정하고, 각기 다른 유형의 타겟에 특정 로직을 적용하며, 신뢰할 수 없는 정보는 무시할 줄 압니다. 그 결과, 드론이 높이 비행하거나 사람들이 장애물 뒤로 숨더라도 군중을 훨씬 더 정확하게 추적하는 시스템을 만들어냈습니다.

기술 요약: UAV 다중 객체 추적을 위한 HDST-GNN

문제 정의

무인 항공기(UAV) 영상에서의 다중 객체 추적(MOT)은 지상 레벨의 추적과 비교하여 뚜렷한 차별점을 갖는 도전 과제들을 제시합니다. 본 논문은 네 가지 주요 난제를 식별했습니다:

고도 변화: 드론의 고도가 크게 변동함에 따라 객체의 겉보기 크기가 한 자릿수 차이로 변합니다. 기존의 그래프 기반 추적기에 사용되는 고정된 공간 이웃 반경은 저고도에서는 과잉 연결(over-connection)을, 고고도에서는 연결 부족(under-connection)을 초래합니다.
작은 객체 크기와 밀도: 객체들이 매우 작고(예: <10×10 픽셀) 조밀하게 모여 있어, 외형 특징 추출이 어렵고 공간 및 운동 맥락에 대한 의존도가 높아집니다.
빈번한 폐쇄(Occlusion): 시점 변화와 그림자로 인해 일시적인 소멸이 발생하며, 이는 제한된 단서로부터 강건한 재식별(re-identification)을 요구합니다.
이질적인 객체 상태: 추적 그래프에는 서로 질적으로 다른 엔티티들이 동시에 존재합니다: 새로운 탐지(이력 없음), 확정된 트랙릿(속도 정보 보유), 그리고 일시적으로 유실된 트랙릿입니다. 기존 방법들은 이를 균일하게 취급하여 각기 다른 매칭 의미론을 무시하는 경우가 많습니다.

현재의 최첨단 그래프 기반 추적기들(예: MPNTrack, GNNMatch)은 이러한 특정 항공 제약 사항을 해결하지 못하며, 고정된 공간 맥락과 동질적인 노드 표현에 의존하고 있습니다.

방법론: HDST-GNN

저자들은 위에서 언급한 한계점들을 해결하기 위해 설계된 엔드 투 엔드 학습 가능 프레임워크인 HDST-GNN(Heterogeneous Dynamic Spatiotemporal Graph Neural Network)을 제안합니다. 파이프라인은 5단계로 구성됩니다:

1. 외형 추출 (Appearance Extraction)

ImageNet으로 사전 학습된 ResNet-18 백본을 사용하여 다음 항목들에 대한 128차원 L2 정규화 임베딩을 추출합니다:

탐지 노드(Detection nodes): 현재 프레임의 크롭 이미지.
트랙릿 노드(Tracklet nodes): 가장 최근 관측값( $t-1$ )의 크롭 이미지.
유실 노드(Lost nodes): 사라지기 전 마지막으로 관측된 프레임의 크롭 이미지.

2. 고도 적응형 그래프 구축 (Contribution C1)

고정된 반경 대신, 시스템은 현재 프레임 내 평균 겉보기 객체 면적 $\bar{a}$ 를 기반으로 카메라 고도 근사치 $\hat{z}$ 를 추정합니다:
$\hat{z} = -\log\left(\frac{\bar{a}}{a_{ref}} + \epsilon\right)$
유효 연결 반경 $r_{eff}$ 는 다음과 같이 동적으로 조정됩니다:
$r_{eff} = r_0 \cdot \exp(-\beta\hat{z})$
이는 고고도(객체가 작고 픽셀 밀도가 높은 상황)에서는 반경을 수축시키고, 저고도에서는 확장시켜 관련 없는 공간 영역 간의 잘못된 연결을 방지합니다.

3. 이질적 그래프 표현 (Contribution C2)

그래프 $G=(V, E)$ 는 세 가지 구별된 노드 유형을 모델링합니다:

Type-D (Detection): 새로운 탐지.
Type-T (Tracklet): 확정된 활성 트랙.
Type-L (Lost): 최근 유실된 트랙 (메모리 윈도우 내).

각 유형은 전용 입력 프로젝션을 가집니다. 그래프는 다섯 가지 유형의 에지 관계(예: 탐지-트랙릿 매칭, 트랙릿-트랙릿 상호작용, 유실-탐지 재식별)를 포함하며, 이를 통해 네트워크가 각 쌍에 대한 별도의 관계적 의미론을 학습할 수 있도록 합니다.

4. 폐쇄 게이트형 시간적 집계 (Contribution C3)

메시지 전달 과정에서 네트워크는 폐쇄 게이트 어텐션(Occlusion-Gated Attention) 메커니즘을 사용합니다. 각 소스 노드 $j$ 는 확정된 트랙릿, 유실된 트랙릿, 또는 탐지 여부에 따라 계산된 폐쇄 신뢰도 점수 $\phi_j \in [0, 1]$ 를 가집니다.
메시지 $m_{j \to i}$ 는 이 게이트에 의해 스케일링됩니다:
$m_{j \to i} = \alpha_{ij} \cdot \phi_j \cdot W_{msg} h_j$
이를 통해 심하게 폐쇄되었거나 최근 유실된 노드가 이웃 노드의 임베딩 업데이트에 미치는 영향을 비례적으로 줄임으로써, 그래프 상태의 "오염"을 방지합니다.

5. 연관 및 학습 (Association and Training)

헤드(Head): SuperGlue에서 영감을 받은 미분 가능한 Sinkhorn 할당 헤드를 사용하여 학습 중 소프트 할당을 계산합니다. 추론 시에는 ByteTrack을 따르는 2단계 Hungarian 알고리즘을 통해 하드 할당을 해결합니다.
손실 함수(Loss): 매칭을 위한 이진 교차 엔트로피(BCE)와 외형 임베딩에 대한 트리플렛 마진 손실(triplet margin loss)을 결합한 공동 손실로 모델을 학습시킵니다.

주요 기여

본 논문은 세 가지의 새로운 기여를 명시적으로 주장합니다:

고도 적응형 에지 구축: 카메라 고도에 따라 그래프 연결성을 동적으로 조정하는 메커로리즘으로, 고정 반경의 실패 모드를 해결합니다.
이질적 노드 및 에지 유형: 탐지, 활성 트랙, 유실 트랙을 명시적으로 구분하여 다양한 생애 주기 상태에 대한 별도의 매칭 의미론 학습을 가능하게 하는 그래프 구조를 제공합니다.
폐쇄 게이트형 시간적 집계: 폐쇄 신뢰도에 따라 어텐션 가중치를 조절하는 미분 가능한 게이팅 메커니즘을 통해 일시적인 객체 소멸에 대한 강건성을 향상시킵니다.

실험 결과

실험은 VisDrone2019-MOT 데이터셋을 대상으로 수행되었습니다.

오라클 탐지 프로토콜 (Oracle-Detection Protocol)

연관 성능만을 격리하기 위해 지면 진실(ground-truth) 바운딩 박스를 입력으로 사용했을 때:

HDST-GNN은 94.51% MOTA와 97.24% IDF1를 달성했습니다.
이는 SORT 베이스라인보다 5.0 MOTA 포인트 높습니다.
ID 전환(ID switches)이 평균적으로 시퀀스당 144개에서 28개로 81% 감소했습니다.
모델은 훨씬 더 많은 실제 탐지를 복구해냈으며(SORT의 1493개 대비 848개의 FN), 이는 효과적인 재식별 능력을 입증합니다.

노이즈 탐지 프로토콜 (Noisy-Detection Protocol)

시뮬레이션된 노이즈 탐지(15% 미탐, 10% 오탐)를 사용했을 때:

HDST-GNN은 SORT 대비 ID 전환을 49% 감소시켰습니다 (638 대 1264).
이 특정 노이즈 환경에서는 허용적인 IoU 매칭 정책 덕분에 SORT가 약간 더 높은 MOTA를 기록했으나, HDST-GNN은 감시 애플리케이션의 우선순위인 ID 무결성 측면에서 우월함을 보여주었습니다.

절제 연구 (Ablation Studies)

C1 (고도 적응): 가장 핵심적인 구성 요소입니다. 이를 제거하면 6.07 pp의 MOTA 하락이 발생하며, 고도 변화가 심한 시퀀스에서 성능이 붕괴되었습니다.
C2 & C3: 이질적 유형이나 폐쇄 게이트를 제거했을 때 보고된 절제 실험에서 MOTA 변화는 미미했습니다(저자들은 이것이 훈련 깊이와의 상호작용 때문일 수 있다고 언급함).

의의 및 주장

본 논문은 HDST-GNN을 오라클 탐지 조건 하의 UAV MOT를 위한 새로운 SOTA(State-of-the-Art)로 포지셔닝합니다. 저자들은 본 연구의 의의를 다음과 같이 주장합니다:

체계적 실패 모드 해결: 항공 데이터에서 기존 그래프 추적기의 문제를 일으키는 고정 반경의 한계를 직접적으로 해결했습니다.
생애 주기 인식 모델링: 동질적 그래프를 넘어 탐지, 추적, 유실이라는 뚜렷한 상태를 명시적으로 모델링했습니다.
강건한 재식별: 학습된 외형 특징이 폐쇄 게이트와 결합되어, 전통적인 IoU 기반 방식이 실패하는 폐쇄 및 고도 변화 상황에서도 효과적으로 트랙을 복구할 수 있음을 입증했습니다.

저자들은 현재의 성능이 탐지기 품질(특히 엔드 투 엔드 평가에서의 Vis-Drone 미파인튜닝 탐지기 부재)에 의해 제한되어 있다고 결론지으며, 향후 연구로 실제 탐지기와의 공동 학습 및 다중 클래스 추적으로의 확장을 제안합니다.