🤖 AI

HDST-GNN: Heterogeneous Dynamic Spatiotemporal Graph Neural Networks for Multi-Object Tracking in UAV Aerial Imagery

यह शोध पत्र HDST-GNN का प्रस्ताव करता है, जो एक हेटेरोजेनियस डायनेमिक स्पैटियोटेम्पोरल ग्राफ न्यूरल नेटवर्क है जो ऊंचाई-अनुकूली एज निर्माण (altitude-adaptive edge construction), विभिन्न ऑब्जेक्ट अवस्थाओं के लिए हेटेरोजेनियस नोड रिप्रजेंटेशन और ऑक्लूजन-गेटेड टेम्पोरल एग्रीगेशन को पेश करके UAV-आधारित मल्टी-ऑब्जेक्ट ट्रैकिंग की चुनौतियों का समाधान करता है, जिससे VisDrone2019-MOT डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Phillip Jiang

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Phillip Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर के चौक के ऊपर उड़ते हुए एक ड्रोन को देख रहे हैं। आपका काम हर चलते-फिरते व्यक्ति और कार का हिसाब रखना है, यह सुनिश्चित करना कि आप एक सेकंड से दूसरे सेकंड तक जान सकें कि कौन कौन है। इसे मल्टी-ऑब्जेक्ट ट्रैकिंग (MOT) कहा जाता है।

एक ड्रोन से यह करना ज़मीन पर लगे सुरक्षा कैमरे की तुलना में बहुत कठिन है। ऐसा इसलिए है क्योंकि:

ऊंचाई की समस्या (The Height Problem): ड्रोन कभी ऊँचा उड़ता है तो कभी नीचा। जब यह ऊँचा होता है, तो लोग आपस में सटे हुए नन्हे बिंदुओं की तरह दिखते हैं। जब यह नीचा होता है, तो वे बड़े और बिखरे हुए दिखते हैं।
"खो जाने" की समस्या (The "Lost" Problem): लोग इमारतों या छाया के पीछे चले जाते हैं, जिससे वे एक क्षण के लिए गायब हो जाते हैं। जब वे वापस आते हैं, तो आपको उन्हें तुरंत पहचानना होता है।
"मिश्रित बैग" की समस्या (The "Mixed Bag" Problem): किसी भी दिए गए सेकंड में, आप तीन अलग-अलग प्रकार की चीज़ों को देख रहे होते हैं: बिल्कुल नए लोग जिन्हें अभी देखा गया है, लोग जिन्हें आप कुछ समय से ट्रैक कर रहे हैं, और लोग जिन्हें आपने कुछ सेकंड पहले खो दिया था।

पुराने ट्रैकिंग सिस्टम इन सभी स्थितियों के साथ एक जैसा व्यवहार करते हैं, जैसे कि मछली के हर आकार को पकड़ने के लिए एक ही आकार के जाल का उपयोग करना। वे अक्सर भ्रमित हो जाते हैं, पहचान मिला देते हैं या पूरी तरह से ट्रैक खो देते हैं।

यह पेपर एक नया सिस्टम पेश करता है जिसे HDST-GNN कहा जाता है। इसे एक "स्मार्ट, रूप बदलने वाले जासूस" के रूप में समझें जो इन समस्याओं को तीन चतुर तरीकों से हल करता है।

1. "जादुई ज़ूम लेंस" (एल्टीट्यूड-एडेप्टिव एज कंस्ट्रक्शन)

समस्या: कल्पना कीजिए कि आप एक रबर बैंड से कागज़ के टुकड़े पर बिंदुओं को जोड़ने की कोशिश कर रहे हैं। यदि बिंदु छोटे और घने हैं (ऊंचाई पर), तो एक बड़ा रबर बैंड गलत बिंदुओं को जोड़ देगा। यदि बिंदु बड़े और दूर-दूर हैं (नीचे होने पर), तो एक छोटा रबर बैंड कनेक्शन मिस कर जाएगा। पुराने सिस्टम एक निश्चित आकार के रबर बैंड का उपयोग करते थे, जो दोनों ही मामलों में विफल रहा।

समाधान: HDST-GNN के पास एक "जादुई ज़ूम लेंस" है। यह देखता है कि स्क्रीन पर वस्तुएं कितनी बड़ी दिखाई दे रही हैं।

यदि वस्तुएं छोटी दिखती हैं (ड्रोन ऊँचा है), तो यह अपने "कनेक्शन रेडियस" को अपने आप सिकोड़ लेता है ताकि यह केवल पास के पड़ोसियों को ही जोड़ सके।
यदि वस्तुएं बड़ी दिखती हैं (ड्रोन नीचा है), तो यह अपने रेडियस को फैला देता है ताकि व्यापक फैलाव को पकड़ा जा सके।
उपमा: यह एक मछुआरे की तरह है जो पानी की गहराई के आधार पर छोटे मछली पकड़ने के बारीक जाल और बड़ी मछली पकड़ने के चौड़े जाल के बीच स्वचालित रूप से स्विच करता है।

2. "विशेष आईडी कार्ड" (हेटरोजीनियस नोड रिप्रेजेंटेशन)

समस्या: भीड़ में, एक नया व्यक्ति, एक नियमित चलने वाला व्यक्ति और वह व्यक्ति जो अभी दीवार के पीछे गया है, ये सभी अलग हैं। पुराने सिस्टम उन सभी को बिल्कुल एक ही "व्यक्ति" मानते थे, जिससे कंप्यूटर भ्रमित हो जाता था।

समाधान: HDست-GNN उनकी स्थिति के आधार पर हर किसी को एक अलग रंग का आईडी कार्ड देता है:

ब्लू कार्ड (Type-D): नए डिटेक्शन के लिए (अभी स्पॉट किया गया)।
ग्रीन कार्ड (Type-T): कन्फर्म ट्रैक्स के लिए (जिन लोगों के बारे में हमें यकीन है)।
रेड कार्ड (Type-L): खोए हुए ट्रैक्स के लिए (लोग जिन्हें हमने खो दिया है लेकिन शायद फिर से मिल सकते हैं)।
उपमा: एक क्लब के बाउंसर की कल्पना करें। वह एक वीआईपी, एक नए मेहमान और बाहर निकाले गए व्यक्ति के साथ एक जैसा व्यवहार नहीं करता है। उसके पास प्रत्येक समूह से बात करने के लिए अलग-अलग नियम हैं। यह सिस्टम नए लोगों को पुराने लोगों से मिलाने बनाम खोए हुए लोगों को नई मुलाकातों से मिलाने के लिए अलग-अलग "नियम" सीखता है।

3. "म्यूट माइक्रोफ़ोन" (ऑक्लूजन-गेटेड टेम्पोरल एग्रीगेशन)

समस्या: जब कोई व्यक्ति दीवार के पीछे छिपा होता है (ऑक्लूडेड), तो उसकी "आवाज़" (डेटा) दबी हुई या विकृत होती है। यदि सिस्टम इस दबी हुई आवाज़ को बहुत ध्यान से सुनता है, तो यह गलत धारणा बना सकता है और आसपास के अन्य लोगों की ट्रैकिंग खराब कर सकता है।

समाधान: सिस्टम के पास हर व्यक्ति के लिए एक "वॉल्यूम नॉब" (आवाज़ नियंत्रित करने वाला बटन) है।

यदि कोई व्यक्ति स्पष्ट रूप से दिखाई दे रहा है, तो उसकी आवाज़ तेज़ कर दी जाती है।
यदि कोई व्यक्ति आंशिक रूप से छिपा हुआ है या खो जाने के बाद अभी-अभी वापस आया है, तो उसकी आवाज़ कम (गेटेड) कर दी जाती है।
उपमा: एक समूह चर्चा की कल्पना करें जहाँ एक व्यक्ति एक मोटी दीवार के माध्यम से चिल्ला रहा है। मॉडरेटर (AI) जानता है कि उस व्यक्ति का माइक्रोफ़ोन कम कर देना चाहिए ताकि उनके अस्पष्ट शब्द बाकी समूह को भ्रमित न करें। यह "खराब डेटा" को स्पष्ट डेटा की ट्रैकिंग को खराब करने से रोकता है।

परिणाम: यह कितना अच्छा काम कर रहा था?

लेखकों ने ड्रोन वीडियो के एक प्रसिद्ध डेटासेट (Visendo2019) पर इस सिस्टम का परीक्षण किया। उन्होंने इसकी तुलना SORT नामक एक मानक, पुराने सिस्टम से की।

स्कोर: HDST-GNN ने 94.51% (MOTA) का स्कोर प्राप्त किया, जो पुराने सिस्टम को काफी अंतर से पीछे छोड़ देता है।
कम गलतियाँ: पुराने सिस्टम ने प्रति वीडियो सीक्वेंस लगभग 144 बार पहचान बदल दी (नामों का आदान-प्रदान किया)। HDST-GNN ने ऐसा केवल 28 बार किया। यह भ्रम में 81% की कमी है।
खराब कैमरों के साथ भी: यहाँ तक कि जब उन्होंने एक "नॉइज़ी" कैमरा सिम्युलेट किया जो गलतियाँ करता था, तब भी HDST-GNN ने पुराने सिस्टम की तुलना में भ्रम को आधा कर दिया।

सारांश में

HDST-GNN आसमान से चीजों को ट्रैक करने का एक स्मार्ट तरीका है। यह केवल नियमों के एक कठोर सेट का उपयोग नहीं करता है; इसके बजाय, यह अपनी "दृष्टि" को ड्रोन की ऊंचाई के आधार पर अनुकूलित करता है, विभिन्न प्रकार के लक्ष्यों के साथ विशिष्ट तर्क के साथ व्यवहार करता है, और जानता है कि कब अविश्वसनीय जानकारी को अनदेखा करना है। परिणाम एक ऐसा सिस्टम है जो भीड़ का बहुत अधिक सटीकता से पता रखता है, भले ही ड्रोन ऊँचा उड़ रहा हो या लोग बाधाओं के पीछे छिपे हों।

तकनीकी सारांश: UAV मल्टी-ऑब्जेक्ट ट्रैकिंग के लिए HDST-GNN

समस्या विवरण (Problem Statement)

UAV (अनमैन्ड एरियल व्हीकल) इमेजरी में मल्टी-ऑब्जेक्ट ट्रैकिंग (MOT) जमीनी स्तर की ट्रैकिंग की तुलना में विशिष्ट चुनौतियों को प्रस्तुत करती है। पेपर चार प्राथमिक कठिनाइयों की पहचान करता है:

ऊंचाई में भिन्नता (Altitude Variation): ड्रोन की ऊंचाई काफी बदलती रहती है, जिससे वस्तुओं का आभासी आकार एक क्रम (order of magnitude) तक भिन्न हो जाता है। मौजूदा ग्राफ-आधारित ट्रैकर्स में उपयोग किए जाने वाले निश्चित स्थानिक पड़ोस त्रिज्या (fixed spatial neighborhood radii) कम ऊंचाई पर अत्यधिक कनेक्शन (over-connection) और अधिक ऊंचाई पर अपर्याप्त कनेक्शन (under-connection) की ओर ले जाते हैं।
लघु वस्तु आकार और घनत्व (Small Object Size and Density): वस्तुएं अक्सर बहुत छोटी (जैसे, <10×10 पिक्सल) और घनी होती हैं, जिससे अपीयरेंस फीचर एक्सट्रैक्शन कठिन हो जाता है और स्थानिक एवं मोशन कॉन्टेक्स्ट पर निर्भरता बढ़ जाती है।
बार-बार होने वाला ऑक्लूजन (Frequent Occlusion): परिप्रेक्ष्य (perspective) और छाया के कारण वस्तुएं अस्थायी रूप से गायब हो जाती हैं, जिसके लिए सीमित संकेतों से मजबूत री-आइडेंटिफिकेशन की आवश्यकता होती है।
विषम वस्तु अवस्थाएं (Heterogeneous Object States): ट्रैकिंग ग्राफ में एक साथ गुणात्मक रूप से भिन्न संस्थाएं (entities) होती हैं: नई डिटेक्शन (कोई इतिहास नहीं), कन्फर्म्ड ट्रैकलेट्स (वेलोसिटी के साथ), और अस्थायी रूप से खोए हुए ट्रैकलेट्स। मौजूदा विधियां अक्सर इन्हें समान मानती हैं, उनके विशिष्ट मिलान अर्थों (matching semantics) की अनदेखी करती हैं।

वर्तमान अत्याधुनिक ग्राफ-आधारित ट्रैकर्स (जैसे, MPNTrack, GNNMatch) इन विशिष्ट हवाई बाधाओं को संबोधित करने में विफल रहते हैं, क्योंकि वे निश्चित स्थानिक संदर्भों और सजातीय नोड रिप्रजेंटेशन पर निर्भर करते हैं।

कार्यप्रणाली: HDST-GNN

लेखक HDST-GNN (हेटरोजीनियस डायनेमिक स्पैटियोटेम्पोरल ग्राफ न्यूरल नेटवर्क) प्रस्तावित करते हैं, जो उपरोक्त सीमाओं को दूर करने के लिए डिज़ाइन किया गया एक एंड-टू-एंड ट्रेन करने योग्य फ्रेमवर्क है। पाइपलाइन में पांच चरण शामिल हैं:

1. अपीयरेंस एक्सट्रैक्शन (Appearance Extraction)

एक ResNet-18 बैकबोन (ImageNet पर प्री-ट्रेन्ड) निम्नलिखित के लिए 128-डायमेंशनल L2-नॉर्मलाइज्ड एम्बेडिंग्स निकालता है:

डिटेक्शन नोड्स: वर्तमान फ्रेम के क्रॉप्स।
ट्रैकलेट नोड्स: सबसे हालिया ऑब्जर्वेशन ( $t-1$ ) के क्रॉप्स।
लॉस्ट नोड्स: गायब होने से पहले के अंतिम देखे गए फ्रेम के क्रॉप्स।

2. ऊंचाई-अनुकूली ग्राफ निर्माण (Altitude-Adaptive Graph Construction - योगदान C1)

एक निश्चित त्रिज्या के बजाय, सिस्टम वर्तमान फ्रेम में औसत आभासी वस्तु क्षेत्र $\bar{a}$ के आधार पर एक कैमरा-ऊंचाई प्रॉक्सी $\hat{z}$ का अनुमान लगाता है:
$\hat{z} = -\log\left(\frac{\bar{a}}{a_{ref}} + \epsilon\right)$
प्रभावी कनेक्शन त्रिज्या $r_{eff}$ को गतिशील रूप से समायोजित किया जाता है:
$r_{eff} = r_0 \cdot \exp(-\beta\hat{z})$
यह उच्च ऊंचाई (जहाँ वस्तुएं छोटी और पिक्सेल-सघन होती हैं) पर त्रिज्या को सिकोड़ता है और कम ऊंचाई पर इसे विस्तारित करता है, जिससे असंबंधित स्थानिक क्षेत्रों में त्रुटिपूर्ण कनेक्शन को रोका जा सकता है।

3. हेटरोजीनियस ग्राफ रिप्रजेंटेशन (Heterogeneous Graph Representation - योगदान C2)

ग्राफ $G=(V, E)$ तीन अलग-अलग प्रकार के नोड्स को मॉडल करता है:

टाइप-D (Detection): नई डिटेक्शन।
टाइप-T (Tracklet): कन्फर्म्ड एक्टिव ट्रैक्स।
टाइप-L (Lost): हाल ही में खोए गए ट्रैक्स (मेमोरी विंडो के भीतर)।

प्रत्येक प्रकार के लिए समर्पित इनपुट प्रोजेक्शन हैं। ग्राफ में पांच प्रकार के एज रिलेशंस (जैसे, डिटेक्शन-टू-ट्रैकलेट मैचिंग, ट्रैकलेट-टू-ट्रैकलेट इंटरैक्शन, लॉस्ट-टू-डिटेक्शन री-आइडेंटिफिकेशन) शामिल हैं, जिससे नेटवर्क प्रत्येक पेयरिंग के लिए अलग-अलग रिलेशनल सिमेंटिक्स सीख सकता है।

4. ऑक्लूजन-गेटेड टेम्पोरल एग्रीगेशन (Occlusion-Gated Temporal Aggregation - योगदान C3)

मैसेज पासिंग के दौरान, नेटवर्क एक ऑक्लूजन-गेटेड अटेंशन तंत्र का उपयोग करता है। प्रत्येक सोर्स नोड $j$ एक ऑक्लूजन कॉन्फिडेंस स्कोर $\phi_j \in [0, 1]$ ले जाता है, जो इस आधार पर गणना किया जाता है कि नोड एक कन्फर्म्ड ट्रैकलेट है, एक लॉस्ट ट्रैकलेट है, या एक डिटेक्शन है।
मैसेज $m_{j \to i}$ को इस गेट द्वारा स्केल किया जाता है:
$m_{j \to i} = \alpha_{ij} \cdot \phi_j \cdot W_{msg} h_j$
यह सुनिश्चित करता है कि अत्यधिक ऑक्लूडेड या हाल ही में खोए गए नोड्स अपने पड़ोसियों के एम्बेडिंग अपडेट में आनुपातिक रूप से कम योगदान दें, जिससे ग्राफ स्टेट के "प्रदूषण" (pollution) को रोका जा सके।

5. एसोसिएशन और ट्रेनिंग (Association and Training)

हेड: एक डिफरेंशिएबल सिंकहॉर्न असाइनमेंट हेड (SuperGlue से प्रेरित) ट्रेनिंग के दौरान सॉफ्ट असाइनमेंट की गणना करता है। इन्फरेंस के समय, एक टू-स्टेज हंगेरियन एल्गोरिदम (ByteTrack का अनुसरण करते हुए) हार्ड असाइनमेंट को हल करता है।
लॉस: मॉडल को बाइनरी क्रॉस-एन्ट्रॉपी (मैचिंग के लिए) और ट्रिपलेट मार्जिन लॉस (अपीयरेंस एम्बेडिंग्स पर मेट्रिक लर्निंग के लिए) को संयोजित करने वाले एक जॉइंट लॉस के साथ प्रशिक्षित किया जाता है।

मुख्य योगदान (Key Contributions)

पेपर स्पष्ट रूप से तीन नवीन योगदानों का दावा करता है:

ऊंचाई-अनुकूली एज निर्माण (Altitude-Adaptive Edge Construction): एक तंत्र जो कैमरा ऊंचाई के आधार पर ग्राफ कनेक्टिविटी को गतिशील रूप से समायोजित करता है, जो हवाई अनुक्रमों में फिक्स्ड-रेडियस विफलता मोड को हल करता है।
विषम नोड और एज प्रकार (Heterogeneous Node and Edge Types): एक ग्राफ संरचना जो डिटेक्शन, एक्टिव ट्रैकलेट्स और लॉस्ट ट्रैकलेट्स के बीच स्पष्ट रूप से अंतर करती है, जिससे विभिन्न लाइफसाइकिल अवस्थाओं के लिए अलग-अलग मैचिंग सिमेंटिक्स सीखना संभव होता है।
ऑक्लूजन-गेटेड टेम्पोरल एग्रीगेशन (Occlusion-Gated Temporal Aggregation): एक डिफरेंशिएबल गेटिंग मैकेनिज्म जो ऑक्लूजन कॉन्फिडेंस के आधार पर अटेंशन वेट्स को नियंत्रित करता है, जिससे अस्थायी वस्तु गायब होने के विरुद्ध मजबूती आती है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग VisDrone2019-MOT डेटासेट पर किए गए थे।

ऑरेकल-डिटेक्शन प्रोटोकॉल (Oracle-Detection Protocol)

एसोसिएशन प्रदर्शन को अलग करने के लिए ग्राउंड-ट्रुथ बाउंडिंग बॉक्स का इनपुट के रूप में उपयोग करते हुए:

HDST-GNN ने 94.51% MOTA और 97.24% IDF1 प्राप्त किया।
इसने SORT बेसलाइन को +5.0 MOTA पॉइंट्स से पीछे छोड़ दिया।
आइडेंटिटी स्विच (IDs) में 81% की कमी आई (प्रति अनुक्रम औसतन 144 से घटकर 28 रह गए)।
मॉडल ने काफी अधिक ट्रू डिटेक्शन रिकवर किए (SORT के 1493 बनाम HDST-GNN के 848 FN), जो प्रभावी री-आइडेंटिफिकेशन को दर्शाता है।

नॉइजी-डिटेक्शन प्रोटोकॉल (Noisy-Detection Protocol)

सिम्युलेटेड नॉइजी डिटेक्शन (15% फाल्स नेगेटिव, 10% फाल्स पॉजिटिव) का उपयोग करते हुए:

HDST-GNN ने SORT के सापेक्ष आइडेंटिटी स्विच को 49% कम किया (638 बनाम 1262)।
हालांकि SORT ने इस विशिष्ट नॉइजी सेटिंग में अधिक परमिटिव IoU मैचिंग पॉलिसी के कारण थोड़ा अधिक MOTA प्राप्त किया, लेकिन HDST-GNN ने बेहतर आइडेंटिटी इंटीग्रिटी प्रदर्शित की, जो निगरानी अनुप्रयोगों के लिए एक प्राथमिकता है।

एब्लेशन स्टडीज (Ablation Studies)

C1 (ऊंचाई अनुकूलन): सबसे महत्वपूर्ण घटक। इसे हटाने से 6.07 pp की MOTA गिरावट हुई, और उच्च ऊंचाई भिन्नता वाले अनुक्रमों पर प्रदर्शन विफल हो गया।
C2 और C3: विषम प्रकारों या ऑक्लूजन गेट को हटाने से रिपोर्ट किए गए एब्लेशन में नगण्य MOTA परिवर्तन हुआ (संभवतः ट्रेनिंग वेरिएंस के कारण), हालांकि लेखक नोट करते हैं कि ये घटक ट्रेनिंग डेप्थ के साथ इंटरैक्ट करते हैं।

महत्व और दावे (Significance and Claims)

पेपर HDST-GNN को ऑरेकल-डिटेक्शन स्थितियों के तहत UAV MOT के लिए एक नए स्टेट-ऑफ-द-आर्ट के रूप में स्थापित करता है। लेखक अपने कार्य के महत्व का दावा करते हैं:

व्यवस्थित विफलता मोड को संबोधित करना: हवाई डेटा पर मौजूदा ग्राफ ट्रैकर्स को प्रभावित करने वाली फिक्स्ड-रेडियस सीमा को सीधे संबोधित करना।
लाइफसाइकिल-अवेयर मॉडलिंग: होमोजेनियस ग्राफ से आगे बढ़कर ट्रैक की गई वस्तुओं (डिटेक्शन, ट्रैकिंग, लॉस्ट) की विशिष्ट अवस्थाओं को स्पष्ट रूप से मॉडल करना।
मजबूत री-आइडेंटिफिकेशन: यह प्रदर्शित करना कि सीखे गए अपीयरेंस फीचर्स, ऑक्लूजन गेटिंग के साथ मिलकर, उन ऑक्लूजन और ऊंचाई परिवर्तनों के बाद ट्रैक्स को प्रभावी ढंग से रिकवर कर सकते हैं जहाँ पारंपरिक IoU-आधारित विधियां विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान प्रदर्शन डिटेक्टर की गुणवत्ता (विशेष रूप से एंड-टू-एंड मूल्यांकन में VisDrone-फाइन-ट्यून्ड डिटेक्टरों की कमी) द्वारा सीमित है, फिर भी एसोसिएशन फ्रेमवर्क स्वयं हवाई ट्रैकिंग के लिए एक मजबूत, स्ट्रक्चर-अवेयर इंडक्टिव बायस प्रदान करता है। भविष्य के कार्य में वास्तविक डिटेक्टरों के साथ संयुक्त प्रशिक्षण और मल्टी-क्लास ट्रैकिंग का विस्तार शामिल करने का सुझाव दिया गया है।