Getting the Numbers Right$\unicode{x2014}$Modelling Multi-Class Object Counting in Dense and Varied Scenes

यहाँ शोध पत्र "Getting the Numbers Right—Modelling Multi-Class Object Counting in Dense and Varied Scenes" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वस्तु गणना (Object counting) एक महत्वपूर्ण कंप्यूटर विज़न कार्य है जिसके अनुप्रयोग शहरी नियोजन, जैव विविधता निगरानी और चिकित्सा में हैं। जबकि डिटेक्शन-आधारित विधियाँ (जैसे YOLO) विरल (sparse) दृश्यों में अच्छी तरह से काम करती हैं, वे सघन (dense), अत्यधिक अवरुद्ध (occluded), और भीड़भाड़ वाले वातावरण में विफल हो जाती हैं जहाँ वस्तुएं काफी अधिक ओवरलैप होती हैं।

मौजूदा समाधान दो श्रेणियों में आते हैं:

• डिटेक्शन-आधारित (Detection-based): उच्च घनत्व और अवरोध (occlusion) के साथ संघर्ष करते हैं।
• घनत्व अनुमान (Density Estimation): एक हीटमैप की भविष्यवाणी करता है जहाँ इंटीग्रल (integral) वस्तु की संख्या के बराबर होता है। एकल वर्ग (single class) के लिए प्रभावी होने के बावजूद, बहु-वर्ग घनत्व अनुमान (एक साथ कई प्रकार की वस्तुओं की गणना करना) अभी भी कम शोधित विषय है।
  • वर्तमान सीमाएँ: मौजूदा बहु-वर्ग घनत्व अनुमानक (जैसे DSACA) कम-घनत्व वाले दृश्यों में प्रदर्शन में गिरावट का सामना करते हैं। इसके अलावा, कई विधियाँ सहायक कार्यों (जैसे सेगमेंटेशन या डिटेक्शन) पर निर्भर करती हैं जिनके लिए विशिष्ट धारणाओं या इन्फरेंस (inference) के समय पोस्ट-प्रोसेसिंग की आवश्यकता होती है, जो त्रुटियों को जन्म दे सकती हैं या अत्यधिक भीड़भाड़ वाले परिदृश्यों में निरंतर घनत्व को संभालने की मॉडल की क्षमता को सीमित कर सकती है।
  • डोमेन गैप (Domain Gap): अधिकांश पूर्व कार्य शहरी डेटासेट (VisDrone, iSAID) पर केंद्रित हैं जहाँ वर्गों का वितरण समान होता है। वे जैव विविधता डेटासेट (जैसे Hicks) में संघर्ष करते हैं जहाँ नमूनों में अक्सर केवल एक ही वर्ग होता है या अत्यधिक विषम वितरण होता है, और जहाँ वस्तुएं स्वाभाविक रूप से कभी एक साथ नहीं आती हैं।

2. कार्यप्रणाली (Methodology)

लेखक पहला विज़न ट्रांसफॉर्मर (ViT)-आधारित दृष्टिकोण प्रस्तावित करते हैं, जिसे घनत्व और वर्ग वितरण की एक विस्तृत श्रृंखला को संभालने के लिए डिज़ाइन किया गया है।

A. आर्किटेक्चर अवलोकन (Architecture Overview)

मॉडल एक एनकोडर-डिकोडर संरचना का अनुसरण करता है:

1. बैकबोन (Encoder): Twins-SVT (एक पिरामिड विज़न ट्रांसफॉर्मर) का उपयोग करता है। फ्लैट ट्रांसफॉर्मर के विपरीत, पिरामिड संरचना मल्टी-स्केल फीचर्स निकालती है, जो विभिन्न आकार और घनत्व की वस्तुओं को संभालने के लिए महत्वपूर्ण है।
2. डिकोडर (Decoder): एक मल्टीस्केल CNN डिकोडर जो ViT बैकबोन से पदानुक्रमित (hierarchical) फीचर्स को फ्यूज करता है। यह मॉडल को ट्रांसफॉर्मर के ग्लोबल कॉन्टेक्स्ट का लाभ उठाने और साथ ही कनवल्शनल नेटवर्क की स्थानिक सटीकता (spatial precision) बनाए रखने की अनुमति देता है।
3. एक्टिवेशन फंक्शन (Activation Function): डेंसिटी हेड Softplus एक्टिवेशन ($\log(1 + e^{\beta x})$) का उपयोग करता है। ReLU के विपरीत, जो नकारात्मक मानों को काट देता है (संभावित रूप से ग्रेडिएंट जानकारी खो देता है), Softplus एक संख्यात्मक रूप से स्थिर, पूरी तरह से सकारात्मक आउटपुट की गारंटी देता है, जो सकारात्मक गणनाओं के मजबूत शिक्षण को सुनिश्चित करता है।

B. मुख्य नवाचार: कैटेगरी फोकस मॉड्यूल (CFM)

इंटर-कैटेगरी इंटरफेरेंस (जहाँ एक वर्ग की उपस्थिति दूसरे वर्ग की गणना को भ्रमित करती है) को संबोधित करने के लिए, लेखक कैटेगरी फोकस मॉड्यूल (CFM) पेश करते हैं:

• कार्य: यह प्रशिक्षण के दौरान एक हल्के सहायक मास्किंग कार्य के रूप में कार्य करता है। यह बैकबोन की कई परतों से फीचर्स निकालता है और रिसेप्टिव फील्ड को बढ़ाने के लिए डिलेटेड कनवल्शन (dilated convolutions) लागू करता है।
• प्रशिक्षण: यह प्रत्येक वर्ग के लिए एक सेगमेंटेशन मास्क की भविष्यवाणी करता है (गैर-अनन्य/non-exclusive, जिससे पिक्सेल कई वर्गों से संबंधित हो सकते हैं)।
• इन्फरेंस (Inference): महत्वपूर्ण रूप से, CFM को इन्फरेंस के समय हटा दिया जाता है। मॉडल केवल डेंसिटी एस्टीमेशन हेड पर निर्भर करता है। यह डिटेक्शन-ऑगमेंटेड विधियों की "डिस्क्रीट धारणाओं" या सेगमेंटेशन-ऑगमेंटेड विधियों की "थ्रेशोल्डिंग धारणाओं" से बचता है, जिससे जटिल दृश्यों में भी शुद्ध रूप से निरंतर घनत्व अनुमान (continuous density estimation) संभव होता है।

C. लॉस फंक्शन्स (Loss Functions)

मॉडल को एक संयुक्त लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:

• $L_2$ लॉस: डेंसिटी मैप्स पर लागू किया जाता है ताकि पिक्सेल-वाइज स्क्वेर्ड एरर को कम किया जा सके, जिसमें स्थानिक, क्लास-लोकलाइजेशन और काउंट एरर शामिल हैं।
• क्रॉस-एन्ट्रॉपी लॉस ($L_{mask}$): सहायक CFM मास्किंग कार्य पर लागू किया जाता है।
• कुल लॉस (Total Loss): $L = (\omega \times L_{mask}) + L_2$। वेटिंग फैक्टर $\omega$ कार्यों को संतुलित करता है, जिससे साझा पैरामीटर्स दोनों कार्यों (घनत्व अनुमान और क्लास अवेयरनेस) के लिए फायदेमंद मजबूत फीचर्स सीख पाते हैं।

3. मुख्य योगदान (Key Contributions)

1. पहला ViT-आधारित बहु-वर्ग घनत्व अनुमानक: एक नवीन आर्किटेक्चर पेश करता है जो Twins-SVT और मल्टीस्केल CNN को जोड़ता है, और पिछले SOTA (स्टेट-ऑफ-द-आर्ट) तरीकों की तुलना में औसतन 46.7% कम मीन एब्सोल्यूट एरर (MAE) के साथ बेहतर प्रदर्शन करता है।
2. घनत्व के प्रति मजबूती: यह विधि विरल और अत्यंत सघन दोनों दृश्यों में उत्कृष्ट प्रदर्शन करती है। सबसे अधिक भीड़भाड़ वाले टेस्ट सैंपल्स में, यह डिटेक्शन-आधारित YOLO11 की तुलना में एक क्रम (order of magnitude) बेहतर है।
3. इन्फरेंस-टाइम प्योरिटी: कैटेगरी फोकस मॉड्यूल (CFM) प्रशिक्षण के दौरान क्लास अवेयरनेस में सुधार करता है लेकिन इन्फरेंस के समय इसे हटा दिया जाता है। यह बहु-वर्ग गणना को इन्फरेंस के दौरान पूरी तरह से एक निरंतर घनत्व अनुमान समस्या के रूप में मानने वाला पहला दृष्टिकोण है, जो हाइब्रिड डिटेक्शन/सेगमेंटेशन पाइपलाइनों की सीमाओं से बचता है।
4. क्रॉस-डोमेन प्रयोज्यता: शहरी दृश्यों (VisDrone, iSAID) और जैव विविधता निगरानी (Hicks डेटासेट) सहित विविध डेटासेट्स पर सफलतापूर्वक प्रदर्शन करता है, जो विषम क्लास डिस्ट्रीब्यूशन के प्रति अनुकूलन क्षमता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन बेंचमार्क पर किया गया: VisDrone-DET (10 और 8 वर्ग), iSAID (4 वर्ग), और Hicks (8 फूलों की प्रजातियां)।

• VisDrone-DET (8-class):
  • DSACA (3.43) और YOLO11 (2.65) की तुलना में 2.29 का MAE प्राप्त किया।
  • कम-घनत्व रेंज (0–10 वस्तुएं) में, प्रस्तावित विधि ने 0.42 का MAE प्राप्त किया, जो YOLO11 (1.51) और DSACA (1.85) से काफी बेहतर है।
  • उच्च-घनत्व रेंज (101–1000 वस्तुएं) में, इसने 8.61 का MAE प्राप्त किया, जो YOLO11 (84.94) से कहीं अधिक श्रेष्ठ है।
• VisDrone-DET (10-class):
  • MAE को Michel et al. के 3.76 से घटाकर 1.99 कर दिया।
• iSAID (4-class):
  • Michel et al. (7.85) और YOLO11 (10.95) की तुलना में 2.84 का MAE प्राप्त किया।
  • 101–10,000 वस्तु रेंज में, विधि ने MAE को 50.31 से घटाकर 22.11 कर दिया।
• Hicks (Biodiversity):
  • DSACA (0.38 बनाम 0.92) की तुलना में 64% की MAE कमी प्रदर्शित की, जो विरल, एकल-वर्ग प्रधान प्राकृतिक वातावरण में प्रभावशीलता को सिद्ध करता है।

5. महत्व (Significance)

• अंतराल को पाटना: यह शोध पत्र डिटेक्शन-आधारित विधियों (जो विरल दृश्यों के लिए अच्छी हैं) और घनत्व अनुमान (जो सघन दृश्यों के लिए अच्छा है) के बीच के प्रदर्शन अंतर को सफलतापूर्वक पाटता है, जिससे एक एकीकृत मॉडल बनता है जो संपूर्ण घनत्व स्पेक्ट्रम में काम करता है।
• पारिस्थितिक निगरानी: Hicks जैव विविधता डेटासेट पर सत्यापन करके, यह कार्य स्वचालित गणना की उपयोगिता को शहरी निगरानी से आगे बढ़ाकर कृषि और पारिस्थितिक निगरानी तक विस्तारित करता है, जहाँ वस्तु अवरोध और वर्ग की कमी आम है।
• पद्धतिगत प्रगति: इन्फरेंस के समय सहायक कार्यों को हटाना एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक कदम है, जो बेहतर फीचर लर्निंग के माध्यम से उच्च सटीकता बनाए रखते हुए तैनाती (deployment) को सरल बनाता है।

निष्कर्षतः, यह कार्य बहु-वर्ग वस्तु गणना के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है, जो विविध और चुनौतीपूर्ण वातावरण में पारंपरिक घनत्व अनुमानकों और आधुनिक ऑब्जेक्ट डिटेक्टरों दोनों से बेहतर, स्केलेबल, मजबूत और शुद्ध रूप से निरंतर समाधान प्रदान करता है।