💻 computer science

Explainable Part-Based Vehicle Classifier with Spatial Awareness

यह शोध पत्र एक उन्नत व्याख्यात्मक वाहन वर्गीकरण प्रणाली प्रस्तुत करता है जो निर्णय-वृक्ष ढांचे (decision-tree framework) में वाहन के पुर्जों के स्थानिक संभाव्यता मानचित्रों (spatial probability maps) को एकीकृत करता है, जिससे अत्याधुनिक सीएनएन (CNNs) के तुलनीय सटीकता प्राप्त होती है और गलत पहचान तथा मॉडल की व्याख्यात्मकता के विरुद्ध मजबूती में उल्लेखनीय सुधार होता है।

मूल लेखक: Andreas Caduff (Competence Center for Intelligent Sensors and Networks, Lucerne University of Applied Science and Art), Klaus Zahn (Competence Center for Intelligent Sensors and Networks, Lucerne Univ

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andreas Caduff (Competence Center for Intelligent Sensors and Networks, Lucerne University of Applied Science and Art), Klaus Zahn (Competence Center for Intelligent Sensors and Networks, Lucerne University of Applied Science and Art), Jonas Hofstetter (Competence Center for Intelligent Sensors and Networks, Lucerne University of Applied Science and Art), Martin Rechsteiner (Competence Center for Intelligent Sensors and Networks, Lucerne University of Applied Science and Art), Patrick Flaig (SICK AG)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त ट्रैफिक कैमरा फीड में एक वाहन की पहचान करने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य तरीके हैं:

"ब्लैक बॉक्स" विधि (पारंपरिक AI): आप पूरी तस्वीर को एक बहुत ही स्मार्ट कंप्यूटर दिमाग (एक कन्वेल्शनल न्यूरल नेटवर्क या CNN) में डालते हैं। यह छवि को देखता है और तुरंत चिल्लाता है, "यह एक ट्रक है!" या "यह एक वैन है!" यह अविश्वसनीय रूप से तेज़ और सटीक है, लेकिन यदि आप इससे पूछते हैं कि इसने यह चुनाव क्यों किया, तो यह वास्तव में बता नहीं सकता। यह एक जादूगर की तरह है जो टोपी से खरगोश तो निकाल लेता है लेकिन आपको जादू का तरीका नहीं दिखाता।
"डिटेक्टिव" विधि (इस पेपर का दृष्टिकोण): पूरी तस्वीर को एक साथ देखने के बजाय, आप वाहन को उसके टुकड़ों में तोड़ देते हैं। आप विशिष्ट हिस्सों की तलाश करते हैं: पहिए, सामने का केबिन, कार्गो बॉक्स, छत। फिर, आप यह तय करने के लिए कि वह वाहन क्या है, एक सरल, तार्किक नियम पुस्तिका (जैसे कि एक फ्लोचार्ट) का उपयोग करते हैं कि आपने कौन से हिस्से पाए हैं।

पहले "डिटेक्टिव" प्रयास के साथ समस्या
लेखकों ने पहले एक "डिटेक्टिव" सिस्टम बनाया था जो अच्छा काम करता था, लेकिन इसमें एक घातक दोष था: यह बहुत कठोर था। यह "हार्ड" यानी हाँ या ना वाले निर्णय लेता था।

उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड एक सूची की जाँच कर रहा है। यदि सूची कहती है "4 पहिए होने चाहिए," और कैमरा छाया के कारण एक पहिया मिस कर देता है, तो गार्ड तुरंत कहता है, "यह कार नहीं है!" और देखना बंद कर देता है। भले ही कार के बाकी हिस्से स्पष्ट रूप से दिखाई दे रहे हों, सिस्टम विफल हो जाता है।
उनके पुराने सिस्टम में, यदि कैमरे ने एक छोटी सी गलती की (जैसे छाया को पहिया समझ लेना, या एक असली पहिए को मिस कर देना), तो पूरा वर्गीकरण ढह जाता था। यह ताश के पत्तों के घर की तरह था; एक गलत चाल, और सब कुछ गिर जाता।

नया समाधान: "स्थानिक जागरूकता" (Spatial Awareness)
इस नए पेपर में, लेखकों ने अपने डिटेक्टिव सिस्टम को अपग्रेड किया है ताकि इसमें "स्थानिक जागरूकता" आ सके।

सिर्फ यह पूछने के बजाय कि, "क्या मुझे एक पहिया दिख रहा है? हाँ/नहीं," नया सिस्टम पूछता है, "पहिया कहाँ है, और क्या वह स्थान एक ट्रक के लिए सही है?"

मैप की उपमा: कल्पना कीजिए कि आप किसी व्यक्ति की विशेषताओं से उसकी पहचान करने की कोशिश कर रहे हैं।
- पुराना तरीका: "मुझे एक टोपी दिख रही है। मुझे जूते दिख रहे हैं। इसलिए, यह एक फायरफाइटर है।" (यदि आप एक कुत्ते पर टोपी और जूते देखते हैं, तो आप भ्रमित हो सकते हैं)।
- नया तरीका: "मैं सिर के ऊपर एक टोपी और पैरों के नीचे जूते देख रहा हूँ। टोपी और जूतों के बीच की दूरी एक इंसान से मेल खाती है। इसलिए, यह एक फायरफाइटर है।"

नया सिस्टम एक "प्रोबेबिलिटी मैप" (संभावना मानचित्र) बनाता है। यह जानता है कि एक विशिष्ट प्रकार के ट्रक के लिए, पहिए केबिन के सापेक्ष एक निश्चित क्षेत्र में होने चाहिए। यदि कैमरा एक "पहिया" अजीब जगह पर देखता है (जैसे आसमान में तैरता हुआ), तो सिस्टम घबराता नहीं है। यह कहता है, "यह डिटेक्शन अजीब जगह पर है, इसलिए मैं इसे कम स्कोर दूँगा, लेकिन मैं अन्य हिस्सों को देखना जारी रखूँगा।"

यह कैसे काम करता है (सरल चरण)

आँख (डिटेक्टर): एक स्मार्ट कैमरा (YOLO) छवि को स्कैन करता है और "पहिया," "ट्रक केबिन," या "कार्गो बॉक्स" जैसे हिस्से ढूंढता है। यह उन्हें एक स्थान और एक कॉन्फिडेंस स्कोर देता है।
दिमाग (स्पेशियल लॉजिक): केवल हिस्सों को गिनने के बजाय, सिस्टम ज्यामिति (geometry) की जाँच करता है। यह गणना करता है: "यदि यह एक ट्रक है, तो केबिन यहाँ होना चाहिए, और पहिए वहाँ होने चाहिए।" यह सभी सुरागों को एक साथ तौलने के लिए सॉफ्टमैक्स रिग्रेशन (Softmax Regression) नामक एक गणितीय उपकरण का उपयोग करता है।
- यदि कोई सुराग सही जगह पर है, तो उसे वाहन के प्रकार के लिए एक बड़ा "वोट" मिलता है।
- यदि कोई सुराग गलत जगह पर है, तो उसे छोटा वोट मिलता है या उसे अनदेखा कर दिया जाता है।
फैसला (क्लासिफायर): सिस्टम सभी भारित वोटों (weighted votes) को जोड़ता है और उच्चतम कुल स्कोर के साथ वाहन के प्रकार को चुनता है।

यह एक बड़ी बात क्यों है

मजबूती (The "Noise" Filter): पेपर यह साबित करता है कि भले ही कैमरा गलतियाँ करे (छाया को पहिया समझना, या पहिया मिस कर देना), नया सिस्टम क्रैश नहीं होता है। क्योंकि यह हिस्सों के बीच के संबंध को देखता है, यह खराब सुरागों को अनदेखा कर सकता है और सही उत्तर तक पहुँच सकता है। पुराना सिस्टम इन गलतियों के साथ पूरी तरह विफल हो जाता; नया वाला शांत और सटीक रहता है।
व्याख्यात्मकता (The "Why"): क्योंकि यह सिस्टम विशिष्ट हिस्सों और उनके स्थानों की जाँच करके काम करता है, हम वास्तव में देख सकते हैं कि इसने निर्णय क्यों लिया। हम कह सकते हैं, "इसने इसे ट्रक कहा क्योंकि इसने यहाँ एक केबिन और वहाँ पहिए देखे।" यह "ब्लैक बॉक्स" के रहस्य को हटा देता है।
आसान अपडेट: यदि कोई नया प्रकार का वाहन आता है (जैसे कि एक नया प्रकार का इलेक्ट्रिक ट्रक), तो आपको पूरे सुपर-कंप्यूटर दिमाग को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस सिस्टम को नए "हिस्से" सिखाने होते हैं और नियम पुस्तिका को अपडेट करना होता है।

परिणाम
लेखकों ने "ब्लैक बॉक्स" AI और अपने स्वयं के पुराने "कठोर" (Rigid) सिस्टम के विरुद्ध इस नए सिस्टम का परीक्षण किया।

सटीकता (Accuracy): नया सिस्टम "ब्लैक बॉक्स" AI जितना ही सटीक है (लगभग 98.6% सटीकता)।
विश्वसनीयता (Reliability): जब उन्होंने जानबूझकर कैमरे के डिटेक्शन में गड़बड़ी की (इसे गलत अलार्म के प्रति बहुत संवेदनशील बनाया), तो पुराने सिस्टम की सटीकता गिरकर 93% हो गई। नया सिस्टम 98.6% पर बना रहा।
गति (Speed): यह "ब्लैक बॉक्स" AI की तुलना में थोड़ा धीमा है (25 मिलीसेकंड बनाम 7 मिलीसेकंड), लेकिन वास्तविक समय (real-time) ट्रैफिक मॉनिटरिंग के लिए पर्याप्त तेज़ है।

संक्षेप में
लेखकों ने एक जटिल, अस्पष्ट AI को एक तार्किक, भाग-आधारित प्रणाली में बदल दिया। सिस्टम को यह सिखाकर कि हिस्से एक-दूसरे के सापेक्ष कहाँ होने चाहिए (स्थानिक जागरूकता), उन्होंने एक ऐसा वाहन क्लासिफायर बनाया जो "ब्लैक बॉक्स" जितना ही स्मार्ट है, लेकिन पारदर्शी, व्याख्या योग्य और कैमरा त्रुटियों द्वारा धोखा देने में बहुत कठिन है। उन्होंने साबित कर दिया कि आपको सटीक होने और समझने योग्य होने के बीच किसी एक को चुनने की आवश्यकता नहीं है।

तकनीकी सारांश: स्थानिक जागरूकता के साथ व्याख्या योग्य भाग-आधारित वाहन वर्गीकारक (Explainable Part-Based Vehicle Classifier with Spatial Awareness)

समस्या विवरण

इंटेलिजेंट ट्रांसपोर्टेशन सिस्टम्स (ITS) को टोल प्रबंधन, यातायात प्रवाह को अनुकूलित करने और सुरक्षा बढ़ाने के लिए सूक्ष्म-स्तरीय (fine-grained) वाहन वर्गीकरण की आवश्यकता होती है। जबकि अत्याधुनिक कनवल्शनल न्यूरल नेटवर्क (CNNs) उच्च सटीकता प्राप्त करते हैं, वे व्यावहारिक ITS परिनियोजन में दो महत्वपूर्ण सीमाओं का सामना करते हैं:

व्याख्यात्मकता का अभाव (Lack of Explainability): CNN "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जिससे गलत वर्गीकरणों को समझना, निदान करना या दबाना कठिन हो जाता है।
लचीलेपन की कमी (Inflexibility): मौजूदा श्रेणियों को संशोधित करने या नई श्रेणियां जोड़ने के लिए आमतौर पर पूरे नेटवर्क को फिर से प्रशिक्षित करने की आवश्यकता होती है, जो अक्षम है और 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) की ओर ले जाता है।

लेखकों के पिछले कार्य ने इस प्रक्रिया को एक CNN-आधारित पार्ट डिटेक्टर, एक फीचर निर्माण चरण और एक डिसीजन ट्री क्लासिफायर में विभाजित करके इन मुद्दों को संबोधित किया था। हालांकि, इस प्रारंभिक दृष्टिकोण में एक महत्वपूर्ण दोष था: गलत पार्ट डिटेक्शन (false part detections) के प्रति संवेदनशीलता। क्योंकि डिसीजन ट्री हार्ड बाइनरी निर्णयों (पार्ट मौजूद है/नहीं है) पर निर्भर था, इसलिए एक भी गलत पॉजिटिव या नेगेटिव डिटेक्शन क्लासिफायर को एक गलत निर्णय पथ पर धकेल सकता था, जिससे समग्र सटीकता काफी कम हो जाती थी (सिम्युलेटेड शोर के तहत 98.5% से गिरकर <93% हो गई)।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक बेहतर भाग-आधारित वर्गीकरण ढांचे (v2) का प्रस्ताव करता है जो पिछले डिसीजन-ट्री-आधारित मॉडल (v1) की मजबूती संबंधी समस्याओं को दूर करने के लिए स्थानिक जागरूकता (spatial awareness) को एकीकृत करता है। यह वर्कफ़्लो तीन चरणों से बना है:

1. प्रीप्रोसेसिंग और पार्ट डिटेक्शन

प्रीप्रोसेसिंग: विभिन्न कैमरा व्यूज के बीच मेट्रिक निरंतरता सुनिश्चित करने के लिए, वाहन के साइड प्लेन को इमेज सेंसर के साथ संरेखित करने हेतु छवियों को होमोग्राफी ट्रांसफॉर्मेशन (homography transformation) के माध्यम से संसाधित किया जाता है।
पार्ट डिटेक्शन: एक अत्याधुनिक YOLOv5 डिटेक्टर 16 अर्थपूर्ण रूप से मजबूत वाहन भागों (जैसे पहिए, ट्रक केबिन, लोड के प्रकार) की पहचान करता है और बाउंडिंग बॉक्स, कॉन्फिडेंस स्कोर और पार्ट श्रेणियों को आउटपुट करता है।

2. स्थानिक जागरूकता के साथ फीचर निर्माण

विभिन्न दृष्टिकोणों के विपरीत, जो बाइनरी फीचर्स का उपयोग करते थे, नया तरीका प्रत्येक विशिष्ट वाहन श्रेणी के सापेक्ष प्रत्येक भाग के लिए स्थानिक संभाव्यता मानचित्र (spatial probability maps) बनाता है।

लोकेशन स्कोर ( $L^k_i$ ): प्रत्येक डिटेक्टेड पार्ट इंस्टेंस $i$ के लिए जो स्थान $x^{(i)}$ पर है, प्रत्येक संभावित फीचर $k$ (एक भाग और एक वाहन श्रेणी का संयोजन) के लिए एक लोकेशन स्कोर की गणना की जाती है। यह स्कोर उस स्थान पर उस श्रेणी के लिए भाग की उपस्थिति की संभावना को दर्शाता है। इसे GMMs (Gaussian Mixture Models) के माध्यम से प्रशिक्षण डेटा पर फिट किए गए अननॉर्मलाइज्ड गॉसियन कर्नेल फंक्शन का उपयोग करके मॉडल किया गया है।
पार्ट स्कोर ( $P_k$ ): अंतिम फीचर स्कोर को डिटेक्टर के कॉन्फिडेंस स्कोर द्वारा लोकेशन स्कोर को गुणा करके, सभी योगदान देने वाले इंस्टेंस पर योग करके, और डिटेक्शन की अपेक्षित संख्या द्वारा नॉर्मलाइज करके प्राप्त किया जाता है।
$P_k = \frac{1}{n^{exp}_k} \sum_{j=1}^{n^{det}_k} s_i L^k_i$
यह प्रक्रिया प्रणाली को कई पार्ट इंस्टेंस (जैसे, कई पहिए) को संभालने की अनुमति देती है और सामूहिक स्थानिक वितरण का लाभ उठाकर व्यक्तिगत गलत डिटेक्शन के प्रभाव को कम करती है।

3. सॉफ्टमैक्स रिग्रेशन के माध्यम से वर्गीकरण

पार्ट स्कोर ( $P_k$ ) के वेक्टर को एक सॉफ्टमैक्स रिग्रेशन (Softmax Regression) क्लासिफायर में फीड किया जाता है।

यह लीनियर क्लासिफायर स्थानिक रूप से जागरूक फीचर्स को सीधे 19 सूक्ष्म-स्तरीय वाहन श्रेणियों में मैप करता है।
अनुक्रमिक डिसीजन ट्री के विपरीत, यह दृष्टिकोण सभी फीचर्स को समानांतर में प्रोसेस करता है, जो अंतिम क्लास प्रोबेबिलिटी निर्धारित करने के लिए भागों के पूर्ण स्थानिक संबंध का उपयोग करता है।

प्रमुख योगदान

स्थानिक जागरूकता एकीकरण: लेखकों ने वाहन भागों के लिए स्थानिक संभाव्यता मानचित्रों को शामिल करके अपने पिछले भाग-आधारित दृष्टिकोण का विस्तार किया है, जो सटीकता से समझौता किए बिना गलत डिटेक्शन के विरुद्ध मजबूती में सुधार करता है।
संतुलित प्रदर्शन: प्रस्तावित विधि ब्लैक-बॉक्स CNNs के समान सटीकता प्राप्त करती है, जबकि व्याख्यात्मकता (दृश्यमान पार्ट स्कोर और लीनियर वेट्स के माध्यम से) और विस्तारणीयता (भारी पार्ट डिटेक्टर को फिर से प्रशिक्षित किए बिना नई श्रेणियां जोड़ी जा सकती हैं) बनाए रखती है।
व्यापक सत्यापन: यह शोध पत्र 19 श्रेणियों और 16 भागों के सबसे बड़े अध्ययन को प्रस्तुत करता है, जिसमें सेमी-ऑटोमेटेड एनोटेशन का उपयोग करके विस्तृत डेटासेट तैयारी सहित व्यावहारिक अनुप्रयोग संदर्भ में गहन सत्यापन शामिल है।

परिणाम

अध्ययन ने 19 सूक्ष्म-स्तरीय वाहन श्रेणियों और 16 एनोटेटेड पार्ट्स को कवर करने वाले 4,779 छवियों के डेटासेट का उपयोग किया। प्रदर्शन का मूल्यांकन एक बेसलाइन VGG-प्रकार के CNN और लेखकों के पिछले डिसीजन ट्री दृष्टिकोण के विरुद्ध 5-फोल्ड क्रॉस-वैलिडेशन के माध्यम से किया गया।

सटीकता: सॉफ्टमैक्स रिग्रेशन दृष्टिकोण ने 98.6% की समग्र सटीकता प्राप्त की, जो बेसलाइन CNN (98.3%) और पिछले डिसीसन ट्री पद्धति (98.5%) के तुलनीय है। व्यक्तिगत श्रेणी की सटीकता आम तौर पर 92% से ऊपर थी, सिवाय दुर्लभ "ट्रैक्टर ट्रक" श्रेणी (79%) के।
मजबूती (Robustness): एक महत्वपूर्ण निष्कर्ष गलत पार्ट डिटेक्शन के प्रति लचीलापन था। जब डिटेक्टर के कॉन्फिडेंस थ्रेशोल्ड को 0.5 से घटाकर 0.001 (चरम गलत पॉजिटिव का अनुकरण करते हुए) कर दिया गया:
- डिसीजन ट्री की सटीकता गिरकर 92.9% हो गई।
- सॉफ्टमैक्स रिग्रेशन दृष्टिकोण ने 98.6% (कॉन्फिडेंस स्कोर बरकरार रखते हुए) या 98.0% (स्कोर को अनुकूलित करते हुए) की सटीकता बनाए रखी, जो डिटेक्शन शोर के प्रति लगभग असंवेदनशीलता प्रदर्शित करता है।
व्याख्यात्मकता: मॉडल यह विज़ुअलाइज़ करने की अनुमति देता है कि कौन से डिटेक्टेड पार्ट्स वर्गीकरण को मजबूत या कमजोर करते हैं (उदाहरण के लिए, यह पहचानना कि एक गलत वर्गीकरण एक ऊंचे ट्रफ (trough) के क्यूबॉइड लोड के रूप में गलत समझे जाने के कारण हुआ था), जो ब्लैक-बॉक्स CNNs के साथ कठिन क्षमता है।
दक्षता: भाग-आधारित दृष्टिकोण बेसलाइन CNN की तुलना में धीमा है (एम्बेडेड प्लेटफॉर्म पर लगभग 25ms बनाम 7ms) लेकिन वास्तविक समय के ITS अनुप्रयोगों के लिए उपयुक्त है।

महत्व और दावे

यह शोध दावा करता है कि यह कार्य सटीकता और व्याख्यात्मकता के बीच के कथित ट्रेड-ऑफ को सफलतापूर्वक चुनौती देते हुए ITS वाहन वर्गीकरण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

लेखक दावा करते हैं कि उनकी विधि एक ऐसा ढांचा प्रदान करती है जो:

वर्गीकरण प्रक्रिया को व्याख्या योग्य घटकों (पार्ट डिटेक्शन, स्थानिक फीचर निर्माण और लीनियर क्लासिफिकेशन) में विभाजित (disentangles) करती है।
विस्तारणीयता सुनिश्चित करती है, जिससे गहन पार्ट डिटेक्टर को पूरी तरह से फिर से प्रशिक्षित किए बिना नई वाहन श्रेणियां जोड़ी जा सकती हैं।
मजबूती प्रदान करती है, जिससे यह प्रणाली वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्य बनती है जहाँ डिटेक्शन शोर अपरिहार्य है।

यह कार्य एक ऐसे सिस्टम की दिशा में एक कदम के रूप में प्रस्तुत किया गया है जो उच्च सटीकता के साथ सहज व्याख्यात्मकता को जोड़ता है, जो सुरक्षा-महत्वपूर्ण परिवहन वातावरण में ब्लैक-बॉक्स डीप लर्निंग मॉडल के लिए एक व्यावहारिक विकल्प है।