Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

एक शहर के निगरानी नेटवर्क की शांत गूँज में, कैमरे लगातार देखते रहते हैं, दिन-रात लोगों के प्रवाह को कैद करते हैं। दशकों से, सुरक्षा प्रणालियाँ दृश्य-प्रकाश कैमरों (visible-light cameras) पर निर्भर रही हैं, जो उसी तरह के होते हैं जिनसे रंगीन तस्वीरें ली जाती हैं, ताकि व्यक्तियों की उनके कपड़ों और विशेषताओं से पहचान की जा सके। लेकिन जब सूरज ढल जाता है और रोशनी कम हो जाती है, तो ये कैमरे संघर्ष करने लगते हैं; रंग फीके पड़ जाते हैं, और बनावट (textures) अस्पष्ट छाया में बदल जाती है। इसे हल करने के लिए, सुरक्षा टीमें तेजी से दृश्य कैमरों को इन्फ्रारेड सेंसरों के साथ जोड़ रही हैं, जो कपड़ों से परावर्तित होने वाली रोशनी के बजाय व्यक्ति के शरीर से निकलने वाली गर्मी को देखते हैं। यह एक नई चुनौती पैदा करता है: कंप्यूटर यह कैसे पहचाने कि एक दानेदार, गर्मी-आधारित इन्फ्रारेड वीडियो में दिखने वाला व्यक्ति, एक अलग कैमरे से प्राप्त स्पष्ट, रंगीन वीडियो में दिखने वाले व्यक्ति का ही है? इस कार्य को, जिसे 'विज़िबल-इन्फ्रारेड पर्सन री-आइडेंटिफिकेशन' (visible-infrared person re-identification) कहा जाता है, एक ऐसी प्रणाली की आवश्यकता होती है जो दोनों कैमरों द्वारा दुनिया को देखने के विशाल अंतरों को अनदेखा कर सके और इसके बजाय फ्रेम में चलते हुए व्यक्ति की अद्वितीय पहचान पर ध्यान केंद्रित कर सके।

कठिनाई तब और बढ़ जाती है जब विषय (subject) गतिशील होता है। एक व्यक्ति शायद ही कभी एक स्थिर छवि होता है; वे गतिविधियों का एक क्रम होते हैं, एक चलने की चाल (gait) जो हर कदम के साथ बदलती है। मौजूदा कंप्यूटर सिस्टम अक्सर इसे पूरे व्यक्ति को एक साथ देखकर या छवि को कठोर, निश्चित पट्टियों में काटकर हल करने की कोशिश करते हैं, जैसे कि ब्रेड के एक लोफ को स्लाइस करना। हालाँकि, लोग सीधी रेखा में नहीं चलते; वे मुड़ते हैं, घूमते हैं और झुकते हैं। एक कठोर स्लाइस अगले फ्रेम में व्यक्ति के सिर को और उससे पहले उसके कंधे को कैप्चर कर सकता है, जिससे पहचान की निरंतरता टूट जाती है। इसके अलावा, अंधेरे में व्यक्ति कैसा दिखता है, वह प्रकाश में दिखने से मौलिक रूप से भिन्न होता है, जिससे कंप्यूटर के लिए इन दो अलग-अलग दृश्यों में एक ही शरीर के हिस्से को मिलाना कठिन हो जाता है। चांगझोउ यूनिवर्सिटी के शोधकर्ताओं ने इस समस्या के लिए एक नया दृष्टिकोण प्रस्तावित किया है, जो कठोर स्लाइसिंग के बजाय एक अधिक तरल, अनुकूलन योग्य (adaptive) विधि को अपनाता है जो व्यक्ति के हिलने-डुलने और बदलने के साथ विशिष्ट शरीर के क्षेत्रों को ट्रैक करना सीखता है।

शोधकर्ताओं ने एक प्रणाली विकसित की है जिसे वे VM-SPMamba कहते हैं, जो पहले पूरे दृश्य को समझने और फिर व्यक्ति के विशिष्ट, लचीले हिस्सों पर ध्यान केंद्रित करके काम करती है। छवि के निश्चित क्षैतिज स्ट्रिप्स (horizontal strips) पर कंप्यूटर को मजबूर करने के बजाय, प्रणाली "सॉफ्ट पार्ट्स" (soft parts) की पहचान करना सीखती है। एक ऐसे कंप्यूटर की कल्पना करें जो अपने आप तय कर सके कि प्रत्येक फ्रेम में व्यक्ति का सिर, धड़ और पैर कहाँ स्थित हैं, भले ही व्यक्ति झुका हुआ हो या कैमरा एंगल बदल गया हो। सिस्टम यह काम व्यक्ति के एक वैश्विक दृश्य (global view) का उपयोग करके करता है, जिससे यह ध्यान केंद्रित करने में सक्षम होता है कि पिक्सेल को व्यक्ति की मुद्रा (pose) के अनुकूल सार्थक क्षेत्रों में कैसे समूहित किया जाए। इसका मतलब है कि यदि कोई व्यक्ति अपना हाथ उठाता है, तो सिस्टम "हाथ" के क्षेत्र की सीमाओं को उस गति का अनुसरण करने के लिए समायोजित करता है, न कि एक पूर्व-निर्धारित बॉक्स पर टिके रहता है जो हाथ को बीच से काट सकता है।

एक बार जब ये लचीले क्षेत्र पहचान लिए जाते हैं, तो सिस्टम प्रत्येक को अपनी स्वतंत्र कहानी मानता है। यह वीडियो के सभी फ्रेमों में "सिर" क्षेत्र को ट्रैक करता है, फिर उन्हीं फ्रेमों में "धड़" क्षेत्र को ट्रैक करता है, और इसी तरह। वीडियो को गति के इन अलग-अलग प्रवाहों में विभाजित करके, सिस्टम यह सीख सकता है कि प्रत्येक विशिष्ट शरीर का हिस्सा समय के साथ कैसे विकसित होता है। यह महत्वपूर्ण है क्योंकि सिर के हिलने का तरीका पैरों के हिलने के तरीके से अलग होता है, और ये अंतर व्यक्ति की पहचान करने के लिए प्रमुख हैं। शोधकर्ताओं ने पाया कि इन हिस्सों को अलग-अलग मॉडल करने और फिर उनकी कहानियों को मिलाने से, सिस्टम इन्फ्रारेड और दृश्य कैमरों के बीच के भ्रमित करने वाले अंतरों को अनदेखा करने में बहुत बेहतर हो जाता है। यह सीख जाता है कि इन्फ्रारेड दृश्य में गति का एक विशिष्ट पैटर्न, दृश्य दृश्य में उसी पैटर्न के अनुरूप होता है, भले ही रंग और बनावट पूरी तरह से अलग हों।

इस कौशल को सिखाने के लिए, शोधकर्ताओं ने एक शक्तिशाली प्रशिक्षण पद्धति का उपयोग किया जिसमें एक "भाषा" घटक शामिल है। उन्होंने सिस्टम को न केवल चित्र दिए, बल्कि पहचानों के पाठ्य विवरण (text descriptions) भी दिए, जिससे कंप्यूटर व्यक्ति की गति के दृश्य पैटर्न को उस व्यक्ति की एक अर्थपूर्ण अवधारणा (semantic concept) से जोड़ने में सक्षम हुआ। यह एक सेतु (bridge) के रूप में कार्य करता है, जिससे सिस्टम को यह समझने में मदद मिलती है कि चलते हुए व्यक्ति का हीट सिग्नेचर उसी व्यक्ति की रंगीन छवि के समान है, भले ही वे दिखने में बिल्कुल अलग हों। इस प्रणाली का परीक्षण वास्तविक दुनिया के निगरानी परिदृश्यों से सैकड़ों हजारों छवियों वाले दो बड़े डेटासेट पर किया गया। इन्फ्रारेड-टू-विज़िबल टेस्ट में, जहाँ सिस्टम एक हीट-आधारित वीडियो में देखे गए व्यक्ति को रंगीन वीडियो में खोजने का प्रयास करता है, इस नई पद्धति ने 72.3 प्रतिशत की सफलता दर हासिल की। इसके विपरीत दिशा में, इसने 72.4 प्रतिशत तक पहुँच प्राप्त की। ये संख्याएँ एक महत्वपूर्ण छलांग का प्रतिनिधित्व करती हैं, जो कुछ मापदंडों में पिछले सर्वोत्तम परिणामों से दस प्रतिशत से अधिक आगे निकल गई हैं।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण तीन हजार से अधिक अलग-अलग लोगों और लंबी वीडियो अनुक्रमों वाले बहुत बड़े और अधिक जटिल डेटासेट पर भी किया। हालांकि सिस्टम इस कठिन परीक्षण में हर एक मीट्रिक पर उच्चतम स्कोर प्राप्त नहीं कर सका, लेकिन यह अत्यधिक प्रतिस्पर्धी बना रहा, इन्फ्रारेड-टू-विज़िबल मामलों में लगभग 70 प्रतिशत और विज़िबल-टू-इन्फ्रारेड मामलों में 70 प्रतिशत मामलों में सही व्यक्ति को शीर्ष मिलान के रूप में पहचानने में सफल रहा। यह सुझाव देता है कि यह पद्धति वास्तविक दुनिया की निगरानी के अव्यवस्थित और अप्रत्याशित स्वभाव को संभालने के लिए पर्याप्त मजबूत है, जहाँ लोग भीड़ में चलते हैं, दिशा बदलते हैं और अलग-अलग प्रकाश स्थितियों में दिखाई देते हैं। अध्ययन ने स्पष्ट रूप से दिखाया कि पुराने तरीके, जो छवि की निश्चित, अपरिवर्तनीय पट्टियों (slices) पर निर्भर करते हैं, वे तब खराब प्रदर्शन करते हैं जब लोग चलते हैं या कैमरा एंगल बदल जाता है। यह सिद्ध करके कि लचीले, अनुकूलन योग्य हिस्से कठोर हिस्सों की तुलना में बेहतर हैं, यह शोध उन निगरानी प्रणालियों के निर्माण के लिए एक स्पष्ट मार्ग प्रदान करता है जो दिन और रात विश्वसनीय रूप से काम करती हैं।

इस दृष्टिकोण की सफलता इसकी उस क्षमता में निहित है जो मानव सहजता से किसी व्यक्ति को ट्रैक करने की नकल करती है: उनके शरीर के अंगों के प्रवाह पर ध्यान केंद्रित करके, न कि एक स्थिर स्नैपशॉट पर। सिस्टम को यह बताने की आवश्यकता नहीं है कि सिर या पैर कहाँ हैं; यह यह सीखने के लिए कि पिक्सेल कैसे एक साथ चलते हैं, उन्हें देखता है। यह अनुकूलनशीलता उसे चलने, मुड़ने और कैमरों द्वारा दुनिया को कैप्चर करने के विभिन्न तरीकों से होने वाले विरूपण (distortions) को संभालने की अनुमति देती है। जबकि वर्तमान प्रणाली अभी भी इन पैटर्न को सीखने के लिए लेबल किए गए डेटा पर निर्भर करती है और शरीर के हिस्सों की एक निश्चित संख्या का उपयोग करती है, परिणाम यह प्रदर्शित करते हैं कि कठोर संरचनाओं से हटकर तरल, सामग्री-जागरूक (content-aware) प्रस्तुतियों की ओर बढ़ना एक शक्तिशाली रणनीति है। जैसे-जैसे निगरानी नेटवर्क विस्तार कर रहे हैं और रात की सुरक्षा के लिए इन्फ्रारेड तकनीक पर अधिक निर्भर हो रहे हैं, इस तरह की विधियाँ यह सुनिश्चित करने के लिए आवश्यक उपकरण प्रदान करती हैं कि सही व्यक्ति की पहचान की जाए, चाहे दिन का कोई भी समय हो या जो भी कैमरा दृश्य को कैप्चर कर रहा हो।