CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

कल्पना कीजिए कि आप एक भीड़भाड़ वाले शहर में अपने किसी विशिष्ट मित्र को खोजने की कोशिश कर रहे हैं, लेकिन आपके पास दो बहुत ही अलग तरह के मानचित्र हैं। एक मानचित्र दिन के समय ली गई एक जीवंत, हाई-डेफिनिशन रंगीन फोटो है, जो आपके मित्र की चमकीली लाल जैकेट और नीले स्नीकर्स को दिखाती है। दूसरा मानचित्र रात में ली गई एक दानेदार, ब्लैक-एंड-व्हाइट थर्मल इमेज है, जहाँ आपका मित्र एक अंधेरे बैकग्राउंड के बीच एक चमकते सफेद धब्बे जैसा दिखता है। यह सुरक्षा कैमरों और कंप्यूटर विजन सिस्टम के लिए दैनिक चुनौती है: दिन के उजाले (दृश्य प्रकाश) में देखे गए व्यक्ति को रात के (इन्फ्रारेड) दृश्य के साथ मिलाना। जबकि इंसान आसानी से एक रंगीन चेहरे और एक हीट सिग्नेचर के बीच संबंध जोड़ सकते हैं, कंप्यूटर संघर्ष करते हैं क्योंकि इन दोनों प्रकार के चित्रों के बीच का "अंतर" बहुत बड़ा है। वे बिल्कुल अलग दिखते हैं, जिससे मानक AI के लिए यह पहचानना मुश्किल हो जाता है कि वे एक ही व्यक्ति को देख रहे हैं। इस समस्या को हल करने के लिए, शोधकर्ता अक्सर एक चतुर ट्रिक का उपयोग करते हैं जिसमें एक "यूनिवर्सल ट्रांसलेटर" शामिल है जिसे CLIP कहा जाता है। CLIP को एक अत्यंत बुद्धिमान लाइब्रेरियन के रूप में समझें जिसने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं; वह जानता है कि शब्द "स्नीकर्स" जूतों की तस्वीर से जुड़ता है, भले ही वह तस्वीर धुंधली हो या अंधेरे में ली गई हो। शब्दों को एक पुल के रूप में उपयोग करके, कंप्यूटर दिन की फोटो को उनके साझा विवरण के माध्यम से रात की फोटो से मिलाने की कोशिश कर सकता है।

हालाँकि, इसमें एक पेंच है। "लाइब्रेरियन" (CLIP) को ज्यादातर रंगीन, धूप वाली तस्वीरों पर प्रशिक्षित किया गया था। यदि आप उससे रात के कैमरे से ली गई एक चमकती हुई हीट ब्लब (धब्बे) का वर्णन करने को कहते हैं, तो वह अक्सर भ्रमित हो जाता है, और "एक अस्पष्ट व्यक्ति" जैसे अस्पष्ट या शोर भरे विवरण देता है बजाय इसके कि वह "एक व्यक्ति जिसके पास बैकपैक है" कहे। यह भ्रम मिलान की प्रक्रिया को बाधित करता है। इस पेपर में, लेखक इस समस्या को ठीक करने के लिए CLIP4VI-ReID नामक एक नया तरीका प्रस्तावित करते हैं। रात की फोटो का वर्णन सीधे करने के लिए उस भ्रमित लाइब्रेरियन से पूछने के बजाय, वे पहले उसे स्पष्ट दिन की फोटो का वर्णन करने के लिए कहते हैं। फिर, वे उस सटीक विवरण का उपयोग कंप्यूटर को यह सिखाने के लिए करते हैं कि रात की फोटो को सही ढंग से कैसे देखा जाए। वे इसे तीन चरणों में करते हैं: पहले, वे दिन की तस्वीरों से सटीक पाठ्य विवरण (text descriptions) उत्पन्न करते हैं; दूसरे, वे उन शब्दों का उपयोग कंप्यूटर की रात की तस्वीरों की समझ को सुधारने के लिए करते हैं; और अंत में, वे पूरे सिस्टम को फाइन-ट्यून करते हैं ताकि दिन की तस्वीरें, रात की तस्वीरें और पाठ्य विवरण सभी पूरी तरह से एक-दूसरे के साथ संरेखित (align) हों। परिणाम दिखाते हैं कि यह चरण-दर-चरण दृष्टिकोण पिछले तरीकों की तुलना में सही व्यक्ति को खोजने में बहुत बेहतर है, जो यह साबित करता है कि "सही प्रकार के शब्दों" का उपयोग करके एक पुल बनाना कंप्यूटर को अंधेरे में भी स्पष्ट देखने में मदद कर सकता है।

समस्या: द ग्रेट मोडैलिटी गैप (The Great Modality Gap)

कल्पना कीजिए कि आप एक संदिग्ध के आईडी कार्ड (एक स्पष्ट, रंगीन फोटो) को एक अंधेरी गली के सुरक्षा कैमरा फीड (एक थर्मल, ब्लैक-एंड-व्हाइट इमेज) के साथ मिलाने की कोशिश कर रहे हैं। कंप्यूटर विज़न की दुनिया में, इसे विज़िबल-इन्फ्रारेड पर्सन री-आइडेंटिफिकेशन (VI-ReID) कहा जाता है। लक्ष्य सरल है: इन दो बहुत ही अलग प्रकार के चित्रों के बीच एक ही व्यक्ति को खोजना। लेकिन यह अविश्वसनीय रूप से कठिन है क्योंकि दोनों चित्र एक-दूसरे से बिल्कुल अलग दिखते हैं। रंगीन फोटो लाल शर्ट और नीली जींस जैसे विवरणों से भरी होती है, जबकि थर्मल इमेज केवल शरीर की गर्मी पर आधारित एक चमकती आकृति होती है।

लंबे समय तक, कंप्यूटरों ने इसे या तो थर्मल इमेज को रंगीन इमेज में बदलने की कोशिश करके (जो अक्सर नकली और शोर भरी दिखती है) या दोनों के बीच सीधे सामान्य विशेषताओं को खोजने की कोशिश करके हल करने का प्रयास किया। लेकिन इस पेपर के लेखकों ने गौर किया कि नए, स्मार्ट AI मॉडल (जो CLIP नामक चीज़ पर आधारित हैं) इस मामले को कैसे संभाल रहे थे। ये मॉडल रंगीन फोटो और थर्मल फोटो दोनों के लिए एक पाठ्य विवरण (text description) उत्पन्न करने की कोशिश करते थे। समस्या क्या थी? AI को लाखों धूप वाले, रंगीन फोटो पर प्रशिक्षित किया गया था। जब इसने एक थर्मल इमेज को देखा, तो इसे समझ नहीं आया कि क्या कहना है। यह उपयोगी विवरण जैसे "टोपी पहने हुए" के बजाय "एक मुश्किल से दिखने वाला व्यक्ति" जैसे कमजोर और गलत विवरण उत्पन्न करता था। इस खराब विवरण ने कंप्यूटर के लिए व्यक्ति को मिलाना आसान बनाने के बजाय और कठिन बना दिया।

समाधान: एक तीन-चरणीय पुल (A Three-Stage Bridge)

इसे ठीक करने के लिए, लेखकों ने CLIP4VI-ReID नामक एक नया सिस्टम बनाया। थर्मल इमेज के लिए AI को शब्दों में अनुमान लगाने के लिए मजबूर करने के बजाय, उन्होंने एक चतुर तीन-चरणीय प्रक्रिया डिजाइन की जो इन दो दुनियाओं के बीच एक पुल बनाने वाले निर्माण दल (construction crew) की तरह काम करती है।

चरण 1: टेक्स्ट सिमेंटिक जनरेशन (TSG)
सबसे पहले, टीम ने AI से थर्मल इमेज का वर्णन करने के लिए कहना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने केवल उसे स्पष्ट, रंगीन फोटो का वर्णन करने के लिए कहा। उन्होंने "प्रॉम्प्ट लर्निंग" नामक तकनीक का उपयोग किया, जो AI को एक रिक्त स्थान भरने वाले वाक्य देने जैसा है: "एक [_____] व्यक्ति की फोटो।" AI इन रिक्त स्थानों को विशिष्ट विवरणों (जैसे "स्नीकर्स पहने हुए" या "बैकपैक ले जाते हुए") के साथ भरने के लिए सीखता है, जो केवल रंगीन फोटो पर आधारित होते हैं। क्योंकि रंगीन फोटो स्पष्ट होती हैं, AI सटीक, विस्तृत पाठ्य विवरण उत्पन्न करता है। ये विवरण "गोल्ड स्टैंडर्ड" या पुल बन जाते हैं।

चरण 2: इन्फ्रारेड फीचर एम्बेडिंग (IFE)
अब जब उनके पास रंगीन फोटो से सटीक पाठ्य विवरण हैं, तो वे इसका उपयोग AI को यह सिखाने के लिए करते हैं कि थर्मल इमेज को कैसे देखा जाए। वे AI को थर्मल इमेज के लिए नए शब्द उत्पन्न करने के लिए नहीं कहते। इसके बजाय, वे AI को बताते हैं: "इस थर्मल इमेज को देखो, और इसके फीचर्स को उस टेक्स्ट के साथ मिलाने की कोशिश करो जो हमने रंगीन फोटो के लिए पहले ही लिखा है।" यह एक छात्र को एक स्पष्ट मानचित्र दिखाने और फिर उसी मानचित्र का उपयोग मार्गदर्शक के रूप में करते हुए एक धुंधले रास्ते पर नेविगेट करने के लिए कहने जैसा है। AI थर्मल इमेज की अपनी समझ को समायोजित करना सीखता है ताकि वह सटीक पाठ्य विवरण के साथ संरेखित हो सके। यह चरण थर्मल इमेज के फीचर्स को "सुधारता" (rectify) है, जिससे उनमें सही पहचान संबंधी जानकारी डाली जा सके।

चरण 3: हाई-लेवल सिमेंटिक एलाइनमेंट (HSA)
अंत में, टीम पूरे सिस्टम को फाइन-ट्यून करती है। वे सुनिश्चित करते हैं कि पाठ्य विवरण में अनजाने में ऐसे विवरण शामिल न हों जो केवल रंगीन फोटो में मौजूद हों (जैसे विशिष्ट रंग) और जो थर्मल फोटो के साथ साझा नहीं किए गए हैं। वे चाहते हैं कि टेक्स्ट केवल उन चीजों का वर्णन करे जो दोनों छवियों के लिए सत्य हैं (जैसे "एक व्यक्ति जिसके पास बैकपैक है")। वे AI के उन हिस्सों को भी ट्यून करते हैं जो रंगीन और थर्मल इमेज को अलग-अलग देखते हैं ताकि यह सुनिश्चित हो सके कि वे सबसे अच्छे विवरण पकड़ रहे हैं। यह अंतिम चरण सुनिश्चित करता है कि रंगीन फोटो, थर्मल फोटो और पाठ्य विवरण सभी उच्च सटीकता के साथ एक ही व्यक्ति की ओर इशारा करें।

उन्होंने क्या पाया

लेखकों ने अपने नए सिस्टम का परीक्षण लोगों के रंगीन और थर्मल इमेज के दो प्रसिद्ध डेटासेट्स: SYSU-MM01 और RegDB पर किया। उन्होंने अपनी विधि की तुलना मौजूदा सर्वश्रेष्ठ तकनीकों से की।

• SYSU-MM01 डेटासेट पर: उनकी विधि, CLIP4VI-ReID ने "ऑल-सर्च" सेटिंग (जहाँ सिस्टम को कई संभावनाओं के बीच व्यक्ति को खोजना होता है) में 75.54% की Rank-1 सटीकता प्राप्त की। यह पिछले सर्वश्रेष्ठ तरीके से बेहतर था, जिसने 75.2% प्राप्त किया था। "इनडोर-सर्च" सेटिंग में, उन्होंने 83.98% Rank-1 सटीकता हासिल की, जो अगले सर्वश्रेष्ठ तरीके से काफी आगे है।
• RegDB डेटासेट पर: परिणाम और भी प्रभावशाली थे। "इन्फ्रारेड-टू-विज़िबल" टेस्ट (थर्मल क्वेरी से रंगीन फोटो खोजना) में, वे 92.28% की Rank-1 सटीकता तक पहुँचे, जो परीक्षण किए गए सभी तरीकों में सबसे अधिक थी। "विज़िबल-टू-इन्फ्रारेड" टेस्ट में, उन्होंने 94.51% Rank-1 सटीकता हासिल की।

पेपर में विजुअल प्रमाण भी शामिल थे। उन्होंने दिखाया कि उनके तरीके से पहले, कंप्यूटर का "मानसिक मानचित्र" रंगीन और थर्मल इमेज के लिए पूरी तरह से अलग जगहों पर था। उनके तीन-चरणीय प्रक्रिया के बाद, एक ही व्यक्ति की छवियां (चाहे रंगीन हों या थर्मल) आपस में मजबूती से जुड़ी हुई थीं, जबकि अलग-अलग लोगों की छवियां दूर रहीं।

यह क्यों महत्वपूर्ण है

मुख्य बात यह है कि कंप्यूटर को सीधे थर्मल इमेज का वर्णन करने के लिए मजबूर करने से अक्सर भ्रम और त्रुटियां होती हैं। पहले रंगीन इमेज से विवरण उत्पन्न करके, और फिर उस विवरण का उपयोग थर्मल इमेज को निर्देशित करने के लिए करके, सिस्टम "शोर" (noise) से बच जाता है और बेहतर परिणाम प्राप्त करता है। लेखक सुझाव देते हैं कि यह "कोर्स-टू-फाइन" (rough-to-fine) दृष्टिकोण—एक मोटे संरेखण से शुरू करना और फिर उसे परिष्कृत करना—कंप्यूटर को विभिन्न प्रकार के प्रकाश में देखने में मदद करने का एक शक्तिशाली तरीका है। हालांकि इस पद्धति के लिए सरल मॉडलों की तुलना में थोड़ा अधिक प्रशिक्षण समय की आवश्यकता होती है, लेकिन सटीकता में सुधार यह सुझाव देता है कि यह उन सुरक्षा प्रणालियों के लिए एक सार्थक निवेश है जिन्हें दिन हो या रात, 24/7 काम करने की आवश्यकता है।