💻 computer science

InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection

इन्फ्रानेट (InfraNet) एक कुशल, IR-केंद्रित ऑब्जेक्ट डिटेक्शन फ्रेमवर्क है जो एक क्वालिटी-अवेयर फ्यूजन मॉड्यूल (QualGate) का उपयोग करता है ताकि प्रशिक्षण के दौरान RGB मार्गदर्शन को गतिशील रूप से नियंत्रित किया जा सके, जिससे प्रतिकूल परिस्थितियों में मजबूत प्रदर्शन सक्षम होता है और साथ ही RGB-IR और केवल IR दोनों मोड में लचीले परिनियोजन का समर्थन मिलता है।

मूल लेखक: Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक घने जंगल में एक खोए हुए हाइकर को खोजने की कोशिश कर रहे हैं। आपके पास आपकी मदद के लिए दो दोस्त हैं: एलेक्स (Alex), जिसके पास बेहतरीन नाइट विजन गॉगल्स (इन्फ्रारेड/IR) हैं, और बेन (Ben), जिसके पास एक हाई-डेफिनिशन कैमरा (RGB/दृश्य प्रकाश) है।

तेज धूप में, बेन कमाल का है। वह रंगों, बनावट और बारीक विवरणों को देख सकता है जो एलेक्स के गॉगल्स मिस कर देते हैं। लेकिन जैसे ही सूरज ढलता है, या घना कोहरा छा जाता है, बेन का कैमरा विफल होने लगता है। उसकी छवियां अंधेरी, धुंधली या पूरी तरह से बेकार हो जाती हैं।

वर्तमान तरीकों की समस्या:
मौजूदा "टीम-अप" सिस्टम्स में एलेक्स और बेन को समान स्तर पर माना जाता है। वे टीम को बेन के निर्देशों को सुनने के लिए मजबूर करते हैं, भले ही बेन अंधेरे में संघर्ष कर रहा हो। अगर बेन अंधेरा होने के कारण गलत निर्देश देने लगे, तो पूरी टीम भ्रमित हो जाती है और हाइकर को खो देती है। यह एक अंधेरी गुफा में किसी ऐसे व्यक्ति के निर्देशों का पालन करने जैसा है जो आंखों पर पट्टी बांधे हुए है।

समाधान: इन्फ्रानेट (InfraNet)
इन्फ्रानेट के पीछे के शोधकर्ताओं ने इस टीम को चलाने का एक स्मार्ट तरीका निकाला है। उन्होंने महसूस किया कि एलेक्स (इन्फ्रारेड सेंसर) भरोसेमंद है जो अंधेरे में देख सकता है, जबकि बेन (RGB सेंसर) केवल तभी मददगार है जब रोशनी अच्छी हो।

इन्फ्रानेट कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "क्वालिटी गेट" (QualGate)

QualGate को एलेक्स और बेन के बीच खड़े एक स्मार्ट मैनेजर के रूप में सोचें।

जब धूप खिली हो: मैनेजर देखता है कि बेन बहुत अच्छा काम कर रहा है। वह बेन के विस्तृत निर्देशों को एलेक्स को और भी बेहतर देखने में मदद करने के लिए बहने देता है।
जब कोहरा या अंधेरा हो: मैनेजर देखता है कि बेन की दृष्टि धुंधली और अविश्वसनीय है। बेन के खराब निर्देशों से टीम को भ्रमित करने के बजाय, मैनेजर बेन को चुप करा देता है और एलेक्स से कहता है, "तुम नेतृत्व करो; मैं तुम्हारे सिग्नल को और बढ़ा दूँगा ताकि तुम कुछ भी मिस न करो।"

यह मैनेजर उन्हें सिर्फ चालू या बंद नहीं करता; यह सीखता है कि किसी भी दिए गए क्षण में बेन पर कितना भरोसा करना है। यदि बेन 80% विश्वसनीय है, तो टीम 80% सुनती है। यदि बेन 10% विश्वसनीय है, तो टीम 10% सुनती है।

2. दो टीम कॉन्फ़िगरेशन (Two Team Configurations)

पेपर अलग-अलग स्थितियों के लिए दो संस्करणों को डिजाइन करता है:

इन्फ्रानेट-आईआर (InfraNet-IR - द सोलो नाइट वॉच):
- प्रशिक्षण (Training): अभ्यास के दौरान, टीम साथ में प्रशिक्षण लेती है। एलेक्स बेन के अच्छे दिनों से सीखता है ताकि वह अपने काम में और बेहतर हो सके।
- मिशन (Inference): जब वास्तविक मिशन रात में शुरू होता है, तो बेन को घर भेज दिया जाता है। टीम केवल एलेक्स का उपयोग करती है। क्योंकि एलेक्स को बेन की मदद से प्रशिक्षित किया गया था, इसलिए वह अब बहुत कुशल है और उसे बेन की आवश्यकता नहीं है। यह सिस्टम को तेज़, सस्ता और कुशल बनाता है क्योंकि इसमें केवल एक कैमरा (इन्फ्रारेड वाला) ही चाहिए।
- उपमा: यह एक छात्र की तरह है जो ट्यूटर के साथ पढ़ाई करके गणित सीखता है। एक बार जब छात्र विषय में महारत हासिल कर लेता है, तो वह ट्यूटर की उपस्थिति के बिना अकेले परीक्षा दे सकता है।
इन्फ्रानेट-आरजीबी-आईआर (InfraNet-RGB-IR - द फुल स्क्वाड):
- प्रशिक्षण और मिशन: दोनों एलेक्स और बेन पूरे मिशन के दौरान मौजूद रहते हैं। मैनेजर (QualGate) मौसम के आधार पर यह तय करता है कि बेन की कितनी बात सुननी है।
- उपमा: यह उन स्थितियों के लिए है जहाँ आपके पास दोनों कैमरे उपलब्ध हैं और आप सर्वोत्तम प्रदर्शन चाहते हैं, जिससे जब रोशनी अच्छी हो तो बेन के रंगीन विवरणों का उपयोग किया जा सके, और जब नहीं हो तो एलेक्स पर भरोसा किया जा सके।

3. यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इस विचार का परीक्षण चार अलग-अलग डेटासेट्स (रात, कोहरा, बारिश और ड्रोन व्यू का अनुकरण करते हुए) पर किया। उन्होंने पाया कि:

यह अधिक मजबूत है: जब खराब मौसम के कारण "बेन" कैमरा खराब हो जाता है, तो इन्फ्रानेट विफल नहीं होता। यह खराब डेटा को अनदेखा करता है और काम करना जारी रखता है।
यह तेज़ है: "सोलो नाइट वॉच" संस्करण (InfraNet-IR) अविश्वसनीय रूप से कुशल है। यह बहुत तेज़ी से चलता क्योंकि इसे वास्तविक मिशन के दौरान RGB कैमरे के भारी, बेकार डेटा को प्रोसेस नहीं करना पड़ता।
यह सटीक है: बेन के बिना भी, यह एकल टीम उन अन्य टीमों की तुलना में बेहतर प्रदर्शन करती है जो अंधेरे में बेन को काम करने के लिए मजबूर करने की कोशिश करती हैं।

सारांश

इन्फ्रानेट एक स्मार्ट सिस्टम है जो जानता है कि कब अपने कलर कैमरा पर भरोसा करना है और कब उसे अनदेखा करना है। यह कलर कैमरे का उपयोग केवल एक "प्रशिक्षण साथी" के रूप में करता है ताकि इन्फ्रारेड कैमरे को और मजबूत बनाया जा सके। एक बार प्रशिक्षण पूरा हो जाने के बाद, इन्फ्रारेड कैमरा अकेले उड़ान भर सकता है, जो बिना अविश्वसनीय कलर कैमरे की उपस्थिति के, सबसे अंधेरे और कोहरे वाले हालातों में भी उच्च-गुणवत्ता वाली पहचान प्रदान करता है।

तकनीकी सारांश: InfraNet: कुशल इन्फ्रारेड ऑब्जेक्ट डिटेक्शन के लिए क्वालिटी-अवेयर RGB गाइडेंस

1. समस्या विवरण

प्रतिकूल दृश्य स्थितियों (जैसे, कम रोशनी, चमक, कोहरा) के तहत मजबूत ऑब्जेक्ट डिटेक्शन मल्टी-मोडल परसेप्शन सिस्टम के लिए एक महत्वपूर्ण चुनौती बना हुआ है। जबकि इन्फ्रारेड (IR) सेंसिंग परिवेशी प्रकाश से स्वतंत्र होकर थर्मल रेडिएशन को कैप्चर करके मजबूती प्रदान करती है, मौजूदा फ्यूजन-आधारित विधियाँ आमतौर पर प्रशिक्षण और अनुमान (inference) दोनों के दौरान RGB और IR मोडैलिटीज के साथ समान व्यवहार करती हैं। यह "समान उपचार" का अनुमान एक महत्वपूर्ण दोष की अनदेखी करता है: खराब स्थितियों में RGB मोडैलिटी की अविश्वसनीयता।

जब RGB इमेज गंभीर रूप से खराब हो जाती हैं (जैसे, अंधेरी या शोर वाली हो जाना), तो उन्हें विश्वसनीय IR फीचर्स के साथ अनियंत्रित रूप से फ्यूज करने से अप्रासंगिक या हानिकारक जानकारी आ सकती है, जिससे "नेगेटिव ट्रांसफर" होता है जो समग्र डिटेक्शन सटीकता को बाधित करता है। इसके अलावा, अधिकांश वर्तमान अत्याधुनिक (SOTA) फ्यूजन विधियों को अनुमान के दौरान डुअल-मोडल इनपुट की आवश्यकता होती है, जिससे वे तब अव्यवहारिक हो जाती हैं जब RGB सेंसर उपलब्ध नहीं होते या दूषित होते हैं। एक ऐसे फ्रेमवर्क की आवश्यकता है जो IR लर्निंग को बेहतर बनाने के लिए प्रशिक्षण के दौरान RGB को एक गाइडेंस सिग्नल के रूप में उपयोग करे, लेकिन कुशल, उच्च-सटीक IR-ओनली डिप्लॉयमेंट की अनुमति दे।

2. कार्यप्रणाली

मुख्य फ्रेमवर्क: InfraNet

लेखक InfraNet का प्रस्ताव करते हैं, जो एक IR-केंद्रित, क्वालिटी-अवेयर फ्रेमवर्क है जिसे प्रशिक्षण के दौरान RGB गाइडेंस को विनियमित करने के लिए डिज़ाइन किया गया है, जबकि RGB–IR या IR-ओनली मोड में लचीले डिप्लॉयमेंट का समर्थन करता है। InfraNet एक एसिमेट्रिक आर्किटेक्चर का उपयोग करता है जिसमें शामिल हैं:

प्राइमरी IR पाथवे: भविष्यवाणियों के लिए मल्टी-स्केल इन्फ्रारेड फीचर्स निकालता है।
ऑक्सिलरी RGB पाथवे: विश्वसनीयता-नियंत्रित सुपरविज़री सिग्नल्स प्रदान करता है।

मुख्य घटक: QualGate

InfraNet का मुख्य नवाचार QualGate है, जो नेटवर्क के भीतर कई स्तरों पर तैनात एक क्वालिटी-अवेयर फ्यूजन मॉड्यूल है। QualGate क्रॉस-मोडल इंटरैक्शन को गतिशील रूप से विनियमित करने के लिए एक टास्क-ओरिएंटेड कंट्रोल सिग्नल को सीखता है। इसका संचालन दो समानांतर तंत्रों में शामिल है:

विश्वसनीयता नियंत्रण स्कोर ( $q$ ): एक हल्का MLP का उपयोग करके ऑक्सिलरी RGB फीचर्स ( $A_{in}$ ) से एक स्केलर स्कोर $q \in (0, 1)$ की भविष्यवाणी की जाती है। यह स्कोर हैंड-क्राफ्टेड इमेज क्वालिटी मेट्रिक के बजाय डिटेक्शन ऑब्जेक्टिव के लिए अनुकूलित किया जाता है।
RGB सप्रेशन गेट: ऑक्सिलरी योगदान को $w_{rgb}(q) = q$ द्वारा भारित किया जाता है। जब RGB की गुणवत्ता खराब होती है (कम $q$ ), तो शोर के इंजेक्शन को रोकने के लिए RGB गाइडेंस को कम कर दिया जाता है।
IR एम्प्लीफिकेशन गेट: साथ ही, एक इनवर्स रिलायबिलिटी गेन $\alpha(q)$ को IR स्ट्रीम पर लागू किया जाता है। इसे $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$ के रूप में परिभाषित किया गया है; यह तंत्र IR फीचर्स के योगदान को बढ़ाता है जब RGB गाइडेंस कमजोर होता है, जिससे यह सुनिश्चित होता है कि IR रिप्रेजेंटेशन मजबूत बना रहे।
फ्यूजन: अंतिम आउटपुट $A_{out}$ दबाए गए ऑक्सिलरी टर्म और एम्प्लीफाइड IR इंजेक्शन का एक फ्यूजन है:
$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$
जहाँ $F_k$ संरेखित (aligned) IR फीचर्स का प्रतिनिधित्व करता है और $g_k$ एक कंटेंट गेट है।

आर्किटेक्चरल वेरिएंट्स

InfraNet के आधार पर, दो विशिष्ट आर्किटेक्चर डिज़ाइन किए गए हैं:

InfraNet-IR: एक लाइटवेट, सिंगल-ब्रांच नेटवर्क जो कम्प्यूटेशनल दक्षता के लिए अनुकूलित है। इसे युग्मित (paired) RGB–IR इनपुट के साथ प्रशिक्षित किया जाता है (RGB को विशेषाधिकार प्राप्त ऑक्सिलरी सुपरविज़न के रूप में उपयोग करते हुए), लेकिन IR-ओनly अनुमान के साथ तैनात किया जाता है। टेस्ट टाइम पर RGB ब्रांच और सभी फ्यूजन मॉड्यूल हटा दिए जाते हैं, जिससे कोई अतिरिक्त ओवरहेड नहीं होता।
InfraNet-RGB-IR: एक उच्च-क्षमता वाला डुअल-ब्रांच स्ट्रक्चर जो प्रशिक्षण और अनुमान दोनों के दौरान दोनों RGB और IR इनपुट को प्रोसेस करता है, और विश्वसनीयता-नियंत्रित क्रॉस-मोडल फ्यूजन के लिए QualGate का उपयोग करता है।

प्रशिक्षण रणनीति

फ्रेमवर्क एक एसिमेट्रिक लॉस फंक्शन का उपयोग करता है:
$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$
जहाँ ऑक्सिलरी लॉस वेट $w_{\text{aux}}$ को 0.25 पर सेट किया गया है। यह सुनिश्चित करता है कि ऑप्टिमाइज़ेशन इन्फ्रारेड पाथवे द्वारा संचालित है, जबकि ऑक्सिलरी ब्रांच IR रिप्रेजेंटेशन को बढ़ाने के लिए अडैप्टिव गाइडेंस प्रदान करती है।

3. प्रमुख योगदान

InfraNet फ्रेमवर्क: इन्फ्रारेड ऑब्जेक्ट डिटेक्शन के लिए एक क्वालिटी-अवेयर, RGB-गाइडेड फ्रेमवर्क जो RGB को प्रशिक्षण के दौरान एक विश्वसनीयता-नियंत्रित ऑक्सिलरी सिग्नल के रूप में मानता है, जिससे लचीला IR-ओनली डिप्लॉयमेंट संभव होता है।
QualGate मॉड्यूल: एक नवीन फ्यूजन मैकेनिज्म जो अविश्वसनीय RGB गाइडेंस को दबाने और IR फीचर्स की भरपाई करने के लिए एक टास्क-ओरिएंटेड कंट्रोल सिग्नल को सीखता है, जिससे डिग्रेडेड RGB डेटा से नेगेटिव ट्रांसफर का जोखिम कम होता है।
डुअल-मोड डिप्लॉयमेंट: दो वेरिएंट्स (InfraNet-IR और InfraNet-RGB-RGB) का डिज़ाइन जो कुशल सिंगल-मोडल अनुमान और उच्च-क्षमता वाले डुअल-मोडल फ्यूजन दोनों में प्रतिस्पर्धी प्रदर्शन प्राप्त करते हैं।

4. प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन चार बेंचमार्क डेटासेट्स पर किया गया: LLVIP, FLIR-Aligned, M3FD, और DroneVehicle।

प्रदर्शन: InfraNet ने सभी डेटासेट्स पर मजबूत या प्रतिस्पर्धी सटीकता हासिल की।
- LLVIP पर, RGB–IR वेरिएंट (YOLOv8) ने 70.5% mAP प्राप्त किया, जो SOTA WaveMamba (66.0%) से बेहतर रहा। IR-ओनली वेरिएंट ने बिना किसी अनुमान ओवरहेड के 68.8% mAP प्राप्त किया।
- FLIR-Aligned पर, IR-ओनली वेरिएंट (ResNet50) ने 9.4ms अनुमान समय के साथ 53.0% mAP प्राप्त किया, जो प्रतिस्पर्धी सटीकता बनाए रखते हुए डुअल-मोडल प्रतिस्पर्धियों की तुलना में काफी तेज़ है।
- DroneVehicle पर, IR-ओनली YOLOv12 वेरिएंट ने 84.7% mAP50 प्राप्त किया, जो WaveMamba से +4.9% एब्सोल्यूट गेन के साथ बेहतर प्रदर्शन करता है, जिसमें छोटे ऑब्जेक्ट डिटेक्शन (जैसे, कार, बस) में उल्लेखनीय सुधार देखा गया।
- M3FD पर, पद्धति ने रात और चुनौतीपूर्ण सबसेट्स में मजबूती प्रदर्शित की, जहाँ RGB विजिबिलिटी गंभीर रूप से बाधित होती है।
दक्षता: InfraNet-IR IR-ओनली अनुमान में उच्च दक्षता बनाए रखता है, जो डिप्लॉयमेंट के समय RGB ब्रांच और फ्यूजन मॉड्यूल को पूरी तरह से हटा देता है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि QualGate के दोनों—RGB सप्रेशन और IR एम्प्लीफिकेशन—ब्रांच आवश्यक हैं; इनमें से किसी एक को हटाने से भी प्रदर्शन में गिरावट आती है। यह दिखाया गया कि सीखा गया कंट्रोल स्कोर $q$ स्पष्ट क्वालिटी एनोटेशन के बिना, नियंत्रित RGB डिग्रेडेशन (कोहरा, ब्राइटनेस) के प्रति प्रभावी ढंग से अनुकूलित होता है।

5. महत्व और दावे

पेपर का दावा है कि InfraNet "समान फ्यूजन" से "IR-केंद्रित क्वालिटी-अवेयर गाइडेंस" की ओर शिफ्ट होकर प्रतिकूल स्थितियों में RGB अविश्वसनीयता के लंबे समय से चले आ रहे मुद्दे को हल करता है।

मजबूती (Robustness): अविश्वसनीय RGB संकेतों को दबाकर और IR फीचर्स को बढ़ाकर, यह पद्धति IR रिप्रेजेंटेशन के संदूषण (contamination) को रोकती है, जिससे कम रोशनी और प्रतिकूल मौसम में अधिक स्थिर डिटेक्शन होता है।
डिप्लॉयमेंट लचीलापन: मौजूदा फ्यूजन विधियों के विपरीत, जिन्हें अनुमान के दौरान डुअल-मोडल इनपुट की आवश्यकता होती है, InfraNet-IR उन परिदृश्यों के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ RGB सेंसर अनुपलब्ध या दूषित होते हैं, जो रनटाइम पर डुअल-स्ट्रीम आर्किटेक्चर के कम्प्यूटेशनल लागत के बिना उच्च सटीकता प्राप्त करता है।
दक्षता: फ्रेमवर्क यह प्रदर्शित करता है कि प्रशिक्षण के दौरान ऑक्सिलरी सुपरविज़न, डिप्लॉयमेंट ओवरहेड के बिना, IR-ओनली प्रदर्शन को महत्वपूर्ण रूप से बढ़ा सकता है, जिससे यह ऑटोनॉमस ड्राइविंग और UAV सर्विलांस जैसे संसाधन-बाधित अनुप्रयोगों के लिए उपयुक्त बनता है।