💻 computer science

AdaFuse-Det: Adaptive Cross-Modal Fusion of Event Cameras for Robust Object Detection in Low-Light RGB Imagery

AdaFuse-Det एक डुअल-स्ट्रीम फ्रेमवर्क है जो अत्यधिक कम रोशनी वाली स्थितियों में मजबूत ऑब्जेक्ट डिटेक्शन प्राप्त करने के लिए एक सैद्धांतिक रूप से आधारित मॉड्यूल का उपयोग करके CLAHE-उन्नत RGB फ्रेमों को वोक्सेलयकृत (voxelized) इवेंट कैमरा डेटा के साथ अनुकूल रूप से संलयित (fuse) करता है, जो LLE-VOS बेंचमार्क पर सिंगल-मोडैलिटी दृष्टिकोणों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Raju Imandi, Chethana B, Bharatesh Chakravarthi, Yong-Guk Kim, Manipriya S, Pavan Kumar B N

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raju Imandi, Chethana B, Bharatesh Chakravarthi, Yong-Guk Kim, Manipriya S, Pavan Kumar B N

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रात के अंधेरे में एक घने जंगल में अपने किसी दोस्त को खोजने की कोशिश कर रहे हैं। आपके पास आपकी मदद के लिए दो उपकरण हैं:

एक स्टैंडर्ड कैमरा (RGB): यह आपकी सामान्य आँखों की तरह है। अंधेरे में, यह कुछ भी देखने के लिए संघर्ष करता है। यह दानेदार (grainy), धुंधला हो जाता है और ज्यादातर सिर्फ "ग्रे शोर" (gray noise) ही देखता है। यह रंगों और बनावट (textures) को देखने में बहुत अच्छा है जब सूरज निकला हो, लेकिन अंधेरे में, यह व्यावहारिक रूप रूप से अंधा है।
एक इवेंट कैमरा (Event Camera): यह एक विशेष, भविष्यवादी सेंसर है। पूरी तस्वीर लेने के बजाय, यह केवल बदलावों को नोटिस करता है। यदि कोई पत्ता हिलता है, या कोई व्यक्ति चलता है, तो यह चिल्लाकर कहता है, "यहाँ कुछ बदला है!" इसे रंग या चमक की परवाह नहीं है; इसे केवल गति (motion) और किनारों (edges) की परवाह है। यह अंधेरे में भी पूरी तरह काम करता है, लेकिन अगर कोई वस्तु स्थिर खड़ी है, तो यह नहीं बता सकता कि वह चीज़ क्या है।

समस्या:
दोनों में से कोई भी उपकरण अपने आप में पूर्ण नहीं है। एक स्टैंडर्ड कैमरा अंधेरे में कुछ भी नहीं देख पाता, और एक इवेंट कैमरा गति तो देखता है लेकिन यह नहीं जान पाता कि वह कोई इंसान है, कुत्ता है, या पेड़ है।

समाधान: AdaFuse-Det
शोधकर्ताओं ने AdaFuse-Det नामक एक नया सिस्टम बनाया है। इस सिस्टम को एक व्यस्त चौराहे पर खड़े एक सुपर-इंटेलिजेंट ट्रैफिक कंट्रोलर की तरह समझें।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. सामग्री तैयार करना

स्टैंडर्ड कैमरे की सफाई: अंधेरे वाली इमेज को देखने से पहले, सिस्टम इसे एक "फोटो एनहेंसर" (जिसे CLAHE कहा जाता है) से गुजारता है। कल्पना कीजिए कि आप एक कीचड़ भरी फोटो को एक फिल्टर से गुजार रहे हैं जो कंट्रास्ट को बढ़ाता है, जिससे वस्तुओं की हल्की रूपरेखा थोड़ी अधिक स्पष्ट हो जाती है।
इवेंट कैमरे को व्यवस्थित करना: इवेंट कैमरा "मूवमेंट डॉट्स" की एक अराजक धारा भेजता है। सिस्टम इन डॉट्स को व्यवस्थित 3D ब्लॉक्स (जिन्हें "वॉक्सेल्स" कहा जाता है) में बदल देता है, जिससे उस अराजकता को एक संरचित मानचित्र (structured map) में बदल दिया जाता है।

2. "स्मार्ट मिक्सर" (मुख्य नवाचार)

यही वह जादुई हिस्सा है। सिस्टम के पास दो अलग-अलग दिमाग (न्यूरल नेटवर्क) हैं जो दो अलग-अलग डेटा स्ट्रीम्स को देख रहे हैं। लेकिन, उन्हें केवल आपस में मिलाने के बजाय (जैसे लाल और नीले रंग को मिलाकर बैंगनी बनाना), यह एक स्मार्ट मिक्सर का उपयोग करता है जिसे एडैप्टिव क्रॉस-मोडल फ्यूजन (ACMF) मॉड्यूल कहा जाता है।

इस मिक्सर को स्क्रीन के हर एक पिक्सेल के लिए तुरंत बदलने वाले एक डिम्मर स्विच की तरह समझें।

इमेज के सबसे अंधेरे, दानेदार हिस्सों में: स्टैंडर्ड कैमरा बेकार है (शोर से भरा हुआ)। स्मार्ट मिक्सर यह देखता है और "स्टैंडर्ड कैमरा" की आवाज़ को लगभग शून्य तक कम कर देता है। यह "इवेंट कैमरा" की आवाज़ को 100% तक बढ़ा देता है। यह मोशन डेटा पर भरोसा करता है क्योंकि यह जानता है कि लाइट डेटा झूठ बोल रहा है।
थोड़े उज्जवल या स्पष्ट हिस्सों में: स्टैंडर्ड कैमरा फिर से आकृतियों को देखना शुरू करता है। स्मार्ट मिक्सर इसे महसूस करता है और "स्टैंडर्ड कैमरा" की आवाज़ को ऊपर करता है, जिससे यह पहचानने में मदद मिल सके कि वह वस्तु क्या है।

यह मिक्सर गणितीय रूप से सिद्ध करता है कि यह ठीक उसी क्षण में कौन सा सेंसर अधिक विश्वसनीय है, इसका वजन तय करके "सबसे अच्छा संभव काम" कर रहा है। यह एक ऐसे जासूस की तरह है जो जानता है कि कब कांपते हुए गवाह पर भरोसा करना है और कब सुरक्षा कैमरे पर।

3. परिणाम

जब यह सिस्टम सब कुछ एक साथ जोड़ता है, तो यह लगभग पूर्ण अंधेरे में भी वस्तुओं (जैसे लोग, साइकिल, या जानवर) को पहचान सकता है जहाँ एक सामान्य कैमरा केवल स्टैटिक (static) ही देखेगा।

शोध में क्या पाया गया:

चीजों को खोजने में बेहतर: सिस्टम ने केवल स्टैंडर्ड कैमरा या केवल इवेंट कैमरा का उपयोग करने की तुलना में काफी अधिक वस्तुओं (उच्च "रिकॉल") को पाया। यह सुनिश्चित करने के लिए कि वह अंधेरे में किसी को भी मिस न करे, यह थोड़ा अधिक अनुमान लगाने के लिए तैयार था।
समझौता (Trade-off): क्योंकि यह अंधेरे में मोशन सेंसर्स पर बहुत अधिक निर्भर करता है, इसलिए कभी-कभी इसमें कुछ "फॉल्स अलार्म" (यह सोचना कि एक छाया एक व्यक्ति है) भी मिलते हैं, लेकिन शोधकर्ताओं का कहना है कि खतरनाक, अंधेरी स्थितियों में वास्तविक लोगों को मिस न करने के लिए यह एक उचित समझौता है।
सीमा (Limitation): यदि कोई व्यक्ति बिल्कुल स्थिर खड़ा है, तो इवेंट कैमरा शांत हो जाता है (क्योंकि कोई गति नहीं है)। उन विशिष्ट क्षणों में, सिस्टम को उस अंधेरे, दानेदार स्टैंडर्ड कैमरे पर निर्भर रहना पड़ता है, जो बहुत अच्छा नहीं है।

संक्षेप में:
AdaFuse-Det एक "मोशन-सेंसिंग" कैमरे और एक "लाइट-सेंसिंग" कैमरे का मेल है। एक स्मार्ट AI एक रेफरी की तरह कार्य करता है, जो वास्तविक समय में यह निर्णय लेता है कि इमेज के हर हिस्से के लिए किस कैमरे पर भरोसा करना है, जिससे रोबोट या निगरानी प्रणालियाँ रोशनी पूरी तरह से बंद होने पर भी स्पष्ट रूप से "देख" सकती हैं।

तकनीकी सारांश: AdaFuse-Det

समस्या विवरण

अत्यधिक कम रोशनी (extreme low-light) की स्थितियों में विश्वसनीय ऑब्जेक्ट डिटेक्शन एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से नाइटटाइम सर्विलांस और खोज एवं बचाव रोबोटिक्स जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए। पारंपरिक RGB कैमरे कम फोटॉन फ्लक्स (photon flux) के तहत गंभीर गिरावट का सामना करते हैं, जहाँ सिग्नल-टू-नॉइज़ रेशियो (SNR) काफी कम हो जाता है ( $SNR \propto \sqrt{N_p}$ )। हालांकि लंबे एक्सपोजर (exposures) SNR में सुधार कर सकते हैं, वे मोशन ब्लर (motion blur) भी पैदा करते हैं, जिससे एक संयुक्त गिरावट उत्पन्न होती है जिसे मानक डिटेक्टर संभालने में संघर्ष करते हैं।

इसके विपरीत, इवेंट कैमरे एक पूरक सेंसिंग मोडैलिटी (complementary sensing modality) प्रदान करते हैं। वे माइक्रोसेकंड टेम्पोरल रेजोल्यूशन के साथ और 120 dB से अधिक डायनेमिक रेंज के साथ एसिंक्रोनस प्रति-पिक्सेल ब्राइटनेस परिवर्तन रिकॉर्ड करते हैं, जो उन्हें काफी हद तक इल्यूमिनेशन-इनवेरिएंट (illumination-invariant) और मोशन ब्लर के प्रति मजबूत बनाता है। हालांकि, इवेंट डेटा विरल (sparse) होता है, इसमें फोटोमेट्रिक टेक्सचर की कमी होती है, और यह स्थिर दृश्यों या सूक्ष्म वर्गीकरण (fine-grained classification) के साथ संघर्ष करता है। यह शोध पत्र जिस मुख्य समस्या को संबोधित करता है वह यह है कि इन दोनों मोडैलिटीज़—RGB (सिमेंटिक रूप से समृद्ध लेकिन इल्यूमिनेशन-सेंसिटिव) और इवेंट्स (स्ट्रक्चरल रूप से सूचनात्मक लेकिन सिमेंटिक रूप से पतले)—को प्रभावी ढंग से कैसे फ्यूज किया जाए—ताकि प्रत्येक मोडैलिटी का योगदान उनके स्थानीय विश्वसनीयता के साथ गतिशील रूप से स्केल हो सके, न कि निश्चित फ्यूजन वेट्स पर निर्भर रहे।

कार्यप्रणाली: AdaFuse-Det

लेखक AdaFuse-Det का प्रस्ताव करते हैं, जो एक डुअल-स्ट्रीम फ्रेमवर्क है जो CLAHE-एन्हांस्ड RGB फ्रेम्स को एक नवीन एडैप्टिव क्रॉस-मोडल फ्यूजन (ACMF) मॉड्यूल के माध्यम से वोक्सेलाइज़्ड इवेंट टेंसरों (voxelized event tensors) के साथ एकीकृत करता है।

1. डेटा प्रीप्रोसेसिंग (Data Preprocessing)

इवेंट स्ट्रीम (Event Stream): कच्चे एसिंक्रोनस इवेंट्स को टेम्पोरल वोक्सेलाइजेशन के माध्यम से घने टेंसरों में परिवर्तित किया जाता है। स्ट्रीम को प्रति पोलैरिटी $B=4$ टेम्पोरल बिन्स (कुल 8 चैनल) में विभाजित किया गया है। लेखक औपचारिक रूप से सिद्ध करते हैं कि यह वोक्सेलाइजेशन कुल इवेंट काउंट को संरक्षित करता है (लेम्मा II.1) और एक टेम्पोरल रेजोल्यूशन बाउंड $\delta t = \Delta t / (B-1)$ स्थापित करता है (लेम्मा II.2)। वोक्सेलाइजेशन के बाद, हॉट-पिक्सेल और डेंसिटी फिल्टर शोर (noise) को हटा देते हैं।
RGB स्ट्रीम (RGB Stream): लो-लाइट RGB फ्रेम्स को फोटॉन-फ्लक्स क्षीणन (attenuation) और हेटेरोसेडास्टिक सेंसर शोर को आंशिक रूप से उलटने के लिए कंट्रास्ट लिमिटेड एडेप्टिव हिस्टोग्राम इक्वलाइज़ेशन (CLAHE) का उपयोग करके प्रोसेस किया जाता है।

2. फीचर एक्सट्रैक्शन (Feature Extraction)

दोनों मोडैलिटीज़ को स्वतंत्र ResNet-18 बैकबोन का उपयोग करके चार-स्केल फीचर पिरामिड्स बनाने के लिए एनकोड किया जाता है।

RGB एनकोडर: मानक ImageNet-प्रीट्रेन वेट्स का उपयोग करता है।
इवेंट एनकोडर: पहले कनवल्शनल लेयर को 8 चैनल स्वीकार करने के लिए संशोधित किया गया है। अपेक्षाकृत छोटे ट्रेनिंग सेट पर स्थिर अभिसरण (stable convergence) सुनिश्चित करने के लिए, वेट्स को तीन प्रीट्रेन RGB चैनलों के औसत द्वारा इनिशियलाइज़ किया जाता है और सभी आठ इवेंट चैनलों में पुनरावृत्त (replicate) किया जाता है।

3. एडैप्टिव क्रॉस-मोडल फ्यूजन (ACMF)

मुख्य नवाचार ACMF मॉड्यूल है, जो मिनिमम-वेरिएंस लीनियर एस्टिमेशन थ्योरी पर आधारित है।

सैद्धांतिक आधार (Theoretical Basis): लेखक फ्यूजन को दो शोर वाले अवलोकनों ( $F_{img}$ और $F_{evt}$ ) से एक लेटेंट फीचर टेंसर $F^*$ का अनुमान लगाने के रूप में मॉडल करते हैं। वे व्युत्पन्न करते हैं कि मिनिमम-वेरिएंस लीनियर अनबायस्ड एस्टिमेटर (MVLUE) के लिए वेट्स प्रत्येक मोडैलिटी के नॉइज़ वेरिएंस के व्युत्क्रमानुपाती (inversely proportional) होने चाहिए (थ्योरम II.3)।
इल्यूमिनेशन अडैप्टेशन (Illumination Adaptation): एक प्रमुख कोरोलरी (II.4) बताती है कि अत्यधिक कम रोशनी में (जहाँ RGB शोर हावी होता है), इष्टतम वेट इवेंट फीचर्स की ओर शिफ्ट हो जाता है, और अच्छी रोशनी वाली स्थितियों में इसके विपरीत होता है।
कार्यान्वयन (Implementation): ACMF मॉड्यूल प्रत्येक फीचर पिरामिड स्केल पर एक स्थानिक रूप से परिवर्तनशील अटेंशन मैप $\alpha_s$ सीखता है। यह दोनों स्ट्रीम्स से फीचर्स को कॉन्कैटिनेट करता है, उन्हें एक लाइटवेट टू-लेयर नेटवर्क (1x1 और 3x3 कनवल्शन) से गुजारता है, और एक सिग्मॉइड-वेटेड मैप आउटपुट करता है। अंतिम फ्यूज्ड फीचर एक वेटेड सम है: $F_{fused} = \alpha \odot F_{img} + (1-\alpha) \odot F_{evt}$ ।
सैद्धांतिक गुण (Theoretical Properties): लेखक सिद्ध करते हैं कि यह तंत्र यूनिमोडल और यूनिफॉर्म फ्यूजन को अपने सीमित मामलों (limiting cases) के रूप में समाहित करता है (प्रपोजिशन II.5) और जब फीचर्स अविभेदित (indistinguishable) होते हैं तो 0.5 वेट पर अभिसरित होता है (प्रपोजिशन II.6)।

4. डिटेक्शन हेड (Detection Head)

फ्यूज्ड फीचर्स को चार स्केल्स पर संचालित होने वाले एक YOLO-स्टाइल एंकर-आधारित हेड द्वारा प्रोसेस किया जाता है। ट्रेनिंग ऑब्जेक्टिव बॉक्स रिग्रेशन, ऑब्जेक्टनेस और क्लासिफिकेशन लॉस को जोड़ता है, जिसमें पोस्ट-प्रोसेसिंग में कॉन्फिडेंस थ्रेसहोल्डिंग और नॉन-मैक्सिमम सुप्रेसिव (NMS) शामिल है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र चार विशिष्ट योगदान देता है:

औपचारिक फ्यूजन थ्योरी (Formal Fusion Theory): मल्टीमोडल फ्यूजन का मिनिमम-वेरियस लीनियर एस्टिमेशन के रूप में उपचार, जो क्लोज्ड-फॉर्म ऑप्टिमल अटेंशन वेट्स प्रदान करता है और इल्यूमिनेशन-अडैप्टेशन कोरोलरी के माध्यम से देखे गए रिकॉल-प्रिसिजन असंतुलन (asymmetry) की व्याख्या करता है।
वोक्सेलाइजेशन कैरेक्टराइजेशन (Voxelization Characterization): वोक्सेलाइजेशन चरण में इवेंट संरक्षण और टेम्पोरल रेजोल्यूशन बाउंड्स के संबंध में सैद्धांतिक प्रमाण।
ACMF मॉड्यूल: एक सिद्धांत-आधारित फ्यूजन मैकेनिज्म जो यूनिमोडल और यूनिफॉर्म फ्यूजन को सख्ती से समाहित करता है, और फीचर-इक्वैलिटी लोकेशन्स पर प्रमाणित व्यवहार प्रदर्शित करता है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): नियंत्रित अत्यधिक कम रोशनी (<1 लक्स) की स्थितियों के तहत कैप्चर किए गए सिंक्रोनाइज़्ड RGB-इवेंट डेटासेट LLE-VOS बेंचमार्क पर व्यापक परीक्षण।

प्रयोगात्मक परिणाम (Experimental Results)

LLE-VOS टेस्ट सेट (IoU थ्रेसहोल्ड 0.4) पर मूल्यांकित, AdaFuse-Det सिंगल-मोडैलिटी बेसलाइन्स और नैव फ्यूजन रणनीतियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है:

AdaFuse-Det: रिकॉल 65.54%, प्रिसिजन 53.85%, F1-स्कोर 59.12%।
RGB-only: रिकॉल 49.83%, प्रिसिजन 47.21%, F1 48.48%।
Event-only: रिकॉल 57.12%, प्रिसिजन 38.64%, F1 46.10%।
कॉन्कैटिनेशन फ्यूजन (Concatenation Fusion): रिकॉल 61.47%, प्रिसिजन 50.33%, F1 55.33%।

मॉडल सिंगल-मोडैलिटी डिटेक्टरों की तुलना में रिकॉल में महत्वपूर्ण सुधार प्राप्त करता है। लेखक RGB-ओनली बेसलाइन के सापेक्ष प्रिसिजन में मामूली गिरावट का श्रेय मॉडल की अत्यधिक अंधेरे में इवेंट क्यूज़ (event cues) पर निर्भरता को देते हैं, जो संवेदनशीलता को बढ़ाता है लेकिन हाई-मोशन क्षेत्रों में इवेंट सेंसर नॉइज़ से फाल्स पॉजिटिव (false positives) भी लाता है। एब्लेशन अध्ययन पुष्टि करते हैं कि सीखा गया एडैप्टिव अटेंशन (ACMF), यूनिफॉर्म फ्यूजन की तुलना में 3.79% F1 गेन प्रदान करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि AdaFuse-Det अत्यधिक कम रोशनी में RGB कैमरों की विफलता मोड के लिए एक सैद्धांतिक रूप से स्थापित समाधान प्रदान करता है। लर्नड अटेंशन मैकेनिज्म को गौस-मार्कोव ऑप्टिमल एस्टिमेटर से औपचारिक रूप से जोड़कर, फ्रेमवर्क यह सुनिश्चित करता है कि फ्यूजन रणनीति बिना किसी मैनुअल ट्यूनिंग के स्थानीय इल्यूमिनेशन स्थितियों के अनुकूल हो जाए।

लेखक इस बात पर जोर देते हैं कि सिस्टम अत्यधिक अंधेरे में भी वस्तुओं (पैदल चलने वाले, साइकिल चालक, जानवर) को सफलतापूर्वक लोकलाइज करता है, जहाँ RGB कंट्रास्ट नगण्य होता है, और इवेंट-व्युत्पन्न एज सिग्नेचर का लाभ उठाता है। वे अपनी सीमाओं को विनम्रतापूर्वक स्वीकार करते हैं, यह नोट करते हुए कि प्रदर्शन तब कम हो जाता है जब विषय (subjects) इवेंट थ्रेसहोल्ड को ट्रिगर करने के लिए बहुत धीरे चलते हैं, जिससे सिस्टम RGB-ओनली प्रदर्शन स्तरों पर वापस चला जाता है। शोध पत्र निष्कर्ष निकालता है कि जबकि वर्तमान दृष्टिकोण प्रभावी है, भविष्य के कार्य स्पष्ट अनिश्चितता अनुमान (uncertainity estimation), स्लो-मोशन दृश्यों के लिए टेम्पोरल रिकरेंस और क्लास इम्बैलेंस को संभालने के लिए उन्नत लॉस फंक्शन्स की खोज कर सकते हैं।