तकनीकी सारांश: CMS2-Fusion

1. समस्या विवरण (Problem Statement)

इन्फ्रारेड और विज़िबल इमेज फ्यूजन का लक्ष्य इन्फ्रारेड सेंसर से प्राप्त थर्मल रेडिएशन की जानकारी को विज़िबल कैमरों के समृद्ध बनावट (texture) और स्थानिक विवरणों (spatial details) के साथ जोड़कर एक व्यापक प्रतिनिधित्व में एकीकृत करना है। जबकि डीप लर्निंग विधियों ने इस क्षेत्र में प्रगति की है, मौजूदा दृष्टिकोण आमतौर पर एक "encode-then-fuse" प्रतिमान (paradigm) का पालन करते हैं। इन विधियों में, इन्फ्रारेड और विज़िबल मोडैलिटीज को अलग-अलग नेटवर्क शाखाओं (CNNs, Transformers, या Mamba-आधारित एनकोडर्स का उपयोग करके) के माध्यम से प्रोसेस किया जाता है, जिसमें एन्कोडिंग चरण के दौरान कोई सूचना विनिमय नहीं होता है। क्रॉस-मोडल इंटरैक्शन को अंतिम फ्यूजन चरण तक टाल दिया जाता है, जो आमतौर पर सरल कॉन्सटेनेशन (concatenation) या एवरेजिंग के माध्यम से होता है।

लेखक तर्क देते हैं कि यह अलगाव स्टेट स्पेस मॉडल्स (SSMs), विशेष रूप से Mamba, की पूर्ण क्षमता का लाभ उठाने में विफल रहता है। Mamba में, हिडन स्टेट्स (hidden states) स्वाभाविक रूप से स्टेट ट्रांजिशन के माध्यम से स्थानिक संदर्भ (spatial context) को कैप्चर करते हैं। एन्कोडिंग के दौरान मोडैलिटीज को अलग रखकर, मौजूदा विधियाँ स्टेट-ट्रांजिशन स्तर पर सिमेंटिक रूप से युग्मित (coupled) रिप्रजेंटेशन सीखने के अवसर को खो देती हैं, जो मॉडल की मोडैलिटीज के बीच अंतर्निहित अंतरों (जैसे, इन्फ्रारेड में कम रिज़ॉल्यूशन बनाम खराब रोशनी में विज़िबल में कम दृश्यता) को हल करने की क्षमता को सीमित कर सकता है।

2. कार्यप्रणाली: CMS2-Fusion

यह पेपर CMS2-Fusion (Cross-Modal State Space Coupling) प्रस्तावित करता है, जो एक ऐसा फ्रेमवर्क है जो प्रतिमान को "encode-then-fuse" से बदलकर "encoding-as-coupling" कर देता है। मुख्य नवाचार एक ऐसी प्रक्रिया है जो दोनों मोडैलिटीज के हिडन स्टेट्स को Mamba ब्लॉक्स के भीतर एन्कोडिंग प्रक्रिया के दौरान गतिशील रूप से इंटरैक्ट करने की अनुमति देती है।

मुख्य घटक:

• CoupledVisionMambaBlock:

  • स्वतंत्र पाइपलाइनों के बजाय, इन्फ्रारेड ($I_{IR}$) और विज़िबल ($I_{VIS}$) फीचर मैप्स को एक साझा स्टेट स्पेस में प्रोजेक्ट किया जाता है।
  • प्रत्येक मोडैलिटी के लिए स्टेट अपडेट को एक सीखने योग्य कपलिंग गुणांक ($\lambda$) द्वारा स्केल किए गए दूसरी मोडैलिटी के टर्म को शामिल करने के लिए संशोधित किया गया है।
  • अपडेट समीकरण इस प्रकार हैं:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • यहाँ, $\lambda$ को 0.3 पर इनिशियलाइज़ किया गया है और इंटरैक्शन स्ट्रेंथ को अनुकूल रूप से नियंत्रित करने के लिए प्रशिक्षण के दौरान सीखा जाता है। $P$ सीखने योग्य प्रोजेक्शन मैट्रिसेस (projection matrices) को दर्शाता है।
  • यह डिज़ाइन मानक Mamba की तुलना में केवल एक छोटा निरंतर ओवरहेड जोड़ता है, जिससे लीनियर कॉम्प्लेक्सिटी $O(L)$ बनी रहती है।

• पैरामीटर शेयरिंग (Parameter Sharing):

  • प्रत्येक ब्लॉक के भीतर, दोनों मोडैलिटीज कोर Mamba SSM पैरामीटर्स (स्टेट ट्रांजिशन मैट्रिक्स $A$ और सिलेक्टिव प्रोजेक्शन पैरामीटर्स) को साझा करती हैं।
  • इनपुट प्रोजेक्शन्स ($P_{IR}, P_{VIS}$) और क्रॉस-मोडल प्रोजेक्शन्स ($P_{VIS \to IR}, P_{IR \to VIS}$) मोडैलिटी-विशिष्ट रहते हैं।
  • यह रणनीति एक डीकप्ल्ड बेसलाइन की तुलना में कुल पैरामीटर काउंट को 13% कम करती है।

• आर्किटेक्चर (Architecture):

  • एनकोडर (Encoder): एक तीन-चरण वाला पिरामिड स्ट्रक्चर जहाँ प्रत्येक चरण में कपल्ड Mamba ब्लॉक्स होते हैं। पैच मर्जिंग (Patch merging) स्थानिक रिज़ॉल्यूशन को कम करती है जबकि चैनल डेप्थ को बढ़ाती है।
  • फ्यूजन मॉड्यूल (Fusion Module): सबसे गहरे फीचर लेवल (16x16 रिज़ॉल्यूशन) पर स्थित, यह स्थानीय "एक्टिवनेस" (फीचर वेक्टर्स का L2 नॉर्म) के आधार पर फीचर्स को वेट देने के लिए एक स्पेशियल अटेंशन मैकेनिज्म का उपयोग करता है, जो थर्मल सैलिएंट क्षेत्रों के लिए इन्फ्रारेड और टेक्सचर-रिच क्षेत्रों के लिए विज़िबल को स्वचालित रूप से उच्च वेट असाइन करता है।
  • डिकोडर (Decoder): स्किप-कनेक्टेड डिकोडर मूल रिज़ॉल्यूशन तक इमेज को पुनर्गठित करता है। स्किप कनेक्शंस कपल्ड फीचर्स के साधारण एवरेजिंग का उपयोग करते हैं, क्योंकि सिमेंटिक अलाइनमेंट पहले ही एन्कोडिंग के दौरान हो चुका है।

• लॉस फंक्शन (Loss Function):

  • मॉडल को एक कंपोजिट लॉस के साथ प्रशिक्षित किया जाता है: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$।
  • $\mathcal{L}_{L1}$ ब्राइटनेस/कॉन्ट्रास्ट को सुरक्षित रखता है।
  • $\mathcal{L}_{edge}$ ग्रेडिएंट मैग्नीट्यूड के संरक्षण को सुनिश्चित करता है।
  • $\mathcal{L}_{SSIM}$ स्ट्रक्चरल सिमिलरिटी को लागू करता है।

3. मुख्य योगदान

1. क्रॉस-मोडल स्टेट स्पेस कपलिंग: यह पेपर Mamba एन्कोडिंग ब्लॉक्स के भीतर एक क्रॉस-मोडल कपलिंग मैकेनिज्म पेश करता है, जो एन्कोडिंग के दौरान हिडन-स्टेट स्तर पर इंटरैक्शन को सक्षम बनाता है, न कि इसे फ्यूजन स्टेज तक टालता है। हालांकि पूर्ववर्ती Mamba-आधारित फ्यूजन विधियां (जैसे, CrossMamba) मौजूद हैं; यह कार्य विशेष रूप से एन्कोडिंग चरण के भीतर स्टेट-स्पेस-लेवल कपलिंग को लक्षित करता है।
2. पैरामीटर-एफिशिएंट डिज़ाइन: मोडैलिटीज के बीच SSM पैरामीटर्स को साझा करके, मॉडल एक डीकप्ल्ड Mamba बेसलाइन की तुलना में पैरामीटर्स को 13% (8.4M बनाम 9.6M) कम करता है, जबकि ओवरफिटिंग के जोखिम को भी कम करता है।
3. प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य स्वतंत्र एन्कोडिंग से कपल्ड एन्कोडिंग की ओर बदलाव का प्रस्ताव करता है, यह प्रदर्शित करते हुए कि स्टेट ट्रांजिशन का उपयोग सीधे थर्मल-टेक्सचर डिपेंडेंसी को मॉडल करने के लिए किया जा सकता है।

4. प्रयोगात्मक परिणाम

प्रयोग MSRS डेटासेट (1,083 ट्रेनिंग पेयर्स, 361 टेस्टिंग पेयर्स) पर किए गए।

• मात्रात्मक प्रदर्शन (Quantitative Performance):

  • $Q_{abf}$ (फ्यूजन की गुणवत्ता): CMS2-Fusion ने 0.7704 प्राप्त किया, जो क्लासिकल CNN मेथड DenseFuse (0.4525) से 70.3% और डीकप्ल्ड Mamba बेसलाइन (0.7589) से 1.51% अधिक है।
  • सूचना मेट्रिक्स (Information Metrics): म्यूटुअल इंफॉर्मेशन (MI) में 9.2% (3.0548) और एंट्रॉपी (EN) में 11.2% (6.6281) की वृद्धि हुई (DenseFuse की तुलना में)।
  • विवरण संरक्षण (Detail Preservation): स्पेशियल फ्रीक्वेंसी (SF) में DenseFuse की तुलना में 87.7% और एवरेज ग्रेडिएंट (AG) में 85.2% का सुधार हुआ, जो बेहतर एज और टेक्सचर संरक्षण को दर्शाता है।
  • SSIM: इस मेट्रिक में 0.6693 (DenseFuse) से 0.6562 तक मामूली गिरावट देखी गई। लेखक इसे थर्मल सैलिएंसी और विज़िबल स्ट्रक्चरल फिडेलिटी को संरक्षित करने के बीच अंतर्निहित ट्रेड-ऑफ का परिणाम बताते हैं, यह नोट करते हुए कि मान उच्च रेंज में बना हुआ है। डीकप्ल्ड बेसलाइन की तुलना में, SSIM में 0.94% (0.6501 से 0.6562) का सुधार हुआ।

• एब्लेशन स्टडीज (Ablation Studies):

  • पैरामीटर शेयरिंग: इंटरैक्शन के बिना डीकप्ल्ड बेसलाइन से कपल्ड मॉडल पर जाने से $Q_{abf}$ में 0.0085 की वृद्धि हुई और पैरामीटर्स में 13% की कमी आई।
  • इंटरैक्शन: सीखने योग्य कपलिंग गुणांक ($\lambda$) को सक्षम करने से $Q_{abab}$ में अतिरिक्त 0.0030 का लाभ हुआ।
  • गुणांक अभिसरण (Coefficient Convergence): सीखने योग्य $\lambda$ लगभग 0.3646 पर अभिसरित हुआ, जो मोडैलिटी-विशिष्ट रिटेंशन और क्रॉस-मोडल इंटरैक्शन के बीच एक इष्टतम संतुलन को दर्शाता है।

• दक्षता (Efficiency):

  • इन्फरेंस टाइम: NVIDIA RTX 4090 पर 41.3 ms प्रति इमेज (42.7 ms बेसलाइन के तुलनीय)।
  • FLOPs: 46.1G, जो बेसलाइन (48.3G) से कम है।

5. महत्व और दावे

पेपर का दावा है कि CMS2-Fusion मल्टी-मोडल फ्यूजन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। स्टेट-ट्रांजिशन स्तर पर क्रॉस-मोडल कपलिंग पेश करके, यह विधि "encode-then-fuse" आर्किटेक्चर की सीमाओं से आगे निकल जाती है। लेखक दावा करते हैं कि यह दृष्टिकोण नेटवर्क को पाइपलाइन में बहुत पहले ही अधिक सिमेंटिक रूप से कपल्ड रिप्रजेंटेशन सीखने की अनुमति देता है, जिसके परिणामस्वरूप ऐसे फ्यूज्ड इमेज मिलते हैं जो थर्मल सैलिएंसी और टेक्सचर फिडेलिटी दोनों को बेहतर ढंग से संरक्षित करते हैं।

यह कार्य मौजूदा Mamba-आधारित फ्यूजन विधियों (जैसे, CrossMamba, FusionMamba, आदि) से खुद को अलग करता है क्योंकि यह विशेष रूप से एन्कोडिंग चरण के दौरान स्टेट-स्पेस क्रॉस-मोडल इंटरैक्शन को लागू करने वाला पहला है। जबकि पूर्ववर्ती कार्य फीचर एक्सट्रैक्शन के लिए Mamba का उपयोग करते हैं, वे फ्यूजन स्टेज तक स्वतंत्र शाखाओं को बनाए रखते हैं; CMS2-Fusion एन्कोडर के स्टेट ट्रांजिशन के भीतर सीधे मोडैलिटीज को एकीकृत करता है। लेखक प्रदर्शित करते हैं कि SSM पैरामीटर्स को साझा करने और डायनेमिक स्टेट इंटरैक्शन को सक्षम करने से कम पैरामीटर्स के साथ बेहतर प्रदर्शन प्राप्त होता है, जो इसे एज डिप्लॉयमेंट के लिए एक मजबूत उम्मीदवार बनाता है।

लेखकों द्वारा सुझाया गया भविष्य का कार्य लेयर-एडेप्टिव और स्पेशियली-एडेप्टिव कपलिंग, साथ ही मेडिकल इमेज फ्यूजन जैसे अन्य मल्टी-मोडल कार्यों तक फ्रेमवर्क का विस्तार करना है।