⚡ electrical engineering

GroupCDL: Interpretable Denoising and Compressed Sensing MRI via Learned Group-Sparsity and Circulant Attention

यह शोध पत्र GroupCDL प्रस्तुत करता है, जो एक व्याख्यात्मक (interpretable) डीप लर्निंग फ्रेमवर्क है जो प्राकृतिक छवि शोर निवारण (natural image denoising) और संकुचित सेंसिंग MRI पुनर्निर्माण (Compressed Sensing MRI reconstruction) दोनों में अत्याधुनिक, सुदृढ़ प्रदर्शन प्राप्त करने के लिए सीखे गए ग्रुप-स्पैरसिटी (group-sparsity) और सर्कुलेंट-स्पार्स अटेंशन (circulant-sparse attention) के साथ एक डिक्शनरी लर्निंग एल्गोरिदम को अनरोल करता है।

मूल लेखक: Nikola Janjusevic, Amirhossein Khalilian-Gourtani, Adeen Flinker, Li Feng, Yao Wang

प्रकाशित 2026-02-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikola Janjusevic, Amirhossein Khalilian-Gourtani, Adeen Flinker, Li Feng, Yao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत पुरानी, धूल भरी और खरोंच वाली तस्वीर है। आपका लक्ष्य इसे साफ करना है ताकि आप विवरणों को फिर से स्पष्ट रूप से देख सकें। यही "इमेज डिनोइजिंग" (image denoising) है: एक गंदी तस्वीर को लेकर उसे साफ बनाना।

लंबे समय से, कंप्यूटर इसमें अच्छे रहे हैं, लेकिन वे "ब्लैक बॉक्स" की तरह काम करते हैं। आप एक गंदी फोटो डालते हैं, और एक जादुई बॉक्स एक साफ फोटो बाहर निकाल देता है। आपको एक शानदार परिणाम मिलता है, लेकिन बॉक्स के अंदर किसी को नहीं पता कि यह कैसे काम कर रहा था या इसने क्या रखने और क्या फेंकने का निर्णय कैसे लिया। यह एक ऐसे शेफ की तरह है जो एक बेहतरीन स्टू (stew) तो बनाता है, लेकिन आपको उसकी रेसिपी नहीं बताता।

यह पेपर एक नई विधि पेश करता है जिसे GroupCDL कहा जाता है। इसे एक ऐसे शेफ के रूप में सोचें जो न केवल एक बेहतरीन स्टू बनाता है, बल्कि हर कदम को समझाते हुए सटीक रेसिपी भी लिखता है। उन्होंने इसे कैसे किया, इसके लिए यहाँ कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "ग्रुप" का विचार: एक जैसे दिखने वालों को खोजना

कल्पना कीजिए कि आप एक फटे हुए मानचित्र (map) को ठीक करने की कोशिश कर रहे हैं। यदि आप मानचित्र के बाईं ओर समुद्र के एक हिस्से को देखते हैं, तो आपको दाईं ओर एक ऐसा हिस्सा मिल सकता है जो बिल्कुल वैसा ही दिखता है (दोनों नीले पानी और समान लहरों वाले हैं)।

पुराना तरीका: अधिकांश कंप्यूटर प्रोग्राम एक बार में छवि के एक छोटे से टुकड़े को देखते हैं। वे उस टुकड़े को ठीक करने की कोशिश करते हैं बिना बाकी तस्वीर की परवाह किए। यह चित्र के डिब्बे पर बने पहेली (puzzle) के चित्र को देखे बिना एक एकल पहेली के टुकड़े को ठीक करने जैसा है।
GroupCDL का तरीका: यह नई विधि स्मार्ट है और कह सकती है, "हे, आसमान का यह हिस्सा आसमान के उस दूसरे हिस्से जैसा ही दिखता है!" यह समान दिखने वाले टुकड़ों को एक साथ समूहित (group) करती है। यदि एक टुकड़ा शोर वाला (धुंधला) है, तो यह समझने के लिए कि इसे कैसा दिखना चाहिए, यह अपने "जुड़वां" को देखती है। इसे नॉनलोकल सेल्फ-सिमिलरिटी (Nonlocal Self-Similarity) कहा जाता है।

2. "ग्रुप थ्रेशोल्ड" फ़िल्टर: एक स्मार्ट छलनी

एक बार जब कंप्यूटर समान टुकड़ों के इन समूहों को ढूंढ लेता है, तो उसे यह तय करने की आवश्यकता होती है कि क्या रखना है और क्या फेंकना है।

पुराना फ़िल्टर: कल्पना कीजिए कि एक छलनी है जो सब कुछ बस हिला देती है। यदि कोई कण बहुत छोटा है, तो वह गिर जाता है; यदि वह बड़ा है, तो वह रुक जाता है। यह एक साधारण "ऑन/ऑफ" स्विच है।
नया फ़िल्टर (लर्नड ग्रुप-थ्रेशोल्डिंग): नया तरीका एक "स्मार्ट छलनी" का उपयोग करता है। यह एक ही बार में समान टुकड़ों के पूरे समूह को देखता है। यदि समूह के अधिकांश हिस्से इस बात से सहमत हैं कि एक निश्चित विवरण महत्वपूर्ण है, तो छलनी उसे रखती है। यदि समूह सहमत है कि यह केवल शोर (noise) है, तो छलनी उसे फेंक देती है। यह एक विशेषज्ञ समिति की तरह है जो इस बात पर वोट करती है कि चित्र में क्या होना चाहिए। यह सफाई की प्रक्रिया को बहुत अधिक सटीक बनाता है।

3. "सर्कुलेंट-स्पार्स अटेंशन": एक कुशल लाइब्रेरियन

यहाँ कठिन हिस्सा आता है। यदि आपके पास एक बहुत बड़ी फोटो है (जैसे कि एक हाई-डेफिनिशन MRI स्कैन), तो पूरी छवि में हर एक मिलान वाले टुकड़े को खोजना बहुत समय ले सकता है। यह लाइब्रेरी में हर शेल्फ पर एक-एक करके हर किताब को चेक करके एक विशिष्ट किताब खोजने जैसा है।

समस्या: पारंपरिक तरीके सब कुछ चेक करने की कोशिश करते हैं, जो धीमा है और बहुत अधिक मेमोरी का उपयोग करता है।
समाधान (सर्कुलेंट-स्पार्स अटेंशन): लेखकों ने एक चतुर शॉर्टकट का आविष्कार किया है। कल्पना कीजिए कि लाइब्रेरी एक घेरे (circle) में व्यवस्थित है। हर किताब को चेक करने के बजाय, लाइब्रेरियन केवल आस-पड़ोस (एक छोटा विंडो) की किताबों को चेक करता है, लेकिन इसे इस तरह से करता है कि यह कमरे के किनारों के चारों ओर घूमता है।
- वे इसे सर्कुलेंट-स्पार्स अटेंशन (Circulant-Sparse Attention) कहते हैं।
- यह एक पूरे शहर के बजाय एक पड़ोस ब्लॉक को देखने जैसा है, लेकिन यह इतना कुशलता से किया जाता है कि आपको लगता है जैसे आपने पूरा शहर देख लिया हो। यह कंप्यूटर को घंटों तक प्रोसेस किए बिना बड़े चित्रों (जैसे मेडिकल स्कैन) को संभालने की अनुमति देता है।

4. यह क्यों मायने रखता है: "पारदर्शी" मशीन

इस पेपर की सबसे बड़ी जीत यह नहीं है कि तस्वीरें अच्छी दिखती हैं (वे दिखती हैं, सबसे अच्छे "ब्लैक बॉक्स" तरीकों जितनी ही अच्छी), बल्कि जीत इसकी पारदर्शिता है।

क्योंकि लेखकों ने इस सिस्टम को एक ज्ञात सफाई एल्गोरिदम को गणितीय रूप से "अनरोल" (unroll) करके बनाया है, हम जानते हैं कि कंप्यूटर का हर हिस्सा क्या कर रहा है।

कोई ब्लैक बॉक्स नहीं: हम जानते हैं कि इसने शोर (noise) को क्यों हटाया।
मजबूती (Robustness): यदि कंप्यूटर को "मध्यम" शोर पर प्रशिक्षित किया गया है, लेकिन बाद में इसे एक "बहुत शोर वाले" चित्र को साफ करना पड़ता है, तो यह घबराता नहीं है। यह अच्छी तरह से अनुकूलित होता है क्योंकि यह केवल पैटर्न को याद करने के बजाय अंतर्निधर्नीय गणित को समझता है।

5. मेडिकल एप्लीकेशन: MRI स्कैन

यह पेपर यह भी दिखाता है कि यह MRI स्कैन (कंप्रेस्ड सेंसिंग MRI) के लिए कैसे काम करता है।

उपमा: कल्पना कीजिए कि आप एक चलती कार की फोटो लेने की कोशिश कर रहे हैं, लेकिन आपका कैमरा खराब है और केवल 1/4 हिस्सा ही ले सकता है। आपको बाकी हिस्से का अनुमान लगाना होगा।
परिणाम: GroupCDL MRI स्कैन के छूटे हुए हिस्सों को सटीक रूप से भरने में उत्कृष्ट है क्योंकि यह उन "ग्रुप" नियमों का उपयोग करता है। यह वर्तमान शीर्ष-स्तरीय तरीकों की तुलना में स्पष्ट मेडिकल चित्र बनाता है, और क्योंकि यह पारदर्शी है, डॉक्टर इस प्रक्रिया पर अधिक भरोसा कर सकते हैं।

सारांश

संक्षेप में, लेखकों ने एक नया इमेज क्लीनर बनाया है जो:

छवि के समान हिस्सों को एक-दूसरे की मदद करने के लिए समूहित (Group) करता है।
शोर को हटाने के लिए एक स्मार्ट वोटिंग सिस्टम (ग्रुप-थ्रेशोल्डिंग) का उपयोग करता है।
बड़े चित्रों को बिना धीमे हुए संभालने के लिए एक सुपर-फास्ट, सर्कुलर सर्च मेथड (CircAtt) का उपयोग करता है।
पूरी तरह से व्याख्या योग्य (explainable) है, जिसका अर्थ है कि हम जानते हैं कि यह कैसे काम करता है, आज के "जादुई ब्लैक बॉक्स" के विपरीत।

यह जादू के खेल से इमेज क्लीनिंग के मास्टरक्लास में अपग्रेड करने जैसा है।

तकनीकी सारांश: GroupCDL: लर्नड ग्रुप-स्पैरसिटी और सर्कुलेंट अटेंशन के माध्यम से व्याख्यात्मक डिनोइजिंग और कम्प्रेस्ड सेंसिंग MRI

समस्या विवरण
नॉनलोकल सेल्फ-सिमिलरिटी (NLSS) इमेज रेस्टोरेशन के लिए एक शक्तिशाली प्रायर (prior) है, फिर भी नॉनलोकल सेल्फ-सिमिलरिटी का उपयोग करने वाले अत्याधुनिक डीप लर्निंग मेथड्स आमतौर पर "ब्लैक-बॉक्स" आर्किटेक्चर के रूप में निर्मित होते हैं। इन मॉडल्स में अक्सर व्याख्यात्मकता (interpretability) की कमी होती है, जिससे इनका विश्लेषण और सुधार करना कठिन हो जाता है। इसके अलावा, वर्तमान कार्यान्वयन अक्सर ओवरलैपिंग इमेज विंडोज़ को स्वतंत्र रूप से प्रोसेस करने (पैच-बेस्ड डेंस अटेंशन, या PbDA) पर निर्भर करते हैं, जो ओवरलैपिंग क्षेत्रों के बीच निर्भरता की उपेक्षा करता है और कम्प्यूटेशनल रेडंडेंसी (redundancy) उत्पन्न करता है। जबकि पिछले व्याख्यात्मक नेटवर्क्स (जैसे, CDLNet) ने नॉइज़-लेवल मिसमैच के प्रति मजबूती हासिल की, उन्होंने स्थानीय $\ell_1$ स्पैरसिटी प्रायर का उपयोग किया और ब्लैक-बॉक्स नॉनलोकल मॉडल्स के साथ प्रदर्शन के अंतर को पाटने में विफल रहे। इसके अतिरिक्त, मौजूदा नॉनलोकल व्याख्यात्मक दृष्टिकोण बड़े पैमाने की इनवर्स समस्याओं जैसे कि कम्प्रेस्ड सेंसिंग MRI (CS-MRI) में प्रतिस्पर्धी प्रदर्शन करने या ग्लोबल आर्टिफ़ेक्ट्स (global artifacts) को संभालने में संघर्ष करते रहे हैं।

कार्यप्रणाली (Methodology)
लेखक GroupCDL का प्रस्ताव करते हैं, जो एक ग्रुप-स्पैरसिटी प्रायर के साथ कनवल्शनल डिक्शनरी लर्निंग एल्गोरिदम के अनरोलिंग (unrolling) से प्राप्त एक व्याख्यात्मक कनवल्शनल न्यूरल नेटवर्क है। यह आर्किटेक्चर दो प्राथमिक नवाचारों के माध्यम से पिछले तरीकों की सीमाओं को संबोधित करता है:

लर्न्ड ग्रुप-थ्रेशोल्डिंग (GT):
$\ell_1$ -आधारित डिनोइजिंग (जैसे CDLNet) में उपयोग किए जाने वाले मानक एलिमेंट-वाइज सॉफ्ट-थ्रेशोल्डिंग के बजाय, GroupCDL एक लर्नड ग्रुप-थ्रेशोल्डिंग ऑपरेटर का उपयोग करता है। यह ऑपरेटर लेटेंट रिप्रेजेंटेशन पर स्पेसियली वेरिंग सॉफ्ट-थ्रेशोल्डिंग करके NLSS प्रायर को एनकोड करता है। थ्रेशोल्डिंग एक एडजेसेंसी मैट्रिक्स $\Gamma$ द्वारा निर्देशित होती है जो लेटेंट पिक्सल्स के बीच निकटता को मापता है। क्लासिकल ग्रुप-स्पैरसिटी के विपरीत जहाँ $\Gamma$ पूर्व-निर्धारित और बाइनरी होता है, GroupCDL एंड-टू-एंड एक "सॉफ्ट" सिमिलरिटी मैट्रिक्स $\Gamma$ सीखता है। यह लर्नड पिक्सेल-वाइज ट्रांसफॉर्म्स ( $W_\theta, W_\phi$ ) के माध्यम से प्राप्त किया जाता है जो लोकल विंडोज़ के भीतर समानताएं कंप्यूट करते हैं, जिसके बाद रो-वाइज सॉफ़्टमैक्स नॉर्मलाइज़ेशन किया जाता है।
सर्कुलेंट-स्पारस अटेंशन (CircAtt):
बड़े इमेजेस पर कुशल प्रशिक्षण और अनुमान (inference) को सक्षम करने के लिए, जो कनवल्शनल स्पार्स कोडिंग की ट्रांसलेशन-इक्विवेरियंस (translation-equivariance) को बनाए रखता है, लेखक CircAtt पेश करते हैं।

तंत्र (Mechanism): CircAtt सर्कुलर बाउंड्री कंडीशंस के साथ $W \times W$ आकार की स्लाइडिंग विंडो के भीतर ही समानताएं कंप्यूट करता है। इसके परिणामस्वरूप एक ब्लॉक-सर्कुलेंट विद सर्कुलेंट ब्लॉक्स (BCCB) स्पैरिटी पैटर्न वाला एडजेसेंसी मैट्रिक्स प्राप्त होता है।
दक्षता (Efficiency): लोकल विंडोज़ के भीतर गणनाओं को सीमित करके और BCCB संरचना का उपयोग करके, यह विधि डेंस अटेंशन की क्वाड्रेटिक मेमोरी और कम्प्यूटेशनल जटिलता ( $O(Q^2M)$ ) से बचती है। इसके बजाय, यह पिक्सल्स की संख्या के सापेक्ष लीनियर कॉम्प्लेक्सिटी ( $O(QW^2M)$ ) प्राप्त करती है, जहाँ $Q$ लेटेंट पिक्सल्स की संख्या है और $M$ चैनल काउंट है।
ग्लोबल आर्टिफ़ेक्ट्स (Global Artifacts): उन पैच-बेस्ड मेथड्स के विपरीत जो विंडोज़ को स्वतंत्र रूप से प्रोसेस करते हैं और ओवरलैप्स को औसत (average) करते हैं (जिससे बाउंड्री आर्टिफ़ेक्ट्स हो सकते हैं), CircAtt पूरे इमेज को एक सिंगल फॉरवर्ड पास में संयुक्त रूप से प्रोसेस करता है, जिससे CS-MRI में एलियासिंग आर्टिफेक्ट्स जैसे ग्लोबल डिग्रेडेशन का प्रभावी ढंग से रेस्टोरेशन संभव होता है।

नेटवर्क को बेसिस पर्सिट डिनोइजिंग (BPDN) समस्या के लिए एक अनरोल्ड प्रॉक्सिमल ग्रेडिएंट मेथड (PGM) के रूप में स्वरूपित किया गया है। CS-MRI के लिए, आर्किटेक्चर को ऑब्जर्वेशन ऑपरेटर $H = MFR $(मास्क्ड फूरियर ट्रांसफॉर्म विद कॉइल सेंसिटिविटीज) और इसके एडजॉइंट, और प्रत्येक अनरोल्ड लेयर के भीतर एक ग्राम ऑपरेटर$ H^H H$ को शामिल करके विस्तारित किया गया है।

प्रमुख योगदान

नवीन नॉनलोकल ऑपरेशन: सर्कुलेंट-स्पारस अटेंशन (CircAtt) का परिचय, जो ट्रांसलेशन इक्विवेरियंस को बनाए रखते हुए और बड़े इमेजेस के संयुक्त प्रसंस्करण को सक्षम करते हुए, सामान्य पैच-बेस्ड डेंस अटेंशन (PbDA) की कम्प्यूटेशनल और मॉडलिंग कमियों को संबोधित करता है।
लर्न्ड ग्रुप-थ्रेशोल्डिंग: एक डिफरेंशिएबल ग्रुप-थ्रेशोल्डिंग ऑपरेशन जो लेटेंट स्पेस के लिए रिड्यूस्ड चैनल डायमेंशन का उपयोग करके ग्रुप-स्पैरसिटी प्रायर को एनकोड करता है, जिससे प्रतिस्पर्धी इन्फरेंस स्पीड प्राप्त होती है।
व्याख्यात्मक प्रदर्शन: एक व्याख्यात्मक नॉनलोकल CNN का निर्माण जो बैच नॉर्मलाइजेशन या रेसिडुअल लर्निंग जैसे सामान्य डीप-लर्निंग ट्रिक्स पर निर्भर हुए बिना, ब्लैक-बॉक्स नॉनलोकल DNNs (ट्रांसफॉर्मर्स और नॉनलोकल DNNs सहित) के बराबर नेचुरल-इमेज डिनोइजिंग प्रदर्शन प्राप्त करता है।
मजबूती (Robustness): विधि प्रशिक्षण और अनुमान के बीच नॉइज़-लेवल मिसमैच के प्रति नवीन मजबूती प्रदर्शित करती है, जो कि BPDN फॉर्मुलेशन से विरासत में मिली एक विशेषता है।
ओपन सोर्स: लेखक जूलिया (Julia) प्रोग्रामिंग लैंग्वेज में इनका ओपन-सोर्स कार्यान्वयन प्रदान करते हैं।

परिणाम
प्रायोगिक परिणाम संकेत देते हैं कि GroupCDL, ब्लैक-बॉक्स नॉनलोकल DNNs और ट्रांसफॉर्मर्स की तुलना में प्रतिस्पर्धी नेचुरल-इमेज डिनोइजिंग प्रदर्शन प्राप्त करता है। CS-MRI के डोमेन में, यह विधि स्टेट-ऑफ-द-आर्ट प्रदर्शन देती है, जो मौजूदा तरीकों से बेहतर है। अध्ययन इस बात पर प्रकाश डालता है कि व्याख्यात्मक निर्माण ब्लैक-बॉक्स मेथड्स को अनुकूलित करने के लिए आवश्यक "ट्रिक्स" के बिना, इनवर्स समस्याओं के लिए सीधा विस्तार करने की अनुमति देता है। इसके अलावा, CircAtt का उपयोग प्रभावी रूप से ग्लोबल आर्टिफ़ेक्ट्स (जैसे एलियासिंग) के रेस्टोरेशन को सक्षम बनाता है जिन्हें पैच-बेस्ड अप्रोच के माध्यम से संभालना कठिन है।

महत्व
यह पेपर दावा करता है कि GroupCDL इमेज डिनोइजिंग के लिए स्टेट-ऑफ-द-आर्ट नॉनलोकल ब्लैक-बॉक्स मेथड्स के प्रदर्शन अंतराल को सफलतापूर्वक पाटने वाला पहला व्याख्यात्मक नेटवर्क है। एक ग्रुप-स्पार्स कनवल्शनल डिक्शनरी लर्निंग फॉर्मुलेशन से सीधे नेटवर्क को व्युत्पन्न करके, लेखक प्रदर्शित करते हैं कि उच्च प्रदर्शन के लिए व्याख्यात्मकता का त्याग करना आवश्यक नहीं है। प्रस्तावित आर्किटेक्चर एक सिद्धांत आधारित विकल्प प्रदान करता है जो पैरामीटर और डेटासेट दक्षता, नवीन सामान्यीकरण क्षमताएं (विशेष रूप से नॉइज़-लेवल मिसमैच के संबंध में), और इमेज डिनोइजिंग एवं CS-MRI रिकंस्ट्रक्शन दोनों के लिए एक एकीकृत ढांचा प्रदान करता है। यह कार्य ब्लैक-बॉक्स कंस्ट्रक्शन की आवश्यकता को चुनौती देता है, यह दिखाते हुए कि स्ट्रक्चर्ड, व्याख्यात्मक डिजाइन बेहतर दक्षता और ग्लोबल इमेज डिग्रेडेशन को संभालने के लिए श्रेष्ठ मजबूती के साथ नॉनलोकल सेल्फ-सिमिलरिटी लाभों को मैच या उससे आगे बढ़ सकते हैं।