🤖 machine learning

Convolutional Sparse Coding via the Locally Competitive Algorithm on Loihi 2

यह शोध पत्र 'लोकल कॉम्पिटिटिव एल्गोरिदम' का उपयोग करके 'कन्वोल्यूशनल स्पार्स कोडिंग' के पहले 'लोइही 2' (Loihi 2) कार्यान्वयन और बेंचमार्क को प्रस्तुत करता है, जो इसकी व्यवहार्यता को प्रदर्शित करता है और उन ऑपरेटिंग रेजीम्स की पहचान करता है जहाँ यह स्ट्रक्चर्ड स्पार्स इन्फरेंस के लिए पारंपरिक GPU बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Geoffrey Kasenbacher, Daniel Ruepp, Gerrit A. Ecke

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Geoffrey Kasenbacher, Daniel Ruepp, Gerrit A. Ecke

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: छवियों को "देखने" का एक नया तरीका

कल्पना कीजिए कि आपके पास वस्तुओं से भरा एक विशाल, बिखरा हुआ कमरा है (एक छवि)। स्पार्स कोडिंग (Sparse Coding) उस कमरे का वर्णन करने का एक तरीका है जिसमें यह कहा जाता है कि, "यह कोई अव्यवस्था नहीं है; यह बस कुछ विशिष्ट वस्तुओं का कुछ खास जगहों पर रखा जाना है।" हर एक पिक्सेल को सूचीबद्ध करने के बजाय, आप "बिल्डिंग ब्लॉक्स" (जैसे एक लाल गेंद, एक नीली कुर्सी, एक हरी पत्ती) के एक छोटे से सेट की पहचान करते हैं, जो मिलकर उस कमरे को फिर से बना सकते हैं।

लोकल कॉम्पिटिटिव एल्गोरिदम (LCA) वह बुद्धिमान प्रक्रिया है जो यह तय करती है कि किन ब्लॉक्स का उपयोग करना है। यह लोगों से भरे एक कमरे की तरह काम करता है जहाँ लोग अपने विचार चिल्लाकर बता रहे हैं। यदि एक व्यक्ति जोर से चिल्लाता है "लाल गेंद!", तो वह अपने पड़ोसियों को "लाल गेंद" चिल्लाने से रोकता है (वह "प्रतिस्पर्धा" या competition है)। यह सुनिश्चित करता है कि केवल सबसे महत्वपूर्ण विचार ही सामने आएं, जिससे एक बहुत ही कुशल, "स्पार्स" विवरण तैयार होता है।

समस्या: "मस्तिष्क" बनाम "सुपरकंप्यूटर"

लंबे समय से, वैज्ञानिक इस "चिल्लाने वाले मुकाबला" (shouting match) एल्गोरिदम को न्यूरोमॉर्फिक चिप्स (neuromorphic chips) (ऐसे कंप्यूटर चिप्स जिन्हें मानव मस्तिष्क की नकल करने के लिए डिज़ाइन किया गया है) पर चलाने की कोशिश कर रहे हैं। ये चिप्स स्थानीय प्रतिस्पर्धा को संभालने में बहुत अच्छे होते हैं और बहुत ऊर्जा-कुशल होते हैं।

हालाँकि, अधिकांश पिछले परीक्षण एक एकल, सपाट तस्वीर को देखने जैसे थे। लेकिन वास्तविक जीवन, पैटर्न से भरा होता है जो स्थान में दोहराए जाते हैं (जैसे घास की बनावट या जेब्रा की धारियाँ)। इसे कन्वोल्यूशनल स्पार्स कोडिंग (Convolutional Sparse Coding) कहा जाता है। यह यह पहचानने जैसा है कि "घास" का पैटर्न हर जगह दोहराया जा रहा है, न कि हर ब्लेड को एक अनूठी वस्तु के रूप में देखना।

लेखकों ने पूछा: क्या हम इस अधिक जटिल, पैटर्न-आधारित "चिल्लाने वाले मुकाबले" को एक वास्तविक न्यूरोमॉर्फिक ब्रेन चिप (Intel का Loihi 2) पर चला सकते हैं, और यह एक मानक, शक्तिशाली कंप्यूटर (GPU) की तुलना में कैसा प्रदर्शन करता है?

प्रयोग: दौड़

शोधकर्ताओं ने Loihi 2 चिप के लिए इस एल्गोरिदम का एक संस्करण बनाया और इसे एक उच्च श्रेणी के NVIDIA GPU (जो शक्तिशाली गेमिंग या AI वर्कस्टेशन में पाया जाता है) के विरुद्ध चलाया।

कार्य: उन्होंने दोनों कंप्यूटरों को ब्लैक-एंड-व्हाइट फोटो (सेट12 बेंचमार्क से) दिए और उन्हें छवियों को उनके बुनियादी बिल्डिंग ब्लॉक्स में तोड़ने और फिर उन्हें फिर से बनाने के लिए कहा।
नियम: दोनों को बिल्कुल एक ही गणित करना था, समान संख्या में चरणों (चिल्लाने के 1,000 राउंड) तक चलना था, और बिल्डिंग ब्लॉक्स का एक ही डिक्शनरी उपयोग करना था।

परिणाम: गति बनाम बैटरी लाइफ

शोध में पाया गया कि कोई भी पक्ष साधारण तरीके से "विजेता" नहीं था। इसके बजाय, वे अलग-अलग श्रेणियों में जीते, यह इस पर निर्भर करता है कि आपने नियम कैसे सेट किए:

GPU एक स्प्रिंटर (धावक) है:
मानक कंप्यूटर (GPU) बहुत, बहुत तेज़ था। इसने काम को पूरा करने में उस न्यूरोमॉर्फिक चिप की तुलना में बहुत कम समय लिया। यदि आपको उत्तर अभी चाहिए, तो GPU स्पष्ट विजेता है।
Loihi 2 चिप एक मैराथन धावक है:
न्यूरोमॉर्फिक चिप ने काफी कम ऊर्जा का उपयोग किया। कुछ मामलों में, इसने उसी काम को करने के लिए GPU की तुलना में 50 से 100 गुना कम ऊर्जा का उपयोग किया।
- उपमा: कल्पना कीजिए कि GPU एक स्पोर्ट्स कार है जो 10 सेकंड में फिनिश लाइन तक पहुँच जाती है लेकिन एक गैलन पेट्रोल जला देती है। Loihi 2 चिप एक साइकिल है जिसे वहाँ पहुँचने में 10 मिनट लगते है लेकिन यह लगभग शून्य ईंधन का उपयोग करती है।
"नोब" (Sparsity Parameter $\lambda$ ):
शोधकर्ताओं ने एक "नोब" (जिसे $\lambda$ कहा जाता है) घुमाया जो यह नियंत्रित करता है कि प्रतिस्पर्धा कितनी सख्त है।
- ढीली प्रतिस्पर्धा (Low $\lambda$ ): चिप को अधिक काम करना पड़ता है, और छवि पुनर्निर्माण GPU की तुलना में थोड़ा "धुंधला" होता है।
- सख्त प्रतिस्पर्धा (High $\lambda$ ): चिप अधिक कुशल हो जाता है। ऊर्जा की बचत और भी बड़ी हो जाती है, और दोनों कंप्यूटरों के बीच गुणवत्ता का अंतर कम हो जाता है।

कमी: यह अभी भी पूर्ण नहीं है

पेपर अपनी सीमाओं के बारे में ईमानदार है:

"धुंधलापन" (Fuzziness): न्यूरोमॉर्फिक चिप, GPU के उच्च-परिशुद्धता (high-precision) गणित के बजाय गणित का एक सरल तरीका (fixed-point) उपयोग करता है। इसका मतलब है कि Loihi चिप द्वारा पुनर्गठित छवियां GPU जितनी स्पष्ट नहीं होती हैं, खासकर जब कार्य बहुत जटिल हो।
समय सीमा: उन्होंने दोनों कंप्यूटरों को ठीक 1,000 चरणों तक चलने के लिए मजबूर किया। वास्तविक दुनिया में, एक स्मार्ट सिस्टम जल्दी रुक सकता है यदि वह उत्तर को जल्दी समझ लेता है। पेपर ने इस "अर्ली स्टॉपिंग" रणनीति का परीक्षण नहीं किया।
दायरा: उन्होंने केवल छोटी, विशिष्ट छवि आकारों और सरल पैटर्न (3x3 और 5x5 ब्लॉक्स) का परीक्षण किया। वे बड़े, अधिक जटिल पैटर्न का परीक्षण नहीं कर सके क्योंकि चिप का वर्तमान सेटअप उन्हें विश्वसनीय रूप से संभालने में सक्षम नहीं था।

निचोड़

यह पेपर यह नहीं कहता है कि, "न्यूरोमॉर्फिक चिप्स अब कंप्यूटरों से बेहतर हैं।" बल्कि, यह कहता है: "न्यूरोमॉर्फिक चिप्स एक विशिष्ट कार्य के लिए एक व्यवहार्य उपकरण हैं।"

यदि आप एक ऐसा उपकरण बना रहे हैं जिसे एक छोटी बैटरी (जैसे जंगल में एक सेंसर या ड्रोन पर कैमरा) पर पूरे दिन चलना है और वह परिणाम के लिए थोड़ा इंतजार कर सकता है, तो Loihi 2 चिप एक शानदार विकल्प है क्योंकि यह भारी मात्रा में ऊर्जा बचाता है। यदि आपको परिणाम तुरंत चाहिए और पास में बिजली का प्लग उपलब्ध है, तो मानक GPU अभी भी राजा है।

यह अध्ययन सफलतापूर्वक सिद्ध करता है कि यह जटिल "पैटर्न-मैचिंग" एल्गोरिदम मस्तिष्क जैसी हार्डवेयर पर चल सकता है, जो भविष्य के ऊर्जा-कुशल AI अनुप्रयोगों के द्वार खोलता है।

तकनीकी सारांश: Loihi 2 पर लोकेली कॉम्पिटिटिव एल्गोरिदम के माध्यम से कन्वोल्यूशनल स्पार्स कोडिंग

समस्या विवरण
स्पार्स कोडिंग सिग्नल प्रतिनिधित्व के लिए एक सिद्धांतवादी ढांचा प्रदान करती है, जो इनपुट को आधार कार्यों (basis functions) के लघु रैखिक संयोजनों के रूप में व्यक्त करती है। जबकि लोकेली कॉम्पिटिटिव एल्गोरिदम (LCA) अपने स्थानीय अवस्था (local state), इवेंट-ड्रिवन अपडेट और स्पार्स संचार के साथ संरेखण के कारण न्यूरोमॉर्फिक कंप्यूटिंग के लिए उपयुक्त है, पूर्व न्यूरोमॉर्फिक अध्ययन मुख्य रूप से गैर-कन्वोल्यूशनल सेटिंग्स पर केंद्रित रहे हैं। गैर-कन्वोल्यूशनल LCA में स्थानिक संरचना, वेट शेयरिंग और ओवरलैपिंग रिसेप्टिव फील्ड्स का अभाव होता है, जो व्यावहारिक स्पार्स इन्फरेंस वर्कलोड के लिए आवश्यक हैं। कन्वोल्यूशनल स्पार्स कोडिंग इन गुणों को पेश करती है, जो इस समस्या को एक साधारण वेक्टर स्केलिंग मुद्दे से बदलकर एक विशिष्ट स्ट्रक्चर्ड इन्फरेंस वर्कलोड में बदल देती है। चुनौती इस कन्वोल्यूशनल सेटिंग को न्यूरोमॉर्फिक हार्डवेयर (विशेष रूप से इंटेल के Loihi 2) पर लागू करने की है, जबकि आवश्यक डायनेमिक्स को बनाए रखना और पारंपरिक हार्डवेयर बेसलाइन के विरुद्ध इसकी व्यवहार्यता का मूल्यांकन करना है।

कार्यप्रणाली
लेखक एक एक-परत आवर्तक (one-layer recurrent) LCA फॉर्मूलेशन का उपयोग करके Loihi 2 पर कन्वोल्यूशनल स्पार्स कोडिंग का कार्यान्वयन प्रस्तुत करते हैं। कार्यप्रणाली में शामिल है:

एल्गोरिदमिक फॉर्मूलेशन: समस्या को एक ऊर्जा फलन (energy function) को न्यूनतम करने के रूप में परिभाषित किया गया है जिसमें रिकंस्ट्रक्शन फिडेलिटी टर्म और एक $\ell_1$ स्पार्सिटी पेनल्टी शामिल है। LCA डायनेमिक्स स्थानीय इंटरैक्शन के माध्यम से विकसित होते हैं जहाँ इकाइयाँ फीडफॉरवर्ड ड्राइव को एकीकृत करती हैं, लेटरल इनहिबिशन (lateral inhibition) के माध्यम से प्रतिस्पर्धा करती हैं, और थ्रेशोल्डेड एक्टिवेशन उत्सर्जित करती हैं। अपडेट नियम फिक्स्ड-पॉइंट मेम्ब्रेन डायनेमिक्स के साथ डिस्क्रीट-टाइम फॉरवर्ड यूलर डिसक्रेटाइजेशन का उपयोग करता है।
हार्डवेयर मैपिंग: कार्यान्वयन कन्वोल्यूशनल LCA को Loihi 2 पर मैप करता है, जिसमें स्पार्स गुणांकों (coefficients) को न्यूरॉन्स की एक एकल आवर्तक परत के रूप में दर्शाया जाता है।
- फीडफॉरवर्ड ड्राइव: इनपुट को डिक्शनरी के साथ कन्वॉल्व करके प्रीकंप्यूट किया जाता है और एक फिक्स्ड बायस के रूप में इंजेक्ट किया जाता है।
- लेटरल इनहिबिशन: युग्मवार डिक्शनरी सहसंबंधों ( $W = (\Phi * \Phi) - \delta$ ) से प्राप्त किया जाता है, जहाँ स्वयं के ओवरलैप को हटाया जाता है ताकि ट्रिवियल सेल्फ-इनहिबिशन को रोका जा सके। यह स्थानीय इनहिबिटरी कर्नेल बनाता है।
- डायनेमिक्स: न्यूरॉन्स मेम्ब्रेन स्टेट्स के लिए फिक्स्ड-पॉइंट अंकगणित और सॉफ्ट-थ्रेशोल्डिंग के लिए कस्टम अपडेट नियमों का उपयोग करते हैं। सक्रिय इकाइयाँ थ्रेशोल्डेड एक्टिवेशन के अनुरूप ग्रेडेड आउटपुट उत्सर्जित करती हैं, जिससे स्पार्स इवेंट ट्रैफिक उत्पन्न होता है।
प्रायोगिक सेटअप:
- डेटासेट: ग्रेस्केल इनपुट के साथ Set12 इमेज बेंचमार्क।
- कॉन्फ़िगरेशन: प्रयोग विभिन्न कर्नेल काउंट के साथ 3×3 और 5×5 कन्वोल्यूशनल डिक्शनरीज का उपयोग करते हैं। दो स्ट्राइड व्यवस्थाओं का परीक्षण किया गया है: स्ट्राइड-1 (लक्ष्य आकार 50×50 से 200×200) और स्ट्राइड-2 (400×400 से 800×800)।
- ट्रेनिंग: डिक्शनरी को अल्टरनेटिंग ट्रेनिंग (LCA के माध्यम से स्पार्स कोडिंग के बाद SGD के माध्यम से डिक्शनरी अपडेट) के माध्यम से ऑफलाइन सीखा जाता है और इन्फरेंस के दौरान स्थिर रखा जाता है।
- बेसलाइन: एक मैच किया गया GPU कार्यान्वयन (NVIDIA RTX A6000, PyTorch) जो समान डिक्शनरीज, इमेज, स्पार्सिटी पैरामीटर्स ( $\lambda$ ), और 1000 LCA इटरेशन के फिक्स्ड बजट का उपयोग करता है।
- मेट्रिक्स: रिकंस्ट्रक्शन क्वालिटी (PSNR, SSIM, MSE, स्पार्सिटी) को हार्डवेयर-स्वतंत्र माना जाता है। हार्डवेयर-निर्भर मेट्रिक्स में ऑन-चिप लेटेंसी ( $time\_chip\_ms$ ), वॉल-क्लॉक लेटेंसी, डायनेमिक पावर और प्रति इन्फरेंस डायनेमिक एनर्जी शामिल हैं।

प्रमुख योगदान

प्रथम कार्यान्वयन: लेखकों के ज्ञान के अनुसार, यह Loihi 2 पर कन्वोल्यूशनल LCA का पहला कार्यान्वयन और बेंचमार्क है।
स्ट्रक्चर्ड बेंचमार्क: यह कार्य एक मैच किया गया बेंचमार्किंग सेटअप स्थापित करता है जो एल्गोरिदमिक मेट्रिक्स (रिकंस्ट्रक्शन क्वालिटी) को हार्डवेयर-निर्भर मेट्रिक्स (लेटेंसी, पावर, एनर्जी) से अलग करता है।
रेजीम विश्लेषण: अध्ययन कई रेगुलराइजेशन सेटिंग्स ( $\lambda$ ), फ़िल्टर साइज़ और स्ट्राइड कॉन्फ़िगरेशन के माध्यम से ट्रेड-ऑफ का विश्लेषण करता है ताकि उन ऑपरेटिंग रेजीम की पहचान की जा सके जहाँ न्यूरोमॉर्फिक हार्डवेयर पर कन्वोल्यूशनल स्पार्स इन्फरेंस आकर्षक है।

परिणाम

Loihi-Only व्यवहार: स्पारर्सिटी पैरामीटर $\lambda$ को बढ़ाने से एक विश्वसनीय कंट्रोल नॉब के रूप में कार्य होता है। जैसे-जैसे $\lambda$ बढ़ता है, रिकंस्ट्रक्शन क्वालिटी (PSNR) मध्यम रूप से घटती है, जबकि ऑन-चिप लेटेंसी और डायनेमिक एनर्जी काफी कम हो जाती है। बचत का परिमाण रेजीम-डिपेंडेंट है, जो स्ट्राइड और फ़िल्टर साइज के साथ बदलता है।
क्रॉस-प्लेटफॉर्म तुलना:
- लेटेंसी: GPU बेसलाइन लगातार Loihi 2 की तुलना में कम लेटेंसी प्रदर्शित करती है, विशेष रूप से स्ट्राइड-1 रेजीम में। स्ट्राइड-2 रेजीम में लेटेंसी का अंतर कम हो जाता है लेकिन यह GPU के पक्ष में रहता है।
- ऊर्जा: Loihi 2 सभी परीक्षण किए गए रेजीम में प्रति इन्फरेंस डायनेमिक एनर्जी में पर्याप्त लाभ प्रदर्शित करता है, जिसे GPU बेसलाइन की तुलना में काफी कम ऊर्जा की आवश्यकता होती है।
- रिकंस्ट्रक्शन क्वालिटी: क्रॉस-प्लेटफॉर्म रिकंस्ट्रक्शन क्वालिटी रेजीम-डिपेंडेंट है न कि समान रूप से क्रमबद्ध। Loihi 2 और GPU के बीच विचलन अधिक घने ऑपरेटिंग रेजीम (कम $\lambda$ ) में अधिक स्पष्ट होते हैं और जैसे-जैसे प्रतिनिधित्व अधिक स्पार्स (उच्च $\lambda$ ) होते जाते हैं, कम हो जाते हैं। लेखक इस प्रभाव को Loihi 2 कार्यान्वयन में फिक्स्ड-पॉइंट क्वांटाइजेशन प्रभावों के आवर्तक डायनेमिक्स के दौरान संचय होने के कारण बताते हैं।

महत्व और दावे
यह पेपर कन्वोल्यूशनल LCA को Loihi 2 पर एक सार्वभौमिक विकल्प के रूप में नहीं, बल्कि एक रेजीम-डिपेंडेंट स्पार्स-इन्फरेंस सबस्ट्रेट के रूप में स्थापित करता है। प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि किन विशिष्ट ऑपरेटिंग स्थितियों के तहत न्यूरोमॉर्फिक हार्डवेयर फायदेमंद होता है।

ट्रेड-ऑफ पहचान: अध्ययन स्पष्ट करता है कि जबकि GPU बेहतर लेटेंसी और आम तौर पर बेहतर रिकंस्ट्रक्शन क्वालिटी (विशेष रूप से घने रेजीम में) प्रदान करते हैं, Loihi 2 डायनेमिक एनर्जी एफिशिएंसी में एक आकर्षक लाभ प्रदान करता है।
अनुप्रयोग संदर्भ: परिणाम बताते हैं कि Loihi 2 उन अनुप्रयोगों के लिए विशेष रूप से आकर्षक है जहाँ पुनरावृत्त (iterative) स्पार्स इन्फरेंस मूल्यवान है लेकिन ऊर्जा बाधाओं के मामले में पूर्ण लेटेंसी माध्यमिक है, जैसे ऊर्जा-सीमित सेंसिंग पाइपलाइन्स या ऑलवेज-ऑन फ्रंट-एंड प्रोसेसिंग।
बेंचमार्क वैल्यू: कन्वोल्यूशनल LCA को उभरते हुए न्यूरोमॉर्फिक सिस्टम के लिए एक उपयोगी बेंचमार्क के रूप में प्रस्तावित किया गया है क्योंकि यह एक संरचित परिवार के ट्रेड-ऑफ (क्वालिटी बनाम लेटेंसी बनाम एनर्जी) को उजागर करता है जो ऑपरेटिंग रेजीम और हार्डवेयर सबस्ट्रेट दोनों पर निर्भर करते हैं।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं, जिनमें ऑफलाइन-ट्रेन्ड डिक्शनरीज का प्रतिबंध, फिक्स्ड-पॉइंट अंकगणित का उपयोग जो घने रेजीम में परिशुद्धता को प्रभावित करता है, और 1000-इटरेशन बजट का उपयोग शामिल है जो अनुकूलित एप्लिकेशन-स्टॉपिंग मानदंडों को प्रतिबिंबित नहीं कर सकता है। तुलना को एक मजबूत पारंपरिक संदर्भ के विरुद्ध एक मैच किए गए बेंचमार्क के रूप में फ्रेम किया गया है, न कि सार्वभौमिक न्यूरोमॉर्फिक श्रेष्ठता के दावे के रूप में।