← नवीनतम पेपर
🤖 machine learning

Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

यह शोध पत्र प्रमाणित करता है कि रैंक-ऑर्डर N-of-M एनकोडिंग, जब MAX-Hebbian लर्निंग के साथ संयोजित होती है, तो मानक आर्किटेक्चर की तुलना में स्पार्स डिस्ट्रीब्यूटेड मेमोरी सिस्टम की क्षमता और शोर रोधकता (noise robustness) को महत्वपूर्ण रूप से बढ़ाती है, जो CALM जैसे न्यूरोमॉर्फिक AI मॉडल्स में निरंतर सीखने (continual learning) में सुधार के लिए व्यावहारिक डिजाइन मार्गदर्शन प्रदान करती है।

मूल लेखक: Joy Bose

प्रकाशित 2026-07-08
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Joy Bose

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: एक पुस्तकालय जो कभी भूलता नहीं

कल्पना कीजिए कि आपके पास एक विशाल, जादुई पुस्तकालय (एक AI सिस्टम) है जो लगातार नई चीजें सीख रहा है। अधिकांश आधुनिक पुस्तकालयों के साथ समस्या यह है कि एक नई किताब जोड़ने के लिए, आपको अक्सर पूरी इमारत को फिर से बनाना पड़ता है या सब कुछ व्यवस्थित करने के लिए एक विशाल टीम रखनी पड़ती है। यह धीमा और महंगा है।

यह शोध पत्र एक विशिष्ट प्रकार के पुस्तकालय पर केंद्रित है जिसे स्पार्स डिस्ट्रिब्यूटेड मेमोरी (Sparse Distributed Memory - SDM) कहा जाता है। SDM को केवल एक बुकशेल्फ़ के रूप में नहीं, बल्कि एक विशाल, अव्यवस्थित फाइलिंग कैबिनेट के रूप में सोचें जहाँ आप एक फाइल डाल सकते हैं और बाद में उसे वापस निकाल सकते हैं, भले ही वह फाइल थोड़ी क्षतिग्रस्त हो या उसका लेबल धुंधला हो। लक्ष्य इस फाइलिंग कैबिनेट को "निरंतर सीखने" (पुरानी चीजों को भूले बिना हमेशा नई चीजें सीखना) के लिए बेहतर बनाना है।

यह शोध पत्र एक विशिष्ट प्रश्न पर ध्यान केंद्रित करता है: कैबिनेट में फाइल रखने से पहले हम लेबल कैसे लगाते हैं?

दो लेबलिंग सिस्टम (Labeling Systems)

शोध पत्र जानकारी को लेबल करने (जिसे "एन्कोडिंग" कहा जाता है) के दो तरीकों की तुलना करता है:

  1. "ऑन/ऑफ" स्विच (थ्रेशोल्ड-बाइनरी): यह वर्तमान सिस्टम (जिसे CALM कहा जाता है) द्वारा उपयोग किया जाता है। कल्पना कीजिए कि आपके पास 1,000 तथ्यों की एक सूची है। आप प्रत्येक तथ्य को देखते हैं और पूछते हैं, "क्या यह तथ्य औसत से ऊपर है?" यदि हाँ, तो आप 1 लिखते हैं। यदि नहीं, तो आप 0 लिखते हैं।

    • खामी: यदि कोई तथ्य बमुश्किल औसत से ऊपर है, तो शोर (जैसे टाइपो या संदर्भ में मामूली बदलाव) उसे 1 से 0 में बदल सकता है। लेबल पूरी तरह बदल जाता है, और पुस्तकालय फाइल खो सकता है।
  2. "टॉप 10" रैंकिंग (रैंक-ऑर्डर): यह पुराना तरीका है जिसका परीक्षण यह शोध पत्र कर रहा है। केवल यह कहने के बजाय कि "हाँ" या "नहीं", आप सूची को देखते हैं और कहते हैं, "सबसे महत्वपूर्ण शीर्ष 10 तथ्य कौन से हैं?" फिर आप उन्हें न केवल "सक्रिय" के रूप में लेबल करते हैं, बल्कि उनकी रैंक के आधार पर एक स्कोर देते हैं (जैसे, #1 बहुत महत्वपूर्ण है, #10 कम महत्वपूर्ण है)।

    • लाभ: यदि थोड़ा सा शोर (noise) किसी तथ्य के स्कोर को बदल देता है, तो वह #10 से बदलकर #11 हो सकता है, लेकिन शीर्ष 9 समान रहते हैं। लेबल अधिक स्थिर होता है।

तीन बड़ी खोजें

शोधकर्ताओं ने यह देखने के लिए प्रयोग किए कि क्या "टॉप 10" रैंकिंग सिस्टम वास्तव में "ऑन/ऑफ" स्विच से बेहतर है। यहाँ उन्हें जो मिला:

1. पुराना ब्लूप्रिंट काम करता है (वैधीकरण)

सबसे पहले, उन्हें यह सुनिश्चित करना था कि पुराना "टॉप 10" सिस्टम वास्तव में वैसा ही काम करता है जैसा कि 2007 में मूल लेखकों ने दावा किया था।

  • परिणाम: उन्होंने सिस्टम को शून्य से बनाया और पाया कि यह पूरी तरह से काम करता है। वास्तव में, एक विशिष्ट जैविक-शैली वाले न्यूरॉन मॉडल (जिसे "WheelSDM" कहा जाता है) ने अमूर्त गणितीय मॉडल (abstract math model) के साथ सटीक परिणाम (100% मिलान) दिए। हालाँकि, एक अलग न्यूरॉन मॉडल (RDLIF) जो उन्होंने आज़माया था, भीड़भाड़ होने पर पूरी तरह से विफल रहा।
  • निष्कर्ष: पुराना "टॉप 10" ब्लूप्रिंट ठोस और विश्वसनीय है।

2. "बड़ी जीत" एक टीम वर्क है (मुख्य आश्चर्य)

शोधकर्ताओं ने शोर वाले इनपुट डेटा (जैसे धुंधला लेबल) के मामले में "टॉप 10" सिस्टम का "ऑन/ऑफ" सिस्टम के साथ परीक्षण किया।

  • परिणाम: "टॉप 10" सिस्टम सही फाइल खोजने में बहुत बेहतर था, भले ही लेबल बहुत क्षतिग्रस्त हो। कुछ परीक्षणों में यह 38% से 66% अधिक सटीक था!
  • ट्विस्ट: लेकिन फिर उन्होंने पूछा, "क्या यह लेबलिंग (Rank-Order) ने काम किया, या फाइलिंग नियम ने?"
    • पुराने सिस्टम ने एक विशेष "फाइलिंग नियम" का उपयोग किया जिसे MAX-Hebbian learning कहा जाता है। यह नियम एक "विजेता-सब-ले-जाता-है" (winner-take-all) नीति की तरह है: यदि एक नई फाइल किसी पुरानी फाइल के समान है, तो यह पुराने को तभी ओवरराइट करती है जब वह एक बेहतर मैच हो।
    • जब उन्होंने विशेष "विजेता-सब-ले-जाता-है" फाइलिंग नियम के बिना "टॉप 10" लेबल का परीक्षण किया, तो भारी लाभ गायब हो गया। "टॉप 10" लेबल अकेले केवल थोड़ा बेहतर (लगभग 1% से 5% बेहतर) था।
  • निष्कर्ष: भारी सुधार शोर के प्रति प्रतिरोध क्षमता (noise resistance) में आता है, जो "टॉप 10" लेबल को विशेष "विजेता-सब-ले-जाता-है" फाइलिंग नियम के साथ जोड़ने से आता है। यदि आप केवल लेबल बदलते हैं लेकिन पुराना फाइलिंग नियम रखते हैं, तो आपको बहुत कम लाभ मिलता है। यदि आप दोनों को बदलते हैं, तो आपको बहुत बड़ा लाभ मिलता है।

3. "टॉप 10" अभी भी थोड़ा बेहतर क्यों है

विशेष फाइलिंग नियम के बिना भी, "टॉप 10" लेबल "ऑन/ऑफ" स्विच की तुलना में थोड़ा अधिक मजबूत था।

  • उपमा: कल्पना कीजिए कि "ऑन/ऑफ" स्विच एक चट्टान (cliff) की तरह है। यदि आप एक इंच भी ज्यादा कदम रखते हैं, तो आप गिर जाते हैं। "टॉप 10" रैंकिंग एक ढलान (gentle slope) की तरह है। यदि आप थोड़ा चलते हैं, तो आप बस थोड़ा नीचे फिसलते हैं, लेकिन आप किनारे से नीचे नहीं गिरते। रैंकिंग सिस्टम त्रुटियों को अधिक सहजता से संभालता है क्योंकि यह महत्व के क्रम (order) पर निर्भर करता है, जो एक साधारण "हाँ/नहीं" रेखा की तुलना में बिगाड़ना कठिन है।

ऊर्जा और हार्डवेयर

शोध पत्र ने यह भी देखा कि इन सिस्टमों में कितनी "बिजली" (ऊर्जा) खर्च होती है।

  • उन्होंने "टॉप 10" सिस्टम की तुलना एक आधुनिक, ऊर्जा-कुशल सिस्टम SpikingMamba से की।
  • परिणाम: सैद्धांतिक रूप से, "टॉप 10" सिस्टम SpikingMamba से दोगुना कुशल हो सकता है यदि आपके पास विशेष, भविष्य के कंप्यूटर चिप्स हों जो सूचियों को तुरंत सॉर्ट कर सकें।
  • चुनौती: वर्तमान चिप्स में अभी भी यह विशेष सॉर्टिंग हार्डवेयर नहीं है। इसके अलावा, सबसे बड़ी ऊर्जा लागत लेबलिंग नहीं है, बल्कि "एड्रेस डिकोडर" (वह हिस्सा जो फाइल खोजने के लिए गलियारों में घूमता है) है। इसलिए, जबकि लेबलिंग कुशल है, पूरा सिस्टम अभी भी गलियारों में घूमने की लागत से नियंत्रित होता है।

"CALM" सिस्टम के लिए अंतिम निर्णय

शोध पत्र CALM सिस्टम (शुरुआत में बताए गए पुस्तकालय) के डेवलपर्स के लिए विशिष्ट सलाह के साथ समाप्त होता है:

  1. केवल लेबल न बदलें: यदि आप केवल "ऑन/ऑफ" से "टॉप 10" लेबल पर स्विच करते हैं, तो आपको एक छोटा, मामूली सुधार मिलेगा।
  2. पूरी प्रक्रिया बदलें: भारी विश्वसनीयता प्राप्त करने के लिए, आपको "टॉप 10" लेबल पर स्विच करना होगा और फाइलिंग नियम को "विजेता-सब-ले-जाता-है" (MAX-Hebbian) विधि में बदलना होगा।
  3. यह डिज़ाइन के बारे में है: जिस तरह से आप जानकारी का प्रतिनिधित्व करते हैं (लेबल), वह मेमोरी सिस्टम जितना ही महत्वपूर्ण है।

संक्षेप में: "टॉप 10" रैंकिंग सिस्टम एक बेहतरीन उपकरण है, लेकिन इसे वास्तव में चमकने के लिए सही "फाइलिंग नियम" की आवश्यकता है। एक साथ मिलकर, वे एक ऐसा मेमोरी सिस्टम बनाते हैं जो शोर और त्रुटियों के खिलाफ अविश्वसनीय रूप से मजबूत होता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →