⚡ विद्युत इंजीनियरिंग

Variability-Aware Memristor Circuit for Hierarchical Bayesian Temporal Sampling

यह शोध पत्र एक परिवर्तनशीलता-जागरूक (variability-aware) मेमरिस्टर सर्किट प्रस्तुत करता है जो बेयसियन न्यूरल नेटवर्क को कुशलतापूर्वक लागू करने के लिए नियंत्रित टेम्पोरल स्टोकेस्टिसिटी और पदानुक्रमित प्रशिक्षण का लाभ उठाता है, जिससे MIT-BIH अतालता वर्गीकरण कार्य पर अनुमान सटीकता बनाए रखते हुए जनसंख्या-कोडिंग दृष्टिकोणों की तुलना में मेमोरी फुटप्रिंट में 2.7-गुना की कमी आती है।

मूल लेखक: Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

प्रकाशित 2026-09-30

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस सिस्टम से अब केवल भविष्यवाणियां करने के लिए ही नहीं, बल्कि उन भविष्यवाणियों के बारे में वे कितने आश्वस्त हैं, यह समझने के लिए भी तेजी से पूछा जा रहा है। "अनिश्चितता-जागरूक" (uncertainty-aware) कंप्यूटिंग की ओर यह बदलाव बेयसियन इन्फरेंस (Bayesian inference) नामक एक गणितीय दृष्टिकोण पर निर्भर करता है, जहाँ सिस्टम ज्ञान के हर हिस्से को एक निश्चित तथ्य के बजाय संभावनाओं की एक सीमा के रूप में मानता है। काम करने के लिए, इन सिस्टम्स को विभिन्न परिणामों का परीक्षण करने हेतु इन सीमाओं से निरंतर यादृच्छिक नमूने (random samples) उत्पन्न करने होते हैं। मानक कंप्यूटर चिप्स पर ऐसा कुशलतापूर्वक करना कठिन है क्योंकि इसके लिए बहुत अधिक मेमोरी और ऊर्जा की आवश्यकता होती है। शोधकर्ताओं ने लंबे समय से इन गणनाओं के लिए आवश्यक यादृच्छिकता (randomness) की नकल करने वाले मेमरिस्टर (memristors) नामक छोटे इलेक्ट्रॉनिक घटकों का उपयोग करके इसे हल करने की आशा की है, जो जानकारी को इस तरह से संग्रहीत कर सकते हैं। हालाँकि, इन घटकों की भौतिक वास्तविकता एक बाधा रही है; उनके पास मौजूद यादृच्छिकता अक्सर सटीक वैज्ञानिक कार्य के लिए उपयोगी होने के बजाय बहुत अधिक अराजक और अप्रत्याशित होती है।

शोधकर्ताओं के एक दल ने अब इस विशिष्ट कार्य के लिए इन घटकों का उपयोग करने का एक नया तरीका प्रदर्शित किया है, जो प्रभावी रूप से त्रुटि के स्रोत को एक विश्वसनीय उपकरण में बदल देता है। उन्होंने हाफनियम ऑक्साइड से बने मेमरिस्टर के एक प्रकार का उपयोग करके एक कस्टम सर्किट बनाया, जिसे एक मानक सिलिकॉन चिप में एकीकृत किया गया है। इन छोटे उपकरणों को अपने आप पूर्ण यादृच्छिकता उत्पन्न करने के लिए मजबूर करने के बजाय, टीम ने एक ऐसा सिस्टम डिजाइन किया जो सूचना के भंडारण को यादृच्छिकता के निर्माण से अलग करता है। अपने सेटअप में, ज्ञान के एक एकल हिस्से का प्रतिनिधित्व करने के लिए तीन इन छोटे उपकरणों को एक साथ समूहबद्ध किया गया है। दो उपकरण उस ज्ञान के औसत मान को संग्रहीत करते हैं, जबकि तीसरा यह नियंत्रित करने के लिए एक 'कंट्रोल नॉब' के रूप में कार्य करता है कि मान में कितना उतार-चढ़ाव होना चाहिए। महत्वपूर्ण रूप से, वास्तविक यादृच्छिक उतार-चढ़ाव इन उपकरणों से नहीं आते हैं। इसके बजाय, सर्किट सिस्टम में बाहरी व्हाइट नॉइज़ (white noise) की एक स्थिर, नियंत्रित धारा इंजेक्ट करता है। तीसरा मेमरिस्टर केवल यह समायोजित करता है कि इस बाहरी शोर का कितना हिस्सा गुजरने दिया जाए, जो प्रभावी रूप से अनिश्चितता के स्तर को ट्यून करता है।

शोधकर्ताओं ने पहले यह परीक्षण किया कि क्या मेमरिस्टर अपनी ओर से आवश्यक यादृच्छिकता उत्पन्न कर सकते हैं। उन्होंने पाया कि उपकरणों के भीतर प्राकृतिक उतार-चढ़ाव असंगत थे और एक ऐसे पैटर्न का पालन करते थे जो समय के साथ बदलता रहता है, जिससे वे सिस्टम के लिए आवश्यक सटीक सैंपलिंग के लिए अनुपयुक्त हो गए। शोर किसी विशेष डिवाइस के इतिहास पर बहुत अधिक निर्भर था और एक घटक से दूसरे घटक में बहुत भिन्न होता था। बाहरी शोर स्रोत को पेश करके, उन्होंने इन सीमाओं को पूरी तरह से दरकिनार कर दिया। बाहरी शोर ने यादृच्छिकता की एक स्वच्छ, स्थिर धारा प्रदान की जो हर बार समान थी, जबकि मेमरिस्टर केवल सटीक 'वॉल्यूम कंट्रोल' के रूप में कार्य करते थे। इस अलगाव ने टीम को औसत मान और अनिश्चितता की मात्रा को स्वतंत्र रूप से प्रोग्राम करने की अनुमति दी, जो कि इतने सघन हार्डवेयर के साथ पहले कठिन था।

इस हार्डवेयर को वास्तविक दुनिया के कार्यों के लिए उपयोगी बनाने के लिए, टीम ने एक विशेष प्रशिक्षण पद्धति विकसित की जो उनके चिप की भौतिक विशिष्टताओं को ध्यान में रखती है। उन्होंने व्यक्तिगत मेमरिस्टर्स के बीच होने वाले अनिवार्य छोटे अंतरों को ठीक किए जाने वाले त्रुटियों के रूप में नहीं, बल्कि सिस्टम के व्यवहार के एक ज्ञात हिस्से के रूप में माना। इन भौतिक विविधताओं को शामिल करने वाला एक मॉडल बनाकर, वे एक न्यूरल नेटवर्क को वास्तविक हार्डवेयर की सीमाओं के भीतर पूर्ण रूप से कार्य करने के लिए प्रशिक्षित कर सके। जब उन्होंने एक मानक मेडिकल डेटाबेस से हृदय की लय (heart rhythms) के वर्गीकरण के कार्य पर इस सिस्टम का परीक्षण किया, तो परिणाम उत्साहजनक थे। नए दृष्टिकोण ने उन पिछले तरीकों की तुलना में काफी कम मेमोरी का उपयोग किया जो अनिश्चितता को दर्शाने के लिए उपकरणों के बड़े समूहों पर निर्भर थे। इसने भविष्यवाणियों की सटीकता और उन भविष्यवाणियों में सिस्टम के आत्मविश्वास का अनुमान लगाने की क्षमता को सफलतापूर्वक बनाए रखा। यह कार्य जटिल, अनिश्चितता-जागरूक तर्क करने वाले सघन, ऊर्जा-कुशल चिप्स बनाने की दिशा में एक स्पष्ट मार्ग दिखाता है, जो मानव मस्तिष्क की तरह सूक्ष्मता से सोचने वाले हार्डवेयर की ओर एक कदम है।

तकनीकी सारांश: पदानुक्रमित बायेसियन टेम्पोरल सैंपलिंग के लिए परिवर्तनशीलता-जागरूक मेमरिस्टर सर्किट

समस्या विवरण
बायेसियन न्यूरल नेटवर्क (BNNs) को ऐसे हार्डवेयर की आवश्यकता होती है जो अनिश्चितता को मापने के लिए संभाव्य सिनैप्टिक भार (probabilistic synaptic weights) को संग्रहीत करने और नमूना लेने (sampling) में सक्षम हो। जबकि पॉपुलेशन कोडिंग—डिवाइस-टू-डिवाइस (D2D) परिवर्तनशीलता का लाभ उठाने के लिए समान उपकरणों के एक सरणी (array) का उपयोग करना—अनिश्चितता का एक सीधा प्रतिनिधित्व प्रदान करती है, यह भारी मेमोरी ओवरहेड का कारण बनती है, क्योंकि प्रत्येक सिनैप्टिक भार के लिए उतने ही उपकरणों की आवश्यकता होती है जितने कि नमूनों (samples) की संख्या है। टेम्पोरल सैंपलिंग, जो अंतर्निहित चक्र-से-चक्र (C2C) या रीड-टू-रीड (R2R) परिवर्तनशीलता से नमूने उत्पन्न करने के लिए एक एकल बिट-सेल का बार-बार उपयोग करती है, एक अधिक संक्षिप्त विकल्प प्रदान करती है। हालाँकि, हार्डवेयर में टेम्पोरल सैंपलिंग को साकार करना चुनौतीपूर्ण है क्योंकि अंतर्निहित मेमरिस्टर उतार-चढ़ाव में अक्सर आवश्यक नियंत्रण, पुनरुत्पादकता और स्पेक्ट्रल गुण (विशेष रूप से, वे व्हाइट-नॉइज़ के बजाय फ्लिकर-नॉइज़ जैसे होते हैं) की कमी होती है जो मजबूत बायेसियन अनुमान के लिए आवश्यक हैं। इसके अलावा, मौजूदा दृष्टिकोण बार-बार राइट साइकल के बिना, जो डिवाइस के एंड्योरेंस (endurance) को कम करते हैं, वितरण के माध्य (mean) और मानक विचलन (standard deviation) को स्वतंत्र रूप से नियंत्रित करने में संघर्ष करते हैं।

कार्यप्रणाली
लेखक एक मेमरिस्टर-आधारित टेम्पोरल-कोडिंग सर्किट का प्रस्ताव करते हैं जो गैर-अस्थिर (non-volatile) पैरामीटर भंडारण को टेम्पोरल स्टोकास्टिसिटी के निर्माण से अलग करता है। कार्यप्रणाली के तीन मुख्य घटक हैं:

सर्किट आर्किटेक्चर:
- सिस्टम एक 2048-मेमरिस्टर प्रदर्शनकार (64×32 ऐरे) का उपयोग करता है, जिसे TiN/Ti/HfOx/TiN स्टैक्स का उपयोग करके 130 nm CMOS तकनीक के बैक-एंड-ऑफ-लाइन (BEOL) में निर्मित किया गया है।
- प्रत्येक सिनैप्टिक भार को तीन मेमरिस्टर उपकरणों का उपयोग करके एनकोड किया जाता है: एक स्टोकास्टिक घटक ( $G_\sigma$ ) को नियंत्रित करने के लिए और दो डिफरेंशियल डिवाइस धनात्मक और ऋणात्मक माध्य योगदान ( $G_{\mu+}$ और $G_{\mu-}$ ) को एनकोड करने के लिए।
- अंतर्निहित डिवाइस नॉइज़ पर निर्भर रहने के बजाय, सर्किट $\sigma$ शाखा में एक बाहरी रूप से जनरेट किए गए व्हाइट-नॉइज़ स्रोत को इंजेक्ट करता है। मेमरिस्टर कंडक्टेंस $G_\sigma$ एक प्रोग्रामेबल गेन के रूप में कार्य करता है, जो प्रभावी RC कटऑफ फ्रीक्वेंसी को नियंत्रित करता है और इस प्रकार आउटपुट तक पहुँचने वाले उतार-चढ़ाव के आयाम (amplitude) को नियंत्रित करता है।
- माध्य ( $\mu$ ) को दो डिफरेंशियल शाखाओं के करंट के अंतर से प्राप्त किया जाता है, जबकि मानक विचलन ( $\sigma$ ) को नॉइज़-इंजेक्टेड शाखा के उतार-चढ़ाव से प्राप्त किया जाता है। आउटपुट को एक चार्ज ट्रांस-इम्पीडेंस एम्पलीफायर (CTIA) द्वारा प्रोसेस किया जाता है ताकि एक गाऊसी वितरण $N(\mu, \sigma^2)$ का पालन करने वाले टेम्पोरल सैंपल उत्पन्न किए जा सकें।
अंतर्निहित परिवर्तनशीलता का लक्षण वर्णन:
- लेखकों ने प्रयोगात्मक रूप से प्रदर्शित किया कि अंतर्निहित मेमरिस्टर परिवर्तनशीलता (D2D, C2C, और R2R) टेम्पोरल सैंपलिंग के लिए अपर्याप्त है। पाया गया कि R2R परिवर्तनशीलता बहुत कम थी, उपकरणों के बीच अत्यधिक बिखरी हुई थी, और प्रोग्राम किए गए कंडक्टेंस स्टेट से स्वतंत्र थी।
- स्पेक्ट्रल विश्लेषण से पता चला कि अंतर्निहित R2R उतार-चढ़ाव $1/f^\beta$ निर्भरता ( $\beta \approx 1$ ) का पालन करते हैं, जो फ्लिकर नॉइज़ की विशेषता है, न कि आवश्यक व्हाइट नॉइज़ स्पेक्ट्रम ( $\beta = 0$ ) की।
हार्डवेयर-अवेयर लर्निंग (पदानुक्रमित वेरिएशनल मॉडल):
- $\mu$ और $\sigma$ को एनकोड करने वाले मेमरिस्टर्स में शेष D2D परिवर्तनशीलता को संबोधित करने के लिए, लेखकों ने एक पदानुक्रमित संभाव्यता मॉडल विकसित किया है। वे प्रयोगात्मक रूप से प्राप्त भारों को नियतात्मक मानों के रूप में नहीं, बल्कि एक बावेरिएट गाऊसी वितरण (मीन वेक्टर $M$ और कोवेरिएंस मैट्रिक्स $\Sigma$ के साथ) द्वारा परिभाषित "स्टोकास्टिक एलिप्टिकल स्टेट्स" के रूप में मानते हैं।
- प्रशिक्षण पदानुक्रमित वेरिएशनल मॉडल्स (HVM) का उपयोग करके किया जाता है। एक निरंतर हिडन एलिप्टिकल वितरण ( $\epsilon_H$ ) अनुकूलन चर (optimization variable) के रूप में कार्य करता है। प्रत्येक लर्निंग स्टेप पर, इस निरंतर अवस्था को चिप माप से प्राप्त एक डिस्क्रीट कोडबुक से निकटतम प्रयोगात्मक रूप से साकार योग्य क्वांटाइज्ड अवस्था ( $\epsilon_Q$ ) पर प्रोजेक्ट किया जाता है।
- बायेसियन लॉस और ग्रेडिएंट्स को क्वांटाइज्ड स्टेट $\epsilon_Q$ पर मूल्यांकित किया जाता है, यह सुनिश्चित करता है कि नेटवर्क सीधे हार्डवेयर के भौतिक बाधाओं और अनिश्चितता सांख्यिकी के विरुद्ध सीखता है।

प्रमुख परिणाम

नियंत्रित स्टोकास्टिसिटी: प्रस्तावित आर्किटेक्चर सफलतापूर्वक बाहरी व्हाइट नॉइज़ इंजेक्ट करने पर मेमरिस्टर कंडक्टेंस $G_\sigma$ और आउटपुट मानक विचलन $\sigma(V_{out})$ के बीच एक रैखिक, प्रोग्रामेबल संबंध स्थापित करता है। इंजेक्शन के बिना, संबंध गैर-मोनोटोनिक और अविश्वसनीय है।
स्पेक्ट्रल प्योरिटी: बाहरी इंजेक्शन के साथ आउटपुट नॉइज़ स्पेक्ट्रम लगभग फ्लैट ( $\beta = 0$ ) है, जो व्हाइट नॉइज़ के उत्पादन की पुष्टि करता है, जबकि माध्य शाखा का अंतर्निहित शोर नगण्य बना रहता है।
प्रदर्शन: MIT-BIH अतालता (arrhythmia) वर्गीकरण कार्य पर, प्रस्तावित दृष्टिकोण एक समकक्ष पॉपुलेशन-कोडिंग कार्यान्वयन की तुलना में 2.7 गुना कम मेमोरी फुटप्रिंट प्राप्त करता है।
सटीकता और अनिश्चितता: हार्डवेयर-अवेयर ट्रेनिंग बायेसियन अनुमान की सटीकता और अनिश्चितता अनुमानों को सुरक्षित रखती है। सिस्टम यह प्रदर्शित करता है कि टेम्पोरल सैंपल्स की एक सीमित संख्या वर्गीकरण और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन प्रदर्शन को रिकवर करने के लिए पर्याप्त है, जो सैंपलिंग लागत और सटीकता के बीच एक नियंत्रणीय ट्रेड-ऑफ प्रदान करता है।

महत्व और दावे
यह पेपर दावा करता है कि यह वितरण मापदंडों के भंडारण को टेम्पोरल रैंडमनेस के निर्माण से अलग करके, मेमरिस्टिव डिवाइसेस का उपयोग करके कॉम्पैक्ट बायेसियन अनुमान के लिए एक मार्ग स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

स्केलेबिलिटी: एक वजन प्रति सेल (पैरामीटर नियंत्रण के लिए तीन उपकरणों के साथ) और टेम्पोरल सैंपलिंग का उपयोग करके, यह दृष्टिकोण पॉपुलेशन कोडिंग के मेमोरी ओवरहेड से बचता है।
मजबूती (Robustness): बाहरी नॉइज़ स्रोतों का उपयोग और डिवाइस परिवर्तनशीलता का स्पष्ट मॉडलिंग यह सुनिश्चित करता है कि सिस्टम हार्डवेयर की कमियों के प्रति मजबूत बना रहे, जिससे वितरण को आकार देने के लिए बार-बार राइट साइकल की आवश्यकता नहीं पड़ती।
हार्डवेयर-सॉफ्टवेयर को-डिज़ाइन: प्रयोगात्मक रूप से मापे गए डिवाइस सांख्यिकी को प्रशिक्षण लूप (HVM के माध्यम से) में एकीकृत करने से नेटवर्क को त्रुटियों की भरपाई करने के बजाय, सीधे हार्डवेयर के विशिष्ट स्टोकास्टिक स्वभाव के अनुकूल होने की अनुमति मिलती है।

लेखक निष्कर्ष निकालते हैं कि यह आर्किटेक्चर गैर-अस्थिर मेमोरी फुटप्रिंट को बढ़ाए बिना समय के साथ स्टोकास्टिक सैंपल्स की संख्या को बढ़ाने की अनुमति देता है, जो स्केलेबल बायेसियन हार्डवेयर के लिए एक प्रमुख बाधा को संबोधित करता है।

इसी तरह के और पेपर