Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
यह शोध पत्र एक स्लाइडिंग फेरोइलेक्ट्रिक सेमीकंडक्टर-आधारित इन-मेमोरी कंप्यूटिंग हार्डवेयर प्रस्तुत करता है जो वास्तविक समय की जनरेटिव एआई के लिए अल्ट्रा-लो लेटेंसी और ऊर्जा के साथ पूर्ण ट्रांसफार्मर अटेंशन प्रिमिटिव्स, जिसमें नेटिव सॉफ्टमैक्स भी शामिल है, को निष्पादित करने के लिए ध्रुवीकरण (पोलराइजेशन) के माध्यम से रैखिक और गैर-रैखिक ऑपरेटरों को आंतरिक रूप से जोड़ता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस, विशेष रूप से वे सिस्टम जो कहानियाँ लिखते हैं, भाषाओं का अनुवाद करते हैं और चित्र उत्पन्न करते हैं, 'अटेंशन' (attention) नामक एक गणितीय प्रक्रिया पर निर्भर करते हैं। यह प्रक्रिया मशीन को यह निर्णय लेने में सक्षम बनाती है कि किसी दिए गए क्षण में वाक्य या चित्र के किन हिस्सों पर सबसे अधिक ध्यान केंद्रित करना है। ये निर्णय लेने के लिए, कंप्यूटर को एक साथ दो अलग-अलग प्रकार की गणनाएँ करनी पड़ती हैं: सरल जोड़ और गुणा, जो सीधा-सादा है, और जटिल, घुमावदार गणितीय फलन (functions) जो परिणामों को सामान्य करने के लिए एक फिल्टर की तरह कार्य करते हैं। वर्तमान में, कंप्यूटर चिप्स को सरल गणित को बहुत अच्छी तरह से संभालने के लिए बनाया गया है, लेकिन वे जटिल फ़िल्टरिंग के लिए संघर्ष करते हैं। उन्हें डेटा को मेमोरी (जहाँ जानकारी संग्रहीत होती है) और एक अलग प्रोसेसर (जो जटिल गणित को संभालता है) के बीच बार-बार इधर-उधर ले जाना पड़ता है। डेटा का यह निरंतर आवागमन सिस्टम को धीमा कर देता है और भारी मात्रा में ऊर्जा की खपत करता है, जिससे एक ऐसी बाधा (bottleneck) उत्पन्न होती है जो इन बुद्धिमान प्रणालियों के तेज़ और कुशल बनने की गति को सीमित करती है।
नानजिंग यूनिवर्सिटी और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने एक नए प्रकार का कंप्यूटर चिप विकसित किया है जो इस समस्या को हल करता है। यह चिप दोनों प्रकार की गणनाओं को ठीक उसी स्थान पर करता है जहाँ डेटा संग्रहीत होता है। उन्होंने ReS2 नामक एक विशेष सामग्री से बना एक छोटा उपकरण बनाया है, जो एक स्तरित अर्धचालक (layered semiconductor) है जिसे इसके विद्युत गुणों को बदलने के लिए खिसकाया जा सकता है। इस एकल उपकरण के भीतर, उन्होंने बिजली के प्रवाह के लिए दो अलग-अलग मार्ग एकीकृत किए हैं। एक मार्ग सामग्री के माध्यम से लंबवत (vertically) बिजली को प्रवाहित करता है, जबकि दूसरा सतह के साथ तिरछा (sideways) बिजली को प्रवाहित करता है। दोनों मार्गों को एक ही आंतरिक स्विच द्वारा नियंत्रित किया जाता है, जिसे 'फेरोइलेक्ट्रिक पोलराइजेशन' (ferroelectric polarization) कहा जाता है, जो एक स्थायी मेमोरी सेटिंग की तरह कार्य करता है जिसे एक छोटे विद्युत पल्स के साथ आगे-पीछे बदला जा सकता है।
जब शोधकर्ता इस आंतरिक स्विच को बदलने के लिए वोल्टेज लागू करते हैं, तो यह एक ही समय में दोनों मार्गों के माध्यम से बिजली के प्रवाह को बदल देता है। लंबवत मार्ग एक सीधी, अनुमानित रेखा में प्रतिक्रिया करता है, जो इसे सरल जोड़ और गुणा कार्यों के लिए उपयुक्त बनाता है। हालाँकि, तिरछा मार्ग एक घुमावदार, घातांकीय (exponential) तरीके से प्रतिक्रिया करता है, जो स्वाभाविक रूप से उस जटिल फ़िल्टरिंग गणित को निष्पादत करता है जिसके लिए आमतौर पर एक अलग प्रोसेसर की आवश्यकता होती है। चूँकि दोनों मार्ग एक ही आंतरिक स्विच द्वारा नियंत्रित होते हैं, इसलिए यह उपकरण बिना किसी डेटा को स्थानांतरित किए एक ही चरण में पूरी 'अटेंशन' प्रक्रिया को निष्पादित कर सकता है। शोधकर्ताओं ने इन उपकरणों का एक छोटा ग्रिड बनाया, जिसे एक विशिष्ट पैटर्न में व्यवस्थित किया गया, और प्रदर्शित किया कि यह आधुनिक भाषा मॉडल के मुख्य तर्क (logic) को सफलतापूर्वक चला सकता है। यह प्रणाली अविश्वसनीय गति के साथ काम करती थी, जो 600 पिकोसेकंड (picoseconds) में संचालन पूरा करती है, जो एक बिलियनवें सेकंड से भी कम है, और इसने आश्चर्यजनक रूप से कम ऊर्जा का उपयोग किया, जो प्रति ऑपरेशन केवल 320 एटटो जूल (attojoules) था।
टीम केवल उपकरण बनाने तक ही नहीं रुकी; उन्होंने यह भी सिद्ध किया कि यह सीख और अनुकूलित हो सकता है। उपकरण के भीतर मार्गों के भौतिक आकार को समायोजित करके, वे इस बात को ट्यून कर सकते थे कि जटिल गणित कितना संवेदनशील है, जिससे वे चिप को विभिन्न प्रकार के कार्यों के लिए डिज़ाइन कर सकते थे। उन्होंने एक क्लोज्ड-लूप सेटअप के साथ सिस्टम का परीक्षण किया जहाँ चिप ने टेक्स्ट इनपुट प्राप्त किया और वास्तविक समय में प्रतिक्रिया उत्पन्न की। जब "I am hungry" (मुझे भूख लगी है) वाक्यांश के साथ प्रॉम्प्ट दिया गया, तो हार्डवेयर ने तुरंत आवश्यक अटेंशन वेट्स (attention weights) की गणना की और निरंतरता "need pizza now" (अभी पिज्जा चाहिए) उत्पन्न की। इसने प्रदर्शित किया कि उपकरण बाहरी मदद के बिना भाषा को समझने और उत्पन्न करने के पूर्ण चक्र को संभाल सकता है। इसके अलावा, शोधकर्ताओं ने अपने छोटे उपकरण के मापे गए प्रदर्शन का उपयोग एक बहुत बड़े सिस्टम का अनुकरण (simulate) करने के लिए किया। इन सिमुलेशन में, चिप ने एक चूहे के मस्तिष्क से विद्युत संकेतों को सफलतापूर्वक अनुवादित किया, जो डर या उत्साह जैसी विभिन्न भावनात्मक अवस्थाओं का प्रतिनिधित्व करते थे, लिखित भाषा में। सिमुलेशन ने दिखाया कि यह दृष्टिकोण संवेदी डेटा और भाषा निर्माण से जुड़े जटिल, वास्तविक दुनिया के कार्यों को संभालने के लिए स्केल (scale up) किया जा सकता है।
यह कार्य आर्टिफिशियल इंटेलिजेंस के लिए कंप्यूटर हार्डवेयर के डिज़ाइन में एक मौलिक बदलाव का प्रतिनिधित्व करता है। मौजूदा रैखिक गणित को तेज़ बनाने के बजाय, शोधकर्ताओं ने जटिल गणित को सीधे मेमोरी सामग्री के भीतर ही समाहित कर दिया। ऐसा करके, उन्होंने ऊर्जा-गहन डेटा स्थानांतरण की आवश्यकता को समाप्त कर दिया है जिसने चिप्स की पिछली पीढ़ियों को प्रभावित किया था। यह उपकरण बिना बिजली के एक वर्ष से अधिक समय तक अपनी सेटिंग्स बनाए रखता है और इसे लाखों बार फिर से लिखा जा सकता है, जो यह सिद्ध करता है कि यह व्यावहारिक उपयोग के लिए पर्याप्त स्थिर है। इस प्रयोग की सफलता यह सुझाव देती है कि कुशल आर्टिफिशियल इंटेलिजेंस का भविष्य बेहतर सॉफ्टवेयर या तेज़ प्रोसेसर से नहीं, बल्कि उन सामग्रियों से आ सकता है जो सोचने के लिए आवश्यक गणितीय कार्यों की पूरी श्रृंखला को, एक ही, छोटे मेमोरी यूनिट के भीतर, मूल रूप से करने में सक्षम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।