From Physics to Attention: Building Vision Transformers from Oscillatory Neural Network Hardware
यह शोध पत्र HoKuVit को प्रस्तुत करता है, जो एक स्केलेबल कनवल्शनल विजन ट्रांसफॉर्मर है जो एक ऑसिलेटरी न्यूरल नेटवर्क आर्किटेक्चर में कुरामोटो-आधारित कनवल्शनल और हॉपफील्ड-आधारित लीनियर लेयर्स को एकीकृत करता है, जो CIFAR-10 पर अत्याधुनिक प्रदर्शन प्राप्त करते हुए डीप AI पाइपलाइनों तक ONNs को स्केल करने के लिए एक व्यवहार्य मार्ग प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर अविश्वसनीय रूप से तेज़ हैं, लेकिन वे बिजली के भी बहुत भूखे हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक जटिल होता जा रहा है, इन प्रणालियों को चलाने के लिए आवश्यक ऊर्जा एक महत्वपूर्ण बाधा बनती जा रही है। वैज्ञानिक लंबे समय से मानव मस्तिष्क से प्रेरणा लेने की कोशिश कर रहे हैं, इस उम्मीद में कि वे ऐसी मशीनें बना सकें जो सूचनाओं को उसी तरह संसाधित करें जैसे न्यूरॉन्स करते हैं: कम शक्ति और उच्च दक्षता के साथ। एक आशाजनक मार्ग "ऑसिलेटरी न्यूरल नेटवर्क" (दोलन संबंधी तंत्रिका नेटवर्क) में निहित है, जो एक प्रकार की कंप्यूटिंग है जो डेटा को संग्रहीत करने और संसाधित करने के लिए छोटे इलेक्ट्रॉनिक सर्किटों के लयबद्ध स्पंदन का उपयोग करती है। पारंपरिक चिप्स के स्थिर, बाइनरी ऑन-ऑफ स्विचों पर निर्भर रहने के बजाय, ये प्रणालियाँ तरंगों के समय और तालमेल (सिंक्रोनाइज़ेशन) का उपयोग करती हैं। जबकि शोधकर्ताओं ने सरल पहेलियों को हल करने के लिए इन नेटवर्कों के छोटे संस्करण सफलतापूर्वक बनाए हैं, वे इन्हें बड़े स्तर पर ले जाने में संघर्ष करते रहे हैं। चुनौती इन लयबद्ध सर्किटों को उन गहरे, स्तरित आर्किटेक्चरों में जोड़ने की रही है जो आज के उन्नत विज़न सिस्टम को शक्ति प्रदान करते हैं, जो मानवीय सटीकता के साथ तस्वीरों में वस्तुओं को पहचान सकते हैं।
हंगरी के पाज़्मान्य पेटर कैथोलिक यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस स्केलिंग समस्या को हल करने की दिशा में एक महत्वपूर्ण कदम उठाया है। उन्होंने होकुविट (HoKuVit) नामक एक नया प्रकार का आर्टिफिशियल इंटेलिजेंस मॉडल डिज़ाइन किया है, जो लगभग पूरी तरह से इन लयबद्ध, दोलनशील घटकों से बना है। शोधकर्ताओं ने दो विशिष्ट भौतिक सिद्धांतों को एक एकल, कार्यशील प्रणाली में सफलतापूर्वक संयोजित किया। पहला सिद्धांत युग्मित ऑसिलेटर्स (coupled oscillators) का एक नेटवर्क है जो एक फिल्टर के रूप में कार्य करता है, जो दृश्य जानकारी को इस आधार पर छाँटता है कि छवि के विभिन्न भाग एक-दूसरे के साथ कितनी अच्छी तरह तालमेल बिठाते हैं। दूसरा सिद्धांत एक नेटवर्क का उपयोग करता है जो मेमोरी के रूप में कार्य करता है, जहाँ सिस्टम एक स्थिर अवस्था में स्थिर हो जाता है जो एक पहचाने गए पैटर्न का प्रतिनिधित्व करता है। इन दो भौतिक व्यवहारों को एक पदानुक्रमित संरचना में बुनकर, टीम ने एक विज़न ट्रांसफार्मर बनाया—एक आधुनिक एआई आर्किटेक्चर जो छवियों का विश्लेषण करने में सक्षम है—जो केवल डिजिटल तर्क के बजाय भौतिकी के नियमों पर संचालित होता है।
शोधकर्ताओं ने अपने निर्माण का परीक्षण CIFAR-10 डेटासेट पर किया, जो 60,000 रंगीन छवियों का एक मानक संग्रह है जिसमें हवाई जहाज, बिल्ली और ट्रक जैसी दस अलग-अलग श्रेणियां शामिल हैं। यह आमतौर पर दोलनशील नेटवर्क का परीक्षण करने के लिए उपयोग किए जाने वाले सरल अंक पहचान प्रयोगों की तुलना में बहुत कठिन कार्य है। होकुविट मॉडल ने लगभग 80 प्रतिशत की सटीकता प्राप्त की, जो एक ऐसा परिणाम है जो मुख्य रूप से ऑसिलेटर डायनेमिक्स पर निर्मित किसी भी आर्किटेक्चर के लिए दर्ज की गई उच्चतम रिपोर्ट की गई सटीकता है। हालांकि यह उसी आर्किटेक्चर के एक मानक डिजिटल संस्करण द्वारा प्राप्त 92 प्रतिशत सटीकता से कम है, लेकिन यह समझौता जानबूझकर किया गया है। लक्ष्य वर्तमान डिजिटल चिप्स की कच्ची गति से मेल खाना नहीं है, बल्कि यह साबित करना है कि ये भौतिक सर्किट जटिल, वास्तविक दुनिया के दृश्य कार्यों को संभालने के लिए प्रशिक्षित किए जा सकते हैं। मॉडल में लगभग 0.87 मिलियन पैरामीटर हैं, और इनमें से लगभग 88 प्रतिशत को दोलनशील घटकों का उपयोग करके लागू किया गया है, केवल अंतिम निर्णय लेने वाली परतें ही डिजिटल बनी हुई हैं।
इस कार्य को जो बात विशेष रूप से उल्लेखनीय बनाती है, वह है कि शोधकर्ताओं ने इस प्रणाली को कैसे प्रशिक्षित किया। पारंपरिक रूप से, दोलनी संबंधी नेटवर्कों को निश्चित नियमों या सरल सीखने के तरीकों के साथ डिज़ाइन किया गया था जो उन्हें जटिल डेटा के अनुकूल होने की अनुमति नहीं देते थे। इस अध्ययन में, टीम ने बैकप्रोपैगेशन (backpropagation) नामक तकनीक का उपयोग किया, जो आधुनिक डीप लर्निंग मॉडल को प्रशिक्षित करने की मानक विधि है। उन्होंने दोलनी सर्किटों को अपने आंतरिक कनेक्शनों और लय को स्वयं समायोजित करने के लिए सिखाया ताकि त्रुटियों को कम किया जा सके, जिससे सिस्टम को सीधे छवियों से सीखने की अनुमति मिली। नेटवर्क के "मेमोरी" वाले हिस्से ने प्रत्येक वस्तु श्रेणी के लिए विशिष्ट, स्थिर पैटर्न में स्थिर होना सीखा, जबकि "फिल्टर" वाले हिस्से ने छवि की महत्वपूर्ण विशेषताओं को उजागर करने के लिए अपनी लय को सिंक्रोनाइज़ करना सीखा। शोधकर्ताओं ने सत्यापित किया कि ये डिजिटल सिमुलेशन बिल्कुल वैसे ही व्यवहार करते हैं जैसे वे एक भौतिक उपकरण में करेंगे, जिसमें सिस्टम की ऊर्जा सही उत्तर खोजने पर कम हो जाती है, ठीक वैसे ही जैसे एक गेंद सबसे निचले बिंदु को खोजने के लिए पहाड़ी से नीचे लुढ़कती है।
अध्ययन ने यह भी जांचा कि यदि इन प्रणालियों को वास्तविक, अपूर्ण हार्डवेयर के साथ बनाया जाए तो वे कितनी मजबूत होंगी। भौतिक सर्किट अक्सर अपने घटकों में सूक्ष्म भिन्नताओं या उनके संकेतों में शोर (नॉइज़) से प्रभावित होते हैं। शोधकर्ताओं ने मॉडल की गणनाओं में यादृच्छिक शोर जोड़कर और इसकी मेमोरी वेट्स (weights) की सटीकता को कम करके इन खामियों का अनुकरण किया। प्रणाली उल्लेखनीय रूप से लचीली साबित हुई; भले ही मेमोरी वेट्स को बहुत कम सटीकता तक कम कर दिया गया हो या महत्वपूर्ण शोर पेश किया गया हो, सटीकता में एक प्रतिशत से भी कम की गिरावट आई। यह सुझाव देता है कि यह आर्किटेक्चर भौतिक कार्यान्वयन के लिए उपयुक्त है, क्योंकि इसे उस पूर्ण सटीकता की आवश्यकता नहीं है जिसकी डिजिटल कंप्यूटर मांग करते हैं। शोधकर्ता अनुमान लगाते हैं कि यदि इसे विशेष हार्डवेयर पर बनाया जाता है, तो ऊर्जा की बचत पर्याप्त हो सकती है, जो पूरी तरह से डिजिटल सिस्टम की तुलना में दक्षता में चार गुना सुधार प्रदान कर सकती है, बशर्ते दोलनी भाग नगण्य शक्ति की खपत करें।
यह कार्य प्रदर्शित करता है कि सैद्धांतिक भौतिकी और व्यावहारिक आर्टिफिशियल इंटेलिजेंस के बीच की खाई कम हो रही है। इलेक्ट्रॉनिक सर्किट के लयबद्ध व्यवहार को एक सीमा के रूप में नहीं, बल्कि मुख्य कम्प्यूटेशनल इंजन के रूप में मानकर, शोधकर्ताओं ने दिखाया है कि ऐसे गहरे शिक्षण मॉडल बनाना संभव है जो आज के मॉडलों से मौलिक रूप से भिन्न हैं। होकुविट मॉडल एक ऐसे भविष्य का ब्लूप्रिंट है जहाँ आर्टिफिशियल इंटेलिजेंस भौतिक प्रणालियों की प्राकृतिक गतिशीलता पर चलता है, जो ऐसी मशीनों की ओर एक मार्ग प्रदान करता है जो न केवल स्मार्ट हैं बल्कि बहुत अधिक ऊर्जा-कुशल भी हैं। हालांकि वर्तमान मॉडल अभी एक सिमुलेशन है, लेकिन अवधारणा की पुष्टि स्पष्ट है: एक ऑसिलेटर के लयबद्ध स्पंदन का वास्तव में दुनिया को देखने और समझने के लिए उपयोग किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।