NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam
यह शोध पत्र न्यूरॉनफैब्रिक (NeuronFabric) को प्रस्तुत करता है, जो स्थानीय एडम (Adam) अपडेट के साथ ऑन-चिप ट्रांसफॉर्मर ट्रेनिंग के लिए एक सॉफ्टवेयर संदर्भ आर्किटेक्चर और C# प्रोटोटाइप है, जो संख्यात्मक शुद्धता को मान्य करता है और यह प्रदर्शित करता है कि एक BF16W कॉन्फ़िगरेशन (FP32 ऑप्टिमाइज़र मोमेंट्स के साथ BF16 वेट्स) मेमोरी की आवश्यकताओं को कम करके भविष्य के FPGA और ASIC कार्यान्वयन के लिए Xilinx ZCU102 डिवाइस की BRAM क्षमता के भीतर फिट होने के लिए अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ NeuronFabric पेपर का विवरण दिया गया है, जिसे रोज़मर्रा की भाषा में उपमाओं (analogies) का उपयोग करके अनुवादित किया गया है।
मुख्य विचार: एक आत्मनिर्भर सीखने वाली मशीन
कल्पना कीजिए कि आप एक रोबोट को शेक्सपियर लिखना सिखाने की कोशिश कर रहे हैं। वर्तमान में, अधिकांश AI ट्रेनिंग एक ऐसे छात्र की तरह काम करती है जिसका शिक्षक बहुत धीमा है।
- छात्र (चिप) एक वाक्य पढ़ता है और अगले शब्द का अनुमान लगाने की कोशिश करता है।
- छात्र गलती करता है और यह गणना करता है कि वह कैसे गलत था।
- छात्र को उत्तर कुंजी (answer key) प्राप्त करने के लिए शिक्षक के कार्यालय (होस्ट कंप्यूटर) तक दौड़कर जाना पड़ता है।
- शिक्षक छात्र के नोट्स को अपडेट करता है, और छात्र फिर से प्रयास करने के लिए वापस दौड़कर आता है।
यह "आने-जाने की दौड़" धीमी है और बहुत अधिक ऊर्जा बर्बाद करती है।
NeuronFabric एक अलग विचार प्रस्तावित करता है: एक छात्र जो उत्तर कुंजी अपनी जेब में रखता है।
इस प्रणाली में, चिप केवल अनुमान नहीं लगाती; यह अपनी गलतियों की गणना करती है, अपने स्वयं के नोट्स देखती है, और अपनी मेमोरी को तुरंत अपडेट करती है, वह भी बिना कमरे से बाहर निकले। पेपर यह सिद्ध करता है कि यह "स्व-अपडेटिंग" गणित सॉफ्टवेयर में सही ढंग से काम करता है, जो भविष्य के चिप के लिए आधार तैयार करता है जो भौतिक रूप से ऐसा कर सके।
मुख्य अवधारणाओं की व्याख्या
1. "लोकल एडम" (स्व-सुधार तंत्र)
मानक AI में, "ऑप्टिमाइज़र" (वह भाग जो गलतियों को ठीक करता है) आमतौर पर एक अलग कंप्यूटर पर रहता है। NeuronFabric हर एक न्यूरॉन के अंदर ऑप्टिमाइज़र को रख देता है।
- उपमा: एक कक्षा की कल्पना करें जहाँ प्रत्येक छात्र के पास अपना निजी व्हाइटबोर्ड है। जब वे कोई प्रश्न गलत करते हैं, तो वे शिक्षक के आने का इंतज़ार नहीं करते। वे तुरंत अपनी गलती मिटाते हैं, सुधार लिखते हैं, और आगे बढ़ जाते हैं।
- पेपर का दावा: लेखकों ने C# (एक प्रोग्रामिंग भाषा) में इसका एक सॉफ्टवेयर संस्करण बनाया है। उन्होंने सिद्ध किया कि जब प्रत्येक न्यूरॉन स्थानीय रूप से खुद को अपडेट करता है, तो गणित अभी भी सही रहता है, और रोबोट सुसंगत (coherent) टेक्स्ट लिखना सीख जाता है।
2. "BF16W" ट्रिक (बैकपैक रणनीति)
इस स्व-अपडेटिंग सिस्टम को एक छोटे चिप (जैसे FPGA) पर फिट करने के लिए, मेमोरी सबसे बड़ी समस्या है।
- समस्या: आमतौर पर, सीखने के लिए, एक रोबोट को हर ज्ञान के टुकड़े के लिए तीन भारी बैकपैक ले जाने की आवश्यकता होती है:
- स्वयं ज्ञान (Weights)।
- यह रिकॉर्ड कि उसने कितनी तेज़ी से सीखा (Momentum)।
- यह रिकॉर्ड कि उसमें कितना उतार-चढ़ाव आया (Variance)।
- यदि बैकपैक बहुत भारी हैं, तो रोबोट उन्हें अपने छोटे कमरे (SRAM) में नहीं समा पाएगा।
- समाधान (BF16W): लेखकों ने महसूस किया कि वे अपने "ज्ञान" वाले बैकपैक को छोटा कर सकते हैं। एक भारी, उच्च-परिशुद्धता (high-precision) वाले बैकपック (32-bit) के बजाय, वे एक हल्का, थोड़ा कम सटीक बैकपैक (16-bit) ले सकते हैं।
- परिणाम: उन्होंने "सीखने के रिकॉर्ड" को भारी और सटीक रखा, लेकिन अपने "ज्ञान" वाले बैकपैक को आधा कर दिया।
- उपमा: यह यात्रा के लिए पैकिंग करने जैसा है। आप अपने कीमती, नाजुक गहनों (सीखने के आँकड़े) को एक भारी, सुरक्षित बॉक्स में रखते हैं। लेकिन आप अपने भारी सर्दियों के कोट (weights) को एक पतले, हल्के जैकेट से बदल देते हैं। इससे आप अपने सूटकेस में इतना स्थान बचा लेते हैं कि उसमें अपना स्लीपिंग बैग (activation buffers) भी रख सकें ताकि आपको ज़मीन पर न सोना पड़े।
- पेपर का दावा: इस ट्रिक ने पर्याप्त जगह बचाई ताकि पूरे लर्निंग सिस्टम को बाहरी मेमोरी से जुड़े बिना एक मध्यम श्रेणी के चिप (ZCU102) पर फिट किया जा सके।
3. "वोकैबुलरी बजट" (सोचने के लिए जगह)
लेखकों ने छोटे AI मॉडल बनाते समय एक छिपे हुए जाल की खोज की।
- जाल: यदि आपके पास मेमोरी के लिए बहुत कम बजट है, और आप रोबोट को एक विशाल शब्दकोश (vocabulary) सिखाने की कोशिश करते हैं, तो शब्दकोश लगभग सारी जगह घेर लेता है। रोबोट के पास वास्तव में सोचने या व्याकरण सीखने के लिए कोई जगह नहीं बचती।
- उपमा: कल्पना कीजिए कि आपके पास एक छोटी नोटबुक है। यदि आप 90% पन्ने केवल वर्णमाला और शब्दकोश लिखने में खर्च कर देते हैं, तो आपके पास कहानी लिखने के लिए केवल कुछ ही पन्ने बचते हैं। कहानी निरर्थक होगी।
- समाधान: लेखकों ने "बाइट-लेवल" दृष्टिकोण (प्रत्येक अक्षर को एक सिंगल टोकन मानना) और एक छोटा वोकैबुलरी (256 कैरेक्टर) का उपयोग किया। इसका मतलब था कि "शब्दकोश" केवल नोटबुक के एक छोटे कोने में था, जिससे रोबोट के पास शेक्सपियर के वाक्य लिखने के लिए पर्याप्त जगह बची।
- पेपर का दावा: उन्होंने दिखाया कि यदि आप इस "वोकैबुलरी टैक्स" का प्रबंधन नहीं करते हैं, तो छोटे मॉडल अर्थपूर्ण नहीं बन पाते, चाहे उनका गणित कितना भी अच्छा क्यों न हो।
4. "नो-होस्ट" लक्ष्य (स्वतंत्र चिप)
इस शोध का अंतिम लक्ष्य एक ऐसा चिप है जिसे यह बताने के लिए कंप्यूटर (CPU) की आवश्यकता नहीं है कि उसे कैसे सीखना है।
- वर्तमान स्थिति: पेपर एक सॉफ्टवेयर प्रोटोटाइप का वर्णन करता है। यह यह सिद्ध करने के लिए एक मानक कंप्यूटर पर चलता है कि गणित सही है।
- भविष्य की स्थिति: लक्ष्य इस बिल्कुल समान सॉफ्टवेयर लॉजिक को एक भौतिक चिप (FPGA) पर डालना है।
- दावा: यदि वे इस भौतिक चिप को यह करने में सक्षम होते हैं, तो यह किसी सर्वर को डेटा भेजने या कंप्यूटर के वेट्स (weights) अपडेट करने का इंतज़ार किए बिना, नए डेटा पर खुद को प्रशिक्षित करने में सक्षम होगा। यह वास्तव में एक "ऑन-चिप" लर्निंग मशीन होगी।
उन्होंने वास्तव में क्या हासिल किया?
- उन्होंने एक प्रूफ-ऑफ-कॉन्सेप्ट बनाया: उन्होंने C# में एक प्रोग्राम लिखा जो पूरी तरह से अपने आप एक छोटा AI मॉडल (334,000 पैरामीटर्स) प्रशिक्षित करता है।
- उन्होंने सिद्ध किया कि गणित काम करता है: AI ने ऐसा टेक्स्ट जेनरेट करना सीखा जो शेक्सपियर जैसा दिखता है (जैसे, "HAMLET: Break him of him...")। यह एकदम सटीक नहीं था, लेकिन सुसंगत था।
- उन्होंने सिद्ध किया कि मेमोरी गणित काम करता है: उन्होंने गणना की कि कितने स्थान की आवश्यकता है और दिखाया कि उनके "लाइटवेट जैकेट" (BF16W) ट्रिक के साथ, पूरा सिस्टम एक विशिष्ट चिप (ZCU102) पर अतिरिक्त स्थान के साथ फिट हो जाता है।
- उन्होंने क्या नहीं किया: उन्होंने अभी तक भौतिक चिप नहीं बनाई है। उन्होंने चिप की गति या शक्ति को नहीं मापा। उन्होंने केवल सामान्य कंप्यूटर पर चलने वाले सॉफ्टवेयर को मापा है।
सारांश
इस पेपर को एक नए प्रकार के कार इंजन के ब्लूप्रिंट और सिमुलेशन के रूप में समझें।
लेखक कहते हैं: "मैंने एक ऐसा इंजन डिज़ाइन किया है जहाँ ईंधन इंजेक्शन और स्पार्क प्लग बिना किसी केंद्रीय कंप्यूटर के सीधे एक-दूसरे से बात करते हैं। मैंने इस इंजन का एक कंप्यूटर सिमुलेशन बनाया है, और यह बेहतरीन चलता है। मैंने यह भी गणना की है कि यह इंजन एक कॉम्पैक्ट कार में फिट होने के लिए पर्याप्त छोटा है। अब, मुझे वास्तविक धातु का इंजन बनाने की आवश्यकता है ताकि मैं सिद्ध कर सकूँ कि यह चलता है।"
पेपर इस बात का प्रमाण है कि डिज़ाइन सही है; भौतिक चिप अगला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।