A Node-by-Node White-Box Walkthrough of a Quantized Hybrid Gated DeltaNet Language Model: Instrument Calibration and the Information Trajectory from Embedding to Output
यह शोध पत्र एक कस्टम, पूर्ण रूप से इंस्ट्रुमेंटेड इन्फरेंस इंजन का उपयोग करते हुए एक क्वांटाइज्ड हाइब्रिड गेटेड डेल्टानेट (Gated DeltaNet) लैंग्वेज मॉडल के नोड-दर-नोड व्हाइट-बॉक्स विश्लेषण को प्रस्तुत करता है, जो मानक कार्यान्वयन के विरुद्ध इसके कैलिब्रेशन को प्रदर्शित करता है और इनपुट एम्बेडिंग से आउटपुट टोकन तक सूचना प्रवाह के पुनरुत्पादनीय, चरण-दर-चरण अवलोकन प्रदान करने के साथ-साथ न्यूरल नेटवर्क सिद्धांत और अन्य वैज्ञानिक क्षेत्रों के संगम पर खुले प्रश्नों की पहचान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर कैसे बोलना सीखता है, इसे समझने के लिए वैज्ञानिकों ने लंबे समय से मशीन को एक 'ब्लैक बॉक्स' (एक बंद डिब्बा) माना है। वे इसमें एक वाक्य डालते हैं और देखते हैं कि क्या बाहर आता है, या वे मशीन की सोच के अंतिम चरण में झाँककर अनुमान लगाते हैं कि मशीन क्या कर रही थी। लेकिन यह दृष्टिकोण एक अंतराल छोड़ देता है। यह एक घड़ी को केवल उसके द्वारा दिखाए जाने वाले समय को देखकर समझने की कोशिश करने जैसा है, बिना कभी उसके गियरों को घूमते हुए देखे। स्वतंत्र शोधकर्ता वेनलोंग ली (Wenlong Li) का नया अध्ययन एक अलग रास्ता अपनाता है। बाहर से अनुमान लगाने के बजाय, शोधकर्ता ने एक कस्टम टूल बनाया जो उन्हें मशीन की सोचने की प्रक्रिया के हर एक चरण को होते हुए देखने की अनुमति देता है। यह कार्य कृत्रिम बुद्धिमत्ता (AI) के एक विशिष्ट प्रकार पर केंद्रित है जो सूचनाओं को संसाधित करने के दो अलग-अलग तरीकों को जोड़ता है: एक जो अतीत को संक्षिप्त और कुशल तरीके से याद रखता है, और दूसरा जो अब तक देखी गई हर चीज़ पर नज़र रखता है। एक एकल शब्द को पूरे सिस्टम से गुजरते हुए देखते हुए, यह अध्ययन प्रकट करता है कि मशीन वास्तव में एक सरल इनपुट को जटिल उत्तर में कैसे बदलती है, यह दिखाते हुए कि सबसे महत्वपूर्ण कार्य शुरुआत में नहीं, बल्कि बिल्कुल अंत में होता है।
इस जांच का विषय एक भाषा मॉडल (language model) है, जो एक कंप्यूटर प्रोग्राम है जिसे वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है। शोधकर्ता ने इस मॉडल के एक ऐसे संस्करण का उपयोग किया है जिसे मानक कंप्यूटर हार्डवेयर पर फिट होने के लिए संकुचित किया गया है, जिसे 'क्वांटाइजेशन' (quantification) कहा जाता है, जो मशीन द्वारा सोचने के लिए उपयोग किए जाने वाले नंबरों की सटीकता को कम कर देता है। यह सुनिश्चित करने के लिए कि उनका कस्टम टूल सटीक था, शोधकर्ता ने पहले इसी मॉडल के एक व्यापक रूप से विश्वसनीय, स्वतंत्र संस्करण के विरुद्ध इसका परीक्षण किया। उन्होंने शब्दों के एक ही क्रम को दोनों प्रणालियों के माध्यम से चलाया और परिणामों की तुलना की। दोनों प्रणालियाँ अपने अधिकांश विकल्पों पर सहमत थीं, और उनकी आंतरिक गणनाएँ इतनी बारीकी से मेल खाती थीं कि यह पुष्टि हो सके कि कस्टम टूल एक विश्वसनीय मापने वाला उपकरण था। यह अंशांकन (calibration) महत्वपूर्ण था, क्योंकि इसका अर्थ था कि शोधकर्ता उसके बाद के विस्तृत प्रेक्षणों पर भरोसा कर सकते थे।
यात्रा तब शुरू होती है जब एक शब्द, जिसे एक संख्या के रूप में दर्शाया जाता है, मशीन में प्रवेश करता है। इस बिल्कुल पहले क्षण में, मशीन उस शब्द के अर्थ को केवल थामे रहती है। जैसे ही डेटा नेटवर्क की पहली परत में जाता है, इसे 'नॉर्मलाइज' (normalize) किया जाता है, जो एक ऐसी प्रक्रिया है जो गणनाओं को स्थिर रखने के लिए इसके आकार को समायोजित करती है। इस चरण में, मशीन केवल वर्तमान शब्द को देख रही है; इसने अभी तक अतीत से कुछ भी याद नहीं किया है। पहला बड़ा परिवर्तन उन परतों में होता है जो मशीन की स्मृति (memory) के लिए समर्पित हैं। यहाँ, मशीन हाल ही में आए कुछ शब्दों को देखने के लिए एक छोटी खिड़की का उपयोग करती है, और एक बड़े, आंतरिक मेमोरी मैट्रिक्स को अपडेट करती है। यह मैट्रिक्स एक गतिशील नोटबुक की तरह कार्य करता है जहाँ मशीन नई जानकारी लिखती है और यह तय करती है कि कितनी महत्वपूर्ण दिखने के आधार पर किसे रखना है और किसे हटाना है। अध्ययन में पाया गया कि यह स्मृति प्रणाली हर नए शब्द के साथ बेतहाशा नहीं बदलती है; इसके बजाय, यह एक स्थिर, नियंत्रित लय के साथ काम करती है, कुछ स्मृतियों को लंबे समय तक रखती है जबकि दूसरों को जल्दी से मिटने देती है।
जैसे-जैसे जानकारी नेटवर्क में गहराई तक जाती है, यह उन परतों से गुजरती है जो बातचीत के पूरे इतिहास पर ध्यान देती हैं, न कि केवल हालिया अतीत पर। ये परतें वर्तमान शब्द को उससे पहले आई हर चीज़ से जोड़ती हैं, जिससे मशीन पूरे वाक्य के संदर्भ और संबंधों को समझने में सक्षम होती है। शोधकर्ता ने देखा कि मशीन केवल पुराने में नई जानकारी जोड़ती ही नहीं है; बल्कि यह वाक्य के संपूर्ण प्रतिनिधित्व को निरंतर नया आकार देती है। इनपुट शब्द का मूल आकार जल्दी ही गायब हो जाता है, और उसकी जगह एक अधिक अमूर्त (abstract) रूप ले लेता है जो सतही विवरणों के बिना अर्थ को वहन करता है। यह अमूर्त अवस्था नेटवर्क के माध्यम से यात्रा के अधिकांश भाग में बनी रहती है, जो एक लंबा मध्य भाग है जहाँ मशीन किसी विशिष्ट उत्तर के प्रति प्रतिबद्ध हुए बिना अपनी समझ को व्यवस्थित और परिष्कृत कर रही होती है।
अध्ययन की सबसे चौंकाने वाली खोज यह है कि मशीन अंततः कैसे निर्णय लेती है कि उसे क्या कहना है। अपनी गहराई के अधिकांश भाग के लिए, मशीन जानकारी को मूल इनपुट से दूर ले जाती है, इसे एक अमूर्त क्षमता की स्थिति में रखती है। यह केवल अंतिम कुछ परतों में होता है कि मशीन इस अमूर्त अवस्था को तेजी से उस विशिष्ट आउटपुट के साथ संरेखित करती है जिसे उसे उत्पन्न करने की आवश्यकता होती है। अध्ययन ने मापा कि डेटा प्रत्येक चरण में कितना बदला और पाया कि सबसे नाटकीय बदलाव बिल्कुल अंत में होता है, मशीन द्वारा अगला शब्द चुनने से ठीक पहले। यह अंतिम अंशांकन चरण सूचना के पैमाने को समायोजित करता है ताकि इसे संभावित शब्दों की एक सूची में वापस अनुवादित किया जा सके। मशीन अपना अधिकांश प्रयास इनपुट से दूर जाने में लगाती है और केवल अंतिम क्षणों में ही एक स्पष्ट निर्णय लेने के लिए अपना निर्णायक कार्य केंद्रित करती है।
शोधकर्ता ने यह भी नोट किया कि जबकि मशीन का व्यवहार स्पष्ट और मापने योग्य है, इसके अंतर्निहित कारणों में से कुछ के लिए मौजूदा भौतिकी या गणित के सिद्धांत अभी भी पूरी तरह से स्पष्टीकरण देने में असमर्थ हैं। मशीन स्थिरता और दक्षता के किनारे पर संतुलित एक अवस्था में कार्य करती है, जो सूचना को लगातार अपडेट और क्षय (decay) करती है, जिसे वर्तमान वैज्ञानिक ढांचे पूरी तरह से वर्णित करने के लिए संघर्ष करते हैं। अध्ययन यह दावा नहीं करता है कि उसने इन गहरे सैद्धांतिक प्रश्नों को हल कर लिया है। इसके बजाय, यह मशीन वास्तव में क्या करती है, उसका एक सटीक, चरण-दर-चरण रिकॉर्ड प्रदान करता है, और सभी डेटा और उपकरणों को जारी करता है ताकि अन्य लोग निष्कर्षों को सत्यापित कर सकें। ब्लैक बॉक्स को खोलकर और गियरों को घूमते हुए देखकर, शोधकर्ता ने दिखाया है कि एक सरल इनपुट से एक जटिल उत्तर तक का मार्ग एक लंबी, अमूर्त यात्रा है जो केवल अंत में ही एक स्पष्ट निर्णय में बदलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।