WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

आधुनिक कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) जो टेक्स्ट जनरेट करती है, एक ट्रांसफॉर्मर नामक संरचना पर आधारित होती है, जो सूचनाओं को कई स्तरों (लेयर्स) की एक श्रृंखला में प्रोसेस करती है। एक फैक्ट्री असेंबली लाइन की कल्पना करें जहाँ कच्चा माल स्टेशन एक से गुजरता है, फिर स्टेशन दो से, और इसी तरह आगे बढ़ता है, जिसमें प्रत्येक स्टेशन उत्पाद को और अधिक परिष्कृत करता है। एक मानक सेटअप में, जब सिस्टम अगले टेक्स्ट के टुकड़े पर जाता है, तो प्रत्येक स्टेशन केवल पिछले चरण में अपने ठीक ऊपर वाले स्टेशन द्वारा किए गए कार्य को ही देख सकता है। इसका अर्थ यह है कि स्टैक के शीर्ष पर बनी गहरी और जटिल अंतर्दृष्टि अक्सर निचले, शुरुआती स्टेशनों के लिए तब सुलभ नहीं हो पाती जब वे नई जानकारी को प्रोसेस कर रहे होते हैं। हालाँकि सिस्टम ने समझ का एक समृद्ध इतिहास बना लिया होता है, लेकिन वह उस पूर्ण गहराई का कुशलतापूर्वक उपयोग करने में संघर्ष करता है, जिससे लंबी अवधि के संदर्भ (कॉन्टेक्स्ट) को ट्रैक करने या जटिल समस्याओं को हल करने की इसकी क्षमता सीमित हो जाती है।

दक्षिणी कैलिफोर्निया विश्वविद्यालय के शोधकर्ताओं ने इस बाधा को दूर करने के लिए 'व्हाइटमैटर' (WhiteMatter) नामक एक नया आर्किटेक्चर प्रस्तावित किया है। प्रत्येक परत को उसकी अपनी गहराई तक सीमित रखने के बजाय, व्हाइटमैटर सिस्टम के हर हिस्से को अतीत की प्रत्येक परत से प्राप्त सूचनाओं के एक मिश्रित सारांश (ब्लेंडेड समरी) तक पहुँच प्रदान करता है। टीम ने एक ऐसा तंत्र बनाया है जो एक डायनेमिक राउटर की तरह कार्य करता है, जो पिछले शब्द के सभी स्तरों के 'हिडन स्टेट्स' को लेता है और उन्हें साझा चैनलों के एक छोटे समूह में मिला देता है। वर्तमान शब्द का प्रत्येक स्तर फिर इन चैनलों में से एक को पढ़ने के लिए चुन सकता है। यह डिज़ाइन इस बात की नकल करता है कि कैसे मानव मस्तिष्क व्हाइट मैटर फाइबर के माध्यम से दूरस्थ क्षेत्रों को जोड़ता है, जिससे नेटवर्क के उथले (शैलो) हिस्से को अतीत की गहरी, प्रोसेस्ड जानकारी प्राप्त करने में मदद मिलती है, जबकि गहरे हिस्से अभी भी कच्चे, तात्कालिक संदर्भ तक पहुँच सकते हैं।

शोधकर्ताओं ने आठ बिलियन टेक्स्ट टोकन के विशाल डेटासेट पर शून्य से मॉडल को प्रशिक्षित करके इस सिस्टम का परीक्षण किया। उन्होंने अपने नए व्हाइटमैटर मॉडल की तुलना समान आकार के मानक मॉडलों और बहुत बड़े मानक मॉडलों से की। परिणामों ने दिखाया कि सोलह परतों वाला एक व्हाइटमैटर मॉडल चौबीस परतों वाले मानक मॉडल की तुलना में बेहतर प्रदर्शन करता है, जो अगले शब्द की भविष्यवाणी करने में काफी कम त्रुटि दर प्राप्त करता है। यह सुधार तब भी देखा गया जब शोधकर्ताओं ने सिस्टम के लिए आवश्यक मेमोरी स्टोरेज को आधा कर दिया, जिससे यह सिद्ध हुआ कि मॉडल कम मेमोरी का उपयोग करते हुए भी अपने उच्च प्रदर्शन को बनाए रख सकता है। अध्ययन ने यह भी प्रदर्शित किया कि इस सिस्टम को एक विशिष्ट पुनरावृत्ति विधि (इटरेटिव मेथड) का उपयोग करके कुशलतापूर्वक प्रशिक्षित किया जा सकता है, जो कंप्यूटर को एक-एक करके शब्दों पर काम करने के बजाय एक साथ कई शब्दों को प्रोसेस करने की अनुमति देती है, जो ऐसे गहरे कनेक्शनों के लिए आमतौर पर आवश्यक होता है।

मुख्य नवाचार इस बात में निहित है कि सिस्टम पिछले शब्दों की स्मृति (मेमोरी) को कैसे संभालता है। एक विशिष्ट सेटअप में, किसी शब्द के लिए मेमोरी को परत दर परत संग्रहीत किया जाता है, और अगला शब्द केवल उसी गहराई की मेमोरी तक पहुँच सकता है। व्हाइटमैटर इस नियम को तोड़ता है और मेमोरी चैनलों का एक पूल बनाता है जो स्वयं शब्द की सामग्री के आधार पर अपडेट होते हैं। एक राउटर पिछले शब्द के सभी स्तरों के हिडन स्टेट्स का विश्लेषण करता है और उन्हें कुछ चैनलों में मिला देता है। इन चैनलों की संख्या को समायोजित किया जा सकता है; शोधकर्ताओं ने पाया कि कुल परतों की संख्या से कम चैनल उपयोग करने से मॉडल की जटिल टेक्स्ट को समझने की क्षमता से समझौता किए बिना मेमोरी फुटप्रिंट कम हो गया। यह लचीलापन सिस्टम को अधिक कुशल बनाता है, क्योंकि इसे प्रत्येक परत के इतिहास को पूरी डिटेल में स्टोर करने की आवश्यकता नहीं होती, केवल सबसे प्रासंगिक मिश्रणों की ही आवश्यकता होती है।

इसे प्रशिक्षण चरण के दौरान कार्यशील बनाने के लिए, शोधकर्ताओं को एक चक्रीय निर्भरता (सर्कुलर डिपेंडेंसी) को पार करना पड़ा। चूँकि एक शब्द के लिए मेमोरी उस शब्द के प्रोसेसिंग पर निर्भर करती है, और प्रोसेसिंग मेमोरी पर निर्भर करती है, इसलिए सिस्टम केवल एक ही पास में सब कुछ कैलकुलेट नहीं कर सकता। टीम ने 'साइक्लिक गॉस-सीडेल इटरेशन' (cyclic Gauss–Seidel iteration) नामक एक विधि विकसित की, जो टेक्स्ट को समूहों में प्रोसेस करती है। यह सिस्टम को चरणों में अपनी समझ अपडेट करने की अनुमति देता है, जहाँ एक ही पास के भीतर शुरुआती समूहों से अपडेट की गई जानकारी का उपयोग बाद के समूहों द्वारा तुरंत किया जा सकता है। यह दृष्टिकोण उन पिछले तरीकों की तुलना में काफी तेज़ पाया गया जिनमें समान सटीकता तक पहुँचने के लिए कई अधिक पास की आवश्यकता होती थी, जिससे ऐसे गहरे, परस्पर जुड़े मॉडलों का प्रशिक्षण मानक हार्डवेयर पर संभव हो सका।

प्रयोगों ने पुष्टि की कि यह आर्किटेक्चर न केवल उत्पन्न किए गए टेक्स्ट की गुणवत्ता में सुधार करता है, बल्कि विभिन्न तर्क संबंधी कार्यों (रीजनिंग टास्क) पर मॉडल के प्रदर्शन को भी बढ़ाता है। भाषा समझ के लिए मानक बेंचमार्क पर परीक्षण किए जाने पर, व्हाइटमैटर मॉडल ने अपनी गहराई के समान मानक मॉडलों को लगातार पीछे छोड़ दिया और यहाँ तक कि बड़े मानक मॉडलों से भी बेहतर प्रदर्शन किया। हाफ-मेमोरी कॉन्फ़िगरेशन, जिसने सोलह-परत वाले मॉडल के लिए केवल आठ चैनलों का उपयोग किया, ने पूर्ण कैश की तुलना में काफी कम मेमोरी का उपयोग करते हुए अधिकांश प्रदर्शन लाभों को बरकरार रखा। यह सुझाव देता है कि अतीत की अंतःक्रियाओं की स्मृति को गतिशील रूप से मिलाना, मेमोरी स्टोरेज के आकार को बढ़ाने से अधिक मूल्यवान है।

अध्ययन ने यह भी पता लगाया कि सिस्टम प्रशिक्षण के दौरान विभिन्न प्रशिक्षण स्थितियों के तहत कैसा व्यवहार करता है। शोधकर्ताओं ने पाया कि जिस विशिष्ट तरीके से सिस्टम प्रशिक्षण के दौरान डेटा के माध्यम से पुनरावृत्ति (इटरेशन) करता है, उसका इसके अंतिम प्रदर्शन पर बड़ा प्रभाव पड़ता है। उन मॉडलों ने बेहतर प्रदर्शन किया जिन्हें एक ऐसे शेड्यूल के साथ प्रशिक्षित किया गया था जो अंतिम, स्टेप-बाय-स्टेप डिकोडिंग प्रक्रिया की बारीकी से नकल करता है। हालाँकि, एक सरल प्रशिक्षण शेड्यूल के साथ भी, व्हाइटमैटर मॉडल मानक मॉडलों से बेहतर प्रदर्शन करते रहे, जो यह दर्शाता है कि आर्किटेक्चरल परिवर्तन ही सुधार का प्राथमिक चालक है। शोधकर्ताओं ने उल्लेख किया कि हालांकि प्रशिक्षण प्रक्रिया में अधिक कंप्यूटेशनल पावर की आवश्यकता होती है, लेकिन डिकोडिंग प्रक्रिया—वास्तविक टेक्स्ट जनरेशन—लगभग उतनी ही तेज़ है, जिससे यह सिस्टम वास्तविक दुनिया के अनुप्रयोगों के लिए व्यावहारिक बन जाता है।

एआई (AI) के व्यापक संदर्भ में, यह कार्य इस मौलिक सीमा को संबोधित करता है कि डीप लर्निंग मॉडल समय के साथ सूचनाओं को कैसे प्रोसेस करते हैं। प्रत्येक परत को नेटवर्क के संपूर्ण इतिहास के एक संश्लेषित दृश्य (सिंथेसाइज्ड व्यू) तक पहुँच प्रदान करके, व्हाइटमैटर उन आइसोलेशन (अलगाव) को दूर करता है जो आमतौर पर गहरे आर्किटेक्चर में देखे जाते हैं। निष्कर्ष बताते हैं कि इन सिस्टमों की दक्षता केवल उन्हें बड़ा या गहरा बनाने से नहीं आती, बल्कि इस बात से आती है कि वे अपने आंतरिक ढांचों के बीच सूचनाओं को कैसे जोड़ते और साझा करते हैं। अतीत की अंतःक्रियाओं की स्मृति को डेटा की समृद्धि खोए बिना कंप्रेस करने की क्षमता, अधिक सक्षम और कुशल भाषा मॉडल बनाने के लिए एक आशाजनक मार्ग प्रदान करती है।

शोधकर्ताओं ने निष्कर्ष निकाला कि उनका दृष्टिकोण सफल रूप से 'डीप-टू-शैलो फीडबैक' को एकीकृत करता है, जिससे सिस्टम अपने प्रतिनिधित्व की पूरी गहराई का उपयोग कर पाता है। उन्होंने प्रदर्शित किया कि यह कम मेमोरी फुटप्रिंट के साथ किया जा सकता है, जो इस धारणा को चुनौती देता है कि बेहतर प्रदर्शन के लिए अधिक स्टोरेज की आवश्यकता होती है। जबकि प्रशिक्षण प्रक्रिया में कुछ अतिरिक्त जटिलता शामिल है, मॉडल के वास्तविक उपयोग के दौरान सटीकता और दक्षता के लाभ पर्याप्त हैं। यह कार्य एक ठोस उदाहरण प्रदान करता है कि कैसे न्यूरल नेटवर्क के विभिन्न हिस्सों के बीच के कनेक्शनों पर पुनर्विचार करने से प्रदर्शन में महत्वपूर्ण सुधार हो सकता है, जो भविष्य के कृत्रिम बुद्धिमत्ता प्रणालियों के विकास के लिए एक नया दिशा प्रदान करता है।