ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

कल्पना कीजिए कि आप एक रोबोट को कहानी पढ़ना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, उसे यह सिखाने का सबसे अच्छा तरीका यह था कि रोबोट द्वारा पढ़े जाने वाले हर एक शब्द के लिए उसे एक विशेष "स्टिकर" दिया जाए। यदि रोबोट "cat" शब्द देखता, तो उसे पता होता कि यह पहला शब्द है क्योंकि उसके पास "पहला शब्द" का स्टिकर था, और यदि वह बाद में "dog" देखता, तो उसके पास "पाँचवाँ शब्द" का स्टिकर होता। इन स्टिकरों के बिना, रोबोट भ्रमित हो जाता, यह सोचकर कि "The cat chased the dog" और "The dog chased the cat" एक ही हैं क्योंकि शब्द केवल सामग्रियों का एक ढेर मात्र थे। शब्दों पर लेबल चिपकाने की इस विधि को "पोजीशनल एनकोडिंग" (positional encoding) कहा जाता है, और यह आज के लगभग हर स्मार्ट लैंग्वेज मॉडल के लिए मानक नियम पुस्तिका रही है।

लेकिन क्या होगा अगर रोबोट को स्टिकर की बिल्कुल भी आवश्यकता न हो? क्या होगा अगर, स्टिकर देखने के बजाय, रोबोट कहानी को पढ़ते समय उसके क्रम को महसूस कर सके? यह शोध पत्र यही बड़ा सवाल पूछता है। यह बिना उन बाहरी स्टिकरों पर निर्भर हुए भाषा मॉडल बनाने का एक नया तरीका तलाशता है। इसके बजाय, यह एक "मेमोरी लूप" (memory loop) का उपयोग करता है जो पढ़ते समय खुद को अपडेट करता है, और स्वाभाविक रूप से याद रखता है कि पहले क्या आया था। यह महत्वपूर्ण है क्योंकि यदि हम ऐसे मॉडल बना सकते हैं जो बिना यह बताए कि हर शब्द कहाँ है, क्रम को समझ सकें, तो हम उन्हें अधिक स्मार्ट, कुशल और लंबी कहानियों को बिना भटके संभालने में बेहतर बना सकते हैं।

शोध का बड़ा विचार: ZetaGPT

इस शोध पत्र के लेखक ZetaGPT को पेश करते हैं, जो एक छोटा, ओपन-सोर्स लैंग्वेज मॉडल है जो ठीक यही करने की कोशिश करता है: यह बिना स्टिकर के पढ़ता है। मुख्य निष्कर्ष यह है कि अपने मॉडल के अटेंशन मैकेनिज्म (attention mechanism) से ठीक पहले एक विशेष "कॉज़ल स्टेट-स्पेस मॉड्यूल" (causal state-space module) रखकर, मॉडल आंतरिक रूप से शब्दों के क्रम को सीख सकता है।

एक मानक लैंग्वेज मॉडल को एक ऐसे छात्र की तरह समझें जो एक परीक्षा दे रहा है जिसे एक संदर्भ शीट (पोजीशनल एनकोडिंग) देखने की अनुमति है जो कहती है "प्रश्न 1," "प्रश्न 2," आदि। ZetaGPT उस छात्र की तरह है जिसे पूरी तरह से अब तक की कहानी की अपनी स्मृति पर भरोसा करना पड़ता है। जैसे-जैसे छात्र प्रत्येक शब्द पढ़ता है, उसकी आंतरिक स्थिति बदल जाती है, जिससे उस क्षण के लिए एक अनूठा "फिंगरप्रिंट" बन जाता है। शोध पत्र सुझाव देता है कि यह आंतरिक फिंगरप्रिंट मॉडल को यह बताने के लिए पर्याप्त है कि, "हे, यह शब्द उसके बाद आता है," बिना किसी बाहरी मदद के।

यह कैसे काम करता है: मेमोरी लूप

यह समझने के लिए कि ZetaGPT इसे कैसे अंजाम देता है, एक रिले रेस की कल्पना करें। एक सामान्य दौड़ में, बैटन (baton) पास किया जाता है, और हर कोई बस दौड़ता है। ZetaGPT के संस्करण में, धावक (मॉडल) एक विशेष बैकपैक (स्टेट-स्पेस मॉड्यूल) ले जाता है जो इस बात पर निर्भर करता है कि वह अभी-अभी किसके पास से गुजरा है, उसका आकार और वजन बदल जाता है।

1. बैकपैक (स्टेट-स्पेस मॉड्यूल): मॉडल द्वारा वाक्यों के बीच संबंध समझने (जिसे "सेल्फ-अटेंशन" कहा जाता है) से पहले, यह पहले शब्दों को इस बैकपैक से गुजारता है। बैकपैक एक "रिकरेंट" (recurrent) प्रणाली है, जिसका अर्थ है कि यह अतीत को याद रखता है। जैसे-जैसे प्रत्येक नया शब्द प्रवेश करता है, बैकपैक पिछले शब्दों के आधार पर अपनी आंतरिक स्थिति को अपडेट करता है।
2. विकास (The Evolution): शोध पत्र दिखाता है कि जैसे-जैसे मॉडल प्रशिक्षित होता है, यह बैकपैक अलग-अलग "मेमोरी होराइजन्स" (memory horizons) विकसित करना सीख जाता है। बैकपैक के कुछ हिस्से केवल पिछले कुछ शब्दों को याद रखते हैं (शॉर्ट-टर्म मेमोरी), जबकि अन्य कहानी के एक लंबे हिस्से को याद रखते हैं (लॉन्ग-टर्म मेमोरी)।
3. परिणाम: जब तक शब्द बैकपैक से बाहर निकलकर मुख्य अटेंशन लेयर में प्रवेश करता है, वह अब केवल एक कच्चा शब्द नहीं रह जाता है; वह एक "पोजीशन-अवेयर" (position-aware) शब्द बन जाता है। वह वाक्य में अपनी स्थिति का इतिहास अपने साथ लेकर चलता है। शोध पत्र देखता है कि प्रशिक्षण के दौरान, मॉडल स्वाभाविक रूप से अनुक्रम को एनकोड करने के लिए इन विभिन्न मेमोरी टाइमस्केल्स का उपयोग करना सीख जाता है, जो प्रभावी रूप से अन्य मॉडलों द्वारा उपयोग किए जाने वाले "स्टिकर" (पोजीशनल एनकोडिंग) की आवश्यकता को प्रतिस्थापित करता है।

शोध क्या खारिज करता है और क्या पाता है

शोध पत्र स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि एक कामकाजी लैंग्वेज मॉडल बनाने के लिए हमें अनिवार्य रूप से पोजीशनल एनकोडिंग (जैसे कि ऊपर वर्णित "स्टिकर") का उपयोग करना ही चाहिए। यह इस धारणा को खारिज करता है कि पोजीशनल जानकारी को बाहर से इंजेक्ट की गई एक "आर्किटेक्चरल रूप से अर्जित क्षमता" होनी चाहिए। इसके बजाय, यह प्रस्तावित करता है कि यह जानकारी मॉडल की अपनी गतिशीलता का एक "अंतर्निहित गुण" हो सकती है।

लेखक ने पाया कि ZetaGPT काम करता है। उन्होंने तीन संस्करणों (Small, Medium, और Large) को क्रमशः 34.4 मिलियन, 159.2 मिलियन, और 479.9 मिलियन पैरामीटर्स के साथ प्रशिक्षित किया। उन्होंने दिखाया कि ये मॉडल बिना कभी भी पोजीशनल एनकोडिंग दिए, वाक्य में अगले शब्द की भविष्यवाणी करना सीख सकते हैं।

हालाँकि, शोध पत्र अपनी आत्मविश्वास की सीमा के बारे में सावधान है। यह यह दावा नहीं करता कि इसने लैंग्वेज मॉडलिंग की समस्या को "हल" कर दिया है या ZetaGPT उन विशाल मॉडलों से बेहतर है जिनका उपयोग बड़ी टेक कंपनियाँ करती हैं। वास्तव में, लेखक स्वीकार करता है कि उनके मॉडल छोटे हैं और उन्हें अपेक्षाकृत मामूली डेटासेट (WikiText-103 कॉर्पस) पर प्रशिक्षित किया गया था। वे नोट करते हैं कि चूंकि उनके मॉडल छोटे थे, इसलिए उन्हें छोटे संदर्भों (256, 512, और 1024 टोकन) पर प्रशिक्षित किया गया था। शोध पत्र सुझाव देता है कि जबकि यह आर्किटेक्चर इन छोटे पैमानों के लिए काम करता है, हमें अभी तक यह नहीं पता कि क्या यह उन विशाल मॉडलों के लिए भी उतना ही अच्छा काम करेगा जो एक बार में लाखों शब्द पढ़ते हैं।

पूरी यात्रा: शून्य से तर्क (Reasoning) तक

इस शोध पत्र का सबसे दिलचस्प और पूर्ण हिस्सा यह है कि यह केवल मॉडल को नहीं दिखाता; यह इसे बनाने की पूरी "रेसिपी" भी दिखाता है। लेखक एक पूर्ण, ओपन-सोर्स पाइपलाइन प्रदान करता है जो आपको कच्चे टेक्स्ट से एक ऐसे मॉडल तक ले जाता है जो तर्क कर सकता है।

• टोकेनाइज़र (The Tokenizer): सबसे पहले, उन्होंने एक "टोकेनाइज़र" (एक अनुवादक जो टेक्स्ट को नंबरों में बदलता है) को शून्य से बनाया, जो कच्चे बाइट्स से शुरू होकर 50,259 प्रतीकों की शब्दावली में विलीन होता है।
• प्रशिक्षण (The Training): उन्होंने मॉडल को प्री-ट्रेन किया, फिर इसे निर्देशों का पालन करने के लिए फाइन-ट्यून किया, और यहाँ तक कि एक "रिवॉर्ड मॉडल" (reward model) को भी प्रशिक्षित किया ताकि AI मानव फीडबैक से सीख सके (RLHF)।
• "अहा" क्षण (The "Aha" Moment): अंत में, उन्होंने मॉडल को "चेन-ऑफ-थॉट" (Chain-of-Thought) तर्क सिखाने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) नामक तकनीक का उपयोग किया। यह वह हिस्सा है जहाँ मॉडल मानव की तरह गणित की समस्या हल करने के लिए स्टेप-बाय-स्टेप सोचना सीखता है, बिना पहले से दिखाए गए चरणों के। शोध पत्र सुझाव देता है कि यह तर्क करने की क्षमता सीधे सुदृढीकरण लर्निंग (reinforcement learning) के माध्यम से "उभर" (emerge) सकती है।

सीमाएँ

लेखक उनके कार्य की सीमाओं के बारे में बहुत ईमानदार है। वे कहते हैं कि मुख्य सीमाएँ कंप्यूटेशनल संसाधनों के कारण हैं, न कि विचार में किसी दोष के कारण। क्योंकि उनके पास अनंत शक्ति वाले सुपर कंप्यूटर तक पहुंच नहीं थी, इसलिए वे उन विशाल डेटासेट्स (ट्रिलियन टोकन) पर प्रशिक्षित नहीं हो सके जिनका उपयोग आधुनिक दिग्गज करते हैं। नतीजतन, उनके मॉडलों में उन बड़े सिस्टमों जैसा व्यापक विश्व ज्ञान नहीं है।

वे यह भी बताते हैं कि चूंकि वे बहुत लंबे टेक्स्ट पर प्रशिक्षित नहीं हो सके, इसलिए उन्होंने अभी तक पूरी तरह से परीक्षण नहीं किया है कि क्या यह "नो-स्टिकर" दृष्टिकोण अत्यंत लंबी कहानियों के लिए काम करता है। शोध पत्र निष्कर्ष निकालता है कि ZetaGPT एक "कॉम्पैक्ट रेफरेंस इम्प्लीमेंटेशन" है—एक अवधारणा का प्रमाण और शोधकर्ताओं के लिए एक खेल का मैदान, जिससे यह अध्ययन किया जा सके कि पोजीशनल जानकारी को बाहरी रूप से जोड़ने के बजाय आंतरिक रूप से कैसे सीखा जा सकता है।

संक्षेप में, ZetaGPT एक छोटा, स्टिकर-मुक्त रोबोट है जो यह साबित करता है कि आप मशीन को कहानी का क्रम समझने के लिए केवल एक बार में एक शब्द, एक यात्रा की यादों के माध्यम से सिखा सकते हैं। यह एक छोटा कदम है, लेकिन यह एक नया दरवाजा खोलता है कि हम भविष्य के लैंग्वेज मॉडल्स को कैसे बना सकते हैं।