💻 computer science

SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models

यह तकनीकी रिपोर्ट SamatNext v0.2-B का परिचय देती है, जो एक 356M-पैरामीटर वाला हाइब्रिड डिकोडर है जो डिफरेंशियल-अटेंशन (Differential-Attention) और डेल्टानेट-प्रेरित (DeltaNet-inspired) परतों को बारी-बारी से उपयोग करके मानक ट्रांसफॉर्मर्स की तुलना में छोटे कोड मॉडल्स में करिकुलम रिटेंशन (curriculum retention) में महत्वपूर्ण सुधार करता है, हालांकि यह लॉन्ग-होरिज़न कैटास्ट्रोफिक फॉरगेटिंग (long-horizon catastrophic forgetting) को पूरी तरह से हल नहीं करता है।

मूल लेखक: Samat Zharassov

प्रकाशित 2026-06-23

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Samat Zharassov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखा रहे हैं। आप चाहते हैं कि वह चरणों में सीखे: पहले, व्याकरण के बुनियादी नियम (सिंटैक्स); दूसरा, निर्देशों को कैसे समझा जाए (सिमेंटिक्स); और अंत में, जटिल, विशिष्ट पहेलियों को हल करना।

सामान्य रोबोटों (AI मॉडल्स) के साथ समस्या यह है कि वे "कैटास्ट्रोफिक फॉरगेटिंग" (Catastrophic Forgetting) का शिकार होते हैं। यह एक ऐसे छात्र की तरह है जो फाइनल परीक्षा के लिए इतनी मेहनत से पढ़ाई करता है कि वह जूते के फीते बांधना या दो नंबर जोड़ना भी पूरी तरह भूल जाता है। जैसे ही वह नई, कठिन चीजें सीखता है, पुरानी चीजें उसके दिमाग से मिट जाती हैं।

यह पेपर एक नए रोबोट SamatNext v0.2-B को पेश करता है और पूछता है: क्या हम एक ऐसा रोबोट बना सकते हैं जो पुरानी चीजों को मिटाए बिना नई चीजें सीख सके?

दौड़ में शामिल दो रोबोट

लेखक ने दो रोबोटों की तुलना की, दोनों का "मस्तिष्क आकार" (356 मिलियन पैरामीटर्स) बिल्कुल समान था:

मानक रोबोट (Transformer): यह सामान्य AI डिज़ाइन है। यह शक्तिशाली है लेकिन नए कार्यों को सीखते समय पुरानी यादों को ओवरराइट करने की प्रवृत्ति रखता है।
हाइब्रिड रोबोट (SamatNext): यह प्रयोगात्मक डिज़ाइन है। इसका मस्तिष्क दो अलग-अलग प्रकार के सोचने वाले लेयर्स का मिश्रण है:
- "अटेंशन" (Attention) लेयर: एक स्पॉटलाइट की तरह जो संदर्भ समझने के लिए वाक्य के सभी शब्दों पर नज़र रखती है।
- "स्टेट" (State) लेयर: एक नोटपैड की तरह जो पढ़ते समय जानकारी का हिसाब रखता है, बजाय इसके कि हर बार शुरुआत से सब कुछ दोबारा पढ़ा जाए।

लेखक ने इन दोनों प्रकार के लेयर्स को आपस में मिला दिया, उन्हें एक सैंडविच की तरह बारी-बारी से रखा (अटेंशन, स्टेट, अटेंशन, स्टेट), और संकेतों को संतुलित रखने के लिए एक विशेष "कैलिब्रेशन" नॉब जोड़ा।

परीक्षण: एक चरणबद्ध पाठ्यक्रम (Staged Curriculum)

रोबोटों को एक विशिष्ट क्रम में प्रशिक्षित किया गया था:

चरण 1 और 2: बुनियादी पायथन सिंटैक्स (व्याकरण) सीखना।
चरण 3: निर्देशों का पालन करना और अर्थ समझना सीखना।
चरण 5: विशिष्ट, कठिन कोडिंग कार्य सीखना।

चरण 5 पूरा करने के बाद, लेखक ने उन्हें पुराने कार्यों (चरण 3 और चरण 2) पर परखा ताकि देखा जा सके कि उन्हें कितना याद रहा।

परिणाम: दो यादों की कहानी

मानक रोबोट:

नई चीजें: इसे अंतिम कठिन कार्यों को सीखने में संघर्ष करना पड़ा (केवल 49% सफलता)। जब लेखक ने सीखने की गति बदलकर इसे "बचाने" की कोशिश की, तो इसने अंततः नई चीजें सीख लीं (97% सफलता) लेकिन इसने बीच के चरण को पूरी तरह भूल गया। निर्देशों को समझने की इसकी क्षमता केवल 6% ही बची रही।
पुरानी चीजें: यह अंतिम चरण से पहले सीखी गई लगभग हर चीज़ को भूल गया।

हाइब्रिड रोबोट (SamatNext):

नई चीजें: इसने अंतिम कठिन कार्यों में पूर्ण महारत हासिल की (100% सफलता)।
पुरानी चीजें: यह भूला नहीं! इसने बीच के चरण से निर्देशों को समझने की अपनी क्षमता का 98.8% हिस्सा बरकरार रखा।

एक पेच (द "सिंटैक्स" समस्या):
हालाँकि हाइब्रिड रोबोट निर्देशों को याद रखने में अद्भुत था, फिर भी इसे बहुत शुरुआती, बुनियादी व्याकरण नियमों (चरण 2) के साथ थोड़ा संघर्ष करना पड़ा। यह 0% (मानक रोबोट) से सुधरकर 12% तक तो पहुँचा, लेकिन यह पूर्ण नहीं था। यह सुझाव देता है कि जबकि नया डिज़ाइन हालिया यादों के लिए बेहतर है, यह बहुत लंबे समय तक बहुत पुरानी यादों को बनाए रखने की समस्या को पूरी तरह से हल नहीं करता है।

मुख्य निष्कर्ष

मानक रोबोट को एक स्पंज की तरह समझें जो नया पानी सोखता है लेकिन जगह बनाने के लिए पुराने पानी को बाहर निकाल देता है। हाइब्रिड रोबोट एक ऐसे स्पिड की तरह है जिसकी आंतरिक संरचना ऐसी है कि वह नया पानी सोखते हुए भी पुराने पानी को थामे रख सकता है।

यह पेपर दावा करता है:

यह विशिष्ट हाइब्रिड डिज़ाइन (अटेंशन और स्टेट लेयर्स का मिश्रण) नई चीजें सीखने और पुरानी चीजों को याद रखने के बीच एक बेहतर संतुलन बनाता है।
यह सभी मेमोरी समस्याओं को हल करने वाला कोई "जादुई समाधान" नहीं है (यह अभी भी बहुत पुरानी सिंटैक्स को याद रखने में संघर्ष करता है)।
यह वास्तविक दुनिया के लिए तैयार कोई "तैयार उत्पाद" नहीं है; यह एक "प्रयोगात्मक अध्ययन" है यह देखने के लिए कि क्या यह विशिष्ट मस्तिष्क आर्किटेक्चर नियंत्रित लैब सेटिंग में मानक वाले से बेहतर काम करता है।

लेखक मूल रूप से कह रहे हैं: "हमने एक नया मस्तिष्क डिज़ाइन आज़माया। यह मध्यवर्ती यादों को बनाए रखने के मामले में पुराने डिज़ाइन की तुलना में बहुत बेहतर रहा, लेकिन बहुत पहली सीख को याद रखने के मामले में इसमें अभी भी कुछ कमियाँ हैं। हम अपना कोड साझा कर रहे हैं ताकि अन्य लोग इसकी पुष्टि कर सकें।"

तकनीकी सारांश: SamatNext v0.2-B

समस्या विवरण (Problem Statement)

यह शोध पत्र बदलते डेटा वितरण (curriculum learning) के तहत अनुक्रमिक फाइन-ट्यूनिंग (sequential fine-tuning) के दौरान ऑटोरिग्रेसिव ट्रांसफॉर्मर डिकोडर्स (autoregressive Transformer decoders) में होने वाले कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) यानी विनाशकारी विस्मृति की समस्या को संबोधित करता है। मानक आर्किटेक्चर में, एक नए कार्य वितरण के लिए अनुकूलन करने से अक्सर पहले से प्राप्त ज्ञान को ओवरराइट कर दिया जाता है, विशेष रूप से मौलिक सिंटैक्स और मध्यवर्ती अर्थ संबंधी अवधारणाओं (semantic concepts) को। जबकि स्पष्ट निरंतर शिक्षण एल्गोरिदम (जैसे replay, EWC) मौजूद हैं, यह अध्ययन इस बात की जांच करता है कि क्या केवल सीक्वेंस-मिक्सर इंडक्टिव बायस (sequence-mixer inductive biases) ही बिना किसी बाहरी तंत्र के रिटेंशन/प्लास्टिसिटी ट्रेड-ऑफ (retention/plasticity tradeoff) को बदल सकते हैं। लेखक कोड जनरेशन का उपयोग एक अनुसंधान प्लेटफॉर्म के रूप में करते हैं क्योंकि इसके नियतात्मक (deterministic), निष्पादन-आधारित मूल्यांकन मेट्रिक्स सिंटैक्टिक और सिमेंटिक रिटेंशन के सटीक मापन की अनुमति देते हैं।

कार्यप्रणाली (Methodology)

यह अध्ययन SamatNext v0.2-B को पेश करता है, जो एक प्रयोगात्मक 356-मिलियन-पैरामीटर वाला हाइब्रिड सीक्वेंस डिकोडर है, जिसे एक मानक ट्रांसफॉर्मर बेसलाइन के विरुद्ध पैरामीटर-मैच किया गया है।

आर्किटेक्चर (Architecture)

SamatNext v0.2-B में 16 डिकोडर ब्लॉक शामिल हैं जो दो अलग-अलग सीक्वेंस-मिक्सिंग तंत्रों के बीच बारी-बारी से चलते हैं:

डिफरेंशियल-अटेंशन-शैली के लेयर्स (विषम इंडेक्स): डिफरेंशियल अटेंशन से प्रेरित, ये लेयर्स दो अलग-अलग क्वेरी/की प्रोजेक्शन का उपयोग करके दो कॉज़ल अटेंशन पाथवे (causal attention pathways) की गणना करते हैं। अंतिम आउटपुट एक बेस अटेंशन पाथवे और एक डिफरेंशियल पाथवे का भारित योग (weighted sum) है, जिसे एक सीखने योग्य पैरामीटर $\alpha$ (0.0 पर इनिशियलाइज किया गया) द्वारा स्केल किया जाता है। दोनों पाथवे पर रोटरी पोजीशन एम्बेडिंग्स (RoPE) लागू किए जाते हैं।
डेल्टानेट-प्रेरित लीनियर-स्टेट मिक्सर्स (सम इंडेक्स): ये लेयर्स सरलीकृत, रिकरेंट लीनियर-स्टेट तंत्रों का उपयोग करते हैं। वे इनपुट को गैर-ऋणात्मक कीज़ (keys) और क्वेरीज (ReLU के माध्यम से) और वैल्यूज में प्रोजेक्ट करते हैं। मॉडल अनुक्रम के ऊपर संचयी योग (cumulative sums) के माध्यम से तत्व-वार स्टेट संचयक ( $S_t$ और $K_t$ ) बनाए रखता है। आउटपुट की गणना तत्व-वार विभाजन के माध्यम से की जाती है, जिसके बाद RMS नॉर्मलाइजेशन और एक आउटपुट स्केल कैलिब्रेशन पैरामीटर ( $s=0.25$ ) लागू किया जाता है।

दोनों आर्किटेक्चर एक SwiGLU फीड-फॉरवर्ड संरचना और RMS नॉर्मलाइजेशन साझा करते हैं। ट्रांसफॉर्मर बेसलाइन मानक मल्टी-हेड अटेंशन (MHA) का उपयोग करता है, जिसका पैरामीटर काउंट फीड-फॉरवर्ड इंटरमीडिएट डायमेंशन को समायोजित करके SamatNext के समान रखा गया है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल्स को एक संरचित पायथन करिकुलम के माध्यम से क्रमिक रूप से प्रशिक्षित किया गया था:

स्टेज 2A: सिंटैक्स फाउंडेशन (कंट्रोल फ्लो, वेरिएबल्स)।
स्टेज 3: इंस्ट्रक्शन सिमेंटिक्स (पैराफ्रेसिंग, कॉन्सेप्ट कॉम्प्रिहेन्शन)।
स्टेज 5: स्पेशलाइज्ड कॉज़ल कोडिंग टास्क (फाइनल फंक्शन कंप्लीशन)।
मूल्यांकन: प्रदर्शन को स्टेज 5 (वर्तमान क्षमता), स्टेज 3 (निकटवर्ती सिमेंटिक रिटेंशन), और स्टेज 2E (प्रारंभिक-चरण का एडवर्सरियल सिंटैक्स होल्डआउट) पर मापा गया।

प्रशिक्षण के लिए एडमडब्ल्यू (AdamW) का उपयोग कोसाइन डिके शेड्यूल के साथ किया गया। प्राथमिक तुलना एक मानक करिकुलम लर्निंग पाथ (लर्निंग रेट $3 \times 10^{-6}$ ) और एक उच्च लर्निंग रेट ( $1 \times 10^{-5}$ ) का उपयोग करके बेसलाइन के लिए एक "रेस्क्यू" प्रयास के बीच थी।

मुख्य परिणाम (Key Results)

पेपर की तालिका 1 में प्रस्तुत अनुभवजन्य परिणाम रिटेंशन क्षमताओं में एक महत्वपूर्ण अंतर को उजागर करते हैं:

मॉडल	ट्रेनिंग पाथ	स्टेज 5 पास रेट	स्टेज 3 रिटेंशन	स्टेज 2E पास रेट
Transformer	Curriculum ( $3 \times 10^{-6}$ )	49.4%	3.8%	0.0%
Transformer	Rescue ( $1 \times 10^{-5}$ )	97.6%	6.0%	3.0%
SamatNext v0.2-B	Curriculum ( $3 \times 10^{-6}$ )	100.0%	98.8%	12.0%

रिटेंशन/प्लास्टिसिटी ट्रेडऑफ़: SamatNext v0.2-B ने अंतिम स्टेज 5 कार्य पर 100.0% का परफेक्ट पास रेट हासिल किया, जबकि अपने स्टेज 3 सिमेंटिक क्षमताओं का 98.8% बरकरार रखा। इसके विपरीत, ट्रांसफॉर्मर बेसलाइन या तो स्टेज 5 में महारत हासिल करने में विफल रहा (49.4% पास रेट), या जब इसे उच्च लर्निंग रेट के माध्यम से सीखने के लिए मजबूर किया गया, तो इसने उच्च स्टेज 5 प्रदर्शन (97.6%) प्राप्त किया, लेकिन स्टेज 3 की लगभग पूर्ण कैटास्ट्रोफिक फॉरगेटिंग (6.0% रिटेंशन) का सामना किया।
लॉन्ग-होरिज़न सिंटैक्स: दोनों मॉडल्स ने प्रारंभिक-चरण के एडवर्सरियल सिंटैक्स डेटासेट पर खराब रिटेंशन दिखाया। हालांकि SamatNext ने इसे 12.0% तक सुधारा (बेसलाइन के 0.0–3.0% की तुलना में), लेखक नोट करते हैं कि यह अभी भी अपेक्षाकृत कम है, जो दर्शाता है कि केवल सीक्वेंस-मिक्सर बायस लॉन्ग-होरिज़न फॉरगेटिंग को पूरी तरह से हल नहीं करते हैं।
आउट-ऑफ-डिस्ट्रीब्यूशन: एक डीकंटैमिनेटेड HumanEval सबसेट पर, SamatNext ने 12.0% का pass@1 रेट प्राप्त किया, जबकि बेसलाइन के लिए यह 8.0% था, जो छोटे मॉडल स्केल के बावजूद सामान्य कोड कोहेरेंस में मामूली लाभ का सुझाव देता है।

दावे और महत्व (Claims and Significance)

यह पेपर खुद को एक गंभीर तकनीकी रिपोर्ट (sober technical report) और एक एक्सप्लोरेटरी स्टडी के रूप में प्रस्तुत करता है, जो स्पष्ट रूप से कैटास्ट्रफिक फॉरगेटिंग को हल करने या एक नया स्टेट-ऑफ-द-आर्ट कोड मॉडल स्थापित करने के दावों से बचता है।

प्राथमिक दावा: SamatNext v0.2-B का हाइब्रिड आर्किटेक्चर, विशेष रूप से डिफरेंशियल-अटेंशन और डेल्टानेट-प्रेरित लीनियर-स्टेट मिक्सर्स का संयोजन और स्केल कैलिब्रेशन, रिटेंशन/प्लास्टिसिटी ट्रेड-ऑफ को बदल देता है। यह मॉडल को नए विशिष्ट कार्यों के अनुकूल होने की अनुमति देता है जबकि पैरामीटर-मैच किए गए मानक ट्रांसफॉर्मर की तुलना में निकटवर्ती सिमेंटिक वितरणों को काफी बेहतर तरीके से संरक्षित करता है।
मैकेनिज्म हाइपोथीसिस: लेखक सुझाव देते हैं कि लीनियर-स्टेट मिक्सर्स में फिक्स्ड-साइज़ स्टेट रिप्रेजेंटेशन एक रेगुलेराइज़ेशन बॉटलनेक के रूप में कार्य करता है, जो मानक डेंस अटेंशन लेयर्स में होने वाले फीचर मैपिंग के पूर्ण ओवरराइटिंग को रोकता है।
स्वीकृत सीमाएं (Limitations Acknowledged):
- यह अध्ययन लंबे प्रशिक्षण क्षितिज (long training horizons) पर कैटास्ट्रफिक फॉरगेटिंग की व्यापक समस्या को हल नहीं करता है (स्टेज 2E रिटेंशन की कमजोरी से प्रमाणित)।
- करिकुलम सिंथेटिक है और केवल पायथन तक सीमित है; परिणाम बड़े पैमाने पर प्री-ट्रेनिंग या जटिल तर्क (reasoning) पर सामान्यीकृत नहीं हो सकते हैं।
- इस अध्ययन में समर्पित निरंतर शिक्षण एल्गोरिदम (जैसे EWC, अडैप्टर) और पूर्ण आर्किटेक्चरल एब्लेशन (जैसे होमोजेनियस मिक्सर) की तुलना का अभाव है।
- SamatNext की लर्निंग रेट संवेदनशीलता का पूरी तरह से स्वीप नहीं किया गया था, जो हाइपरपैरामीटर निष्कर्षों की सामान्यीकरण क्षमता को सीमित करता है।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि विशिष्ट इंडक्टिव बायस सीक्वेंस मिक्सिंग में कोड मॉडल्स के अनुक्रमिक फाइन-ट्यूनिंग की स्थिरता में सुधार कर सकते हैं, जो स्पष्ट रिप्ले तंत्र के बिना निरंतर शिक्षण के भविष्य के अनुसंधान के लिए एक आशाजनक दिशा प्रदान करते हैं।