💬 NLP

SimpleGPT: Improving GPT via A Simple Normalization Strategy

यह शोध पत्र SimpleGPT को प्रस्तुत करता है, जो एक नया SimpleNorm स्ट्रैटेजी उपयोग करने वाला एक ट्रांसफॉर्मर वेरिएंट है जो एक्टिवेशन स्केल्स को स्थिर करता है और हेसियन के स्पेक्ट्रल नॉर्म को कम करता है, जिससे काफी बड़े लर्निंग रेट्स सक्षम होते हैं और LLaMA2 जैसे स्थापित बेसलाइन्स की तुलना में विभिन्न मॉडल स्केल्स पर बेहतर प्रदर्शन और स्थिरता प्राप्त होती है।

मूल लेखक: Marco Chen, Xianbiao Qi, Yelin He, Jiaquan Ye, Rong Xiao

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marco Chen, Xianbiao Qi, Yelin He, Jiaquan Ye, Rong Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक लार्ज लैंग्वेज मॉडल) को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। आप इसे लाखों उदाहरण दिखाकर और अगले शब्द का सही अनुमान लगाने के आधार पर इसके आंतरिक "नूब्स" (वेट्स) को एडजस्ट करके ऐसा करते हैं। इस प्रक्रिया को ट्रेनिंग (प्रशिक्षण) कहा जाता है।

समस्या यह है कि यह रोबोट बहुत संवेदनशील है। यदि आप इसके एडजस्टमेंट नूब्स को बहुत तेज़ी से घुमाते हैं (एक उच्च लर्निंग रेट), तो रोबोट को चक्कर आने लगते हैं, वह बड़ी गलतियाँ करने लगता है और जो कुछ भी उसने सीखा था उसे भूल जाता है। यदि आप उन्हें बहुत धीरे घुमाते हैं, तो इसे सीखने में बहुत समय लगता है।

वर्षों से, इंजीनियरों ने रोबोट के नियंत्रण से बाहर होने से बचाने के लिए उसके मस्तिष्क में विशेष "स्टेबलाइजर्स" जोड़े हैं। एक लोकप्रिय स्टेबलाइजर है जिसे QKNorm कहा जाता है, जो रोबोट को अभिभूत हुए बिना सही शब्दों पर ध्यान केंद्रित करने में मदद करता है।

यह पेपर एक नया, सरल स्टेबलाइजर पेश करता है जिसे SimpleNorm कहा जाता है, और परिणामी रोबोट को SimpleGPT कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "ऊबड़-खाबड़ रास्ता"

रोबोट की सीखने की प्रक्रिया को एक पहाड़ के रास्ते पर कार चलाने के रूप में सोचें। लक्ष्य (सर्वश्रेष्ठ प्रदर्शन तक) जितनी जल्दी हो सके नीचे पहुँचना है।

हेसियन मैट्रिक्स (The Hessian Matrix): गणितीय शब्दों में, यह इस बात का मानचित्र है कि रास्ता कितना ऊबड़-खाबड़ है। यदि सड़क में तीखी चट्टानें और गहरी घाटियाँ (उच्च वक्रता/high curvature) हैं, तो आपको टकराने से बचने के लिए बहुत धीरे गाड़ी चलानी होगी।
लर्निंग रेट (The Learning Rate): यह आपकी गति है। यदि सड़क ऊबड़-खाबड़ है, तो आपको धीरे गाड़ी चलानी चाहिए। यदि सड़क चिकनी है, तो आप गति बढ़ा सकते हैं।

लेखकों ने पाया कि मानक रोबोट डिजाइनों (जैसे LLaMA) में बहुत ऊबड़-खाबड़ रास्ते होते हैं। यह इंजीनियरों को बहुत धीरे गाड़ी चलाने (कम लर्निंग रेट का उपयोग करने) के लिए मजबूर करता है, जिससे प्रशिक्षण में बहुत लंबा समय लगता है।

2. समाधान: "SimpleNorm" के साथ रास्ता चिकना करना

लेखकों ने महसूस किया कि रास्ते में आने वाले ये उभार इसलिए थे क्योंकि रोबोट के आंतरिक सिग्नल (संकेत) जैसे-जैसे उसके मस्तिष्क की परतों से गुजरते थे, वे बहुत बड़े या बहुत छोटे हो जाते थे।

उन्होंने SimpleNorm पेश किया, जो रोबोट के मस्तिष्क में हर "लीनियर" स्टेप के तुरंत बाद रखे गए एक ट्रैफिक पुलिसकर्मी की तरह कार्य करता है।

यह कैसे काम करता है: हर बार जब रोबोट जानकारी के एक हिस्से को प्रोसेस करता है, SimpleNorm तुरंत उस जानकारी के आकार की जाँच करता है। यदि यह बहुत बड़ा है, तो यह इसे सिकोड़ देता है। यदि यह बहुत छोटा है, तो यह इसे फैला देता है। यह सिग्नल को एक "गोल्डिलॉक्स" (Goldilocks) आकार में रहने के लिए मजबूर करता है (न बहुत बड़ा, न बहुत छोटा)।
परिणाम: सिग्नल के आकार को सुसंगत रखकर, "रास्ता" अविश्वसनीय रूप से चिकना हो जाता है। तीखी चट्टानें और गहरी घाटियाँ गायब हो जाती हैं।

3. बड़ी जीत: तेज़ गति से चलाना

चूंकि रास्ता अब चिकना है, इसलिए रोबोट बिना टकराए बहुत तेज़ी से चल सकता है।

दावा: पेपर दिखाता है कि SimpleGPT मानक रोबोटों की तुलना में 3 से 10 गुना तेज़ लर्निंग रेट को संभाल सकता है।
उपमा: कल्पना कीजिए कि मानक रोबोट एक सतर्क कछुआ है जिसे कहीं पहुँचने के लिए 100 कदम लेने पड़ते हैं। SimpleGPT एक चीता है जो उसी समय में 300 से 1,000 कदम ले सकता है क्योंकि उसे इलाके से डर नहीं लगता।

4. प्रमाण: वास्तविक दुनिया के परीक्षण

लेखकों ने केवल गणित नहीं किया; उन्होंने विभिन्न आकारों (1 बिलियन से 8 बिलियन "न्यूरॉन्स" तक) पर रोबोट बनाया और उसका परीक्षण किया।

दौड़: उन्होंने 7-बिलियन पैरामीटर वाले रोबोट को 60,000 स्टेप्स के लिए प्रशिक्षित किया।
परिणाम: मानक रोबोट (LLaMA2 के साथ QKNorm) का "लॉस" (गलतियों का स्कोर) 2.290 रहा। नया SimpleGPT 2.208 के स्कोर के साथ समाप्त हुआ।
अनुवाद: SimpleGPT ने कम गलतियाँ कीं और बेहतर सीखा, भले ही इसे समान समय के लिए प्रशिक्षित किया गया था। यह अधिक स्थिर भी था, जिसका अर्थ है कि प्रशिक्षण के दौरान यह क्रैश नहीं हुआ या अजीब व्यवहार नहीं किया।

5. यह "सिंपल" क्यों है

लेखक इसे "सिंपल" कहते हैं क्योंकि उन्होंने कोई जटिल नया गणित या फैंसी नया मस्तिष्क ढांचा नहीं बनाया। उन्होंने बस यह बदला कि वे स्टेबलाइजर को कहाँ रखते हैं।

पुराना तरीका: प्रोसेसिंग के एक बड़े ब्लॉक के अंत में स्टेबलाइजर रखें।
सरल तरीका: हर एक गणना चरण (calculation step) के तुरंत बाद स्टेबलाइजर रखें।
यह रेस ट्रैक के अंत तक कारों को धीमा करने के बजाय, ट्रैक के हर मोड़ के ठीक बाद स्पीड ब्रेकर लगाने जैसा है।

सारांश

पेपर का दावा है कि रोबोट के मस्तिष्क के भीतर सूचना के आकार पर एक बहुत ही सरल, सुसंगत जाँच जोड़कर, उन्होंने सीखने की प्रक्रिया को सुचारू बना दिया। इसने उन्हें पिछले तरीकों की तुलना में बहुत तेज़ी से रोबोट को प्रशिक्षित करने और बेहतर परिणाम प्राप्त करने की अनुमति दी, और इसके लिए किसी अतिरिक्त कंप्यूटर पावर या जटिल नए डिजाइन की आवश्यकता नहीं पड़ी।

तकनीकी सारांश: SimpleGPT: एक सरल नॉर्मलाइज़ेशन रणनीति के माध्यम से GPT में सुधार

समस्या विवरण (Problem Statement)

जैसे-जैसे ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) की गहराई और चौड़ाई बढ़ती है, अनुकूलन स्थिरता (optimization stability) प्रदर्शन और स्केलेबिलिटी के लिए एक बाधा बनती जा रही है। जबकि आधुनिक आर्किटेक्चर विभिन्न घटकों—जैसे कि रेसिडुअल कनेक्शन, नॉर्मलाइज़ेशन लेयर्स और विशिष्ट नॉन-लीनियरिटीज़—का उपयोग करते हैं, अनुकूलन स्थिरता को बनाए रखने के लिए, क्लासिकल ऑप्टिमाइज़ेशन स्टेबिलिटी कंडीशंस के साथ उनके सैद्धांतिक संबंध अभी भी कम खोजे गए हैं। विशेष रूप से, नेटवर्क डिज़ाइन, एक्टिवेशन स्केल्स, लॉस का हेसियन मैट्रिक्स (Hessian matrix), और अधिकतम सहन करने योग्य लर्निंग रेट के बीच का संबंध पूरी तरह से स्पष्ट नहीं है। वर्तमान विधियाँ अक्सर बिना यह विश्लेषण किए कि वे दूसरे-क्रम के ज्यामितीय परिदृश्य (second-order geometry) को कैसे प्रभावित करती हैं, अनुभवजन्य ह्यूरिस्टिक्स (empirical heuristics) पर निर्भर करती हैं, जो अभिसरण व्यवहार (convergence behavior) को नियंत्रित करता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा: सेकंड-ऑर्डर ज्योमेट्री (Theoretical Framework: Second-Order Geometry)

लेखक ट्रांसफॉर्मर ऑप्टिमाइज़ेशन को सेकंड-ऑर्डर ज्योमेट्री के दृष्टिकोण से देखते हैं। वे स्थापित करते हैं कि एक दो बार अवकलनीय (twice-differentiable) ऑब्जेक्टिव $\ell(x)$ के लिए, स्थानीय वक्रता (local curvature) को हेसियन मैट्रिक्स $H_{xx} = \nabla^2 \ell(x)$ द्वारा अभिलक्षित किया जाता है। ग्रेडिएंट डिसेंट की स्थिरता ग्रेडिएंट के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) $\beta$ द्वारा शासित होती है, जो हेसियन के स्पेक्ट्रल नॉर्म (spectral norm) के अनुरूप है ( $\beta = \sup_x \|H_{xx}\|_2$ )। अधिकतम सहन करने योग्य लर्निंग रेट $\eta$ इस स्पेक्ट्रल नॉर्म के व्युत्क्रमानुपाती है:
$\eta \leq \frac{2}{\beta} = \frac{2}{\sup_x \|H_{xx}\|_2}$
पेपर तर्क देता है कि मौजूदा कई नॉर्मलाइज़ेशन रणनीतियाँ हेसियन के स्पेक्ट्रल नॉर्म को पर्याप्त रूप से सीमित नहीं करती हैं, विशेष रूप से जब प्रशिक्षण के दौरान वेट मैट्रिसेस बढ़ते हैं।

प्रस्तावित समाधान: SimpleNorm

लेखक SimpleNorm नामक एक नॉर्मलाइज़ेशन रणनीति पेश करते हैं, जिसे नेटवर्क के भीतर प्रत्येक लीनियर मैपिंग के तुरंत बाद एक नॉर्मलाइज़ेशन ऑपरेटर (उनके कार्यान्वयन में विशेष रूप से RMSNorm) रखकर परिभाषित किया गया है।

परिभाषा: एक इनपुट $x$ और लीनियर ट्रांसफॉर्मेशन $W$ को देखते हुए, SimpleNorm को $\Psi(x) = \text{Norm}(Wx)$ के रूप में परिभाषित किया गया है।
आर्किटेक्चर (SimpleGPT): लेखक एक नया आर्किटेक्चर, SimpleGPT का निर्माण करते हैं, जो सभी मानक लीनियर प्रोजेक्शन्स (अटेंशन मैकेनिज्म में $W_q, W_k, W_v, W_o$ और MLP लेयर्स $W_1, W_2$ , आदि) को SimpleNorm ऑपरेटर के साथ बदल देता है। स्टैंडर्ड PreNorm या PostNorm के विपरीत, SimpleNorm "लीनियर मैपिंग के तुरंत बाद नॉर्मलाइज़ेशन" को एक एकीकृत प्रिमिटिव (primitive) के रूप में मानता है।

सैद्धांतिक तंत्र (Theoretical Mechanisms)

पेपर दो सैद्धांतिक तंत्र प्रदान करता है जो बताते हैं कि SimpleNorm ऑप्टिमाइज़ेशन में कैसे सुधार करता है:

स्थिर एक्टिवेशन स्केल (Stable Activation Scale): संरचना के अनुसार, SimpleNorm मध्यवर्ती एक्टिवेशन्स को $\sqrt{d}$ (जहाँ $d$ डायमेंशन है) के क्रम के नॉर्म पर रीस्केल करता है, जिससे गहराई बढ़ने के साथ एक्टिवेशन विस्फोट या ड्रिफ्ट को रोका जा सके।
स्मूथ लॉस लैंडस्केप (हेसियन रिडक्शन): लेखक नेटवर्क एक्टिवेशन्स के सापेक्ष लॉस के हेसियन का विश्लेषण करते हैं। वे सिद्ध करते हैं कि SimpleNorm के लिए, हेसियन एक गॉस-न्यूटन टर्म ( $L$ $L$ ) और एक कर्वेचर टर्म ( $C$ $C$ ) में विभाजित होता है।
- उच्च आयामों में, गॉस-न्यूटन टर्म हावी रहता ( $\|C\|_2 \ll \|L\|_2$ )।
- महत्वपूर्ण रूप से, SimpleNorm हेसियन का स्पेक्ट्रल नॉर्म वेट मैट्रिक्स के स्पेक्ट्रल नॉर्म $\|W\|_2$ के संबंध में स्केल-इनवेरिएंट है।
- इसके विपरीत, एक मानक लीनियर प्रोजेक्शन के लिए, हेसियन स्पेक्ट्रल नॉर्म $\|W\|_2$ के साथ द्विघात (quadratically) रूप से बढ़ता है।
- चूंकि प्रशिक्षण के दौरान $\|W\|_2$ आमतौर पर बढ़ता है, SimpleNorm एक काफी छोटा हेसियन स्पेक्ट्रल नॉर्म बनाए रखता है, जिससे बहुत अधिक स्थिर लर्निंग रेट संभव हो पाता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक संबंध: यह पेपर ट्रांसफॉर्मर के लिए आर्किटेक्चरल डिज़ाइन, एक्टिवेशन स्केल, हेसियन मैट्रिक्स और अधिकतम सहन करने योग्य लर्निंग रेट के बीच एक सीधा संबंध स्थापित करता है।
SimpleNorm और SimpleGPT: SimpleNorm का परिचय, जो एक सरल प्लेसमेंट रणनीति है जो एक्टिवेशन स्केल्स को स्थिर करती है और हेसियन स्पेक्ट्रल नॉर्म को कम करती है। लेखक सैद्धांतिक रूप से प्रदर्शित करते हैं कि यह डिज़ाइन एक छोटा लिप्सचिट्ज़ ग्रेडिएंट स्थिरांक प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): nanoGPT, LLaMA2, और LLaMA3 आर्किटेक्चर का उपयोग करके विभिन्न मॉडल स्केल्स (1B, 1.4B, 7B, और 8B पैरामीटर्स) पर व्यापक प्रयोग।
- SimpleGPT मानक परंपराओं की तुलना में 3× से 10× बड़े लर्निंग रेट को सहन कर सकता है।
- यह मजबूत बेसलाइन्स (LLaMA2 के साथ QKNorm सहित) की तुलना में सुसंगत ऑप्टिमाइज़ेशन स्थिरता और बेहतर प्रदर्शन प्रदर्शित करता है।
- विशिष्ट परिणाम: 7B-स्केल मॉडल्स को 60K स्टेप्स तक प्रशिक्षित करते समय, SimpleGPT 2.208 का ट्रेनिंग लॉस प्राप्त करता है, जबकि LLaMA2 (QKNorm के साथ) का लॉस 2.90 है (0.08 की कमी)।
दक्षता (Efficiency): यह विधि न्यूनतम कम्प्यूटेशनल ओवरहेड (लगभग 3% प्रशिक्षण समय में वृद्धि) लाती है, जिसका कारण मेमोरी-बाउंड नॉर्मलाइज़ेशन ऑपरेशंस है, जिसे torch.compile फ्यूजन के माध्यम से कम किया जाता है।

परिणाम (Results)

लेखकों ने निम्नलिखित पर अपने निष्कर्षों को मान्य किया:

1B पैरामीटर मॉडल्स: SimpleGPT 1B (LLaMA2 पर आधारित) ने LLaMA2 (QKNorm के साथ) की तुलना में ट्रेनिंग लॉस को 2.478 से घटाकर 2.446 कर दिया।
7B पैरामीटर मॉडल्स: SimpleGPT 7B ने 20K, 40K, और 60K ट्रेनिंग स्टेप्स पर निरंतर लाभ दिखाया, जिसमें प्रशिक्षण के साथ प्रदर्शन का अंतर बढ़ता या स्थिर रहता है।
8B पैरामीटर मॉडल्स: SimpleGPT 8B (LLaMA3 पर आधारित) ने LLaMA3 (QKNorm के साथ) की तुलना में काफी कम ट्रेनिंग लॉस प्राप्त किया, भले ही इसमें 3× बड़ा लर्निंग रेट उपयोग किया गया था।
1.4B पैरामीटर मॉडल्स: nanoGPT पर आधारित, SimpleGPT 1.4B ने वैलिडेशन लॉस में लगभग 0.043 का सुधार दिखाया।

प्रयोग पुष्टि करते हैं कि SimpleNorm उन लर्निंग रेट्स पर भी स्थिर प्रशिक्षण सक्षम करता है जहाँ मानक आर्किटेक्चर (PreNorm या PreNorm+QKNorm) डाइवर्ज (diverge) हो जाते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि क्लासिकल सेकंड-ऑर्डर ऑप्टिमाइज़ेशन सिद्धांतों को ट्रांसफॉर्मर डिज़ाइन में आधार बनाकर, SimpleNorm ऑप्टिमाइज़ेशन स्थिरता के लिए एक एकीकृत सैद्धांतिक स्पष्टीकरण प्रदान करता है। इसकी महत्ता निम्नलिखित है:

सिद्धांत-आधारित डिज़ाइन: अनुभवजन्य ह्यूरिस्टिक्स से आगे बढ़कर हेसियन के स्पेक्ट्रल नॉर्म द्वारा निर्देशित डिज़ाइन की ओर बढ़ना।
स्केलेबिलिटी: बहुत गहरे और बड़े पैमाने के मॉडल्स को काफी बड़े लर्निंग रेट के साथ प्रशिक्षित करने का तरीका प्रदान करना, जो अभिसरण (convergence) को तेज करता है और अंतिम प्रदर्शन में सुधार करता है।
सरलता: जटिल आर्किटेक्चरल संशोधनों या उन 'नॉर्म-फ्री' दृष्टिकोणों के बजाय जो इम्प्लिसिट बाउंडेड नॉन-लीनियरिटीज़ पर निर्भर करते हैं, एक सरल संरचनात्मक परिवर्तन (नॉर्मलाइज़ेशन प्लेसमेंट) के माध्यम से ये लाभ प्राप्त करना।

लेखक निष्कर्ष निकालते हैं कि SimpleNorm दोहरे प्रभाव के माध्यम से प्रदर्शन में सुधार करता है: स्थानीय स्तर पर, कम वक्रता परिवर्तनशीलता (curvature variability) के माध्यम से ऑप्टिमाइज़ेशन ज्योमेट्री में सुधार करके, और वैश्विक स्तर पर, व्यापक नॉर्मलाइज़ेशन-प्रेरित नॉन-लीनियरिटी के माध्यम से अभिव्यंजक क्षमता (expressive capacity) बढ़ाकर।