🤖 AI

Small Initialization Matters for Large Language Models

यह शोध पत्र यह प्रदर्शित करता है कि पैरामीटर इनिशियलाइजेशन स्केल को कम करना एक महत्वपूर्ण, लागत-मुक्त हस्तक्षेप के रूप में कार्य करता है जो निम्न-जटिलता वाले संघनन (low-complexity condensation) से समृद्ध प्रतिनिधित्व (rich representation) की ओर एक विशिष्ट विकासात्मक प्रक्षेपवक्र को प्रेरित करके लार्ज लैंग्वेज मॉडल की क्षमता और तर्क क्षमता को बढ़ाता है, साथ ही मौजूदा अनुभवजन्य बाधाओं को दूर करने के लिए एक सरल $\gamma$ -इनिशियलाइजेशन नियम का प्रस्ताव करता है।

मूल लेखक: Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, सुपर-स्मार्ट रोबोट मस्तिष्क (एक लार्ज लैंग्वेज मॉडल या LLM) बना रहे हैं ताकि वह बोलना, तर्क करना और समस्याओं को हल करना सीख सके। आमतौर पर, वैज्ञानिक सोचते हैं कि रोबोट को केवल बड़ा बनाकर, उसे अधिक किताबें खिलाकर, या उसके वायरिंग डायग्राम में बदलाव करके स्मार्ट बनाया जा सकता है।

लेकिन यह शोध पत्र तर्क देता है कि रोबोट के मस्तिष्क को शुरू करने के तरीके में एक छिपा हुआ "गुप्त सूत्र" (secret sauce) है जो उतना ही महत्वपूर्ण है। यह इस बारे में है कि सीखने से पहले रोबोट के मस्तिष्क की कोशिकाओं में शुरुआती "हलचल" (wiggles) को आप कितना छोटा रखते हैं।

यहाँ उन्होंने क्या पाया, इसका सरल विवरण दिया गया है:

1. "नन्हा प्रारंभ" का रहस्य (The "Tiny Start" Secret)

रोबोट के मस्तिष्क को एक खाली कैनवास की तरह समझें। जब आप पेंटिंग शुरू करते हैं, तो आप या तो तुरंत बड़े, साहसी और बिखरे हुए स्ट्रोक बना सकते हैं (लार्ज इनिशियलाइजेशन), या आप बहुत छोटे, नाजुक, लगभग अदृश्य बिंदुओं से शुरुआत कर सकते हैं (स्मॉल इनिशियलाइजेशन)।

पुराना तरीका (बड़े स्ट्रोक): रोबोट बड़े, रैंडम अनुमानों के साथ शुरू होता है। यह एक कठोर मशीन की तरह काम करता है जो वास्तव में "सोचे" बिना केवल पैटर्न को याद कर लेता है।
नया तरीका (नन्हे बिंदु): लेखकों ने पाया कि छोटे शुरुआती सेटिंग्स के साथ शुरू करने से रोबोट को अलग तरह से सीखने के लिए मजबूर किया जाता है। बेतहाशा अनुमान लगाने के बजाय, यह सरल, बुनियादी पैटर्न खोजने से शुरू होता है (जैसे उपन्यास लिखने से पहले वर्णमाला सीखना)। समय के साथ, यह स्वाभाविक रूप से इन सरल पैटर्न को जटिल, स्मार्ट तर्क में विकसित करता है।

उपमा: कल्पना कीजिए कि साइकिल चलाना सीखना।

बड़ी शुरुआत: आप तुरंत 20mph की गति से साइकिल पर कूद जाते हैं। संभावना है कि आप दुर्घटनाग्रस्त हो जाएंगे या बस पहिए घुमाते रह जाएंगे।
छोटी शुरुआत: आप पहले स्थिर साइकिल पर संतुलन बनाना शुरू करते हैं, फिर चलना, फिर धीरे-धीरे पैडल मारना। आप एक ठोस नींव बनाते हैं। पेपर कहता है कि यह "छोटी शुरुआत" अंत में एक बहुत बेहतर साइकिल चालक की ओर ले जाती है।

2. यह पहले क्यों काम नहीं किया (द "नॉइज़" समस्या)

लेखकों ने देखा कि जब उन्होंने बहुत बड़े रोबोटों पर इस "नन्हे स्टार्ट" का परीक्षण किया, तो इसका लाभ गायब हो गया। ऐसा लग रहा था जैसे रोबत नन्हे स्टार्ट का उपयोग करना भूल गया हो।

उन्होंने रोबोट के डिज़ाइन में दो "शोर पैदा करने वाले" (noise makers) पाए जो नन्हे स्टार्ट को दबा रहे थे:

"सुरक्षा जाल" (लेयर नॉर्मलाइजेशन): रोबोट के पास एक सुरक्षा जाल है ताकि उसके नंबर बहुत ज्यादा अजीब न हो जाएं। लेकिन यह जाल बहुत "ढीला" सेट किया गया था। जब रोबोट ने बहुत छोटे नंबरों के साथ शुरुआत की, तो सुरक्षा जाल ने उन्हें अनदेखा कर दिया और उनके साथ सामान्य व्यवहार किया।
- समाधान: उन्होंने सुरक्षा जाल को कस दिया ताकि वह छोटे नंबरों को वास्तव में देख सके।
"पहले टोकन" का जुनून (अटेंशन सिंक): रोबोट में वाक्य के पहले शब्द पर बहुत अधिक ध्यान देने और बाकी को अनदेखा करने की एक बुरी आदत थी। "नन्हा स्टार्ट" इस आदत को और खराब कर देता था।
- समाधान: उन्होंने एक "द्वारपाल" (गेटकीपर - Gated Attention) जोड़ा जिसने रोबोट को पूरे वाक्य पर ध्यान केंद्रित करने के लिए मजबूर किया, न कि केवल शुरुआत पर।

एक बार जब उन्होंने इन दो समस्याओं को ठीक कर दिया, तो "नन्हा स्टार्ट" जादू की तरह काम करने लगा, यहाँ तक कि सबसे बड़े रोबोटों के लिए भी।

3. "गोल्डिलॉक्स" ज़ोन (The "Goldilocks" Zone)

आप सोच सकते हैं, "यदि छोटा होना अच्छा है, तो इसे बेहद छोटा क्यों नहीं बना देते?"
लेखक कहते हैं: नहीं। एक सही संतुलन (sweet spot) होता है।

यदि शुरुआत बहुत छोटी है, तो रोबोट बहुत आलसी हो जाएगा। वह इनपुट की नकल करेगा बिना उसमें कोई बदलाव किए (जैसे एक फोटोकॉपी मशीन)।
यदि शुरुआत बहुत बड़ी है, तो यह अराजक और अव्यवस्थित है।
सही संतुलन: उन्होंने एक विशिष्ट सेटिंग (जिसे $\gamma = 1$ कहा जाता है) पाई जहाँ रोबोट इतना छोटा है कि वह पहले सरल पैटर्न सीख सके, लेकिन इतना बड़ा भी है कि वास्तव में कुछ कर सके। यह "बुनियादी बातें सीखने" और "काम शुरू करने" के बीच का सही संतुलन है।

4. रोबोट वास्तव में कैसे सीखता है (द "कंप्रेशन" ट्रिक)

सबसे दिलचस्प हिस्सा यह है कि इस पद्धति के साथ रोबोट कैसे सीखता है।

मानक रोबोट: अव्यवस्थित शुरुआत करता है और अव्यवस्थित ही रहता है।
नन्हा-स्टार्ट वाला रोबोट: यह एक विशेष पथ का अनुसरण करता है:
1. चरण 1 (संपीड़न/Compression): शुरुआत में, रोबोट की कोशिकाएं एक साथ आती हैं और बहुत सरल और समान हो जाती हैं। यह ऐसा है जैसे रोबोट दुनिया को सरल नियमों में "कंप्रेस" कर रहा है।
2. चरण 2 (विस्तार/Expansion): एक बार जब उसके पास वे सरल नियम आ जाते हैं, तो वह धीरे-धीरे उन्हें जटिल, समृद्ध विचारों में विस्तारित करता है।

बड़ा विचार: पेपर सुझाव देता है कि बुद्धिमत्ता वास्तव में संपीड़न (compression) है। रोबोट को पहले सरल स्पष्टीकरण खोजने के लिए मजबूर करके, यह बेहतर तर्क करना सीखता है। यह सीधे उत्तर का अनुमान लगाने के बजाय पहले सरल सूत्र खोजने जैसा है।

5. जादू कहाँ होता है

रोबोट हर चीज़ में समान रूप से बेहतर नहीं होता है।

यह आसान, स्पष्ट शब्दों (जैसे "the" या "and") का अनुमान लगाने में बहुत बेहतर नहीं होता है।
यह उन कठिन चीज़ों में बहुत बेहतर हो जाता है: जिनमें संदर्भ, तर्क और समझ की आवश्यकता होती है।
उपमा: यदि आप रोबोट से पूछते हैं, "2+2 क्या है?", तो वह पहले से ही अच्छा था। लेकिन यदि आप उससे पूछते हैं, "यदि मेरे पास एक लाल गेंद और एक नीली गेंद है, और मैं लाल वाली खो देता हूँ, तो मेरे पास कौन से रंग की गेंद बची है?", तो "नन्हा स्टार्ट" वाला रोबोट इसे समझने में बहुत बेहतर है क्योंकि उसने संदर्भ का उपयोग करना सीखा है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर भविष्य के AI बनाने के लिए एक सरल नियम प्रस्तावित करता है:
छोटा शुरू करें।
केवल AI को बड़ा न बनाएं; इसे शुरू करने के तरीके को बदलें। "नन्हा स्टार्ट" (विशेष रूप से $\gamma=1$ सेटिंग) का उपयोग करें, डिज़ाइन में दो "शोर" समस्याओं को ठीक करें, और आपको एक स्मार्ट, अधिक तर्क करने में सक्षम AI मिलेगा जिसके लिए अतिरिक्त पैसा या समय खर्च करने की आवश्यकता नहीं है। यह एक मुफ्त अपग्रेड है जो रोबोट की पूरी सीखने की यात्रा को "अनुमान लगाने" से बदलकर "समझने" में बदल देता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स के लिए छोटा इनिशियलाइजेशन महत्वपूर्ण है

समस्या विवरण (Problem Statement)

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) की प्रगति का श्रेय आमतौर पर स्केल, डेटा और आर्किटेक्चर को दिया जाता है, पैरामीटर इनिशियलाइजेशन (parameter initialization) एक महत्वपूर्ण डिज़ाइन विकल्प बना हुआ है जो बड़े-मॉडल युग में एक जटिल समस्या के रूप में उभरा है। मानक ह्यूरिस्टिक्स (जैसे, ज़ेवियर, कैमिंग) के लिए अक्सर महंगी ट्रायल-एंड-एरर ट्यूनिंग की आवश्यकता होती है। एक प्रचलित सैद्धांतिक दृष्टिकोण सुझाव देता है कि छोटा इनिशियलाइजेशन नेटवर्क को एक "कंडेंस्ड" (condensed) शासन में ले जाता है जहाँ वेट्स साझा दिशाओं के साथ संरेखित होते हैं और फिर विविधता लाते हैं, जिससे संभावित रूप से तर्क (reasoning) और सामान्यीकरण (generalization) में सुधार होता है। हालांकि, यह स्पष्ट नहीं है कि क्या ये लाभ वास्तविक LLM प्रीट्रेनिंग स्केल पर बने रहते हैं, या क्या आर्किटेक्चरल घटक अनजाने में छोटे इनिशियलाइजेशन के लाभों को दबा देते हैं।

कार्यप्रणाली (Methodology)

लेखक LLM ट्रेनिंग डायनेमिक्स और प्रदर्शन पर इनिशियलाइजेशन स्केल के प्रभाव की व्यवस्थित जांच करते हैं।

इनिशियलाइजेशन पैरामीट्राइजेशन: वेट मैट्रिसेस $W$ को $W_{ij} \sim \mathcal{N}(0, \sigma^2)$ के रूप में इनिशियलाइज किया जाता है, जहाँ $\sigma = d_{in}^{-\gamma}$ । पैरामीटर $\gamma$ स्केल को नियंत्रित करता है: $\gamma = 0.5$ मानक ज़ेवियर-जैसे स्केलिंग को रिकवर करता है, जबकि $\gamma > 0.5$ (विशेष रूप से $\gamma = 1$ ) छोटा इनिशियलाइजेशन प्रदान करता है।
मॉडल आर्किटेक्चर: डेंस डिकोडर-ओनली ट्रांसफॉर्मर और मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स दोनों पर प्रयोग किए गए। आर्किटेक्चरल विविधताओं में मानक LayerNorm/RMSNorm और मल्टी-हेड अटेंशन शामिल थे।
आर्किटेक्चरल हस्तक्षेप (Architectural Interventions): देखे गए सीमाओं को दूर करने के लिए, दो विशिष्ट समायोजनों का परीक्षण किया गया:
1. RMSNorm कांस्टेंट ( $\epsilon$ ) को कम करना: जब हिडन-स्टेट वेरिएंस छोटा हो, तो नॉर्मलाइजेशन फैक्टर को कांस्टेंट द्वारा डोमिनेट होने से रोकने के लिए $\epsilon$ को मानक $10^{-5}$ से घटाकर $10^{-12}$ करना।
2. गेटेड अटेंशन (Gated Attention): अटेंशन हेड आउटपुट्स में क्वेरी-डिपेंडेंट गेट्स पेश करना ताकि "अटेंशन सिंक" (पहले टोकन पर अत्यधिक ध्यान देना) को कम किया जा सके, जो छोटे इनिशियलाइजेशन के कारण बढ़ जाता है।
ट्रेनिंग सेटअप: मॉडल्स को एक उच्च-गुणवत्ता वाले द्विभाषी (चीनी-अंग्रेजी) कॉर्पस (1 ट्रिलियन टोकन) पर नेक्स्ट-टोकन प्रेडिक्शन के साथ AdamW का उपयोग करके प्रशिक्षित किया गया। प्रयोग 0.1B से 1.5B पैरामीटर्स तक के मॉडल साइज पर किए गए।
विश्लेषण मेट्रिक्स:
- टोकन-लेवल: सिमेट्रिक प्रोबेबिलिटी गैप ( $\Delta_{sym}$ ) और टोकन डिफिकल्टी (औसत लॉस) का उपयोग प्रदर्शन लाभों को खोजने के लिए किया गया।
- मैकेनिस्टिक: रो-वाइज कोसाइन सिमिलरिटी और स्टेबल रैंक ( $\|W\|_F^2 / \|W\|_2^2$ ) का उपयोग पैरामीटर स्ट्रक्चर (कंडेंसेशन बनाम एक्सपेंशन) के विकास को ट्रैक करने के लिए किया गया।

मुख्य परिणाम (Key Results)

1. स्केलिंग सीमा और इसका समाधान

मानक सेटिंग्स ( $\gamma=0.5$ बनाम $\gamma=1$ ) के तहत, छोटा इनिशियलाइजेशन लगातार वैलिडेशन लॉस को कम करता है, लेकिन जैसे-जैसे मॉडल का आकार बढ़ता है, यह लाभ कम होता जाता है। लेखक दो आर्किटेक्चरल बाधाओं की पहचान करते हैं जो इस कारण से हैं:

RMSNorm सैचुरेशन: मानक $\epsilon=10^{-5}$ के साथ, जब $\sigma^2(h) \lesssim \epsilon$ हो, तो नॉर्मलाइजेशन फैक्टर छोटे इनिशियलाइजेशन के कम वेरिएंस के प्रति असंवेदनशील हो जाता है। $\epsilon$ को $10^{-12}$ तक कम करने से संवेदनशीलता बहाल हो जाती है।
अटेंशन सिंक: छोटा इनिशियलाइजेशन पहले टोकन की ओर ध्यान देने की प्रवृत्ति को तीव्र करता है। गेटेड अटेंशन इसे प्रभावी ढंग से कम करता है, जो इन समायोजनों के साथ मिलकर लॉस को काफी कम कर देता है।
परिणाम: जब दोनों बाधाएं हटा दी जाती हैं, तो प्रदर्शन का अंतर बढ़ जाता है। इन समायोजनों के साथ छोटा इनिशियलाइजेशन ( $\gamma=1$ ) प्रभावी मॉडल साइज को लगभग 44% सुधारता है और विभिन्न मॉडल स्केल्स पर निरंतर लाभ प्रदान करता है।

2. इष्टतम इनिशियलाइजेशन स्केल ( $\gamma=1$ )

अध्ययन निर्धारित करता है कि इनिशियलाइजेशन मनमाने ढंग से छोटा नहीं होना चाहिए।

रेसिडुअल फ्लो बैलेंस: एक ट्रांसफॉर्मर में, रेसिडुअल अपडेट को आइडेंटिटी पाथवे के तुलनीय रहना चाहिए। सैद्धांतिक विश्लेषण दिखाता है कि रेसिडुअल फ्लो $d^{1-\gamma}$ $d^{1 - γ}$ के रूप में स्केल होता है।
- यदि $\gamma < 1$ , तो रेसिडुअल डोमिनेट करता है।
- यदि $\gamma > 1$ , तो रेसिडुअल लुप्त हो जाता है, जिससे नेटवर्क एक आइडेंटिटी मैपिंग के करीब रह जाता है।
- $\gamma = 1$ वह क्रिटिकल बैलेंस पॉइंट है जहाँ रेसिडुअल अपडेट एम्बेडिंग स्केल से मेल खाता है। अनुभवजन्य रूप से, प्रदर्शन $\gamma=1$ पर चरम पर होता है और $\gamma > 1$ के लिए घट जाता है।

3. टोकन-लेवल और टास्क-स्पेसिफिक लाभ

गैर-समान लाभ: सुधार सभी टोकन्स पर समान नहीं हैं। लाभ उन "मध्यम-से-उच्च कठिनाई" वाले टोकन्स पर केंद्रित होते हैं जिन्हें कॉन्टेक्स्टुअल इंटीग्रेशन और रीजनिंग की आवश्यकता होती है, न कि आसान टोकन्स या अत्यंत शोर वाले/दुर्लभ टोकन्स पर।
बेंचमार्क प्रदर्शन: 1.5B मॉडल्स पर, अनुकूलित छोटा इनिशियलाइजेशन ( $\gamma=1$ + समायोजन) रीजनिंग-हैवी बेंचमार्क्स (जैसे, GSM8K, MATH500, HellaSwag) पर मानक इनिशियलाइजेशन ( $\gamma=0.5$ ) की तुलना में काफी बेहतर प्रदर्शन करता है, जिसमें कई कार्यों पर एब्सोल्यूट गेन्स 4% से अधिक है।

4. मैकेनिस्टिक ट्रैजेक्टरी: कंडेंसेशन (Condensation)

छोटा इनिशियलाइजेशन एक विशिष्ट विकासात्मक पथ प्रेरित करता है:

फेज 1 (कंडेंसेशन): ट्रेनिंग के शुरुआती चरण में, वेट मैट्रिसेस तेजी से लो-रैंक, लो-कॉम्प्लेक्सिटी स्ट्रक्चर में कंडेंस होते हैं (रोज़ कोहेरेंट ब्लॉक्स में संरेखित होते हैं)।
फेज 2 (एक्सपेंशन): जैसे-जैसे ट्रेनिंग आगे बढ़ती है, ये स्ट्रक्चर समृद्ध, उच्च-जटिलता वाले रिप्रेजेंटेशन्स में विस्तारित होते हैं।
तुलना: मानक इनिशियलाइजेशन ( $\gamma=0.5$ ) एक विसरित (diffuse), हाई-रैंक स्ट्रक्चर के साथ शुरू होता है जो धीरे-धीरे विकसित होता है, जिसमें प्रारंभिक लो-कॉम्प्लेक्सिटी फेज की कमी होती है। इस "लो-टू-हाई" कॉम्प्लेक्सिटी ट्रैजेक्टरी की परिकल्पना की गई है कि यह मॉडल को सतही मेमोरीज़ के बजाय पार्सिमोनियस रीजनिंग रूल्स की ओर बायस करती है।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि पैरामीटर इनिशियलाइजेशन मॉडल क्षमता और ट्रेनिंग डायनेमिक्स का एक "जीन-जैसे" निर्धारक है, न कि केवल एक लो-लेवल इम्प्लीमेंटेशन डिटेल।

डिज़ाइन एक्सिस: लेखक LLM डिज़ाइन में इनिशियलाइजेशन स्केल $\gamma$ को एक स्पष्ट हाइपरपैरामीटर के रूप में मानने का प्रस्ताव देते हैं।
व्यावहारिक सिफारिश: वे एक $\gamma$ -इनिशियलाइजेशन नियम की वकालत करते हैं: इनिशियलाइजेशन स्केल को एक नॉब के रूप में उजागर करें और $\gamma=1$ को डिफॉल्ट के रूप में अपनाएं। इस हस्तक्षेप को "लगभग लागत-मुक्त" बताया गया है जो प्रीट्रेनिंग को बेहतर बनाने और विभिन्न स्केल्स पर रीजनिंग को मजबूत करने में सक्षम है।
सैद्धांतिक अंतर्दृष्टि: यह कार्य इस विचार का ठोस प्रमाण प्रदान करता है कि "कंप्रेशन ही इंटेलिजेंस है", जो यह दर्शाता है कि एक विशिष्ट इनिशियलाइजेशन रिजीम मॉडल्स को एक कंडेंसेशन फेज से गुजरने के लिए मजबूर करता है जो बेहतर रीजनिंग क्षमताओं के साथ सह-संबंधित है।
आर्किटेक्चरल इंटरडिपेंडेंस: निष्कर्ष रेखांकित करते हैं कि इनिशियलाइजेशन के लाभ आर्किटेक्चरल घटकों (विशेष रूप से नॉर्मलाइजेशन कांस्टेंट्स और अटेंशन मैकेनिज्म) पर निर्भर हैं, जो सुझाव देते हैं कि इन्हें स्वतंत्र रूप से नहीं बल्कि संयुक्त रूप से ट्यून किया जाना चाहिए।