💬 NLP

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization

यह शोध पत्र GeoNorm को प्रस्तुत करता है, जो एक नवीन सामान्यीकरण (normalization) विधि है जो लेयर आउटपुट्स को लेयर-वार क्षय (layer-wise decay) वाले मैनिफोल्ड पर जियोडेसिक अपडेट के रूप में व्याख्या करके Pre-Norm और Post-Norm दृष्टिकोणों को एकीकृत करती है, जिससे नगण्य कम्प्यूटेशनल ओवरहेड के साथ ट्रांसफॉर्मर मॉडल में निरंतर प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

प्रकाशित 2026-01-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, रोबोट एक ट्रांसफॉर्मर (Transformer) नामक जटिल मशीन का उपयोग करता है। इस मशीन के अंदर, "श्रमिकों" (जैसे अटेंशन वर्कर्स और फीड-फॉरवर्ड वर्कर्स) की कई परतें हैं जो एक श्रृंखला के माध्यम से सूचना को आगे भेजती हैं।

हर बार जब एक श्रमिक अगले तक संदेश भेजता है, तो उस संदेश को "नॉर्मलाइज़" (सामान्य) करने की आवश्यकता होती है। मान लीजिए कि नॉर्मलाइजेशन एक वॉल्यूम नॉब या एक रूलर (पैमाना) है। यह सुनिश्चित करता है कि संदेश बहुत तेज़ (बहुत बड़ा) या बहुत धीमा (बहुत छोटा) न हो, इससे पहले कि वह अगले चरण में जाए।

लंबे समय तक, इंजीनियरों के पास इस वॉल्यूम नॉब को नियंत्रित करने के दो मुख्य तरीके थे:

पोस्ट-नॉर्म (Post-Norm): श्रमिक अपना काम करता है, अपना संदेश श्रृंखला में जोड़ता है, और उसके बाद कोई वॉल्यूम की जाँच करता है और उसे समायोजित करता है।
प्री-नॉर्म (Pre-Norm): श्रमिक के काम शुरू करने से पहले ही कोई वॉल्यूम की जाँच कर लेता है, ताकि श्रमिक हमेशा एक सही आकार के संदेश के साथ शुरुआत करे।

दोनों तरीके काम करते हैं, लेकिन दोनों में कुछ कमियां हैं। पोस्ट-नॉर्म के कारण कभी-कभी वॉल्यूम अचानक बहुत बढ़ सकता है (जैसे फीडबैक की गूँज), जबकि प्री-नॉर्म के कारण शुरुआती श्रमिक बाद वाले श्रमिकों की तुलना में बहुत ज़ोर से चिल्ला सकते हैं।

नया विचार: जियोनॉर्म (GeoNorm)

इस शोध पत्र के लेखकों ने कहा, "हम केवल रूलर से वॉल्यूम की जाँच क्यों कर रहे हैं? आइए सोचें कि संदेश जिस पथ पर चलता है वह कैसा है।"

उन्होंने महसूस किया कि जिस तरह से ये संदेश चलते हैं, वह एक सपाट फर्श पर चलने के बजाय एक ग्लोब (गोले) की सतह पर चलने जैसा है।

पुराना तरीका (प्रोजेक्शन): कल्पना कीजिए कि आप एक ग्लोब पर चल रहे हैं। आप एक सीधी रेखा में कदम उठाते हैं (एक लेज़र बीम की तरह)। यदि आप सीधे चलते रहते हैं, तो आप अंततः ग्लोब से नीचे अंतरिक्ष में गिर जाएंगे। इसे ठीक करने के लिए, पुराने तरीके कहते हैं, "ओह नहीं, तुम गिर गए! चलो तुम्हें बस सीधा वापस नीचे खींच लेते हैं।" यह एक भद्दा और अचानक किया गया सुधार है जो आपकी दिशा को बिगाड़ सकता है।
नया तरीका (जियोडेसिक): लेखक सुझाव देते हैं कि सीधे चलने और गिरने के बजाय, आपको ग्लोब की वक्र सतह (curved surface) के साथ चलना चाहिए। गणित में, एक घुमावदार सतह पर सबसे छोटा रास्ता जियोडेसिक (geodesic) कहलाता है (जैसे हवाई जहाज़ न्यूयॉर्क से लंदन तक जाने के लिए सीधी रेखा के बजाय चाप/आर्क में उड़ते हैं)।

जियोनॉर्म उस भद्दे "वापस नीचे खींचने" वाले तरीके को एक सुचारू "वक्र के साथ चलने" वाले तरीके से बदल देता है। यह एक एक्सपोनेंशियल मैप (exponential map) नामक गणितीय उपकरण का उपयोग करता है ताकि संदेश स्वाभाविक रूप से "ग्लोब" पर बना रहे, बिना कभी गिरे या किसी झटकेदार सुधार की आवश्यकता के, वक्र का अनुसरण करते हुए।

"डिके" (क्षय) का नुस्खा

यह पेपर "कदम के आकार" (यह कितना बड़ा कदम उठाता है) को संभालने के लिए एक स्मार्ट तरीका भी पेश करता है।

कल्पना कीजिए कि आप एक पहाड़ पर चढ़ रहे हैं। नीचे से, आप बड़े और आत्मविश्वासी कदम उठा सकते हैं। लेकिन जैसे-जैसे आप ऊपर पहुँचते हैं और इलाका अधिक कठिन होता जाता है, आपको छोटे और अधिक सावधान कदम उठाने चाहिए।
जियोनॉर्म इस तर्क को लागू करता है। यह बड़े अपडेट के साथ शुरू होता है और जैसे-जैसे संदेश नेटवर्क की गहरी परतों में आगे बढ़ता है, यह कदमों को धीरे-धीरे छोटा करता जाता है। यह रोबोट को श्रृंखला के अंत के पास लड़खड़ाने या भ्रमित होने से रोकता है।

उन्होंने क्या पाया?

लेखकों ने विभिन्न "हाइकिंग ट्रेल्स" (Arxiv और Books3 जैसे डेटासेट) और विभिन्न आकार के रोबों (छोटे से लेकर विशाल मॉडल तक) पर इस नए तरीके का परीक्षण किया।

बेहतर प्रदर्शन: जियोनॉर्म का उपयोग करने वाला रोबोट लगातार पुराने तरीकों की तुलना में तेज़ी से सीखता है और बेहतर "स्कोर" (कम त्रुटि दर) प्राप्त करता है।
स्थिरता: पुराने तरीकों में कभी-कभी "लॉस स्पाइक्स" (प्रदर्शन में अचानक गिरावट) देखी जाती थी, खासकर जब रोबोट बहुत गहरा हो या प्रशिक्षण लंबा हो। जियोनॉर्म बहुत सुचारू था और इसमें अचानक गिरावट नहीं आई।
कोई अतिरिक्त लागत नहीं: सबसे अच्छी बात? इस तरह से ग्लोब पर चलने के लिए रोबोट को एक भारी बैकपैक ले जाने की आवश्यकता नहीं है। यह अतिरिक्त मेमोरी नहीं जोड़ता है या कंप्यूटर को धीमा नहीं करता है; यह बस यह बदल देता है कि रोबोट कैसे चलता है।

संक्षेप में

यह शोध पत्र तर्क देता है कि AI संदेशों को एक बॉक्स में फिट करने के लिए मजबूर करने के बजाय (पुराने नॉर्मलाइजेशन तरीके), हमें उन्हें स्वाभाविक रूप से उस घुमावदार सतह पर बहने देना चाहिए जिस पर उन्हें यात्रा करनी है। ऐसा करके, AI अधिक स्थिर हो जाता है, बेहतर सीखता है, और इसे हासिल करने के लिए इसे किसी अतिरिक्त कंप्यूटिंग पावर की आवश्यकता नहीं होती है।

तकनीकी सारांश: GeoNorm: Geodesic Optimization के साथ Pre-Norm और Post-Norm को एकीकृत करना

समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर आर्किटेक्चर के भीतर नॉर्मलाइज़ेशन परतों का स्थान—विशेष रूप से Pre-Norm और Post-Norm के बीच का चुनाव—एक महत्वपूर्ण डिज़ाइन निर्णय बना हुआ है जो प्रशिक्षण स्थिरता (training stability), मॉडल प्रदर्शन और ग्रेडिएंट प्रवाह (gradient flow) को प्रभावित करता है। जबकि आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में Pre-Norm अपनी स्थिरता के कारण प्रमुख विकल्प बन गया है, यह असंतुलित ग्रेडिएंट्स पेश करता है जहाँ निचले स्तरों (lower layers) को उच्च स्तरों की तुलना में बड़े अपडेट प्राप्त होते हैं। इसके विपरीत, Post-Norm, जिसे गहरे नेटवर्क प्रशिक्षण को सुगम बनाने के लिए डिज़ाइन किया गया था, प्रशिक्षण अस्थिरता और लॉस स्पाइक्स (loss spikes) के प्रति संवेदनशील है। मौजूदा समाधान जैसे DeepNorm और SandwichNorm पैरामीटर इनिशियलाइजेशन या अतिरिक्त नॉर्मलाइज़ेशन परतों के माध्यम से स्थिरता में सुधार करते हैं, लेकिन वे इन तंत्रों का विश्लेषण करने के लिए एक एकीकृत सैद्धांतिक ढांचे (unified theoretical framework) का अभाव रखते हैं।

कार्यप्रणाली (Methodology)

लेखक GeoNorm प्रस्तावित करते हैं, जो मैनिफोल्ड ऑप्टिमाइज़ेशन (manifold optimization) पर आधारित एक नवीन नॉर्मलाइज़ेशन विधि है। मुख्य सैद्धांतिक अंतर्दृष्टि मानक ट्रांसफॉर्मर अपडेट ऑपरेशन्स ( $x + \text{FFN}(x)$ और $x + \text{Attention}(x)$ ) को एक गोले (sphere) पर ऑप्टिमाइज़ेशन स्टेप्स के रूप में पुनर्व्याख्या करने में निहित है। इस दृष्टिकोण में:

टोकन एम्बेडिंग्स (Token embeddings) एक मैनिफोल्ड पर प्रारंभिक अवस्था के रूप में कार्य करते हैं।
अटेंशन और FFN मॉड्यूल अपडेट दिशाएं (अनुमानित ग्रेडिएंट्स) उत्पन्न करते हैं।
नॉर्मलाइज़ेशन को एक बाधा सेट (constraint set - गोले) पर प्रोजेक्शन के रूप में देखा जाता है।

मानक नॉर्मलाइज़ेशन (Post-Norm) एक अनकन्स्ट्रेंड अपडेट करता है और उसके बाद गोले पर एक यूक्लिडियन प्रोजेक्शन (Euclidean projection) करता है। लेखक तर्क देते हैं कि यह प्रोजेक्शन ज्यामितीय जानकारी को हटा देता है और अपडेट दिशाओं को विकृत कर सकता है। इसके बजाय, GeoNorm इस प्रोजेक्शन स्टेप को एक्सपोनेंशियल मैप (exponential map) का उपयोग करके एक जियोडेसिक अपडेट (geodesic update) से बदल देता है।

एक गोले पर स्थित बिंदु $x$ और एक स्पर्श सदिश (tangent vector) $v$ (प्रोजेक्टेड अपडेट दिशा) के लिए, अपडेट आंतरिक रूप से जियोडेसिक के अनुदिश किया जाता है:
$\text{exp}_x(v) = \cos\left(\frac{\|v\|}{\|x\|}\right)x + \|x\|\sin\left(\frac{\|v\|}{\|x\|}\right)\frac{v}{\|v\|}$

यह फॉर्मूलेशन सुनिश्चित करता है कि रिप्रजेंटेशन मैनिफोल्ड के अनुदिश सुचारू रूप से आगे बढ़े, जिससे फीचर स्पेस की आंतरिक ज्यामिति सुरक्षित रहे। इसके अलावा, लेखक स्टेप साइज ( $\alpha_k$ ) के लिए एक लेयर-वाइज अपडेट डिके (layer-wise update decay) तंत्र पेश करते हैं, जो लर्निंग रेट शेड्यूल्स के समान है। वे तीन डिके रणनीतियों का मूल्यांकन करते हैं:

Harmonic (हार्मोनिक): $\alpha_k = \alpha / k$
Square Root (स्क्वायर रूट): $\alpha_k = \alpha / \sqrt{k}$
Linear (लीनियर): $\alpha_k = \alpha (T - k) / T$

लेखक सैद्धांतिक रूप से यह भी प्रदर्शित करते हैं कि Pre-Norm को गैर-अनुकूली (non-adaptive), डेप्थ-डिपेंडेंट एंगल्स के साथ GeoNorm के एक विशेष मामले के रूप में व्याख्यायित किया जा सकता है, जिससे इन दोनों दृष्टिकोणों को एक एकल ज्यामितीय ढांचे के तहत एकीकृत किया जा सके।

मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा (Theoretical Framework): लेखक एक एकीकृत सैद्धांतिक परिप्रेक्ष्य प्रदान करते हैं जो ट्रांसफॉर्मर परतों को एक गोलाकार मैनिफोल्ड पर पुनरावृत्ति ऑप्टिमाइज़ेशन स्टेप्स के रूप में व्याख्यायित करता है, जिससे Pre-Norm और Post-Norm के बीच की खाई को पाटा जा सके।
GeoNorm एल्गोरिदम: वे GeoNorm पेश करते हैं, जो मानक प्रोजेक्शन-आधारित नॉर्मलाइज़ेशन को एक्सपोनेंशियल मैप के माध्यम से जियोडेसिक अपडेट से बदल देता है। इस विधि के लिए कोई अतिरिक्त प्रशिक्षित पैरामीटर आवश्यक नहीं है और इसमें नगण्य कम्प्यूटेशनल ओवरहेड होता है।
लेयर-वाइज डिके (Layer-wise Decay): अटेंशन और FFN घटकों के लिए प्रशिक्षण गतिशीलता को स्थिर करने के लिए एक नवीन लेयर-वाइज अपडेट डिके का प्रस्ताव।
प्रायोगिक सत्यापन (Empirical Validation): विभिन्न मॉडल आकारों (125M से 1.3B), डेटासेट्स (Arxiv, Books3, FinWeb-Edu) और प्रशिक्षण लंबाई के माध्यम से व्यापक प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

पेपर रिपोर्ट करता है कि GeoNorm सभी परीक्षण किए गए कॉन्फ़िगरेशन में मौजूदा नॉर्मलाइज़ेशन विधियों (Pre-Norm, Post-Norm, DeepNorm, SandwichNorm) को लगातार पछाड़ता है:

प्रदर्शन (Performance): 125M मॉडल के साथ Arxiv और Books3 डेटासेट्स पर, GeoNorm ने सभी बेसलाइन की तुलना में सबसे कम वैलिडेशन लॉस (Arxiv पर 1.8792; Books3 पर 3.4040) प्राप्त किया।
स्केलेबिलिटी (Scalability): मॉडल का आकार बढ़ने के साथ प्रदर्शन का लाभ बना रहता है और बढ़ता जाता है। 1.3B मॉडल के लिए, GeoNorm ने 3.1759 का लॉस प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (Pre-Norm 3.2067) से बेहतर है।
स्थिरता (Stability): GeoNorm ने विशेष रूप से लंबी प्रशिक्षण अवधि (4096 सीक्वेंस लेंथ तक) में बेहतर प्रशिक्षण स्थिरता प्रदर्शित की। जहाँ Post-Norm ने लंबी लंबाई पर लॉस स्पाइक्स और ट्रेनिंग कोलैप्स दिखाया, वहीं Geo-Norm ने स्थिर अभिसरण (stable convergence) बनाए रखा।
डिके तंत्र (Decay Mechanism): डिके रणनीतियों में से, Harmonic decay ( $\alpha/k$ ) ने सर्वश्रेष्ठ प्रदर्शन किया, जिससे परीक्षण किए गए डेटासेट्स पर नए बेंचमार्क स्थापित हुए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GeoNorm मानक ट्रांसफॉर्मर आर्किटेक्चर में निर्बाध एकीकरण (seamless integration) प्रदान करता है, जिसके लिए कोर ब्लॉक्स (Attention या FFN) में किसी संशोधन की आवश्यकता नहीं है और कोई अतिरिक्त प्रशिक्षित पैरामीटर भी नहीं जुड़ते हैं। लेखक का कहना है कि जियोडेसिक ऑप्टिमाइज़ेशन का लाभ उठाकर, GeoNorm रिप्रजेंटेशन को गोलाकार मैनिफोल्ड पर अधिक सुसंगत रूप से आगे बढ़ने में सक्षम बनाता है, जिससे सूचना प्रसार (information propagation) और प्रशिक्षण स्थिरता में सुधार होता है।

यह कार्य रिमानियन ज्योमेट्री (Riemannian geometry) के लेंस के माध्यम से नॉर्मलाइज़ेशन तंत्र को समझने के लिए एक आधारभूत कदम के रूप में स्वयं को स्थापित करता है। यह सुझाव देता है कि Pre-Norm की अनुभवजन्य सफलता को इसके निहित स्टेप-साइज डिके द्वारा समझाया जा सकता है, जिसे GeoNorm स्पष्ट और अनुकूलनीय (adaptive) बनाता है। लेखक निष्कर्ष निकालते हैं कि यह एकीकृत दृष्टिकोण ट्रांसफॉर्मर आर्किटेक्चर डिजाइन में भविष्य के नवाचारों के लिए एक मजबूत आधार प्रदान करता है, विशेष रूप से मॉडल्स को अधिक गहराई और जटिलता तक स्केल करने के लिए।