तकनीकी सारांश: BHyT – Pre-Layer Normalization का एक स्थिर और कुशल विकल्प

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) प्रशिक्षण को स्थिर करने और प्रभावी ट्रांसफर लर्निंग सक्षम करने के लिए मुख्य रूप से Pre-Layer Normalization (Pre-LN) पर निर्भर करते हैं, जिसे आमतौर पर RMSNorm के माध्यम से लागू किया जाता है। हालाँकि, जैसे-जैसे मॉडल की गहराई बढ़ती है, मानक Pre-LN डिज़ाइन दो महत्वपूर्ण सीमाओं से ग्रस्त होता है:

1. गहराई का अभिशाप (The Curse of Depth): हालिया विश्लेषणों से संकेत मिलता है कि रेसिडुअल कनेक्शन (residual connections) और Pre-LN के बीच की अंतःक्रिया हिडन स्टेट्स (hidden states) के परिमाण (magnitude) और विचरण (variance) में तीव्र वृद्धि को प्रेरित करती है। यह वृद्धि ब्लॉक जैकोबियन (block Jacobian) को आइडेंटिटी मैट्रिक्स की ओर धकेल देती है, जिससे गहरे स्तर (deeper layers) महंगी आइडेंटिटी मैपिंग की तरह व्यवहार करने लगते हैं और प्रशिक्षण को अस्थिर कर देते हैं।
2. दक्षता बनाम स्थिरता का ट्रेड-ऑफ (Efficiency vs. Stability Trade-off): मौजूदा समाधान अक्सर केवल एक ही पहलू को संबोधित करते हैं। स्थिरता-उन्मुख विधियाँ जैसे Peri-LN (सबलेयर्स से पहले और बाद में नॉर्मलाइज़ करना) या LayerNorm Scaling (LNS) विचरण वृद्धि को दबाते हैं, लेकिन बार-बार सांख्यिकीय गणनाओं के कारण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड उत्पन्न करते हैं। इसके विपरीत, दक्षता-उन्मुख, नॉर्मलाइजेशन-मुक्त विधियाँ जैसे Dynamic Tanh (DyT) सांख्यिकीय ओवरहेड को हटा देती हैं, लेकिन गहराई-वार रेसिडुअल वृद्धि (depth-wise residual growth) को स्पष्ट रूप से नियंत्रित करने में विफल रहती हैं, जिससे गहरे नेटवर्क में सैचुरेशन (saturation) और अस्थिरता की संभावना बनी रहती है।

केंद्रीय चुनौती एक ऐसी प्रणाली डिजाइन करने की है जो बाउंडेड ट्रांसफॉर्मेशन (bounded transformations) के कम ओवरहेड को रेसिडुअल-स्ट्रीम स्केल और विचरण पर स्पष्ट नियंत्रण के साथ जोड़ सके, ताकि थ्रूपुट (throughput) से समझौता किए बिना डेप्थ-वाइज ड्रिफ्ट (depth-wise drift) को रोका जा सके।

2. कार्यप्रणाली: बाउंडेड हाइपरबोलिक टैन (Bounded Hyperbolic Tanh - BHyT)

लेखक BHyT का प्रस्ताव करते हैं, जो Pre-LN के लिए एक ड्रॉप-इन रिप्लेसमेंट है जो हाइपरबोलिक टैन नॉन-लिनियैरिटी (hyperbolic tangent nonlinearity) को स्पष्ट, डेटा-संचालित इनपुट बाउंडिंग के साथ जोड़ता है।

मुख्य तंत्र (Core Mechanism)

DyT के विपरीत, जो इनपुट्स को रीस्केल करने के लिए एक सीखनीय ग्लोबल स्केलर (learnable global scalar) पर निर्भर करता है, BHyT डेटा-निर्भर सांख्यिकी (data-dependent statistics) का उपयोग करके $\tanh(\cdot)$ फंक्शन के इनपुट को स्पष्ट रूप से बाउंड करता है।

• प्रोबेबिलिस्टिक इनपुट बाउंडिंग (Probabilistic Input Bounding): सैचुरेशन को रोकने के लिए, BHyT प्री-$\tanh$ तर्क (argument) को उच्च संभाव्यता के साथ एक पूर्व-निर्धारित अंतराल $[-\lambda, \lambda]$ के भीतर सीमित करता है। चेबिशेव की असमानता (Chebyshev's inequality) का उपयोग करते हुए, यह विधि इनपुट के माध्य ($\mu_x$) और मानक विचलन ($s_x$) के आधार पर एक स्केलिंग नियम व्युत्पन्न करती है।
• आदर्श रूप ($BHyT^*$): सैद्धांतिक रूप से, ट्रांसफॉर्मेशन इनपुट $x$ को इस प्रकार रीस्केल करता है:
  $$BHyT^*(x) = \gamma \odot \tanh\left(\frac{\lambda}{\kappa s_x + |\mu_x|} x\right)$$
  जहाँ $\gamma$ एक सीखनीय स्केल पैरामीटर है, $\lambda$ लक्षित रेंज को परिभाषित करता है, और $\kappa$ एक लक्षित संभाव्यता $p$ के आधार पर स्केलिंग की रूढ़िवादिता (conservativeness) को नियंत्रित करता है। यह सुनिश्चित करता है कि इनपुट उच्च संभाव्यता के साथ $\tanh$ के नॉन-सैचुरेटिंग लीनियर रिजीम (non-saturating linear regime) में रहे।

व्यावहारिक कार्यान्वयन: विचरण सन्निकटन (Variance Approximation)

एक ट्रांसफार्मर ब्लॉक के भीतर प्रत्येक Pre-LN साइट पर सटीक माध्य और विचरण की गणना करना दक्षता के लाभों को समाप्त कर देगा। इसे संबोधित करने के लिए, BHyT एक ब्लॉक-स्तरीय विचरण सन्निकटन (block-level variance approximation) पेश करता है:

1. प्रथम साइट (अटेंशन से पहले): इनपुट का सटीक प्रति-इंस्टेंस विचरण (per-instance variance) गणना करता है।
2. द्वितीय साइट (MLP से पहले): रेसिडुअल आउटपुट ($x + h_{Attn}$) के सटीक विचरण को पुन: गणना करने के बजाय, यह पहले से गणना किए गए इनपुट विचरण और अटेंशन आउटपुट के मॉडल-निर्भर अनुमान का उपयोग करके विचरण का सन्निकटन करता है।
   • अटेंशन आउटपुट विचरण को $\tilde{s}^2_{hAttn} \approx \frac{1}{Td} \|W_V W_O\|_F^2 \cdot \frac{\lambda_{Attn}^2}{\kappa^2}$ के रूप में अनुमानित किया जाता है, जो समान अटेंशन वेट्स और जीरो-मीन गौसियन एंट्रीज को मानता है।
   • यह सन्निकटन दूसरे न्यूनीकरण ऑपरेशन (reduction operation) के बिना सांख्यिकी को पुनः उपयोग करने या पूर्व-निर्धारित मॉडल मापदंडों का उपयोग करने की अनुमति देता है, जिससे क्रिटिकल फॉरवर्ड पाथ में देरी कम होती है।

सैद्धांतिक स्थिरता (Theoretical Stability)

पेपर एक फाइनाइट-डेप्थ वेरिएंस प्रोपेगेशन बाउंड (finite-depth variance propagation bound) प्रदान करता है। थ्योरम 3.5 कहता है कि गहराई $L$ वाले नेटवर्क के लिए, यदि हाइपरपैरामीटर्स $\lambda/\kappa < 1/\sqrt{L}$ की शर्त पूरी करते हैं, तो BHyT के तहत आउटपुट विचरण प्रत्येक परत के लिए LNS की तुलना में स्पष्ट रूप से कम होता है। यह एक सैद्धांतिक गारंटी देता है कि BHyT, LNS की तुलना में अधिक प्रभावी ढंग से डेप्थ-वाइज विचरण वृद्धि को रोकता है।

3. प्रमुख योगदान (Key Contributions)

1. BHyT का प्रस्ताव: एक ड्रॉप-इन रिप्लेसमेंट के रूप में BHyT का प्रस्ताव, जो डेप्थ-वाइज एक्टिवेशन ग्रोथ को नियंत्रित करने के लिए बाउंडेड $\tanh(\cdot)$ ट्रांसफॉर्मेशन को डेटा-संचालित इनपुट बाउंडिंग के साथ जोड़ता है।
2. सैद्धांतिक और व्यावहारिक दक्षता:
   • एक फाइनाइट-डेप्थ वेरिएंस बाउंड का व्युत्पन्न, जो सिद्ध करता है कि विशिष्ट स्थितियों के तहत BHyT, LNS की तुलना में कम वेरिएंस-प्रोपेगेशन बाउंड प्रदान करता है।
   • एक ब्लॉक-स्तरीय विचरण सन्निकटन का परिचय, जो बार-बार सटीक विचरण गणनाओं को कम करता है, जिससे लेटेंसी (latency) काफी कम हो जाती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): Llama-374M, Llama-1B, और Llama-3B मॉडल्स पर व्यापक मूल्यांकन। अध्ययन दर्शाता है कि BHyT स्थिरता-दक्षता ट्रेड-ऑफ में सुधार करता है और मजबूत डाउनस्ट्रीम प्रदर्शन बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Llama-स्टाइल मॉडल्स (374M, 1B, और 3B) पर किए गए, जिन्हें मॉडल आकार के अनुपात में टोकन बजट (लगभग 20 टोकन प्रति पैरामीटर) के साथ C4 कॉर्पस पर प्री-ट्रेन किया गया था।

• स्थिरता (Stability): BHyT ने एक्टिवेशन मैग्नीट्यूड और विचरण में डेप्थ-वाइज ग्रोथ को सफलतापूर्वक दबाया, जो RMSNorm और DyT से बेहतर रहा। एक्टिवेशन स्टैटिस्टिक्स परतों के बीच नियंत्रित रहे, जो Peri-LN जैसे स्थिरता-उन्मुख बेसलाइन के समान हैं।
• प्रदर्शन (Performance):
  • प्रीट्रेनिंग: BHyT ने सभी मॉडल स्केल्स पर सबसे कम प्रीट्रेनिंग लॉस और पर्प्लेक्सिटी (perplexity) प्राप्त की। इसने 3-शॉट बेंचमार्क्स (जैसे ARC, MMLU, Winogrande) पर उच्चतम औसत डाउनस्ट्रीम सटीकता भी प्राप्त की, जो 1B मॉडल पर दूसरे सर्वश्रेष्ठ तरीके से 0.6 अंक तक बेहतर थी।
  • पोस्ट-SFT: Lima1K पर सुपरवाइज्ड फाइन-ट्यूनिंग के बाद, BHyT मॉडल्स ने C4 और WikiText-2 पर कम पर्प्लेक्सिटी दिखाई (जो कम भूलने और बेहतर सामान्यीकरण को दर्शाता है) और RMSNorm, Peri-LN, LNS, और DyT की तुलना में उच्च डाउनस्ट्रीम सटीकता दिखाई।
  • स्केल: Llama-3B पर 20B-टोकन तुलना में, BHyT ने मजबूत स्थिरता-उन्मुख बेसलाइन Peri-LN को औसत डाउनस्ट्रीम सटीकता (प्रीट्रेनिंग) में 3.4 प्रतिशत अंक और (पोस्ट-SFT) में 2.5 अंक से पीछे छोड़ दिया।
• दक्षता (Efficiency):
  • ट्रेनिंग थ्रूपुट (Training Throughput): BHyT ने RMSNorm की तुलना में औसतन 1.6% तेज़ ट्रेनिंग प्राप्त की।
  • जेनरेशन थ्रूपुट (Generation Throughput): BHyT ने Llama-1B पर 1,199.9 टोकन/सेकंड प्राप्त किया, जो RMSNorm से 1.77% और Peri-LN से 18.0% अधिक है। जबकि DyT (शून्य सांख्यिकी के कारण) सबसे तेज़ था, BHyT ने गति और स्थिरता के बीच बेहतर ट्रेड-ऑफ प्रदान किया।
  • एब्लेशन (Ablation): विचरण सन्निकटन तंत्र ने सटीक-रूप BHyT* की तुलना में 14.9% की स्पीडअप प्रदान की, बिना कन्वर्जेंस या डाउनस्ट्रीम प्रदर्शन को महत्वपूर्ण रूप से प्रभावित किए।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि BHyT अधिक गहरे और अधिक कुशल फाउंडेशन मॉडल्स के लिए एक व्यावहारिक मार्ग प्रदान करता है। बाउंडेड ट्रांसफॉर्मेशन के कम ओवरहेड को रेसिडुअल-स्ट्रीम विचरण पर स्पष्ट नियंत्रण के साथ एकीकृत करके, BHyT 'गहराई के अभिशाप' को डबल-नॉर्मलाइजेशन स्कीम्स के कम्प्यूटेशनल दंड के बिना संबोधित करता है।

लेखक का तर्क है कि स्केलेबल ट्रेनिंग स्थिरता से समझौता किए बिना दक्षता में सुधार कर सकती है। BHyT को केवल एक सैद्धांतिक विकल्प के रूप में नहीं, बल्कि RMSNorm के एक मजबूत, ड्रॉप-इन रिप्लेसमेंट के रूप में प्रस्तुत किया गया है जो विभिन्न मॉडल स्केल्स (374M से 3B पैरामीटर्स तक) में स्थिर प्रीट्रेनिंग और मजबूत ट्रांसफर प्रदर्शन को सक्षम करता है और ट्रेनिंग एवं इन्फरेंस दोनों में लेटेंसी को कम करता है।