📊 statistics

Numerical stability analysis of large language models

यह शोध पत्र ट्रांसफॉर्मर इन्फरेंस (inference) का एक मिश्रित-परिशुद्धता (mixed-precision) विश्लेषण प्रस्तुत करता है जो लेयरनॉर्म (LayerNorm), RMSNorm और सेल्फ-अटेंशन (self-attention) जैसे प्रमुख घटकों के लिए नवीन त्रुटि सीमाएं (error bounds) और स्थिरता स्थितियां व्युत्पन्न करता है, जो अंततः यह प्रकट करता है कि संख्यात्मक स्थिरता भार के परिमाण (weight magnitudes) और रेसिडुअल स्ट्रीम की वृद्धि (residual stream growth) के बीच परस्पर क्रिया द्वारा नियंत्रित होती है, एक ऐसा निष्कर्ष जिसे GPT-2 पर प्रयोगों द्वारा सत्यापित किया गया है।

मूल लेखक: Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) की कल्पना एक विशाल, बहु-मंजिला कारखाने के रूप में करें। इस कारखाने के अंदर, जानकारी ज़मीन से लेकर ऊपरी मंजिल तक प्रवाहित होती है, जो सैकड़ों कमरों (परतों) से होकर गुजरती है। प्रत्येक कमरे में, जानकारी को संसाधित (process) किया जाता है, मिलाया जाता है और अगले कमरे में भेजने से पहले उसका आकार बदला जाता है।

प्रस्तुत शोध पत्र इस कारखाने के लिए एक सुरक्षा निरीक्षण रिपोर्ट (safety inspection report) है। लेखक पूछ रहे हैं: "यदि हम पहले कमरे में धूल के एक नन्हे, लगभग अदृश्य कण (एक छोटा सा कंप्यूटर राउंडिंग एरर) से शुरुआत करते हैं, तो जब तक वह ऊपर की मंजिल तक पहुँचेगा, वह कण कितना बड़ा हो जाएगा?"

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "लो-प्रिसिजन" (कम-सटीकता वाला) शॉर्टकट

इन कारखानों को तेज़ और सस्ता बनाने के लिए, इंजीनियर अक्सर "लो-प्रिसिजन" गणित का उपयोग करते हैं। इसे ऐसे समझें जैसे सामग्री को मापने के लिए मिलीमीटर के निशानों के बजाय केवल इंच के निशानों वाले रूलर का उपयोग करना। यह तेज़ है, लेकिन आप थोड़ी सटीकता खो देते हैं।

समस्या: जब आप क्रमवार हजारों गणनाएँ करते हैं, तो वे छोटे "इंच मार्क" वाले एरर जमा होते जा सकते हैं। लेखक जानना चाहते थे: क्या इन छोटे एरर्स के भार से कारखाना ढह जाएगा, या यह स्थिर रहेगा?

2. "नॉर्मलाइजिंग" दरवाजे (LayerNorm बनाम RMSNorm)

एक नए कमरे में प्रवेश करने से पहले, जानकारी को एक "नॉर्मलाइजिंग दरवाजे" से गुजरना पड़ता है जो डेटा के आकार को समायोजित करता है।

पुराना दरवाजा (LayerNorm): यह दरवाजा डेटा के औसत आकार को घटा देता है। लेखकों ने पाया कि यदि डेटा में एक विशाल आउटलायर (एक बहुत बड़ी संख्या जो बाकी सब से बहुत बड़ी है) है, तो यह दरवाजा डगमगा सकता है। यह एक सी-सॉ (seesaw) को संतुलित करने जैसा है जहाँ एक तरफ हाथी है और दूसरी तरफ चूहा; गणित यहाँ संवेदनशील हो जाता है।
नया दरवाजा (RMSNorm): यह आधुनिक मॉडलों में उपयोग किया जाने वाला दरवाजा है। यह औसत को घटाता नहीं है; यह केवल कुल आकार के आधार पर स्केल करता है। लेखकों ने पाया कि यह दरवाजा पूर्णतः स्थिर (unconditionally stable) है। उस सी-सॉ पर हाथी होने पर भी, यह दरवाजा मजबूती से टिका रहता है। यह एक अधिक मजबूत डिज़ाइन है।

3. "अटेंशन" (Attention) स्पॉटलाइट

इन मॉडलों का सबसे प्रसिद्ध हिस्सा "सेल्फ-अटेंशन" (Self-Attention) है, जो यह तय करता है कि एक वाक्य के कौन से शब्द एक-दूसरे के लिए महत्वपूर्ण हैं।

"सॉफ्टमैक्स" (Softmax) स्विच: यह वह तंत्र है जो कच्चे स्कोर को संभावनाओं (प्रतिशत) में बदल देता है। लेखकों ने "शिफ्टिंग" (सबसे बड़ी संख्या को घटाने) नामक एक सामान्य ट्रिक का विश्लेषण किया ताकि गणित को फटने (overflow होने) से रोका जा सके।
निष्कर्ष: उन्होंने सिद्ध किया कि यह "शिफ्टिंग" ट्रिक सुरक्षित है। यह सिस्टम को शोर (noise) के प्रति थोड़ा अधिक संवेदनशील बना सकता है (अधिकतम 4 गुना), लेकिन यह गणित को तोड़ता नहीं है। यह सूरज को देखने के लिए चश्मा पहनने जैसा है; यह आपके देखने के तरीके को थोड़ा बदल देता है, लेकिन आपको अंधा नहीं करता।
"अटेंशन सिंक" (Attention Sink): उन्होंने यह भी देखा कि लंबी बातचीत में, मॉडल अक्सर शुरुआती कुछ शब्दों (सिंक) पर बहुत अधिक ध्यान केंद्रित करता है। उनका गणित दिखाता है कि इन लंबी अनुक्रमों (sequences) के साथ भी, त्रुटियाँ पुराने सिद्धांतों के सुझाव के मुकाबले उतनी बुरी तरह से नियंत्रण से बाहर नहीं होती हैं।

4. "रेसिड्यूअल स्ट्रीम" (कन्वेयर बेल्ट)

डेटा एक "रेसिड्यूअल स्ट्रीम" के माध्यम से कारखाने में बहता है—एक कन्वेयर बेल्ट जो मुख्य संदेश को आगे ले जाती है।

वृद्धि: जैसे-जैसे डेटा ऊपरी मंजिलों की ओर बढ़ता है, कन्वेयर बेल्ट स्वाभाविक रूप से "भारी" (संख्याएँ बड़ी) होती जाती है।
वेट्स (Weights): संतुलन बनाए रखने के लिए कारखाने के ऊंचे होने के साथ-साथ मशीनों (weights) को कम (scale down) किया जाता है।
बड़ी खोज: लेखकों ने एक स्वर्णिम नियम पाया: यदि आप कन्वेयर बेल्ट को ऊपर या नीचे स्केल करते हैं, तो सापेक्ष त्रुटि (relative error) वही रहती है।
- उपमा: कल्पना कीजिए कि आप एक ट्रेडमिल पर चल रहे हैं। यदि आप ट्रेडमिल की गति को दोगुना कर देते हैं और साथ ही अपने जूतों का आकार भी दोगुना कर देते हैं, तो आपकी चलने की शैली (आपके आकार के सापेक्ष) नहीं बदलती है।
- शर्त: यह तभी काम करता है जब कन्वेयर बेल्ट "रैखिक" (linear/predictable) व्यवहार करती है। यदि आप वेट्स को बहुत अधिक स्केल करते हैं, तो कन्वेयर बेल्ट अचानक पूरी तरह से अलग मोड में जा सकती है (एक "क्वालिटेटिव ट्रांज़िशन")। उस विशिष्ट मामले में, स्थिरता टूट जाती है। लेकिन जब तक बेल्ट अपने सामान्य लय में रहती है, वेट्स को स्केल करने से सटीकता को नुकसान नहीं पहुँचता है।

5. "GPT-2" प्रयोग

यह साबित करने के लिए कि उनका गणित केवल सिद्धांत नहीं था, उन्होंने GPT-2 नामक एक वास्तविक मॉडल पर इसका परीक्षण किया।

रैंडम वेट्स (Random Weights): जब उन्होंने रैंडम, अनट्रेन्ड वेट्स वाला मॉडल इस्तेमाल किया, तो त्रुटियाँ धीरे-धीरे और अनुमानित रूप से बढ़ीं।
ट्रेन्ड वेट्स (Trained Weights): जब उन्होंने एक वास्तविक, प्रशिक्षित मॉडल का उपयोग किया, तो त्रुटियाँ थोड़ी तेज़ी से (एक्सपोनेंशियल रूप से) बढ़ीं, लेकिन फिर भी प्रबंधनीय सीमाओं के भीतर रहीं।
निर्णय: गणित सही साबित हुआ। "सापेक्ष त्रुटि" (डेटा के आकार के मुकाबले गलती) सुसंगत रही, जब तक कि उन्होंने मॉडल को बहुत अधिक वजन बदलकर एक अजीब, अस्थिर स्थिति में नहीं धकेल दिया।

सारांश

शोध पत्र यह निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स संख्यात्मक रूप से स्थिर (numerically stable) हैं।
भले ही वे "रफ" गणित (लो-प्रिसिजन) का उपयोग करते हैं और उन्हें विशाल संख्याओं को संभालना पड़ता है, लेकिन आर्किटेक्चर इस तरह से डिज़ाइन किया गया है कि त्रुटियाँ आपदा में नहीं बदलतीं। इसकी स्थिरता की कुंजी वेट्स के आकार और डेटा स्ट्रीम की वृद्धि के बीच का तालमेल है। जब तक मॉडल को किसी अजीब, अस्थिर स्थिति में नहीं धकेला जाता, तब तक लो-प्रिसिजन गणित द्वारा उत्पन्न "शोर" (noise) एक छोटी, प्रबंधनीय धूल के कण जैसा रहता है, न कि किसी भूस्खलन जैसा।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स का संख्यात्मक स्थिरता विश्लेषण (Numerical Stability Analysis)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs), जो ट्रांसफॉर्मर आर्किटेक्चर पर आधारित हैं, कुशल प्रशिक्षण और अनुमान (inference) के लिए निम्न-परिशुद्धता अंकगणित (low-precision arithmetic) पर बहुत अधिक निर्भर करते हैं। जबकि क्वांटाइजेशन और मिश्रित-परिशुद्धता (mixed-precision) रणनीतियाँ महत्वपूर्ण गणनात्मक लाभ प्रदान करती हैं, वे ऐसी संख्यात्मक गड़बड़ी (numerical perturbations) उत्पन्न करती हैं जो नेटवर्क में प्रसारित होती हैं। ये त्रुटियाँ फ्लोटिंग-पॉइंट (FP) ऑपरेशन्स की अंतर्निहित राउंडिंग त्रुटियों द्वारा और भी बढ़ जाती हैं। हालाँकि अनुभवजन्य अध्ययनों ने क्वांटाइजेशन के प्रभाव को व्यापक रूप से प्रलेखित किया है, फिर भी डीप ट्रांसफॉर्मर आर्किटेक्चर में संख्यात्मक स्थिरता के कठोर सैद्धांतिक विश्लेषण दुर्लभ हैं। यह कार्य एक डिटरमिनिस्टिक, मिश्रित-परिशुद्धता संख्यात्मक विश्लेषण विकसित करके इस कमी को दूर करता है, जिसका लक्ष्य आर्किटेक्चर के घटक भागों के लिए कंडीशन नंबर्स और फॉरवर्ड एरर्स के लिए सीमाएँ (bounds) प्राप्त करना है।

कार्यप्रणाली (Methodology)

लेखक एक डिटरमिनिस्टिक राउंडिंग एरर विश्लेषण ढांचे (Higham, 2002) का उपयोग करते हैं जिसे मिश्रित-परिशुद्धता वातावरण के लिए अनुकूलित किया गया है। यह विश्लेषण चार अलग-अलग परिशुद्धताओं के बीच अंतर करता है:

क्वांटाइजेशन परिशुद्धता ( $u_q$ ): जनरल मैट्रिक्स मल्टीप्लिकेशन (GEMM) में ऑपरेंड्स को राउंड करने के लिए उपयोग की जाती है।
एक्यूमुलेशन परिशुद्धता ( $u_a$ ): इनर प्रोडक्ट्स को जोड़ने के लिए उपयोग की जाती है।
वर्किंग परिशुद्धता ( $u_w$ ): नॉन-लीनियर फंक्शन्स के मूल्यांकन के लिए उपयोग की जाती है।
रेसिड्यूअल परिशुद्धता ( $u_r$ ): रेसिड्यूअल स्ट्रीम में स्टेट वेरिएबल्स को स्टोर करने के लिए उपयोग की जाती है।

अध्ययन एक प्रतिनिधि डिकोडर-ओनली ट्रांसफॉर्मर आर्किटेक्चर पर केंद्रित है जिसमें प्री-नॉर्मलाइजेशन, रोटरी पोजीशनल एम्बेडिंग्स (RoPE) के साथ कॉज़ल मल्टी-हेड सेल्फ-अटेंशन, और या तो GELU या SwiGLU फीडफॉरवर्ड (FF) मैकेनिज्म शामिल है। विश्लेषण निम्नलिखित प्रक्रिया द्वारा आगे बढ़ता है:

लेयरनॉर्म/RMSNorm, FF ब्लॉक्स, सॉफ्टमैक्स (Softmax), और सेल्फ-अटेंशन के लिए व्यक्तिगत घटकों के लिए कंडीशन नंबर्स (नॉर्मवाइज, कंपोनेंटवाइज और मिक्स्ड) व्युत्पन्न करना।
विशिष्ट एक्यूमुलेशन एल्गोरिदम (जैसे, रिकर्सिव बनाम पेयरवाइज समेशन) और सॉफ्टमैक्स में एब्जॉर्प्शन प्रभावों को ध्यान में रखते हुए, FP अंकगणित के तहत इन घटकों के लिए फॉरवर्ड एरर बाउंड्स स्थापित करना।
रेसिड्यूअल स्ट्रीम के विकास की गतिशीलता (growth dynamics) को स्पष्ट रूप से मॉडल करते हुए, डीप ट्रांसफॉर्मर आर्किटेक्चर के ग्लोबल फॉरवर्ड एरर का विश्लेषण करने के लिए इन स्थानीय बाउंड्स को एकत्रित करना।

मुख्य योगदान

1. नॉर्मलाइजेशन स्थिरता (LayerNorm बनाम RMSNorm)

यह शोध पत्र आधुनिक LLM इन्फरेंस की विशेषता वाले "मैसिव आउटलेयर्स" (massive outliers) के शासन में LayerNorm और RMSNorm का तुलनात्मक संख्यात्मक स्थिरता विश्लेषण प्रदान करता है।

निष्कर्ष: संवेदनशीलता (कंडीशन नंबर्स) के मामले में कोई भी फंक्शन पूर्णतः श्रेष्ठ नहीं है। हालाँकि, LayerNorm का फॉरवर्ड एरर आउटलेयर के बैकग्राउंड एंट्रीज के परिमाण द्वारा नियंत्रित होता है, जबकि RMSNorm अनकंडीशनल फॉरवर्ड स्थिरता प्रदर्शित करता है।
निहितार्थ: आधुनिक LLMs में RMSNorm की ओर संक्रमण संख्यात्मक स्थिरता को सीधे कम किए बिना गणनात्मक जटिलता को कम करता है, हालांकि विशिष्ट एरर व्यवहार इनपुट वितरण पर निर्भर करता है।

2. फीडफॉरवर्ड मैकेनिज्म स्थिरता

लेखक स्मूथ ReLU-जैसे एक्टिवेशन्स (जैसे, GELU) और गेटेड मैकेनिज्म (जैसे, SwiGLU) का उपयोग करके FF ब्लॉक्स की फॉरवर्ड स्थिरता का विश्लेषण करते हैं।

निष्कर्ष: यह सिद्ध किया गया है कि GELU और SwiGLU दोनों मैकेनिज्म का FP मूल्यांकन फॉरवर्ड स्टेबल है। एरर बाउंड्स स्वयं नॉन-लिनैरिटीज़ के बजाय अंतर्निहित GEMMs के क्वांटाइजेशन और एक्यूमुलेशन एरर द्वारा डोमिनेट होते हैं।

3. सॉफ्टमैक्स सेंसिटिविटी और अटेंशन सिंक्स (Attention Sinks)

यह विश्लेषण सॉफ्टमैक्स के संख्यात्मक व्यवहार को संबोधित करता है, विशेष रूप से "अटेंशन सिंक्स" (जहाँ प्रोबेबिलिटी मास शुरुआती टोकन्स पर केंद्रित होता है) की उपस्थिति में।

शिफ्टेड इवैल्यूएशन: शोध पत्र पुष्टि करता है कि जबकि शिफ्टेड इवैल्यूएशन एल्गोरिदम (ओवरफ्लो को रोकने के लिए मैक्सिमम को घटाना) संख्यात्मक अस्थिरता को रोकता है, यह अनशिफ्टेड इवैल्यूएशन की तुलना में गड़बड़ी के प्रति संवेदनशीलता को अधिकतम 4 के कारक से बढ़ाता है।
केंद्रित वितरण: केंद्रित प्रोबेबिलिटी डिस्ट्रीब्यूशन (जो अटेंशन सिंक्स में सामान्य है) के लिए, लेखक एक नया राउंडिंग-एरर बाउंड निकालते हैं जो एब्जॉर्प्शन प्रभावों को ध्यान में रखता है। यह बाउंड कुल सीक्वेंस लेंथ के बजाय प्रभावी सीक्वेंस लेंथ (गैर-एब्जॉर्ब किए गए टर्म्स की संख्या) के साथ स्केल करता है, जो लॉन्ग-कॉन्टेक्स्ट इन्फरेंस की अनुभवजन्य सफलता की व्याख्या करता है।

4. सीक्वेंस-लेंथ-इंडिपेंडेंट लिप्सचिट्ज़ बाउंड्स (Lipschitz Bounds)

एक महत्वपूर्ण सैद्धांतिक योगदान सेल्फ-अटेंशन के लोकल लिप्सचिट्ज़ कांस्टेंट पर नए बाउंड्स का व्युत्पन्न करना है जो इनपुट सीक्वेंस की लंबाई ( $N$ ) से स्वतंत्र हैं।

सुधार: ये बाउंड्स डिस्क्रीट केस में पिछले मीन-फील्ड बाउंड्स (Castin et al., 2024) में सुधार करते हैं। ये बाउंड्स इनपुट के नॉर्म में स्ट्रिक्टली क्वाड्रेटिक हैं, जबकि पिछले डिस्क्रीट बाउंड्स में एक्सपोनेंशियल फैक्टर्स शामिल थे।
आउटलेयर्स: विश्लेषण दिखाता है कि एक मैसिव आउटलेयर की उपस्थिति इन बाउंड्स को और अधिक टाइट कर सकती है, जिससे अटेंशन हेड का कंडीशन नंबर कम हो जाता है।

5. ग्लोबल आर्किटेक्चर स्टेबिलिटी और रेसिड्यूअल स्ट्रीम डायनेमिक्स

यह पेपर पूरे डीप ट्रांसफॉर्मर का विश्लेषण करने के लिए लोकल एरर बाउंड्स को एकत्रित करता है।

मुख्य अंतर्दृष्टि: इन्फरेंस की संख्यात्मक स्थिरता वेट मैग्नीट्यूड और रेसिड्यूअल स्ट्रीम के विकास की गतिशीलता के बीच परस्पर क्रिया द्वारा निर्धारित होती है।
स्केलिंग लॉज़: विश्लेषण यह सत्यापित करता है कि रेसिड्यूअल-प्रोजेक्शन वेट्स (GPT-2 द्वारा पेश किया गया) का स्टैंडर्ड डेप्थ-डिपेंडेंट स्केलिंग, सापेक्ष राउंडिंग एरर के प्रसार को सुरक्षित रखता है, बशर्ते कि स्केलिंग रेसिड्यूअल स्ट्रीम की गतिशीलता में गुणात्मक परिवर्तन न लाए। यदि रेसिड्यूअल स्ट्रीम वेट स्केलिंग के प्रति रैखिक रूप से प्रतिक्रिया करती है, तो रिलेटिव एरर अपरिवर्तित रहता है।

परिणाम और प्रयोगात्मक सत्यापन

सैद्धांतिक बाउंड्स को रैंडमली इनिशियलाइज्ड वेट्स बनाम प्री-ट्रेन्ड वेट्स की तुलना करते हुए GPT-2 XL मॉडल के साथ प्रयोगों द्वारा सत्यापित किया गया।

एरर ग्रोथ: रैंडमली इनिशियलाइज्ड मॉडल्स के लिए, अनुभवजन्य एरर ग्रोथ सब-एक्सपोनेंशियल ( $O(e^{l^{0.24}})$ ) थी, जो कि सैद्धांतिक भविष्यवाणी के अनुरूप है, हालांकि अनुभवजन्य दर वर्स्ट-केस बाउंड की तुलना में कम तीव्र थी।
प्री-ट्रेन्ड मॉडल्स: प्री-ट्रेन्ड मॉडल्स ने धीमी एक्सपोनेंशियल एरर ग्रोथ प्रदर्शित की। पॉलीनोमियल-रेट प्रेडिक्शन के साथ यह विसंगति प्री-ट्रेन्ड मॉडल्स में डेप्थ के साथ वेट मैग्नीट्यूड के वेरिएशन के कारण है, जो यूनिफॉर्म स्केलिंग धारणाओं का उल्लंघन करता है।
वेट स्केलिंग प्रयोग: रेसिड्यूअल-प्रोजेक्शन वेट्स ( $W_O$ $W_{O}$ और $W_{down}$ $W_{d o w n}$ ) को स्केल करने वाले प्रयोगों ने सैद्धांतिक परिकल्पना की पुष्टि की:
- रैंडमली इनिशियलाइज्ड मॉडल में, एब्सोल्यूट राउंडिंग एरर वेट स्केलिंग फैक्टर $\xi$ के साथ लीनियरली स्केल हुआ।
- प्री-ट्रेन्ड मॉडल में, $\xi=2$ और $\xi=5$ के बीच एक "क्वालिटेटिव ट्रांजिशन" हुआ, जिससे एब्सोल्यूट एरर में नॉन-लीनियर रिस्पॉन्स मिला। एक बार जब मॉडल एक नए रिजीम ( $\xi > 5$ ) में सेट हो गया, तो एरर स्ट्रिक्टली प्रोपोर्शनल स्केलिंग पर वापस आ गया।
- महत्वपूर्ण रूप से, सभी मामलों में, रिलेटिव राउंडिंग एरर स्केलिंग के प्रति अपरिवर्तित रहा, जब तक कि स्केलिंग ने रेसिड्यूअल स्ट्रीम डायनेमिक्स में बाइफरकेशनेशन (bifurcation) उत्पन्न न किया हो।

महत्व

यह शोध पत्र ट्रांसफॉर्मर इन्फरेंस की संख्यात्मक स्थिरता को समझने के लिए एक कठोर सैद्धांतिक आधार स्थापित करता है। इसका प्राथमिक महत्व है:

सिद्धांत और व्यवहार को जोड़ना: यह ट्रांसफॉर्मर में मिश्रित-परिशुद्धता त्रुटियों का पहला व्यापक डिटरमिनिस्टिक विश्लेषण प्रदान करता है, जो अनुभवजन्य ह्यूरिस्टिक्स से आगे बढ़ता है।
आर्किटेक्चरल चॉइस को वैध बनाना: यह विशिष्ट स्केलिंग लॉज़ (जैसे, GPT-2 इनिशियलाइजेशन) और नॉर्मलाइजेशन तकनीकों (जैसे, RMSNorm) के उपयोग को गणितीय रूप से न्यायसंगत बनाता है, यह दिखाते हुए कि वे विशिष्ट डायनेमिक कंडीशंस के तहत रिलेटिव एरर प्रोपेगेशन को बनाए रखते हैं।
लॉन्ग-कॉन्टेक्स्ट सफलता की व्याख्या करना: सॉफ्टमैक्स के एब्जॉर्प्शन प्रभावों पर व्युत्पन्न बाउंड्स यह सैद्धांतिक स्पष्टीकरण देते हैं कि LLMs एरर एक्युमुलेशन की संभावना के बावजूद लंबे कॉन्टेक्स्ट को कैसे संभाल सकते हैं, क्योंकि अटेंशन सिंक्स के कारण प्रभावी योगदान देने वाले टर्म्स की संख्या अक्सर कम होती है।
स्थिरता की सीमाओं को परिभाषित करना: यह कार्य स्पष्ट करता है कि संख्यात्मक स्थिरता केवल परिशुद्धता या वेट मैग्नीट्यूड का कार्य नहीं है, बल्कि यह रेसिड्यूअल स्ट्रीम के डायनेमिक व्यवहार से आंतरिक रूप से जुड़ी हुई है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनके वर्स्ट-केस बाउंड्स कंजर्वेटिव (रूढ़िवादी) हो सकते हैं (जैसा कि GPT-2 XL प्री-ट्रेन्ड वेट्स के साथ तुलना में देखा गया है), रेसिड्यूअल स्ट्रीम डायनेमिक्स और वेट स्केलिंग के बीच परस्पर क्रिया के संबंध में व्युत्पन्न सिद्धांत संख्यात्मक रूप से स्थिर LLMs के विश्लेषण और डिजाइन के लिए एक मजबूत ढांचा प्रदान करते हैं।