🤖 machine learning

GNMR: Runtime Stability Control for Low-Precision Large Language Model Training

यह शोध पत्र GNMR को प्रस्तुत करता है, जो एक हल्का, बैकएंड-अज्ञेय (backend-agnostic) रनटाइम कंट्रोलर है जो संख्यात्मक स्वरूपों या प्रशिक्षण विधियों को बदले बिना, स्थानीय ग्रेडिएंट जोखिम संकेतों को सीमित रिकवरी कार्यों के साथ गतिशील रूप से मैप करके कम-परिशुद्धता वाले लार्ज लैंग्वेज मॉडल प्रशिक्षण की स्थिरता को बढ़ाता है।

मूल लेखक: Boao Kong, Weichen Jia, Engao Zhang, Guohong Li, Yonghan Dong, Yao Wang, Yaoyuan Wang, Yunke Peng, Kun Yuan

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boao Kong, Weichen Jia, Engao Zhang, Guohong Li, Yonghan Dong, Yao Wang, Yaoyuan Wang, Yunke Peng, Kun Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से जटिल लेगो किला (एक लार्ज लैंग्वेज मॉडल) बनाने की कोशिश कर रहे हैं, लेकिन इसके लिए एक विशेष, अत्यंत हल्के, पर थोड़े नाजुक ईंटों के सेट का उपयोग कर रहे हैं। ये हल्की ईंटें लो-प्रिसिजन ट्रेनिंग (low-precision training) का प्रतिनिधित्व करती हैं। ये बेहतरीन हैं क्योंकि ये सस्ती हैं, तेज़ हैं, और आपकी वर्कशॉप में बहुत अधिक जगह नहीं घेरतीं (यानी मेमोरी और कंप्यूटिंग पावर बचाती हैं)।

हालाँकि, इसमें एक पेंच है: कभी-कभी, किले के कुछ विशिष्ट हिस्से अचानक डगमगा सकते हैं या टूट सकते हैं। यदि आप सुरक्षा के लिए पूरे किले को भारी, महंगी, उच्च-गुणवत्ता वाली ईंटों का उपयोग करके फिर से बनाने की कोशिश करते हैं, तो आप गति और दक्षता के सभी लाभ खो देंगे। यदि आप डगमगाती ईंटों को अनदेखा करते हैं, तो पूरा किला ढह सकता है।

यही वह समस्या है जिसे यह पेपर संबोधित करता है: आप पूरे निर्माण को धीमा किए बिना किले को स्थिर कैसे रख सकते हैं?

समाधान: GNMR (द "स्मार्ट फोरमैन")

लेखक एक प्रणाली पेश करते हैं जिसे GNMR (ग्रेडिएंट नॉर्म-टू-मीन रेशियो) कहा जाता है। इसे एक अत्यंत चौकस निर्माण फोरमैन (सुपर-अटेंटिव कंस्ट्रक्शन फोरमैन) के रूप में सोचें जो हर सेकंड निर्माण स्थल का चक्कर लगाता है और केवल सबसे महत्वपूर्ण जोड़ों की जाँच करता है।

यह कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

1. "डगमगाहट" डिटेक्टर (जोखिम निगरानी)

ज्यादातर समय, हल्की ईंटें पूरी तरह से काम करती हैं। लेकिन कभी-कभी, एक विशिष्ट खंड (जैसे एक मीनार या दीवार) हिंसक रूप से हिलने लगता है।

GNMR केवल पूरे किले को नहीं देखता; यह व्यक्तिगत ईंटों को देखता है।
यह तुलना करता है कि एक विशिष्ट ईंट अभी कैसा व्यवहार कर रही है बनाम वह अतीत में कैसा व्यवहार करती रही है।
यदि कोई ईंट अपने सामान्य व्यवहार की तुलना में अचानक अजीब व्यवहार करने लगती है, तो GNMR उसे "जोखिम भरा" घोषित कर देता है।
उनके पास एक दूसरा टूल भी है, $\Delta$ -GNMR, जो एक "अचानक झटके वाले सेंसर" की तरह कार्य करता है। यह पकड़ लेता है कि क्या कोई ईंट पिछले कुछ सेकंडों में अचानक हिलना शुरू कर दी है, भले ही वह लंबे समय से ठीक रही हो।

2. "आपातकालीन मरम्मत" बजट

फोरमैन हर एक ईंट को बदलने के लिए पूरे निर्माण को रोक नहीं सकता। ऐसा करने से वह बहुत धीमा और महंगा हो जाएगा।

पेपर एक सख्त बजट निर्धारित करता है: फोरमैन को केवल बहुत कम संख्या में ईंटों (मान लीजिए, सबसे अधिक डगमगाती हुई शीर्ष 5 ईंटों) को किसी भी दिए गए क्षण में भारी, उच्च-गुणवत्ता वाली ईंटों से बदलने की अनुमति है।
इसे $maxO$ बजट कहा जाता है। यह सुनिश्चित करता है कि समग्र रूप से निर्माण तेज़ और सस्ता बना रहे।

3. "लॉक" तंत्र (अराजकता को रोकना)

कल्पना कीजिए कि यदि फोरमैन हर सेकंड एक ईंट को हल्की और भारी ईंट के बीच बार-बार बदलता रहता। यह अराजक और अक्षम होता।

GNMR एक "लॉक" का उपयोग करता है। एक बार जब किसी ईंट को जोखिम भरा माना जाता है और उसे भारी संस्करण में बदल दिया जाता है, तो वह कुछ समय के लिए उसी "भारी" मोड में रहती है।
यह सिस्टम को घबराने और बहुत तेज़ी से इधर-उधर स्विच करने से रोकता है, जिससे निर्माण सुचारू बना रहता है।

परिणाम: एक स्थिर किला, तेज़ और सस्ता

पेपर ने तीन अलग-अलग परिदृश्यों में इस "स्मार्ट फोरमैन" का परीक्षण किया:

तनाव परीक्षण (Stress Testing): उन्होंने बहुत कम गुणवत्ता वाली ईंटों (4-बिट प्रिसिजन) का उपयोग करके मॉडल को तोड़ने की कोशिश की। फोरमैन के बिना, मॉडल विफल हो गया। GNMR के साथ, यह स्थिर रहा।
गहन प्रशिक्षण (Deep Training): उन्होंने सस्ते और महंगे ईंटों के मिश्रण का उपयोग करके बड़े मॉडल (जैसे LLaMA-2) को प्रशिक्षित किया। GNMR ने यह सुनिश्चित किया कि मॉडल उतना ही अच्छा सीखे जितना कि यदि उन्होंने हर जगह महंगी ईंटों का उपयोग किया होता, लेकिन बहुत अधिक तेज़ी से।
फाइन-ट्यूनिंग (Fine-Tuning): उन्होंने 13-बिलियन पैरामीटर वाले मॉडल पर इसका परीक्षण किया। परिणामों ने दिखाया कि मॉडल ने गणित और सामान्य ज्ञान जैसे कार्यों पर उच्च-प्रिसिजन संस्करण के समान ही प्रदर्शन किया, लेकिन भारी लागत के बिना।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि GNMR एक हल्का, बैकएंड-एग्नोस्टिक कंट्रोलर है।

बैकएंड-एग्नोस्टिक (Backend-agnostic) का अर्थ है कि इसे इससे फर्क नहीं पड़ता कि आप किन विशिष्ट उपकरणों या हार्डवेयर का उपयोग कर रहे हैं; यह केवल "स्विचिंग" लॉजिक को प्रबंधित करता है।
यह आपको कम लागत वाले, लो-प्रिसिजन हार्डवेयर (हल्की ईंटों) का उपयोग करके प्रशिक्षण चलाने की अनुमति देता है, लेकिन स्वचालित रूप से पहचान लेता है कि चीजें कब गलत होने वाली हैं।
जब कोई समस्या पाई जाती है, तो यह चयनात्मक रूप से (selectively) उच्च-प्रिसिजन संसाधनों (भारी ईंटों) का उपयोग केवल उस विशिष्ट हिस्से के लिए करता है जिसे इसकी आवश्यकता होती है।

संक्षेप में: GNMR आपको सस्ते, तेज़ सामग्रियों का उपयोग करके एक विशाल, स्थिर AI मॉडल बनाने की अनुमति देता है, क्योंकि इसमें एक स्मार्ट सिस्टम है जो केवल उन छोटे, महत्वपूर्ण क्षणों के लिए महंगी सामग्रियों का उपयोग करता है जब चीजें बिगड़ने लगती हैं। यह लो-प्रिसिजन कंप्यूटिंग के गति और लागत लाभों को खोए बिना प्रशिक्षण को स्थिर रखता है।

तकनीकी सारांश: GNMR – लो-प्रिसिजन लार्ज लैंग्वेज मॉडल प्रशिक्षण के लिए रनटाइम स्टेबिलिटी कंट्रोल

1. समस्या विवरण

लो-प्रिसिजन निष्पादन पथों (जैसे, FP8, क्वांटाइज्ड एक्टिवेशन्स, मिक्सड-प्रिसिजन रेसिपीज़) का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करना कंप्यूटेशनल, मेमोरी और कम्युनिकेशन लागत को कम करने के लिए आवश्यक है। हालांकि, ये पथ संख्यात्मक अस्थिरता (numerical instability) के जोखिम उत्पन्न करते हैं जो पूरे मॉडल या प्रशिक्षण समयरेखा में समान नहीं होते हैं। इसके बजाय, लो-प्रिसिजन व्यवधान अक्सर विशिष्ट ऑपरेटरों या परतों में संक्षिप्त समय अंतराल के दौरान क्षणिक, स्थानीयकृत अस्थिरता के रूप में प्रकट होते हैं।

स्थिरता के मौजूदा दृष्टिकोण—जैसे कि ग्रेडिएंट क्लिपिंग, ग्लोबल ग्रेडिएंट-नॉइज़ एनालिसिस, या स्टैटिक प्रिसिजन रेसिपीज़—अक्सर इस समस्या के रनटाइम कंट्रोल पहलू को संबोधित करने में विफल रहते हैं। वे या तो विशिष्ट अस्थिर इकाइयों की पहचान करने के लिए पर्याप्त सूक्ष्मता (granularity) की कमी रखते हैं, या महंगे ग्लोबल स्टैटिस्टिक्स पर निर्भर करते हैं, या बिना अत्यधिक ओवरहेड के गैर-स्थिर (non-stationary) जोखिमों के अनुकूल नहीं हो पाते हैं। मुख्य चुनौती एक ऐसा कंट्रोलर डिजाइन करने की है जो:

विशिष्ट ऑपरेटरों में स्थानीय, क्षणिक अस्थिरता का पता लगा सके।
केवल आवश्यकता होने पर ही रिकवरी एक्शन (उच्च-फिडेलिटी पथ पर स्विच करना) को ट्रिगर कर सके।
एक कठोर ओवरहेड बजट (मेमोरी और कंप्यूट) के तहत काम कर सके ताकि लो-प्रिसिजन प्रशिक्षण के लाभ कम न हों।
बैकएंड-अग्नोस्टिक बना रहे, यानी कंट्रोल लॉजिक को विशिष्ट कर्नेल कार्यान्वयन या हार्डवेयर रेसिपी से अलग रखे।

2. कार्यप्रणाली: GNMR कंट्रोलर

लेखक GNMR (ग्रेडिएंट नॉर्म-टू-मीन रेशियो) का प्रस्ताव करते हैं, जो एक हल्का, रनटाइम स्टेबिलिटी कंट्रोलर है। GNMR ऑपरेटर-वार ग्रेडिएंट स्टैटिस्टिक्स की निगरानी करके और जोखिम भरी इकाइयों को लो-कॉस्ट निष्पादन पथ से उच्च-फिडेलिटी रिकवरी पथ पर रूट करके कार्य करता है।

2.1 रिस्क मॉनिटरिंग (डुअल-टाइमस्केल)

GNMR पूर्ण-प्रक्रिया सांख्यिकी या महंगे बैकवर्ड पास की आवश्यकता के बिना अस्थिरता का पता लगाने के लिए दो हिस्ट्री-नॉर्मलाइज्ड रिस्क स्कोर का उपयोग करता है:

GNMR (लॉन्ग-हॉरिजन): एक इकाई के वर्तमान ग्रेडिएंट नॉर्म ( $\|g_t\|$ ) की तुलना उसके रनिंग हिस्टोरिकल मीन से करता है। यह उन इकाइयों की पहचान करता है जो अपने सामान्य दीर्घकालिक व्यवहार से विचलित होती हैं।
$\text{GNMR}_t(\theta) := \frac{\|g_t\|}{\frac{1}{t-1}\sum_{\tau=1}^{t-1} \|g_\tau\|}$
$\Delta$ -GNMR (शॉर्ट-विंडो): वर्तमान GNMR मान की तुलना GNMR मानों के हालिया विंडो औसत से करता है। यह जोखिम में अचानक, अल्पकालिक उछाल का पता लगाता है।
$\Delta\text{-GNMR}_t(\theta) := \frac{\text{GNMR}_t(\theta)}{\frac{1}{\delta}\sum_{\tau=1}^{\delta} \text{GNMR}_{t-\tau}(\theta)}$

ये स्कोर आयामहीन (dimensionless) और विषम (heterogeneous) मॉड्यूल के बीच तुलनीय हैं, जिससे कंट्रोलर अपनी मूल स्केल की परवाह किए बिना इकाइयों को जोखिम के आधार पर रैंक कर सकता है।

2.2 बजटेड रिकवरी पॉलिसी

कंट्रोलर रिस्क स्कोर को सीमित कार्यों में बदल देता है:

कैंडिडेट सिलेक्शन: वे इकाइयाँ जिनका रिस्क स्कोर थ्रेशोल्ड ( $\alpha_t, \beta_t$ ) से अधिक है या जो वर्तमान में "लॉक" (थ्रैशिंग को रोकने के लिए) हैं, वे एक कैंडिडेट पूल बनाती हैं।
**एक्टिव बजट ($maxO $):** कंट्रोलर कैंडिडेट पूल से शीर्ष$ maxO$ उच्चतम-जोखिम वाली इकाइयों को चुनता है ताकि उन्हें रिकवरी पथ (उच्च प्रिसिजन) पर निष्पादित किया जा सके। अन्य सभी रिकवरेबल इकाइयाँ लो-कॉस्ट पथ पर रहती हैं।
लॉक मैकेनिज्म: चुनी गई इकाइयों को एक लॉक काउंटर ( $T_{lock}$ ) सौंपा जाता है। यदि कोई इकाई जोखिम भरी बनी रहती है, तो वह कैंडिडेट पूल में रहती है; यदि वह स्थिर होती है, तो लॉक घटता है। यह प्रति स्टेप सक्रिय रिकवरी इकाइयों की हार्ड कैप का सम्मान करते हुए बार-बार स्विचिंग (थ्रैशिंग) को रोकता है।

2.3 सैद्धांतिक प्रेरणा

पेपर एक बाउंड-लेवल विश्लेषण प्रदान करता है जो दिखाता है कि बजटेड रिकवरी ट्रेनिंग ऑब्जेक्टिव के वन-स्टेप स्मूथनेस बाउंड को कम करती है। सैद्धांतिक रूप से, एक निश्चित बजट के तहत इष्टतम रणनीति उन इकाइयों को रिकवर करने की है जिनमें सबसे बड़े "रिकवरी गैप्स" (लो-कॉस्ट और हाई-फिडेलिटी पथ के बीच पर्टर्बेशन पेनल्टी का अंतर) होते हैं। GNMR और $\Delta$ -GNMR ऑनलाइन इस ऑरेकल सिलेक्शन को अनुमानित करने के लिए हल्के प्रॉक्सी के रूप में कार्य करते हैं।

3. प्रमुख योगदान

पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

फॉर्मुलेशन: यह लो-प्रिसिजन स्थिरता को एक कंस्ट्रेंड ऑनलाइन कंट्रोल समस्या के रूप में फ्रेम करता है, जो रिस्क आइडेंटिफिकेशन और रिकवरी निर्णयों को बैकएंड कार्यान्वयन विवरणों से अलग करता है।
डुअल-टाइमस्केल मॉनिटर: GNMR और $\Delta$ -GNMR का डिज़ाइन एक रियल-टाइम, आयामहीन, और लोकल रिस्क सिग्नल प्रदान करता है जो निरंतर विचलन और अचानक परिवर्तनों दोनों को कैप्चर करता है।
बजेटेड पॉलिसी: एक क्लोज्ड-लूप कंट्रोल पॉलिसी जो रिकवरी ओवरहेड पर एक हार्ड कैप ($maxO$) लागू करती है और सक्रिय सेट को स्थिर करने के लिए एक लॉक इंटरवल का उपयोग करती है, जिससे लो-कॉस्ट निष्पादन सुरक्षित रहता है।
कंट्रोलर-लेवल एविडेंस: तीन अलग-अलग सेटिंग्स (एक्टिवेशन-क्वांटाइजेशन स्ट्रेस, डीपसीक-स्टाइल मिक्सड-प्रिसिजन प्री-ट्रेनिंग, और LLaMA-2 13B फाइन-ट्यूनिंग) में व्यापक मूल्यांकन, जो दर्शाता है कि GNMR नए कर्नेल या अंतर्निहित ट्रेनिंग रेसिपी को बदले बिना स्थिरता में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन परिदृश्यों में GNMR का मूल्यांकन किया:

एक्टिवेशन-क्वांटाइजेशन स्ट्रेस (LLaMA-2 प्री-ट्रेनिंग):
- सेटअप: प्रोजेक्शन ऑपरेटर्स के सेव्ड एक्टिवेशन्स को 4-बिट या 8-बिट में क्वांटाइज किया गया।
- परिणाम: स्टैटिक लो-कॉस्ट पथ (4-बिट) कन्वर्ज करने में विफल रहा या हाई परप्लेक्सिटी उत्पन्न की। GNMR-कंट्रोल्ड 4-bit/8-bit रिकवरी ने विभिन्न मॉडल साइज (60M से 13B) में फिक्स्ड 8-bit और BF16 बेसलाइन्स के तुलनीय परप्लेक्सिटी हासिल की।
- स्पैरसिटी (Sparsity): रिकवरी सिग्नल अत्यधिक स्पार्स था, जिसमें एलिजिबल ब्लॉक्स के 0.2% से कम थ्रेशोल्ड उल्लंघन देखा गया, जो पुष्टि करता है कि रिकवरी केवल क्षणिक जोखिमों के लिए आवश्यक है।
डीपसीक-स्टाइल मिक्सड-प्रिसिजन प्री-ट्रेनिंग:
- सेटअप: LLaMA-2 मॉडल्स पर डीपसीक-V3-स्टाइल प्रिसिजन पदानुक्रम (6-bit/8-bit डायनेमिक) का उपयोग करके मूल्यांकन किया गया।
  कंट्रोल्ड डायनेमिक प्रिसिजन पूरे प्रशिक्षण के दौरान फिक्स्ड हायर-प्रिसिजन रेफरेंस (8-bit और 16-bit) के प्रदर्शन के करीब रहा।
- ओवरहेड: प्रति-स्टेप टाइम और थ्रूपुट लगभग लो-कॉस्ट पथ के समान ही रहा, जो न्यूनतम इंजीनियरिंग ओवरहेड प्रदर्शित करता है।
LLaMA-2 13B फाइन-ट्यूनिंग स्ट्रेस:
- सेटअप: LoRA एडैप्टर्स का उपयोग करके फिक्स्ड INT8 बनाम GNMR-कंट्रोल्ड INT8/BF16 के साथ फाइन-ट्यूनिंग।
- परिणाम: GNMR दृष्टिकोण ने उच्च-फिडेलिटी डाउनस्ट्रीम प्रदर्शन प्राप्त किया, जो MMLU पर BF16 के बराबर और HellaSwag पर उससे बेहतर रहा, जबकि लो-कॉस्ट निष्पादन बनाए रखा।

5. महत्व और दावे

पेपर GNMR को एक बैकएंड-अग्नोस्टिक कंट्रोलर के रूप में स्थापित करता है जो लो-प्रिसिजन प्रशिक्षण में "रनटाइम कंट्रोल" के अंतर को संबोधित करता है। इसका महत्व निम्नलिखित में निहित है:

लो-कॉस्ट निष्पादन को बनाए रखना: एक सख्त बजट के तहत एक स्पार्स सबसेट की रिकवरी को सीमित करके, GNMR फुल हाई-प्रिसिजन ट्रेनिंग के मेमोरी और कंप्यूट दंड से बचता है।
कंट्रोल को इम्प्लीमेंटेशन से अलग करना: कंट्रोलर नए न्यूमेरिकल फॉर्मेट, कर्नेल, या ऑप्टिमाइज़र परिवर्तनों की आवश्यकता के बिना मौजूदा लो-कॉस्ट और रिकवरी पथों पर काम करता है।
नॉन-स्टेशनैरिटी को संभालना: स्टैटिक गार्ड्स के विपरीत, GNMR प्रशिक्षण जोखिमों की नॉन-स्टेशनरी प्रकृति के अनुकूल होता है, जो क्षणिक अस्थिरता को पहचानता है और उससे उबरता है जिसे स्टैटिक रेसिपी मिस कर देती हैं।

लेखक निष्कर्ष निकालते हैं कि GNMR स्थानीय संख्यात्मक जोखिमों को गतिशील रूप से पहचानने और उनसे उबरने के तंत्र को प्रदान करके आक्रामक लो-प्रिसिजन प्रशिक्षण रणनीतियों की व्यवहार्यता का समर्थन करता है, जिससे लो-कॉस्ट निष्पादन की दक्षता से समझौता किए बिना प्रशिक्षण स्थिरता सुनिश्चित होती है।