🤖 machine learning

Revealing Modular Gradient Noise Imbalance in LLMs: Calibrating Adam via Signal-to-Noise Ratio

यह शोध पत्र MoLS को प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) में ग्रेडिएंट शोर असंतुलन (gradient noise imbalance) को संबोधित करने के लिए मॉड्यूल-स्तरीय सिग्नल-टू-नॉइज़ अनुपात (module-level signal-to-noise ratios) का अनुमान लगाकर एडम ऑप्टिमाइज़र (Adam optimizer) को स्वचालित रूप से कैलिब्रेट करने की एक विधि है, जिससे बिना किसी मैनुअल ट्यूनिंग के अभिसरण गति (convergence speed) और सामान्यीकरण (generalization) में सुधार होता है।

मूल लेखक: Ziqing Wen, Zhouyang Liu, Jiahuan Wang, Ping Luo, Li Shen, Dongsheng Li, Tao Sun

प्रकाशित 2026-05-08

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ziqing Wen, Zhouyang Liu, Jiahuan Wang, Ping Luo, Li Shen, Dongsheng Li, Tao Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जटिल पहेलियों को हल करने के लिए विशेषज्ञों की एक विशाल टीम (एक लार्ज लैंग्वेज मॉडल) को प्रशिक्षित कर रहे हैं। यह टीम अलग-अलग विभागों से बनी है: एम्बेडिंग (Embedding) टीम (जो कच्चे शब्दों को संख्याओं में अनुवाद करती है), अटेंशन (Attention) टीम (जो यह पता लगाती है कि शब्दों का आपस में क्या संबंध है), एमएलपी (MLP) टीम (जो तर्क को प्रोसेस करती है), और हेड (Head) टीम (जो अंतिम भविष्यवाणी करती है)।

वर्तमान में, कोच (एडम ऑप्टिमाइज़र - Adam optimizer) प्रत्येक टीम सदस्य को बिल्कुल एक ही निर्देश देता है: "इस आधार पर एक कदम आगे बढ़ें कि आपको कितना लगता है कि आप सही हैं।" कोच प्रत्येक व्यक्ति के लिए कदम का आकार व्यक्तिगत रूप से समायोजित करके निष्पक्ष होने की कोशिश करता है।

समस्या: "शोर वाला कमरा" बनाम "शांत पुस्तकालय"
शोध में एक छिपे हुए दोष का पता चला है। यह पाया गया है कि कुछ विभाग एक शांत पुस्तकालय (उच्च सिग्नल, कम शोर) में काम कर रहे हैं, जबकि अन्य एक रॉक कॉन्सर्ट (कम सिग्नल, उच्च शोर) में काम कर रहे हैं।

अटेंशन और लॉजिक टीमें (Q/K, V/O, MLP): वे एक शांत पुस्तकालय में हैं। उनके "ग्रेडिएंट्स" (सुराग जो उन्हें सुधार करने के लिए बताते हैं) स्पष्ट और मजबूत हैं। कोच के निर्देश उनके लिए पूरी तरह से काम करते हैं।
एम्बेडिंग और हेड टीमें: वे एक रॉक कॉन्सर्ट में हैं। उनके सुराग शोर और स्टेटिक (static) के बीच दब गए हैं। क्योंकि कोच का गणित यह मान लेता है कि सुराग स्पष्ट हैं, इसलिए वह गलती से इन शोर वाले टीमों को बहुत छोटे, हिचकिचाते हुए कदम उठाने के लिए कहता है। वे प्रभावी रूप से "पीछे छूट" जाते हैं क्योंकि कोच शोर में उन्हें तेजी से आगे बढ़ने देने से बहुत डरता है।

यह असंतुलन इस बात का अर्थ है कि पूरी टीम उसी गति से चलती है जिस गति से उसके सबसे धीमे, सबसे भ्रमित सदस्य चलते हैं, भले ही बाकी टीम दौड़ने के लिए तैयार हो।

समाधान: MoLS ("सिग्नल-टू-नॉइज़" ट्यूनर)
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे MoLS (SNR के माध्यम से मॉड्यूल-वार लर्निंग रेट स्केलिंग) कहा जाता है। कल्पना कीजिए कि MoLS एक स्मार्ट साउंड इंजीनियर की तरह है जो प्रशिक्षण के बिल्कुल शुरुआत में (एक "वार्म-अप" चरण के दौरान) टीम को कुछ मिनटों तक सुनता है ताकि प्रत्येक विभाग के शोर के स्तर को मापा जा सके।

कैलिब्रेशन (Calibration): MoLS प्रत्येक विभाग के लिए सिग्नल-टू-नॉइज़ रेशियो (SNR) की गणना करता है। यह पूछता है, "आप जो सुन रहे हैं उसमें से कितना वास्तविक सुराग है, और कितना सिर्फ शोर है?"
समायोजन (Adjustment):
- शोर वाले विभागों के लिए (Embedding/Head): MoLS कहता है, "कोच बहुत अधिक सावधान हो रहा है! आपको शोर को काटने के लिए एक बड़े बूस्ट की आवश्यकता है।" यह स्वचालित रूप से उनकी आवाज़ (लर्निंग रेट) बढ़ा देता है।
- स्पष्ट विभागों के लिए (Attention/MLP): MoLS कहता है, "आप बहुत अच्छा कर रहे हैं, अपनी वर्तमान गति बनाए रखें।"
परिणाम: मानक तरीकों का उपयोग करने के बजाय, MoLS प्रत्येक टीम को कितना बूस्ट देना है, इसका अनुमान लगाने के लिए मैन्युअल रूप से अंदाज़ा नहीं लगाता (जो कि रेडियो के नॉब घुमाकर ट्यून करने जैसा है), बल्कि यह गणित को स्वचालित रूप से करता है। यह टीम को पुन: संतुलित करता है ताकि हर कोई अपने विशिष्ट वातावरण के अनुसार सही गति से चल सके।

यह क्यों महत्वपूर्ण है
शोध दिखाता है कि MoLS का उपयोग करना उनके बैकपैक पर अतिरिक्त वजन जोड़े बिना टीम को टर्बो बूस्ट देने जैसा है।

तेज़ प्रशिक्षण: मॉडल तेजी से सीखता है क्योंकि "शोर वाले" टीमें स्लो मोशन में चलने के लिए अटकी नहीं रहती हैं।
बेह बेहतर परिणाम: अंतिम मॉडल मानक तरीकों से प्रशिक्षित मॉडलों की तुलना में भाषा को बेहतर समझता है (कम "परप्लेक्सिटी")।
कोई अतिरिक्त लागत नहीं: इसके लिए महंगे सुपरकंप्यूटर या जटिल मैनुअल ट्यूनिंग की आवश्यकता नहीं होती है। यह बस एक क्षण के लिए सुनता है, वॉल्यूम सेट करता है, और फिर प्रशिक्षण को चलने देता है।

संक्षेप में
यह शोध पत्र बताता है कि मानक एआई प्रशिक्षण सभी भागों के साथ एक जैसा व्यवहार करता है, भले ही कुछ भाग स्वाभाविक रूप से "शोर वाले" हों। MoLS इसे ठीक करता है क्योंकि यह शोर वाले हिस्सों की आवाज़ को स्वचालित रूप से बढ़ाता है और शांत हिस्सों की आवाज़ को कम करता है, जिससे पूरा मस्तिष्क कुशलतापूर्वक और सामंजस्य में सीख पाता है।

तकनीकी सारांश: LLMs में मॉड्यूलर ग्रेडिएंट नॉइज़ असंतुलन का अनावरण

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) प्रभावशाली प्रदर्शन प्राप्त करने के लिए विषम मॉड्यूल संरचनाओं (जैसे, सेल्फ-अटेंशन, फीड-फॉरवर्ड नेटवर्क, एम्बेडिंग) पर निर्भर करते हैं। हालाँकि, यह संरचनात्मक विषमता महत्वपूर्ण अनुकूलन (optimization) चुनौतियों को जन्म देती है। जबकि Adam(W) जैसे एडेप्टिव ऑप्टिमाइज़र प्रति-पैरामीटर एडेप्टिविटी प्रदान करते हैं, वे मॉड्यूल-स्तरीय ग्रेडिएंट विषमता (module-level gradient heterogeneity) को स्पष्ट रूप से संबोधित करने में विफल रहते हैं।

लेखक एक विशिष्ट घटना की पहचान करते हैं: विभिन्न मॉड्यूल व्यवस्थित रूप से असंतुलित सिग्नल-टू-नॉइज़ रेशियो (SNR) प्रदर्शित करते हैं।

उच्च-SNR मॉड्यूल (High-SNR Modules): क्वेरी/की (Q/K) और वैल्यू/आउटपुट (V/O) प्रोजेक्शन जैसे घटक अक्सर मजबूत सिग्नल अखंडता बनाए रखते हैं।
निम्न-SNR मॉड्यूल (Low-SNR Modules): एम्बेडिंग लेयर्स और आउटपुट हेड्स अक्सर, विशेष रूप से प्रशिक्षण के शुरुआती चरणों में, सिग्नल के सापेक्ष उच्च ग्रेडिएंट नॉइज़ से ग्रस्त होते हैं।

मानक Adam के तहत, सेकंड-मोमेंट एस्टीमेट ( $v_t$ ) स्थानीय वक्रता (local curvature) का अनुमान लगाता है लेकिन साथ ही ग्रेडिएंट वेरिएंस ( $\sigma^2$ ) को भी कैप्चर करता है। निम्न-SNR शासन (regimes) में जहाँ शोर (noise) हावी होता है ( $\sigma \gg \mu$ ), एडम अपडेट का परिमाण डिनोमिनेटर ( $\sqrt{v_t}$ ) में वेरिएंस टर्म द्वारा दबा दिया जाता है। इसके परिणामस्वरूप एक "नॉइज़-डैम्पिंग डेफिसिट" (noise-damping deficit) होता है, जहाँ शोर वाले मॉड्यूल्स के प्रभावी अपडेट अनजाने में उच्च-SNR मॉड्यूल्स की तुलना में कम (attenuated) हो जाते हैं। मौजूदा समाधान, जैसे कि मॉड्यूल-विशिष्ट लर्निंग रेट को मैन्युअल रूप से ट्यून करना, कम्प्यूटेशनल रूप से महंगे हैं, उनके लिए व्यापक ग्रिड सर्च की आवश्यकता होती है, और स्केलिंग रेश्यो निर्धारित करने के लिए उनमें कोई सिद्धांतगत मात्रात्मक आधार नहीं होता है।

कार्यप्रणाली: MoLS

इसे संबोधित करने के लिए, लेखक SNR के माध्यम से मॉड्यूल-वाइज लर्निंग रेट स्केलिंग (MoLS) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले कैलिब्रेशन विधि है जो मॉड्यूल-वार लर्निंग रेट आवंटन को स्वचालित करती है।

मुख्य तंत्र

SNR विश्लेषण: लेखक यह व्युत्पन्न करते हैं कि Adam में प्रभावी सिग्नल स्टेप ( $D_m$ ) SNR के वर्गमूल के व्युत्क्रमानुपाती होता है ( $D_m \propto 1/\sqrt{S_m}$ )। निम्न-SNR मॉड्यूल्स में, अपडेट कम (dampened) हो जाते हैं; उच्च-SNR मॉड्यूल्स में, वे साइन ग्रेडिएंट डिसेंट व्यवहार के करीब पहुँच जाते हैं।
वन-शॉट एस्टीमेशन: एक संक्षिप्त वार्म-अप चरण के दौरान (विशेष रूप से प्रशिक्षण के पहले 1% चरणों के दौरान), MoLS अतिरिक्त नमूनों के एक छोटे सेट का उपयोग करके प्रत्येक कार्यात्मक मॉड्यूल (एम्बेडिंग, Q/K, V/O, MLP, हेड) के लिए औसत SNR का अनुमान लगाता है।
सापेक्ष रीस्केलिंग (Relative Rescaling): एक संदर्भ मॉड्यूल (reference module) जिसे उच्च SNR वाला माना गया है (जैसे, V/O), उसे बेसलाइन ( $S_{base}$ ) के रूप में चुना जाता है। प्रत्येक अन्य मॉड्यूल $m$ के लिए, एक स्केलिंग फैक्टर $\alpha_m$ की गणना की जाती है:
$\alpha_m = \sqrt{\frac{S_{base}}{S_m}}$
यह फैक्टर उस मॉड्यूल के लिए ग्लोबल लर्निंग रेट पर गुणात्मक रूप से लागू किया जाता है। कम SNR वाले मॉड्यूल्स को उनके प्रभावी लर्निंग रेट में आनुपातिक बढ़ावा (boost) मिलता है ताकि नॉइज़ डैम्पिंग की भरपाई की जा सके।
सुचारू संक्रमण (Smooth Transition): अचानक बदलावों के कारण होने वाली ट्रेनिंग अस्थिरता को रोकने के लिए, स्केलिंग फैक्टर्स को वार्म-अप चरण के शेष भाग में धीरे-धीरे लागू किया जाता है।

डिज़ाइन विचार

कम्प्यूटेशनल दक्षता: SNR एस्टीमेशन केवल वार्म-अप के दौरान किया जाता है, जिससे कुल प्रशिक्षण समय में नगण्य ओवरहेड (2% से कम) होता है।
अनुकूलता (Compatibility): यह विधि Adam के आंतरिक अपडेट नियमों को संशोधित नहीं करती है और Adam-mini जैसे मेमोरी-एफिशिएंट ऑप्टिमाइज़र और LoRA जैसी पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विधियों के साथ संगत है।
कोई मैन्युअल ट्यूनिंग नहीं: पिछले दृष्टिकोणों के विपरीत, MoLS के लिए मॉड्यूल-विशिष्ट दरों के लिए किसी मैन्युअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं होती है।

मुख्य योगदान

SNR विश्लेषण: पेपर SNR परिप्रेक्ष्य से मॉड्यूल-स्तरीय ग्रेडिएंट सांख्यिकी का एक सिद्धांतगत विश्लेषण प्रदान करता है, जो LLM मॉड्यूल्स में व्यवस्थित असंतुलन को प्रकट करता है और Adam के नॉइज़-डैम्पिंग व्यवहार के लिए एक व्याख्या योग्य स्पष्टीकरण प्रदान करता है।
SNR-आधारित स्केलिंग रणनीति: MoLS का परिचय, जो लर्निंग रेट को स्वचालित रूप से कैलिब्रेट करने के लिए एक संक्षिप्त वार्म-अप के दौरान मॉड्यूल-स्तरीय SNRs का अनुमान लगाता है। यह डिज़ाइन लॉस इंस्टेबिलिटी से बचता है और न्यूनतम कम्प्यूटेशनल ओवरहेड पेश करता है।
व्यापक मूल्यांकन: व्यापक प्रयोगों से पता चलता है कि MoLS विभिन्न मॉडल आकारों (60M से 7B पैरामीटर्स), आर्किटेक्चर (LLaMA, GPT-2, Qwen) और कार्यों (प्री-ट्रेनिंग और फाइन-ट्यूनिंग) में कन्वर्जेंस स्पीड और जनरलाइजेशन में सुधार करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क पर MoLS का मूल्यांकन किया:

प्री-ट्रेनिंग प्रदर्शन: C4 और OpenWebText डेटासेट्स पर, MoLS ने लगातार मानक Adam और अन्य बेसलाइन्स (NAdam, LAMB, Muon) की तुलना में कम वैलिडेशन पर्प्लेक्सिटी (PPL) प्राप्त की।
- 1.3B पैरामीटर वाले LLaMA मॉडल के लिए, MoLS ने Adam की तुलना में अंतिम PPL को 1.06 कम कर दिया।
- जब इसे मेमोरी-एफिशिएंट ऑप्टिमाइज़र (Adam-mini) के साथ जोड़ा गया, तो MoLS ने 1.3B मॉडल पर PPL को 1.53 कम कर दिया।
दक्षता: MoLS ने नगण्य कम्प्यूटेशनल ओवरहेड (<2% समय वृद्धि) पेश किया और कोई अतिरिक्त GPU मेमोरी उपयोग नहीं किया। इसने तुलनीय प्रदर्शन स्तर तक पहुँचने के लिए ट्यून किए गए बेसलाइन्स की तुलना में वॉल-क्लॉक समय में 1.2x से 1.4x की गति प्राप्त की।
फाइन-ट्यूनिंग: डाउनस्ट्रीम कार्यों (कॉमन-सेंस रीजनिंग और MMLU) पर, MoLS ने LoRA के साथ सहजता से एकीकरण किया, जिससे LLaMA-3.2-1B पर Adam की तुलना में औसत सटीकता में 1.11 तक का सुधार हुआ।
जनरलाइजेशन: विधि विभिन्न मॉडल परिवारों (GPT-2, Qwen2.5), विस्तारित अनुक्रम लंबाई (1024 टोकन), और बड़े टोकन बजट (5x Chinchilla स्केलिंग) में मजबूत साबित हुई।
मैन्युअल ट्यूनिंग के साथ तुलना: MoLS ने सावधानीपूर्वक हैंड-ट्यून किए गए मॉड्यूल-विशिष्ट लर्निंग रेट के समान प्रदर्शन प्राप्त किया, जिससे प्रभावी रूप से वह प्रक्रिया स्वचालित हो गई जिसके लिए पहले व्यापक ग्रिड सर्च की आवश्यकता होती थी।

महत्व और दावे

पेपर का दावा है कि MoLS ट्रांसफॉर्मर-आधारित मॉडल्स में संरचनात्मक अनुकूलन असंतुलन को ठीक करने के लिए एक सांख्यिकीय रूप से आधारित और कुशल दृष्टिकोण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सिद्धांतगत स्वचालन: यह हीयुरिस्टिक-संचालित, मैन्युअल मॉड्यूल-वाइज ट्यूनिंग को ग्रेडिएंट नॉइज़ गुणों पर आधारित एक डेटा-संचालित, स्वचालित कैलिब्रेशन से बदल देता है।
स्केलेबिलिटी: डायनेमिक, प्रति-स्टेप SNR एस्टीमेशन और जटिल अनुमानों से बचकर, यह बड़े पैमाने पर LLM ट्रेनिंग के लिए स्केलेबल बना रहता है।
व्यापक प्रयोज्यता: यह विधि मौजूदा मेमोरी-एफिशिएंट ट्रेनिंग प्रतिमानों (जैसे, Adam-mini, LoRA) के साथ संगत है, जो इसे संसाधन-सीमित सेटिंग्स के लिए उपयुक्त बनाती है।

लेखक निष्कर्ष निकालते हैं कि LLM ऑप्टिमाइजेशन के लिए मॉड्यूल स्तर पर ग्रेडिएंट नॉइज़ को ध्यान में रखना महत्वपूर्ण है और MoLS अपडेट को पुनर्संतुलित करने के लिए एक सरल लेकिन प्रभावी तंत्र प्रदान करता है, जिससे मैन्युअल हाइपरपैरामीटर ट्यूनिंग की लागत के बिना तेज़ कन्वर्जेंस और बेहतर जनरलाइजेशन प्राप्त होता है।