🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

यह शोध पत्र वर्गित भार नॉर्म (squared weight norm) के तीन-बल अपघटन (three-force decomposition) को व्युत्पन्न करके AdamW प्रशिक्षण के दौरान वीबुल वेट-स्केल पैरामीटर $\lambda$ के विकास का विश्लेषण करता है, जो यह प्रदर्शित करता है कि एक संरेखण बल (alignment force) प्रारंभिक वृद्धि चरण पर हावी रहता है जबकि संरेखण और वेट डिके (weight decay) के बीच का संतुलन आगामी विश्रांति (relaxation) को संचालित करता है, जिसमें एक प्रस्तावित स्प्लाइन विस्थापन विधि (spline displacement method) विरल चेकपॉइंट्स (sparse checkpoints) से इन गतिकी के सटीक पुनर्निर्माण को सक्षम बनाती है।

मूल लेखक: Tiexin Ding

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tiexin Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि AdamW जैसे एक विशाल AI मॉडल को प्रशिक्षित करना लाखों छोटे, अदृश्य लेगो (Lego) ईंटों से एक विशाल, जटिल मूर्ति बनाने जैसा है। लक्ष्य इन ईंटों को इस तरह आकार देना है कि वे पूरी तरह से एक साथ काम कर सकें। लेकिन ये ईंटें वास्तव में अपनी अंतिम स्थितियों में कैसे चलती हैं और कैसे स्थिर होती हैं?

यह शोध पत्र एक जासूसी कहानी की तरह है, जो इस बात की जांच करता है कि क्यों इन लेगो ईंटों का आकार (यानी "वजन" या "weights") बढ़ता है, ज़रूरत से ज़्यादा बढ़ जाता है (overshoots), और फिर प्रशिक्षण प्रक्रिया के दौरान शांत होकर स्थिर हो जाता है। लेखक इसे ट्रैक करने के लिए एक विशेष मापने वाले उपकरण का उपयोग करते हैं जिसे वेबुल स्केल (Weibull scale) (आइए इसे "साइज गेज" कहें) कहा जाता है।

यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:

1. "साइज गेज" का रहस्य

पिछले अध्ययनों में, शोधकर्ताओं ने एक अजीब पैटर्न देखा: AI के वजन का "साइज गेज" ( $\lambda$ ) केवल लगातार नहीं बढ़ता है। यह तेजी से ऊपर जाता है, बहुत बड़ा हो जाता है (overshoots), और फिर वापस एक आरामदायक विश्राम आकार में सिकुड़ जाता है।

प्रश्न: ऐसा क्यों होता है? कौन सी ताकतें वजन को ऊपर धकेल रही हैं और नीचे खींच रही हैं?

2. तीन अदृश्य हाथ

लेखकों ने पाया कि इन वजनों की गति को तीन अलग-अलग बलों (forces) द्वारा नियंत्रित किया जाता है, जैसे तीन लोग एक भारी बक्से को धकेल और खींच रहे हों:

एलाइनमेंट फोर्स (द "पुशर" - धक्का देने वाला): यह मुख्य इंजन है। यह वजन को उस दिशा में धकेलता है जहाँ वे लर्निंग सिग्नल के आधार पर जाना चाहते हैं। इसे एक मजबूत हवा की तरह समझें जो मूर्ति को आकार देने के लिए बह रही है। पेपर में पाया गया कि "ग्रोथ" चरण के दौरान, यह बल 88% से 94% काम करता है। यह सबसे प्रमुख चालक है।
इंजेक्शन फोर्स (द "जिटर" - कंपन): यह डेटा की यादृच्छिकता (randomness/noise) के कारण होने वाला एक छोटा, निरंतर धक्का है। यह मेज में होने वाले हल्के कंपन जैसा है। यह हमेशा मौजूद रहता है, लेकिन बहुत छोटा (केवल लगभग 4% प्रयास) होता है।
डिके फोर्स (द "पुलर" - खींचने वाला): यह एक बना हुआ ब्रेक है। यह मॉडल को सरल रखने और इसे बहुत अनियंत्रित होने से रोकने के लिए वजन को वापस शून्य की ओर सिकोड़ने की कोशिश करता है। यह एक रबर बैंड की तरह है जो मूर्ति को केंद्र की ओर खींचता है।

3. कर्व की कहानी (उदय, शिखर, विश्राम)

यह पेपर साइज गेज के इस अजीब "ऊपर-नीचे" वाले कर्व को इन तीन बलों का उपयोग करके समझाता है:

द राइज (उदय): शुरुआत में, पुशर (एलाइनमेंट), पुलर (डिके) की तुलना में बहुत अधिक शक्तिशाली होता है। वजन तेजी से बढ़ते हैं क्योंकि धक्का जीत रहा है।
द पीक (शिखर): जैसे-जैसे मॉडल "पूरा" होने के करीब पहुँचता है, पुशर थक जाता है (यह कम सटीक रूप से एलाइन होता है), और पुलर अधिक शक्तिशाली हो जाता है क्योंकि वजन बढ़ जाते हैं। अंततः, वे बीच में मिलते हैं। धक्का और खिंचाव पूरी तरह से संतुलित हो जाते हैं। विकास रुक जाता है। यही शिखर है।
द रिलैक्सेशन (विश्राम): यदि पुलर कभी भी पुशर से थोड़ा भी अधिक शक्तिशाली हो जाता है, तो वजन थोड़ा सिकुड़ जाते हैं जब तक कि वे एक नए, स्थिर संतुलन तक न पहुँच जाएँ। यह वह "फ्लोर" बनाता है जहाँ मॉडल स्थिर होता है।

4. "मैजिक ब्रिज" (कड़ियों को जोड़ना)

एक समस्या थी: इन बलों का गणित कुल वजन के आकार (RMS) पर काम करता है, लेकिन "साइज गेज" (वेबुल) वजन के वितरण (distribution) को मापता है।

समाधान: लेखकों ने एक "मैजिक ब्रिज" खोजा। उन्होंने पाया कि वजन के वितरण का आकार पूरे प्रशिक्षण के दौरान लगभग पूरी तरह से स्थिर (एक कठोर सांचे की तरह) रहता है। क्योंकि आकार नहीं बदलता, इसलिए कुल आकार और "साइज गेज" एक साथ चलते हैं। इसने उन्हें बलों के गणित को सीधे साइज गेज के व्यवहार में बदलने की अनुमति दी।

5. "मिसिंग डेटा" पहेली को सुलझाना

वास्तविक दुनिया के AI मॉडल अक्सर बिना "आंतरिक डायरी" (ऑप्टिमाइज़र मोमेंट्स) के जारी किए जाते हैं जो यह दिखाते हैं कि हर चरण में बलों को कैसे लागू किया गया था। हमारे पास केवल अंतिम वजन के स्नैपशॉट होते हैं।

ट्रिक: लेखकों ने एक "स्प्लाइन डिस्प्लेसमेंट मेथड" का आविष्कार किया। कल्पना कीजिए कि आपके पास एक कार का वीडियो है, लेकिन आपके पास केवल हर 10 सेकंड में उसकी तस्वीरें हैं। आप दो तस्वीरों के बीच की गति नहीं देख सकते। लेकिन, यदि आप बिंदुओं को जोड़ने वाली एक चिकनी वक्र रेखा (स्प्लाइन) खींचते हैं, तो आप गति का बहुत सटीक अनुमान लगा सकते हैं।
परिणाम: इस पद्धति ने उन्हें स्पार्स स्नैपशॉट से "पुशर" बल का 92-94% सटीकता के साथ अनुमान लगाने की अनुमति दी, जो दो बिंदुओं के बीच केवल अनुमान लगाने की तुलना में दोगुना बेहतर है।

6. डेटा की एक झलक

लेखकों ने कुछ दिलचस्प भी देखा: शिखर की ऊंचाई (वजन घटने से पहले कितने बड़े होते हैं) इस बात पर निर्भर करती है कि AI क्या पढ़ रहा है।

यदि AI एक ही प्रकार के टेक्स्ट (जैसे एक विशिष्ट विकी) को पढ़ता है, तो वजन बहुत बड़े हो जाते हैं (उच्च शिखर)।
यदि AI कई अलग-अलग विषयों का मिश्रण पढ़ता है, तो शिखर कम होता है।
नोट: लेखक कहते हैं कि यह भविष्य के शोध के लिए केवल एक "संकेत" है। उन्होंने अभी तक यह साबित नहीं किया है कि यह क्यों होता है, लेकिन उन्हें संदेह है कि विविध डेटा पढ़ना विरोधाभासी दिशाएं पैदा करता है जो वजन को बहुत अधिक बढ़ने से रोकती हैं।

सारांश

संक्षेप में, यह पेपर बताता है कि AI वजन का "साँस लेने" वाला पैटर्न (बढ़ना, ओवरशूट करना और स्थिर होना) यादृच्छिक नहीं है। यह एक मजबूत धक्के (लर्निंग) और एक स्थिर खिंचाव (डिके) के बीच एक सटीक नृत्य है। जब धक्का जीतता है, तो वजन बढ़ते हैं। जब वे संतुलित होते हैं, तो मॉडल स्थिर हो जाता है। लेखकों ने यह भी पता लगाया है कि पूर्ण वीडियो के बिना, केवल कुछ स्नैपशॉट के माध्यम से इस नृत्य को कैसे देखा जा सकता है।

तकनीकी सारांश: AdamW के तहत Weibull वेट-स्केल पैरामीटर का विकास

समस्या विवरण
प्रशिक्षण के दौरान न्यूरल नेटवर्क के भार (weights) का विकास समझना अनुकूलन (optimization) और सामान्यीकरण (generalization) के लिए केंद्रीय है। एक पूर्व ढांचे (Ding, 2026) ने ट्रांसफॉर्मर वेट मैग्नीट्यूड को निदान करने के लिए एक दो-पैरामीटर Weibull वितरण स्थापित किया, जिसने एक "ट्रांसमिशन-क्लास" नियमितता की पहचान की जहाँ आकार पैरामीटर $k$ लगभग $k_0 \approx 1.20$ के पास लॉक रहता है, जबकि स्केल पैरामीटर $\lambda$ एक विशिष्ट प्रक्षेपवक्र (trajectory) का अनुसरण करता है: उदय (rise), ओवरशूट (overshoot), विश्रांति (relaxation), और फ्लोर (floor)। हालाँकि, इस प्रक्षेपवक्र को चलाने वाले तंत्र (mechanism) की व्याख्या अभी भी अनसुलझी थी। जबकि AdamW डायनेमिक्स व्यक्तिगत पैरामीटर्स और ऑप्टिमाइज़र स्टेट्स के स्तर पर परिभाषित हैं, और Weibull पैरामीटर्स वितरण-स्तरीय सारांश हैं, इन दोनों के बीच एक सेतु (bridge) की कमी थी जो यह समझा सके कि $\lambda$ क्यों बढ़ता है और फिर विश्रांति की ओर जाता है। विशेष रूप से, यह स्पष्ट नहीं था कि कौन से ऑप्टिमाइज़र-स्तरीय बल मॉडल को $\lambda$ समन्वय (coordinate) के साथ आगे बढ़ाते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र व्यक्तिगत पैरामीटर डायनेमिक्स और वितरण-स्तरीय सांख्यिकी के बीच के अंतर को तीन-चरणीय दृष्टिकोण के माध्यम से पाटता है:

तीन-बल अपघटन (Three-Force Decomposition): डिकपल्ड (decoupled) AdamW अपडेट नियम से शुरू करते हुए, लेखक वर्गित वेट नॉर्म डायनेमिक्स ( $\Delta \Sigma W^2$ ) के अग्रणी-क्रम अपघटन (leading-order decomposition) को तीन विशिष्ट बलों में व्युत्पन्न करते हैं:
- अलाइनमेंट फोर्स ( $F_{align}$ ): $-2\eta \langle W, \hat{u} \rangle$ , जो वर्तमान वेट्स और एडेप्टिव अपडेट दिशा के बीच सहसंबंध (correlation) को मापता है।
- इंजेक्शन फोर्स ( $F_{inj}$ ): $+\eta^2 \|\hat{u}\|^2$ , जो एडेप्टिव स्टेप के वर्ग परिमाण (squared magnitude of the adaptive step/stochastic noise) का प्रतिनिधित्व करता है।
- डिके फोर्स ( $F_{decay}$ ): $-2\eta \lambda_{wd} \Sigma W^2$ , जो डिकपल्ड वेट डिके के संरचनात्मक योगदान को दर्शाता है।
$k$ -लॉक ब्रिज: वर्गित-नॉर्म बलों को Weibull स्केल पैरामीटर $\lambda$ से जोड़ने के लिए, यह शोध पत्र इस अवलोकन का उपयोग करता है कि ट्रांसमिशन-क्लास घटकों के लिए $k$ लगभग स्थिर ( $k \approx 1.20$ ) रहता है। यह RMS ( $\sigma$ ) और $\lambda$ को एक लगभग स्थिर गुणक कारक ( $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ ) द्वारा संबंधित करने की अनुमति देता है, जिससे $\sigma^2$ के बल डायनेमिक्स को $\lambda(t)$ के प्रक्षेपवक्र में अनुवादित करना संभव हो जाता है।
स्पार्स चेकपॉइंट रिकवरी (Spline Displacement): चूंकि सार्वजनिक मॉडल रिलीज़ में ऑप्टिमाइज़र मोमेंट्स ( $\hat{m}, \hat{v}$ ) उपलब्ध नहीं होते हैं, इसलिए लेखक स्पार्स वेट चेकपॉइंट्स से फोर्स जानकारी को रिकवर करने के लिए एक विधि पेश करते हैं। सहेजे गए वेट ट्राजेक्टरीज पर क्यूबिक स्प्लाइन (cubic spline) फिट करके, वे अलाइनमेंट फोर्स की गणना के लिए आवश्यक यूनिट-स्टेप डिस्प्लेसमेंट का अनुमान लगाते हैं। इस पद्धति को सेल्फ-ट्रेन्ड मॉडल्स के ग्राउंड-ट्रुथ मोमेंट्स के विरुद्ध मान्य किया गया है।

मुख्य परिणाम

उदय चरण का प्रभुत्व (Rise Phase Dominance): ग्राउंड-ट्रुथ ऑप्टिमाइज़र मोमेंट्स वाले स्वयं-प्रशिक्षित Pythia-70M मॉडल्स पर, अलाइनमेंट फोर्स उदय चरण में हावी रहता है, जो कुल फोर्स बजट में 88–94% का योगदान देता है। यह प्रभुत्व चार रैंडम सीड्स में सुदृढ़ है और "सुपर-वेट" आउटलेर्स को हटाने के बाद भी स्थिर रहता है। इंजेक्शन फोर्स केवल ~4% और डिके ~2–7% का योगदान देता है।
विश्रांति की ओर संक्रमण (Transition to Relaxation): वेट-स्केल वृद्धि से विश्रांति की ओर संक्रमण बल संतुलन (force balance) में बदलाव के अनुरूप होता है। जैसे-जैसे प्रशिक्षण संतृप्ति (saturation) की ओर बढ़ता है, अलाइनमेंट फोर्स कम होता जाता है जबकि डिके फोर्स बढ़ता जाता है। पीक के पास और विश्रांति चरण के दौरान, अलाइनमेंट और डिके एक संतुलन ( $F_{align} \approx |F_{decay}|$ ) की ओर बढ़ते हैं, जिससे शुद्ध बल शून्य हो जाता है और वेट स्केल स्थिर या छोटा हो जाता है।
क्रॉस-आर्किटेक्चर मजबूती: अलाइनमेंट-प्रभुत्व तंत्र Pythia-शैली (GPT-NeoX) और Llama-शैली दोनों आर्किटेक्चर के लिए प्रभावी है, जहाँ उदय चरण के दौरान अलाइनमेंट शेयर 88–94% की सीमा के भीतर रहता है।
रिकवरी सटीकता: प्रस्तावित स्प्लाइन डिस्प्लेसमेंट विधि स्पार्स चेकपॉइंट्स से अलाइनमेंट फोर्स को 92–94% सटीकता के साथ रिकवर करती है, जो एक साधारण टू-पॉइंट बेसलाइन के प्रदर्शन से लगभग दोगुना है।
RMS-से-Weibull ऑफसेट: $\lambda(t)$ की भविष्यवाणी करने के लिए बलों के क्लोज्ड-लूप इंटीग्रेशन से लगभग 5–6% का व्यवस्थित ऑफसेट दिखाई देता है। इसे ~4.6% ब्रिज एरर (RMS-से-Weibull पुनर्निर्माण) और ~1.9% इंटीग्रेशन एरर में विभाजित किया गया है, जो पुष्टि करता है कि बल डायनेमिक्स प्रक्षेपवक्र के प्रमुख घटक को नियंत्रित करते हैं।
डेटा-डिपेंडेंट मॉड्यूलेशन: एक खोजपूर्ण अवलोकन सुझाव देता है कि $\lambda(t)$ का पूर्ण पीक मान प्रशिक्षण-डेटा कोहेरेंस (coherence) के साथ बदलता है। सिंगल-डोमेन डेटा (wikitext-103) पर प्रशिक्षित मॉडल मल्टी-डोमेन डेटा (The Pile, ~~0.035) की तुलना में उच्च पीक $\lambda$ मान (~~0.069–0.076) तक पहुँचते हैं। एक Pile-ट्रेन्ड मॉडल को wikitext-103 पर स्विच करने वाले कंटिन्यू-ट्रेनिंग हस्तक्षेप के परिणामस्वरूप $\lambda$ में 2.6 गुना वृद्धि हुई, जो सुझाव देता है कि डेटा कोहेरेंस अलाइनमेंट फोर्स को मॉड्यूलेट करती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह AdamW ट्रेनिंग के दौरान Weibull वेट-स्केल पैरामीटर $\lambda$ के देखे गए उदय, ओवरशूट और विश्रांति प्रक्षेपवक्र के लिए पहला यांत्रिक स्पष्टीकरण प्रदान करता है। इसके प्राथमिक योगदान हैं:

विवरण के स्तरों को जोड़ना: यह सफलतापूर्वक निम्न-स्तरीय AdamW अपडेट नियमों और उच्च-स्तरीय वितरण-स्तरीय डायग्नोस्टिक्स के बीच के अंतर को पाटता है, यह दिखाते हुए कि $\lambda(t)$ अग्रणी-क्रम फोर्स बजट के वेट-स्केल घटक को ट्रैक करता है।
ड्राइवर की पहचान करना: यह अलाइनमेंट फोर्स को वेट-स्केल वृद्धि के मुख्य चालक के रूप में पहचानता है, जो इस चरण में वेट डिके या नॉइज़ को प्राथमिक कारक मानने की धारणा को चुनौती देता है।
प्रक्षेपवक्र की व्याख्या करना: यह ओवरशूट और विश्रांति को संतृप्ति के पास अलाइनमेंट-डिके संतुलन की ओर संक्रमण के परिणाम के रूप में समझाता है।
व्यावहारिक प्रयोज्यता: यह वास्तविक दुनिया के मॉडल्स (जहाँ ऑप्टिमाइज़र स्टेट्स उपलब्ध नहीं हैं) से फोर्स डायनेमिक्स को रिकवर करने के लिए एक मान्य विधि (स्प्लाइन डिस्प्लेसमेंट) प्रदान करता है, जिससे विश्लेषण सेल्फ-ट्रेन्ड वातावरण से आगे बढ़ जाता है।

लेखक स्पष्ट रूप से नोट करते हैं कि डेटा-कोहेरेंस वाला अवलोकन खोजपूर्ण (exploratory) है और डेटा विविधता के प्रभावों के पूर्ण लक्षण वर्णन के लिए नियंत्रित अनुवर्ती अध्ययन की आवश्यकता है। प्राथमिक योगदान वेट-स्केल डायनेमिक्स का फोर्स-बजट स्पष्टीकरण है, और डेटा परिणाम भविष्य के नियंत्रित प्रयोगों के लिए प्रेरणा के रूप में कार्य करता है।