🤖 machine learning

Does Weight Decay Enhance Training Stability?

यह शोध पत्र इस बात की जांच करता है कि कैसे वेट डिके (weight decay) 'एज ऑफ स्टेबिलिटी' (Edge of Stability) पर प्रशिक्षण स्थिरता को बढ़ाता है, यह प्रदर्शित करते हुए कि यह प्रगतिशील शार्पनिंग (progressive sharpening) को धीमा करता है और मापदंडों (parameters) एवं शार्पनेस ग्रेडिएंट्स के वैश्विक संरेखण (global alignment) द्वारा संचालित एक आर्किटेक्चर-निर्भर चरण संक्रमण (architecture-dependent phase transition) को प्रेरित करता है, जो अंततः यह प्रकट करता है कि पारंपरिक वक्रता-आधारित (curvature-based) स्थिरता निदान रेगुलराइजेशन के तहत अविश्वसनीय हो सकते हैं।

मूल लेखक: Marius Saether, Amir Kolic, Tomaso Poggio, Pierfrancesco Beneventano

प्रकाशित 2026-05-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marius Saether, Amir Kolic, Tomaso Poggio, Pierfrancesco Beneventano

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Does Weight Decay Enhance Training Stability?" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ा सवाल: क्या वेट डिके (Weight Decay) एक "स्टेबलाइज़र" है?

AI ट्रेनिंग (डीप लर्निंग) की दुनिया में, वेट डिके (Weight Decay) नाम की एक आम तकनीक इस्तेमाल की जाती है। इसे एक हल्के "धक्के" की तरह समझें जो AI के आंतरिक नंबरों को बहुत बड़ा होने से रोकता है। लंबे समय तक, लोगों ने यह माना कि यह केवल AI को ट्रेनिंग डेटा को बहुत अधिक बारीकी से याद करने (जिसे ओवरफिटिंग कहा जाता है) से रोकने का एक नियम है।

हालाँकि, आधुनिक AI विशेषज्ञों का कहना है कि, "हे, वेट डिके ट्रेनिंग प्रक्रिया को स्थिर (stable) भी बनाता है।" यह AI को सीखने के दौरान पागल होने या क्रैश होने से रोकता है।

यह पेपर एक सरल प्रश्न पूछता है: क्या यह सच है? और यदि हाँ, तो यह वास्तव में कैसे काम करता है?

लेखकों ने पाया कि उत्तर 'हाँ' है, लेकिन इसकी कार्यप्रणाली उतनी ही आश्चर्यजनक और जटिल है जितनी कि किसी ने उम्मीद नहीं की थी।

परिवेश: "एज ऑफ स्टेबिलिटी" (The Edge of Stability)

पेपर को समझने के लिए, आपको पहले यह समझना होगा कि AI ट्रेनिंग कहाँ होती है। लेखक एज ऑफ स्टेबिलिटी (EoS) नामक एक स्थिति का वर्णन करते हैं।

उपमा: रस्सी पर चलने वाला (The Tightrope Walker)
कल्पना करें कि सीखने की कोशिश कर रहा एक AI एक रस्सी पर चलने वाले (tightrope walker) की तरह है।

यदि चलने वाला बहुत सावधान है (बहुत स्थिर), तो वह बहुत धीरे चलता है और कहीं पहुँच नहीं पाता।
यदि वह बहुत लापरवाह है, तो वह रस्सी से गिर जाता है।
एज ऑफ स्टेबिलिटी वह सटीक बिंदु है जहाँ चलने वाला डगमगा रहा होता है, रस्सी पर टिके रहने के लिए संघर्ष कर रहा होता है, लेकिन वास्तव में प्रगति कर रहा होता है।

इस स्थिति में, "सतह की तीक्ष्णता" (पहाड़ कितने ढालू हैं) ऊपर-नीचे होती रहती है। AI डगमगाता है, लेकिन एक स्व-सुधारात्मक तंत्र उसे गिरने से बचाए रखता है।

खोज: वेट डिके नियमों को बदल देता है

लेखकों ने जांच की कि जब आप इस रस्सी पर चलने वाले में वेट डिके (वह "धक्का") जोड़ते हैं, तो क्या होता है।

1. पुराना सिद्धांत (एक साधारण अपेक्षा)

इस पेपर से पहले, लोगों का मानना था कि वेट डिके केवल एक ब्रेक की तरह काम करेगा।

अपेक्षा: यदि चलने वाला एक निश्चित ऊंचाई पर डगमगा रहा है, तो वेट डिके जोड़ने से वह डगमगाहट को थोड़ा कम कर देगा, जैसे कि थोड़ा घर्षण (friction) जोड़ना। यह एक सरल, रैखिक समायोजन होने की उम्मीद थी।

2. नई वास्तविकता (फेज़ ट्रांज़िशन/Phase Transition)

लेखकों ने पाया कि वेट डिके केवल घर्षण नहीं जोड़ता; यह रस्सी के भौतिक विज्ञान (physics) को बदल देता है, लेकिन केवल कुछ विशेष प्रकार के AI आर्किटेक्चर (विशेष रूप से, सरल मल्टी-लेयर पर्सेप्ट्रॉन या MLP) के लिए।

उपमा: जादुई स्विच (The Magic Switch)
कल्पना करें कि AI एक ऊबड़-खाबड़ सड़क पर चल रही एक कार है।

वेट डिके के बिना: कार पागलों की तरह ऊपर-नीचे उछलती है।
थोड़े से वेट डिके के साथ: कार थोड़ी कम उछलती है।
पर्याप्त वेट डिके के साथ (फेज़ ट्रांज़िशन): अचानक, कार केवल कम नहीं उछलती; वह एक "जादुई स्विच" दबा देती है। कार के नीचे की सड़क अचानक सपाट और चिकनी हो जाती है। कार पागलों की तरह उछलना बंद कर देती है और एक बहुत ही कम, शांत खांच (groove) में स्थिर हो जाती है।

पेपर दिखाता है कि सरल AI मॉडल्स (MLPs) के लिए, एक बार जब आप वेट ड dike के नॉब को एक निश्चित बिंदु से आगे घुमा देते हैं, तो AI "एज ऑफ स्टेबिलिटी" पर डगमगाना बंद कर देता है और एक बहुत ही शांत अवस्था में स्थिर हो जाता है, जो किसी की कल्पना से भी परे है। यह उस स्तर पर स्थिर होता है जो पुराने गणित के अनुसार बहुत कम था।

नोट: CNNs (जो इमेज रिकग्निशन के लिए उपयोग किए जाते हैं) जैसे अधिक जटिल मॉडल्स के लिए, वेट डिके एक मानक शॉक एब्जॉर्बर की तरह काम करता है, जो केवल उछाल को कम करता है, बिना उस मूल "सड़क" को बदले जिस पर कार चल रही है।

यह कैसे काम करता है? (गुप्त तंत्र)

यह "जादुई स्विच" क्यों होता है? लेखकों ने पाया कि यह एक ग्लोबल इंटरैक्शन (Global Interaction) के कारण है।

उपमा: बंधा हुआ गेंद (The Tethered Ball)
कल्पना करें कि AI की सीखने की प्रक्रिया एक घाटी में लुढ़कती हुई गेंद है।

लोकल फ्रिक्शन (Local Friction): आमतौर पर, हम सोचते हैं कि वेट डिके केवल स्थानीय स्तर पर गेंद को धीमा करता है (जैसे ज़मीन पर रेत होना)।
ग्लोबल इंटरैक्शन (Global Interaction): लेखकों ने पाया कि वेट डिके वास्तव में गेंद से एक लंबी डोरी (tether) जोड़ देता है, जो उसे पूरी घाटी के केंद्र से जोड़ती है।

जब गेंद लुढ़कती है, तो वह केवल उस पहाड़ी पर प्रतिक्रिया नहीं करती जिस पर वह है; उसे इस डोरी द्वारा पूरे सिस्टम के केंद्र की ओर खींचा जा रहा है।

यदि डोरी ढीली है (कम वेट डिके), तो गेंद सामान्य रूप से लुढ़कती है।
यदि डोरी कसी हुई है (उच्च वेट डिके), तो यह गेंद को एक बहुत ही विशिष्ट, कम ऊर्जा वाले स्थान पर रहने के लिए मजबूर करती है। यह एक "फेज़ ट्रांज़िशन" बनाता है जहाँ गेंद को उम्मीद से कहीं अधिक नीचे बैठने के लिए मजबूर किया जाता है।

यह क्यों मायने रखता है? (फंक्शन स्पेस स्टेबिलिटी)

पेपर निष्कर्ष निकालता है कि यह "डगमगाहट का कम होना" वास्तव में AI के मस्तिष्क के लिए एक अच्छी बात है।

उपमा: रेडियो ट्यून करना (Tuning a Radio)
जब AI इस नई, निचली, शांत अवस्था में स्थिर होता है, तो वह केवल हिलना बंद नहीं करता। वास्तव में, वह अपने "रेडियो" (जिसे न्यूरल टेंगेंट कर्नेल या NTK कहा जाता है) को एक स्पष्ट फ्रीक्वेंसी पर ट्यून करता है।

"शोर" (अस्थिरता) कम हो जाता है।
सिग्नल (सही फीचर्स सीखना) बहुत मजबूत हो जाता है।

लेखक दिखाते हैं कि AI को इस निचले, शांत स्तर पर स्थिर करने के लिए मजबूर करके, वेट डिके AI को उसके सही उत्तरों के साथ बेहतर ढंग से संरेखित (align) करने में मदद करता है। यह ऐसा है जैसे AI केवल इसलिए स्थिर नहीं है क्योंकि उसने हिलना बंद कर दिया है; बल्कि यह इसलिए स्थिर है क्योंकि उसने समाधान का एक बेहतर, स्पष्ट रास्ता खोज लिया है।

मुख्य निष्कर्षों का सारांश

यह केवल एक ब्रेक नहीं है: वेट डिके केवल चीजों को धीमा करने से कहीं अधिक करता है; यह उस परिदृश्य (landscape) को मौलिक रूप से बदल सकता है जिस पर AI सीख रहा है।
फेज़ ट्रांज़िशन (The Phase Transition): सरल AI मॉडल्स में, वेट डिके को एक महत्वपूर्ण बिंदु से आगे बढ़ाने पर अचानक एक बदलाव आता है जहाँ AI उम्मीद से कहीं अधिक निचले, शांत स्तर पर स्थिर हो जाता है।
ग्लोबल बनाम लोकल: यह इसलिए होता है क्योंकि वेट डिके AI की स्थानीय गतिविधियों को उसकी वैश्विक स्थिति से जोड़ देता है (डोरी का प्रभाव)।
बेहतर सीखना: यह निचली, शांत अवस्था केवल "सुरक्षित" नहीं है; यह वास्तव में AI को बेहतर फीचर्स सीखने में मदद करती है और उसके आंतरिक "मस्तिष्क" को उस कार्य के साथ अधिक प्रभावी ढंग से संरेखित करती है जिसे वह हल करने की कोशिश कर रहा है।

संक्षेप में: वेट डिके ट्रेनिंग में एक गतिशील, सक्रिय भागीदार है। यह केवल AI को "रेगुलराइज" नहीं करता है; यह एक परिष्कृत नियंत्रण प्रणाली (control system) की तरह कार्य करता है जो अचानक AI को एक सुपर-स्टेबल, हाई-परफॉर्मेंस मोड में स्विच कर सकता है।

तकनीकी सारांश: क्या वेट डिके (Weight Decay) प्रशिक्षण स्थिरता को बढ़ाता है?

समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग में, व्यावहारिक रूप से वेट डिके को अक्सर प्रशिक्षण गतिशीलता (training dynamics) को "स्थिर" करने के लिए श्रेय दिया जाता है, जो कि एक स्थिर नियमितीकरण दंड (static regularization penalty) के रूप में इसके शास्त्रीय अर्थ से भिन्न है। जबकि हालिया साहित्य ने फीचर चयन और समाधान चयन (solution picking) में वेट डिके की भूमिका को स्थापित किया है, प्रशिक्षण स्थिरता को प्रभावित करने वाले विशिष्ट तंत्र अभी भी कम खोजे गए हैं।

प्रशिक्षण स्थिरता को आमतौर पर तीन अलग-अलग लेकिन संबंधित धारणाओं के माध्यम से समझा जाता है:

पैरामीटर-स्पेस डायनेमिक्स: लॉस कर्वेचर (loss curvature) और एज ऑफ स्टेबिलिटी (Edge of Stability - EoS) को नियंत्रित करना।
फंक्शन-स्पेस डायनेमिक्स: न्यूरल टेंगेंट कर्नल (Neural Tangent Kernel - NTK) स्पेक्ट्रम को बांधना।
सिग्नल प्रोपेगेशन: प्री-एक्टिवेशन स्केल्स (जैसे $\mu$ P के माध्यम से) को नियंत्रित करना।

मुख्य प्रश्न यह है कि क्या वेट डिके वास्तव में प्रशिक्षण को स्थिर करता है, और यदि हाँ, तो किस तंत्र के माध्यम से। विशेष रूप से, यह पेपर जांच करता है कि वेट डिके EoS को कैसे प्रभावित करता है, जहाँ लॉस हेसियन का अधिकतम आइजनवैल्यू ( $\lambda_{\max}(\nabla^2 L)$ ) आमतौर पर अस्थिरता सीमा $2/\eta$ (जहाँ $\eta$ लर्निंग रेट है) के आसपास घूमता है। सहज अनुमान (Naive heuristics) बताते हैं कि वेट डिके $\gamma$ जोड़ने से यह सीमा केवल $2/\eta - \gamma$ में बदल जानी चाहिए। हालांकि, अनुभवजन्य अवलोकन अधिक जटिल, गैर-रेखीय व्यवहार दर्शाते हैं जो इस सरल योगात्मक मॉडल को चुनौती देते हैं।

कार्यप्रणाली (Methodology)

लेखक EoS डायनेमिक्स पर वेट डिके के प्रभावों की जांच करने के लिए अनुभवजन्य विश्लेषण और गणितीय मॉडलिंग के संयोजन का उपयोग करते हैं।

अनुभवजन्य सेटअप (Empirical Setup)

आर्किटेक्चर: प्रयोग ReLU एक्टिवेशन वाले मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और कन्वेशनल न्यूरल नेटवर्क (CNNs) पर किए गए हैं।
डेटासेट: CIFAR-10 का एक उपसमुच्चय (5,000 नमूने)।
ऑप्टिमाइजेशन: फुल-बैच ग्रेडिएंट डिसेंट (GD) के साथ मीन स्क्वेर्ड एरर (MSE) लॉस।
मेट्रिक्स: अध्ययन लॉस शार्पनेस ( $\lambda_{\max}$ ), प्रोग्रेसिव शार्पनिंग गुणांक ( $\alpha = -\langle \nabla L, \nabla S \rangle$ ), और ग्लोबल इंटरैक्शन टर्म्स ( $c_y = \langle \nabla S, \theta \rangle$ ) के विकास को ट्रैक करता है।
सीमाएँ: विश्लेषण फुल-बैच GD और छोटे पैमाने के आर्किटेक्चर तक सीमित है क्योंकि शार्पनेस अनुमान के लिए आवश्यक हेसियन-वेक्टर उत्पादों की कम्प्यूटेशनल लागत अधिक है।

सैद्धांतिक ढांचा (Theoretical Framework)

Damian et al. [23] के सेल्फ-स्टेबिलाइज़ेशन फ्रेमवर्क पर निर्माण करते हुए, लेखक वेट डिके के साथ ग्रेडिएंट डिसेंट को एक अंडरडैम्प्ड हार्मोनिक ऑसिलेटर (underdamped harmonic oscillator) के रूप में मॉडल करते हैं।

लोकल डायनेमिक्स: वे सिस्टम का विश्लेषण हेसियन के टॉप आइजनवेक्टर ( $u$ ) और शार्पनेस के ग्रेडिएंट ( $\nabla S$ ) द्वारा स्पैन किए गए लोकल बेसिस में करते हैं।
ग्लोबल इंटरैक्शन: महत्वपूर्ण रूप से, मॉडल वेट डिके पेनल्टी से उत्पन्न होने वाले ग्लोबल इंटरैक्शन टर्म्स ( $c_x = \langle u, \theta^* \rangle$ और $c_y = \langle \nabla S, \theta^* \rangle$ ) को शामिल करता है।
डेरिवेशन: शार्पनेस विचलन ( $y_t$ ) और अस्थिर दिशा ( $x_t$ ) के लिए डिस्क्रीट अपडेट नियम व्युत्पन्न किए गए हैं, जो दिखाते हैं कि कैसे वेट डिके स्थानीय घर्षण (local friction) और वैश्विक ऑफसेट्स (global offsets) दोनों को पेश करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. वेट डिके प्रोग्रेसिव शार्पनिंग को धीमा करता है

MLPs और CNNs दोनों में, वेट डिके पैरामीटर $\gamma$ को बढ़ाने से प्रोग्रेसिव शार्पनिंग की दर मजबूती से धीमी हो जाती है। यह एज ऑफ स्टेबिलिटी (EoS) की शुरुआत को विलंबित करता है और शुरुआती प्रशिक्षण के दौरान शार्पनेस प्रक्षेपवक्र (trajectory) को सपाट कर देता है।

2. आर्किटेक्चर-निर्भर फेज ट्रांजिशन (Phase Transitions)

एक बार जब नेटवर्क EoS शासन में प्रवेश कर जाता है, तो वेट डिके आर्किटेक्चर के आधार पर विचलित व्यवहार उत्पन्न करता है:

CNNs: वेट डिके मुख्य रूप से एक डैम्पर (dampener) के रूप में कार्य करता है। यह शार्पनेस दोलनों (oscillations) के आयाम को कम करता है, जिससे सिस्टम तेजी से स्थिर होता है, लेकिन स्थिरता सीमा अभी भी सहज अपेक्षा $2/\eta - \gamma$ के करीब रहती है।
MLPs: एक आश्चर्यजनक फेज ट्रांजिशन होता है। जब $\gamma$ एक क्रिटिकल थ्रेशोल्ड $\bar{\gamma}$ को पार कर जाता है, तो शार्पनेस का स्थिरीकरण स्तर सैद्धांतिक $2/\eta - \gamma$ सीमा से काफी नीचे गिर जाता है। उदाहरण के लिए, $\eta=0.02$ और $\gamma=0.02$ के साथ, शार्पनेस लगभग 80 पर स्थिर होती है, जबकि सहज थ्रेशोल्ड $\approx 99.98$ का अनुमान लगाता है। इस निचले स्तर के बावजूद, प्रशिक्षण गतिशीलता EoS सिग्नेचर (गैर-मोनोटोनिक लॉस, निरंतर दोलन) बनाए रखती है।

3. तंत्र: ग्लोबल एलाइनमेंट और लिमिट साइकिल कोलैप्स

पेपर पहचानता है कि पैरामीटर वेक्टर और शार्पनेस ग्रेडिएंट के बीच ग्लोबल एलाइनमेंट ही फेज ट्रांजिशन का चालक है।

सिस्टम को एक ऑसिलेटर के रूप में मॉडल किया गया है जहाँ दोलन का आयाम $\Delta$ टर्म $(\alpha + \gamma^2 - \gamma c_y)$ पर निर्भर करता है।
एक क्रिटिकल बिफरकेशन (bifurcation) तब होता है जब ग्लोबल इंटरैक्शन टर्म $c_y$ क्रिटिकल थ्रेशोल्ड $c_y^{crit} = \frac{\alpha}{\gamma} + \gamma$ को पार करता है।
MLPs में: पर्याप्त वेट डिके $c_y$ को प्रोग्रेसिव शार्पनिंग के दौरान इस क्रिटिकल थ्रेशोल्ड को पार करने के लिए मजबूर करता है, जिससे "लिमिट साइकिल कोलैप्स" होता है। सिस्टम मानक EoS सीमा से अलग हो जाता है और बहुत कम कर्वेचर पर स्थिर हो जाता है।
CNNs में: ग्लोबल इंटरैक्शन टर्म क्रिटिकल थ्रेशोल्ड से नीचे रहता है, जिससे फेज ट्रांजिशन रुक जाता है और केवल डैम्प्ड दोलन ही प्राप्त होते हैं।

4. फंक्शन-स्पेस स्टेबिलिटी (NTK)

पेपर प्रदर्शित करता है कि पैरामीटर स्पेस में दबा हुआ शार्पनेस थ्रेशोल्ड फंक्शन स्पेस में स्थिरता में अनुवादित होता है।

एम्पिरिकल न्यूरल टेंगेंट कर्नल (NTK) के स्पेक्ट्रल रेडियस को प्रतिबंधित करके EoS थ्रेशोल्ड को कम करके, वेट डिके स्थिरता बढ़ाता है।
रैंक-1 NTK सन्निकटन (approximation) का उपयोग करते हुए, लेखक दिखाते हैं कि एक निचला शार्पनेस थ्रशोल्ड (जो स्केलिंग फैक्टर $c_t^2$ को कम करता है) $\alpha_t = \|v_t\|^2 / c_t^2$ के अनुपात को बढ़ाता है।
$\alpha_t$ में यह वृद्धि टारगेट वेक्टर के एलाइनमेंट को NTK के लीडिंग आइजनवेक्टर्स की ओर स्थानांतरित करती है, जिससे फीचर लर्निंग और कर्नल टारगेट एलाइनमेंट (KTA) में सुधार होता है।

5. स्थिरता डायग्नोस्टिक के रूप में कर्वेचर का पुनर्मूल्यांकन

लेखक निष्कर्ष निकालते हैं कि कॉनवेक्स या क्वाड्रेटिक ह्यूरिस्टिक्स (जैसे, यह उम्मीद करना कि स्थिरता केवल तभी होगी जब $\lambda_{\max} < 2/\eta - \gamma$ ) से प्राप्त कर्वेचर थ्रेशोल्ड अविश्वसनीय डायग्नोस्टिक्स हैं। प्रशिक्षण इन सहज थ्रेशोल्ड से काफी कम शार्पनेस के बावजूद विशिष्ट EoS व्यवहार प्रदर्शित कर सकता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह पहला गणितीय ढांचा प्रदान करता है जो "लोकप्रिय धारणा" (folklore observation) को सटीक रूप से मॉडल करता है कि वेट डिके प्रशिक्षण स्थिरता को बढ़ाता है। इसका महत्व इसमें निहित है:

दृष्टिकोणों का एकीकरण: यह पैरामीटर-स्पेस डायनेमिक्स (EoS), फंक्शन-स्पेस डायनेमिक्स (NTK), और सिग्नल प्रोपेगेशन को जोड़ता है, यह दिखाते हुए कि कैसे वेट डेक तीनों को नियंत्रित करता है।
मैकेनिस्टिक अंतर्दृष्टि: यह वेट डिके को एक स्थिर दंड के रूप में देखने से आगे बढ़कर, इसे एक डायनेमिक कंट्रोल सिग्नल के रूप में पहचानता है जो लोकल ज्योमेट्री को ग्लोबल पैरामीटर एलाइनमेंट के साथ जोड़ता है।
स्थिरता डायग्नोस्टिक्स को परिष्कृत करना: यह समुदाय को सरल कर्वेचर थ्रेशोल्ड से परे जाकर प्रशिक्षण स्थिरता को डायग्नोज करने की चुनौती देता है, यह उजागर करते हुए कि "स्थिरीकरण" केवल अस्थिरता सीमा के सरल बदलाव के बजाय निम्न कर्वेचर शासन में एक फेज ट्रांजिशन के रूप में प्रकट हो सकता है।
आर्किटेक्चर संवेदनशीलता: यह रेखांकित करता है कि वेट डिके के प्रभाव समान नहीं हैं बल्कि ग्लोबल एलाइनमेंट टर्म्स के साथ आर्किटेक्चर की परस्पर क्रिया पर महत्वपूर्ण रूप से निर्भर करते हैं।

लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष इस व्यावहारिक अंतर्ज्ञान का समर्थन करते हैं कि वेट डिके प्रशिक्षण को स्थिर करता है, लेकिन वे स्पष्ट करते हैं कि यह स्थानीय घर्षण (local friction) और वैश्विक इंटरैक्शन के एक जटिल खेल के माध्यम से होता है जो एज ऑफ स्टेबिलिटी पर फंडामेंटल रूप से ऑप्टिमाइजेशन लैंडस्केप को बदल देता है।