Does Weight Decay Enhance Training Stability?
यह शोध पत्र इस बात की जांच करता है कि कैसे वेट डिके (weight decay) 'एज ऑफ स्टेबिलिटी' (Edge of Stability) पर प्रशिक्षण स्थिरता को बढ़ाता है, यह प्रदर्शित करते हुए कि यह प्रगतिशील शार्पनिंग (progressive sharpening) को धीमा करता है और मापदंडों (parameters) एवं शार्पनेस ग्रेडिएंट्स के वैश्विक संरेखण (global alignment) द्वारा संचालित एक आर्किटेक्चर-निर्भर चरण संक्रमण (architecture-dependent phase transition) को प्रेरित करता है, जो अंततः यह प्रकट करता है कि पारंपरिक वक्रता-आधारित (curvature-based) स्थिरता निदान रेगुलराइजेशन के तहत अविश्वसनीय हो सकते हैं।