Why Do We Need Warm-up? A Theoretical Perspective
यह शोध पत्र एक सामान्यीकृत -स्मूथनेस (smoothness) स्थिति को प्रदर्शित करके लर्निंग रेट वॉर्म-अप (learning rate warm-up) के लिए एक सैद्धांतिक औचित्य प्रदान करता है, जो न्यूरल नेटवर्क में शुरुआती प्रशिक्षण वक्रता (early-training curvature) को सटीक रूप से मॉडल करती है, और स्वाभाविक रूप से एक ऐसा वॉर्म-अप शेड्यूल प्रेरित करती है जो निश्चित लर्निंग रेट की तुलना में प्रमाणित रूप से तेज़ अभिसरण (convergence) प्रदान करता है।