Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients
यह शोध पत्र सेफगार्डेड स्टोकेस्टिक पोलियाक स्टेप साइज़ (SPS) प्रस्तुत करता है, जो स्टोकेस्टिक सबग्रेडिएंट विधियों के लिए एक नवीन संस्करण है जो बिना किसी कड़े अनुमानों या इष्टतम समाधान के ज्ञान के गैर-सुचारू (non-smooth) उत्तल अनुकूलन (convex optimization) के लिए कठोर अभिसरण गारंटी प्रदान करता है, और साथ ही डीप न्यूरल नेटवर्क प्रशिक्षण में लुप्त होते ग्रेडिएंट्स (vanishing gradients) के विरुद्ध मजबूत प्रदर्शन और स्थिरता प्रदर्शित करता है।