Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
यह शोध पत्र एक मोमेंटम-आधारित एसिंक्रोनस SGD ढांचे का प्रस्ताव करता है जो डेटा-निर्भर विलंबों के तहत उत्तल (convex) और गैर-उत्तल (non-convex) स्मूथ उद्देश्यों के लिए इष्टतम अभिसरण दर प्राप्त करने हेतु विलंबित ग्रेडिएंट्स से सूचना को संरक्षित करता है, जो मौजूदा शमन रणनीतियों के व्यवस्थित पूर्वाग्रह और उप-इष्टतम दरों पर विजय प्राप्त करता है।