Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
यह शोध पत्र स्टोकेस्टिक मोमेंटम विधियों के लिए सीरियल रनटाइम और कंप्यूट दक्षता के बीच के ट्रेडऑफ पर परिमित-आयामी निचली सीमाएं स्थापित करता है, जो यह प्रकट करता है कि जबकि हेवी बॉल (Heavy Ball) रनटाइम को कम करने के लिए बड़े बैच-साइज विंडो में SGD-स्तर की दक्षता बनाए रखता है, नेस्टरोव का एक्सेलेरेटेड SGD (Nesterov's Accelerated SGD) तेजी से घटते स्पेक्ट्रा के लिए बेहतर छोटे-बैच दक्षता प्रदान करता है, जो बैच साइज बढ़ने के साथ घटते प्रतिफल की कीमत पर होता है।