🤖 machine learning

Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration

यह शोधपत्र एक सामान्य सैद्धांतिक ढांचा स्थापित करता है जो यह प्रदर्शित करता है कि स्टोकेस्टिक मिनी-बैच अनुकूलन (stochastic mini-batch optimization) में शास्त्रीय मोमेंटम त्वरण (classical momentum acceleration), एक संतृप्ति बिंदु (saturation point) तक बैच आकार के साथ रैखिक रूप से स्केल करता है, जिससे न्यूनतम शोर संबंधी धारणाओं के तहत पूर्ण समानांतरकरण (perfect parallelization) सक्षम होता है।

मूल लेखक: Sachin Garg, Michał Dereziński

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sachin Garg, Michał Dereziński

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: मॉडल को प्रशिक्षित करना एक नृत्य सीखने जैसा है

कल्पना कीजिए कि आप एक रोबोट को पूरी तरह से नृत्य करना सिखाने की कोशिश कर रहे हैं। रोबोट एक अनाड़ी रूटीन (प्रारंभिक मॉडल) के साथ शुरुआत करता है। बेहतर होने के लिए, उसे फीडबैक की आवश्यकता होती है।

समस्या: रोबोट पूरे डांस फ्लोर को एक साथ नहीं देख सकता। वह एक बार में फर्श का केवल एक छोटा सा हिस्सा ही देख पाता है (यह एक "मिनी-बैच" है)।
मानक तरीका (SGD): रोबोट एक कदम उठाता है, फर्श को देखता है, अपने पैर को ठीक करता है, फिर दूसरा कदम उठाता है, फिर देखता है और सुधार करता है। यह काम तो करता है, लेकिन यह धीमा और डगमगाता हुआ है।
"मोमेंटम" (Momentum) का कमाल: केवल वर्तमान कदम पर प्रतिक्रिया देने के बजाय, रोबोट याद रखता है कि वह एक सेकंड पहले कैसे चल रहा था। यदि वह पहले से ही एक अच्छे दिशा में तेजी से चल रहा था, तो वह उस गति को बनाए रखता है। इसे मोमेंटम (Momentum) कहा जाता है। यह एक स्कीयर (skier) की तरह है जो पहाड़ी से नीचे जा रहा है; एक बार जब वे गति पकड़ लेते हैं, तो वे हर उभार पर तुरंत नहीं रुकते; वे उनके ऊपर से फिसलते हुए निकल जाते हैं।

रहस्य: अधिक लोग मदद क्यों करते हैं?

आधुनिक कंप्यूटिंग में, हम केवल एक रोबोट का उपयोग नहीं करते; हम एक पूरी टीम (एक "मिनी-बैच") का उपयोग करते हैं जो एक साथ फर्श को देखती है।

पुरानी धारणा: शोधकर्ताओं का मानना था कि यदि आप टीम में अधिक लोगों को जोड़ते हैं, तो आपको उत्तर तेजी से मिल जाएगा क्योंकि आपके पास अधिक आँखें होंगी। हालाँकि, उनका मानना था कि बहुत अधिक लोगों को जोड़ने से ज्यादा मदद नहीं मिलेगी। यह एक कार को धकेलने वाले 100 लोगों जैसा था; अंततः 101वें व्यक्ति को जोड़ने से कार तेज नहीं चलेगी क्योंकि इंजन (एल्गोरिदम) ही बाधा (bottleneck) है।
वास्तविकता: व्यवहार में, जब लोग "मोमेंटम" (स्कीयर वाला उदाहरण) का उपयोग करते हैं, तो टीम में अधिक लोगों को जोड़ने से कार वास्तव में बहुत तेज चलती है, भले ही टीमें बहुत बड़ी हों। लेकिन गणितीय रूप से कोई भी यह नहीं समझा सका कि क्यों। मौजूदा सिद्धांतों के लिए टीम का आकार असंभव रूप से बड़ा होना या शोर (noise) का पूरी तरह से शांत होना आवश्यक था, जो वास्तविक जीवन में सच नहीं है।

पेपर की खोज: "परफेक्ट पैरेललाइजेशन" (Perfect Parallelization)

इस पेपर के लेखकों ने अंततः इस रहस्य को सुलझा लिया है। उन्होंने सिद्ध किया कि मोमेंटम "परफेक्ट पैरेललाइजेशन" की अनुमति देता है।

यहाँ उपमा (analogy) दी गई है:
कल्पना कीजिए कि आप एक भारी पत्थर को पहाड़ी के ऊपर धकेलने की कोशिश कर रहे हैं।

मोमेंटम के बिना: यदि आप धक्का देने के लिए 10 लोग भेजते हैं, तो वे थोड़ा अलग दिशा में धक्का दे सकते हैं या भ्रमित हो सकते हैं। 100वें व्यक्ति को जोड़ने से ज्यादा मदद नहीं मिलती क्योंकि भ्रम (variance) अतिरिक्त ताकत को रद्द कर देता है।
मोमेंटम के साथ: टीम के पास एक "लीडर" होता है जो याद रखता है कि पत्थर किस दिशा में बढ़ रहा था। भले ही टीम बहुत बड़ी और शोर भरी हो, मोमेंटम उन सभी को एक ही सुचारू दिशा में फिसलने में मदद करता है।

मुख्य निष्कर्ष:
पेपर दिखाता है कि जैसे-जैसे आप अपनी टीम का आकार (मिनी-बैच साइज) बढ़ाते हैं, सीखने की गति रैखिक रूप से (linearly) (पूरी तरह से) सुधरती है, जब तक कि आप एक निश्चित बिंदु तक न पहुँच जाएँ।

यदि आप टीम का आकार दोगुना करते हैं, तो आप समय को आधा कर देते हैं।
यदि आप टीम का आकार चार गुना करते हैं, तो आप समय को एक चौथाई कर देते हैं।
यह तब तक जारी रहता है जब तक कि आप उस "सैचुरेशन पॉइंट" (saturation point) तक नहीं पहुँच जाते जहाँ पहाड़ी का भौतिक विज्ञान ही आपको सीमित कर देता है, न कि लोगों की संख्या।

यह समझाता है कि आधुनिक AI (जैसे वे जो यह टेक्स्ट लिख रहे हैं) हजारों प्रोसेसरों वाले शक्तिशाली कंप्यूटरों पर इतना अच्छा काम क्यों करता है। "मोमेंटम" का कमाल यह है कि वे सभी प्रोसेसर एक-दूसरे के रास्ते में आए बिना मिलकर काम कर सकते हैं।

उन्होंने इसे कैसे सिद्ध किया (वह "जादुई" गणित)

पिछले प्रयास इसलिए विफल रहे क्योंकि गणित बहुत जटिल था। उन्होंने समस्या को सरल, सीधी रेखाओं (डायगोनलाइजिंग मैट्रिसेस) में तोड़ने की कोशिश की, लेकिन "मोमेंटम" का प्रभाव जटिल, घुमावदार पथ बना देता था जिन्हें गणित को तोड़े बिना सीधा नहीं किया जा सकता था।

लेखकों ने शूर डीकंपोजिशन (Schur Decomposition) नामक एक नए उपकरण का उपयोग किया।

उपमा: कल्पना कीजिए कि आप एक घूमते हुए, डगमगाते हुए लट्टू (top) का वर्णन करने की कोशिश कर रहे हैं। पिछले गणितज्ञों ने लट्टू को मापने के लिए उसे बिल्कुल स्थिर खड़ा करने की कोशिश की, जिससे लट्टू टूट गया।
नया दृष्टिकोण: इन लेखों ने लट्टू को तब देखा जब वह अभी भी घूम रहा था। उन्होंने एक विशेष गणितीय "लेंस" (शूर डीकंपोजिशन) का उपयोग किया जो सिस्टम को तोड़े बिना घूर्णन और डगमगाहट को एक साथ संभाल सकता था। इसने उन्हें त्रुटि (error) को ट्रैक करने और यह सिद्ध करने की अनुमति दी कि टीम का आकार सीखने के लिए आवश्यक समय को सीधे कम करता है।

व्यावहारिक परिणाम: एक सरल नियम

यह पेपर केवल एक सिद्धांत नहीं देता; यह इंजीनियरों के लिए एक सरल रेसिपी देता है।

नियम: यदि आप आकार $m$ वाली टीम का उपयोग कर रहे हैं, तो अपने "मोमेंटम" पैरामीटर को लगभग $1 - 1/m$ पर सेट करें।
महत्व: यह सरल सूत्र बहुत अच्छा काम करता है। इसका मतलब है कि आपको अपनी सेटिंग्स को ट्यून करने में हफ्तों खर्च करने की आवश्यकता नहीं है। यदि आप अपनी कंप्यूटर शक्ति (मिनी-बैच साइज) को दोगुना करते हैं, तो आप बस मोमेंटम को थोड़ा समायोजित करते हैं, और सिस्टम स्वचालित रूप से तेज हो जाता है।

सारांश

समस्या: हम जानते थे कि "मोमेंटम" बड़ी टीमों के साथ AI को तेजी से सीखने में मदद करता है, लेकिन गणित यह नहीं समझा सका कि क्यों।
समाधान: लेखकों ने एक नया गणितीय ढांचा विकसित किया जो मोमेंटम की "डगमगाहट" को बिना तोड़े संभाल सकता है।
परिणाम: उन्होंने सिद्ध किया कि मोमेंटम आपको प्रोसेसर की विशाल टीमों का पूरी तरह से उपयोग करने की अनुमति देता है। आप जितने अधिक प्रोसेसर जोड़ते हैं, आप उतना ही तेजी से सीखते हैं, जब तक कि एक प्राकृतिक सीमा न आ जाए।
सीख: यह समझाता है कि आधुनिक डीप लर्निंग विशाल हार्डवेयर पर इतना सफल क्यों है और सर्वोत्तम परिणामों के लिए "मोमेंटम" नॉब को सेट करने का एक सरल, विश्वसनीय तरीका प्रदान करता है।

तकनीकी सारांश: मिनी-बैच SGD में क्लासिकल मोमेंटम एक्सेलेरेशन के साथ परफेक्ट पैरेललिज़ेशन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र क्लासिकल मोमेंटम स्कीम्स (विशेष रूप से पॉलीक का हेवी बॉल मेथड (HBM) और नेस्टरोव का एक्सेलेरेटेड ग्रेडिएंट (NAG)) के मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) पर अनुप्रयोग के दौरान मौजूद अनुभवजन्य सफलता (empirical success) और सैद्धांतिक समझ के बीच के अंतराल को संबोधित करता है।

जबकि मोमेंटम बड़े पैमाने के मशीन लर्निंग मॉडल (जैसे डीप न्यूरल नेटवर्क) को प्रशिक्षित करने में एक मानक घटक है और अक्सर समानांतर हार्डवेयर का लाभ उठाने के लिए बड़े मिनी-बैच के साथ जोड़ा जाता है, मौजूदा सैद्धांतिक विश्लेषण इस तालमेल को समझाने में संघर्ष करते रहे हैं। पिछले कार्यों में आमतौर पर निम्नलिखित की आवश्यकता होती थी:

स्टोकेस्टिक नॉइज़ (stochastic noise) पर कड़े अनुमान।
अत्यधिक बड़े मिनी-बैच आकार जो समस्या के मापदंडों (जैसे कंडीशन नंबर) पर बहुत अधिक निर्भर करते हैं।
गैर-सममित रैंडम मैट्रिसेस (non-symmetric random matrices) का विकीर्णन (diagonalization), जो अक्सर ऐसे पेनल्टी फैक्टर्स पेश करता है जो या तो बहुत बढ़ जाते हैं या जिनके लिए मैट्रिसेस का विकीर्णनीय होना आवश्यक होता है।

लेखक इंटरपोलेशन रिजीम (interpolation regime) पर ध्यान केंद्रित करते हैं, जो डीप लर्निंग के लिए एक लोकप्रिय एब्स्ट्रैक्शन है जहाँ मॉडल प्रशिक्षण डेटा को पूरी तरह से फिट करता है (अर्थात, एक $w^*$ मौजूद है ऐसा कि सभी $\xi$ के लिए $f(w^*; \xi) = 0$ है)। इस रिजीम में, वे बिना किसी प्रतिबंधात्मक बैच आकार या नॉइज़ धारणा के, क्वाड्रेटिक ऑब्जेक्टिव्स पर मोमेंटम-एक्सेलेरेटेड SGD के अभिसरण (convergence) को चित्रित करने का लक्ष्य रखते हैं।

2. कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा: स्टोकेस्टिक कॉन्ट्रैक्शन प्रोसेसेज (Stochastic Contraction Processes)

लेखक स्टोकेस्टिक कॉन्ट्रैक्शन प्रोसेसेज पर आधारित एक सामान्य ढांचा विकसित करते हैं। वे एरर डायनेमिक्स $\Delta_t = w_t - w^*$ को रैंडम मैट्रिसेस द्वारा संचालित एक रिकर्सिव प्रक्रिया के रूप में मॉडल करते हैं।

स्टोकेस्टिक कॉन्ट्रैक्शन: एक रैंडम पॉजिटिव सेमी-डेफिनिट (PSD) मैट्रिक्स $\Pi$ द्वारा परिभाषित, जहाँ $0 \preceq \Pi \preceq I$ । अपडेट $\Delta_{t+1} = (I - \alpha \Pi_t)\Delta_t$ है।
स्टोकेस्टिक मोमेंटम प्रोसेस: वे दो पूर्ववर्ती चरणों से जानकारी शामिल करके इसे मोमेंटम के लिए विस्तारित करते हैं:
$\Delta_{t+1} = A_t(\Delta_t; \alpha) + \beta [A_t(\Delta_t; \omega) - A_{t-1}(\Delta_{t-1}; \omega)]$
$\beta$ और $\omega$ पैरामीटर्स को सेट करके, यह सामान्य परिभाषा दोनों HBM ( $\omega=0$ ) और NAG ( $\omega=\alpha$ ) को कैप्चर करती है।

तकनीकी नवाचार (Technical Innovations)

पिछले दृष्टिकोणों की सीमाओं (जो विकीर्णन और मैट्रिक्स प्रोडक्ट कंसन्ट्रेशन पर निर्भर थे) को दूर करने के लिए, लेखक दो प्रमुख तकनीकी घटकों को पेश करते हैं:

शूर डिकंपोजिशन (Schur Decomposition) के माध्यम से बायस विश्लेषण:
ट्रांजिशन मैट्रिक्स को विकीर्णित करने के बजाय (जो संभव नहीं हो सकता है या बड़े कंडीशन नंबर फैक्टर्स पेश कर सकता है), लेखक शूर डिकंपोजिशन का उपयोग करते हैं। वे अपेक्षित ट्रांजिशन मैट्रिक्स को $2 \times 2$ ब्लॉक्स के साथ ब्लॉक-डायगोनल फॉर्म में ट्रांसफॉर्म करते हैं। वे इन ब्लॉक्स के स्पेक्ट्रल रेडियस का सावधानीपूर्वक विश्लेषण करते हैं, वास्तविक और जटिल आइगेनवैल्यू दोनों को संभालते हुए, ताकि अपेक्षित इटरेट्स के अभिसरण को बाउंड किया जा सके। यह उन "ब्लो-अप" फैक्टर्स से बचता है जो पिछले कार्यों में पाए जाने वाले विकीर्ण करने वाली मैट्रिक्स के कंडीशन नंबर से जुड़े होते हैं।
मैट्रिक्स रिकर्सन के माध्यम से वेरिएंस विश्लेषण:
गैर-सममित रैंडम मैट्रिसेस के उत्पादों के लिए ब्लैक-बॉक्स मैट्रिक्स कंसन्ट्रेशन परिणामों का उपयोग करने के बजाय, लेखक अपेक्षित मैट्रिक्स उत्पाद के लिए एक रिकर्सिव बाउंड व्युत्पन्न करते हैं। वे एरर को एक बायस टर्म और एक वेरिएंस टर्म में विभाजित करते हैं। मैट्रिक्स वेरिएंस $M_t = E[\Sigma_t^\top \Sigma_t] - \bar{\Sigma}_t^\top \bar{\Sigma}_t$ के लिए एक रिकर्सन स्थापित करके, वे सीधे स्पेक्ट्रल नॉर्म को बाउंड करते हैं। यह दृष्टिकोण बिना यह आवश्यक किए कि मैट्रिसेस विकीर्णनीय हों, मिनी-बैच आकार $m$ और मोमेंटम पैरामीटर $\beta$ के बीच के इंटरैक्शन को संभालता है।

मिनी-बैचिंग मॉडल

ढांचा स्पष्ट रूप से मिनी-बैचिंग को $m$ स्वतंत्र स्टोकेस्टिक कॉन्ट्रैक्शन्स के औसत के रूप में मॉडल करता है। एक मुख्य अंतर्दृष्टि यह है कि जबकि मिनी-बैचिंग स्टोकेस्टिक नॉइज़ मैट्रिक्स के वेरिएंस को कम करती है (जो $1/m$ के रूप में स्केल होता है), यह मोमेंटम की अनुपस्थिति में औसत रेट मैट्रिक्स $\bar{\Pi}$ (और इस प्रकार कंडीशन नंबर) को नहीं बदलती है। त्वरण (acceleration) इस कम हुए वेरिएंस और मोमेंटम टर्म के बीच के इंटरप्ले से उत्पन्न होता है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

मुख्य सैद्धांतिक परिणाम (Theorem 1)

यह शोध पत्र स्थापित करता है कि इंटरपोलेशन रिजीम में क्लासिकल मोमेंटम (HBM या NAG) के साथ उचित रूप से ट्यून किया गया SGD निम्नलिखित इटरेशन कॉम्प्लेक्सिटी प्राप्त करता है:
$O\left( \left( \frac{\kappa_f}{m} + \sqrt{\kappa_f} \right) \log \frac{\kappa_f}{\epsilon} \right)$
जहाँ:

$\kappa_f$ स्टोकेस्टिक कंडीशन नंबर है।
$m$ मिनी-बैच आकार है।
$\epsilon$ लक्षित सटीकता (target accuracy) है।

निहितार्थ (Implications):

परफेक्ट पैरेललिज़ेशन (Perfect Parallelization): $m \in [1, \Theta(\sqrt{\kappa_f})]$ के लिए, इटरेशन कॉम्प्लेक्सिटी $1/m$ के साथ रैखिक रूप से सुधरती है। फलस्वरूप, कुल कार्य (कम्प्यूट किए गए स्टोकेस्टिक ग्रेडिएंट्स की संख्या) $m$ बढ़ने के साथ स्थिर रहता है। यह सैचुरेशन पॉइंट तक मिनी-बैच गणनाओं के "परफेक्ट पैरेललिज़ेशन" को सक्षम बनाता है।
सैचुरेशन (Saturation): $m \approx \sqrt{\kappa_f}$ से परे, कॉम्प्लेक्सिटी $O(\sqrt{\kappa_f} \log(1/\epsilon))$ की एक्सेलेरेटेड रेट पर सैचुरेट हो जाती है, जो डिटर्मिनिस्टिक एक्सेलेरेटेड ग्रेडिएंट डिसेंट के अनुकूलतम दर से मेल खाती है।
पैरामीटर चयन: सिद्धांत एक सरल, समस्या-स्वतंत्र मोमेंटम पैरामीटर चयन का सुझाव देता है: $\beta = 1 - \Theta(1/m)$ (विशेष रूप से लीनियर रिजीम में $\beta = 1 - 1/m$ )।

अन्य एल्गोरिदम पर अनुप्रयोग

यह ढांचा सामान्य है और निम्नलिखित पर लागू होता है:

रैंडमाइज्ड काजार्क (Randomized Kaczmarz - RK): रिकवरिंग और ब्लॉक वर्जन्स को एक्सेलेरेट करना।
कोऑर्डिनेट डिसेंट (Coordinate Descent - CD): लीनियर सिस्टम (जैसे कर्नेल रिज रिग्रेशन) को हल करने के लिए मोमेंटम-एक्सेलेरेटेड ब्लॉक कोऑर्डिनेट डिसेंट एल्गोरिदम विकसित करना।

4. प्रयोगात्मक सत्यापन (Experimental Validation)

लेखक चार बेंचमार्क डेटासेट्स (Covtype, California Housing, Abalone, Phoneme) पर रैंडमाइज्ड ब्लॉक कोऑर्डिनेट डिसेंट का उपयोग करके कर्नेल रिज रिग्रेशन के माध्यम से अपने सिद्धांत को सत्यापित करते हैं।

सेटअप: वे वैनिला ब्लॉक कोऑर्डिनेट डिसेंट (CD), एक स्टेट-ऑफ-द-आर्ट ट्यून्ड एक्सेलेरेशन स्कीम (CDpp), और उनके प्रस्तावित CD के साथ NAG मोमेंटम (एक सरल फिक्स्ड $\beta = 1 - 1/m$ और एक एडैप्टिव $\beta$ दोनों के साथ) की तुलना करते हैं।
निष्कर्ष:
- वैनिला CD: मिनी-बैच आकार $m$ बढ़ाने से कन्वर्जेंस स्पीड (इटरेशन) में सुधार नहीं होता है, जो पुष्टि करता है कि इस रिजीम में केवल मिनी-बैचिंग अकेले अभिसरण को तेज नहीं करती है।
- मोमेंटम एक्सेलेरेशन: NAG मोमेंटम को शामिल करने से $m$ बढ़ने के साथ महत्वपूर्ण स्पीड-अप अनलॉक होता है।
- परफेक्ट पैरेललिज़ेशन: CD+NAG के लिए, कुल कार्य (सैंपल किए गए रोज़ की संख्या के रूप में मापा गया) $m$ बढ़ने के साथ स्थिर रहता है, जो सिद्धांत द्वारा भविष्यवाणी किए गए "परफेक्ट पैरेललिज़ेशन" घटना की पुष्टि करता है।
- तुलना: बड़े मिनी-बैच वाले रिजीम में, सरल क्लासिकल मोमेंटम (CD+NAG के साथ $\beta = 1 - 1/m$ ) स्पेशलाइज्ड स्टेट-ऑफ-द-आर्ट एक्सेलेरेशन स्कीम (CDpp) से बेहतर प्रदर्शन करता है, जो परफेक्ट पैरेललिज़ेशन प्रदर्शित करने में विफल रहता है।
- पैरामीटर सेंसिटिविटी: सरल विकल्प $\beta = 1 - 1/m$ लगभग इष्टतम (optimal) है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र एक मौलिक सिद्धांत-अभ्यास अंतराल को पाटने का दावा करता है, जो एक कठोर स्पष्टीकरण प्रदान करता है कि क्यों क्लासिकल मोमेंटम बड़े पैमाने के, समानांतर मशीन लर्निंग सेटिंग्स में इतना प्रभावी है।

सैद्धांतिक स्पष्टीकरण: यह प्रदर्शित करता है कि डीप लर्निंग में मोमेंटम की सफलता केवल बड़े बैचों से वेरिएंस रिडक्शन के कारण नहीं है, बल्कि मोमेंटम समानांतर हार्डवेयर का पूर्ण दोहन करने में सक्षम बनाता है। मोमेंटम के बिना, बैच आकार बढ़ाना वेरिएंस को कम करता है लेकिन आवश्यक इटरेशन की संख्या को कम नहीं करता है; मोमेंटम के साथ, वेरिएंस में कमी सीधे इटरेशन में कमी में बदल जाती है, जिससे कुल कम्प्यूटेशनल कार्य स्थिर रहता है।
व्यापकता (Generality): ढांचा HBM और NAG दोनों पर लागू होता है और बिना किसी मजबूत नॉइज़ धारणा या विकीर्णनीयता की आवश्यकता के, RK और CD सहित स्टोकेस्टिक प्रोसेसेज के एक विस्तृत वर्ग को कवर करता है।
व्यावहारिक प्रभाव: परिणाम बताते हैं कि विशिष्ट पैरामीटर चयन ( $\beta \approx 1 - 1/m$ ) के साथ सरल, क्लासिकल मोमेंटम स्कीम्स, अनुकूलित (tuned) एक्सेलेरेशन स्कीम्स की आवश्यकता को कम करते हुए, इष्टतम पैरेललिज़ेशन प्राप्त करने के लिए पर्याप्त हैं।

लेखक निष्कर्ष निकालते हैं कि उनका विश्लेषण मोमेंटम पैरामीटर्स के लिए एक "सरल विकल्प" प्रदान करता है जो अनुभवजन्य रूप से प्रभावी है और सैद्धांतिक रूप से ठोस है, जो बड़े मिनी-बैच के साथ Adam जैसे आधुनिक ऑप्टिमाइज़र में मोमेंटम के व्यापक उपयोग के लिए एक स्पष्ट तर्क प्रदान करता है।