MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
यह शोध पत्र MKOR को प्रस्तुत करता है, जो एक मोमेंटम-सक्षम सेकंड-ऑर्डर ऑप्टिमाइज़र है जो रैंक-1 अपडेट और शेरमन-मोरिसन-आधारित इनवर्जन का उपयोग करता है ताकि कंप्यूटेशनल और कम्युनिकेशन कॉम्प्लेक्सिटी को क्रमशः क्यूबिक से क्वाड्रेटिक और लीनियर में कम किया जा सके, जिससे अत्याधुनिक फर्स्ट- और सेकंड-ऑर्डर विधियों की तुलना में लार्ज लैंग्वेज मॉडल्स के प्रशिक्षण और अभिसरण (कन्वर्जेंस) को महत्वपूर्ण रूप से तेज किया जा सके।
आधुनिक आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, सबसे शक्तिशाली प्रणालियाँ डीप न्यूरल नेटवर्क पर आधारित होती हैं, जो जटिल गणितीय संरचनाएँ हैं जो पैटर्न को पहचानना, भाषाओं का अनुवाद करना और टेक्स्ट उत्पन्न करना सीखती हैं। इन प्रणालियों को सिखाने के लिए, शोधकर्ताओं को एक विशाल अनुकूलन (optimization) समस्या को हल करना होता है: आंतरिक संख्याओं, या वेट्स (weights) के एक आदर्श सेट को खोजना, जो नेटवर्क को सटीक भविष्यवाणियाँ करने में सक्षम बनाता है। दशकों से, मानक दृष्टिकोण इन वेट्स को उस दिशा में धकेलना रहा है जो त्रुटि को सबसे तेज़ी से कम करती है, एक ऐसी विधि जो एक हाइकर (पगडंडी पर चलने वाले) के अपने पैरों के नीचे ढलान की जाँच करके धुंध भरे पहाड़ से नीचे उतरने के अनुभव के समान है। यह फर्स्ट-ऑर्डर (first-order) विधि विश्वसनीय और व्यापक रूप से उपयोग की जाती है, लेकिन यह धीमी हो सकती है, जो अक्सर घाटी के निचले हिस्से तक पहुँचने के लिए हजारों कदम लेती है।
एक अधिक महत्वाकांक्षी रणनीति, जिसे सेकंड-ऑर्डर ऑप्टिमाइज़ेशन (second-order optimization) के रूप में जाना जाता है, हाइकर को पूरे भूभाग का एक मानचित्र देने का प्रयास करती है, जिसमें ज़मीन की वक्रता (curvature) भी शामिल है, जिससे बहुत तेज़ ढलान संभव हो पाती है। ढलान कैसे बदलती है इसे समझकर, ये विधियाँ सैद्धांतिक रूप से बहुत कम चरणों में इष्टतम समाधान तक पहुँच सकती हैं। हालाँकि, यह दृष्टिकोण ऐतिहासिक रूप से आज के विशाल मॉडलों के लिए व्यावहारिक रूप से बहुत अधिक कम्प्यूटेशनल रूप से महंगा रहा है। एक बड़े नेटवर्क के लिए आवश्यक वक्रता जानकारी की गणना करने के लिए अत्यधिक प्रोसेसिंग पावर और मेमोरी की आवश्यकता होती है, जो अक्सर इस विधि को उस सरल दृष्टिकोण से भी धीमा बना देती है जिसे यह बदलने का लक्ष्य रखती है। चुनौती मानचित्र पढ़ने वाले हाइकर की गति को प्राप्त करने की थी, बिना मानचित्र ले जाने के भारी बोझ के।
टोरंटो विश्वविद्यालय, रटगर्स यूनिवर्सिटी और टेक्सास एडवांस्ड कंप्यूटिंग सेंटर के शोधकर्ताओं की एक टीम ने MKOR नामक एक नया टूल विकसित किया है जो इस दुविधा को हल करता है। उन्होंने एक मोमेंटम-सक्षम ऑप्टिमाइज़र बनाया है जो हर विवरण की गणना किए बिना भूभाग के आकार का अनुमान लगाने के लिए एक विशिष्ट गणितीय शॉर्टकट का उपयोग करता है। लॉस लैंडस्केप (loss landscape) की पूर्ण, जटिल वक्रता की गणना करने के बजाय, MKOR 'रैंक-1 अपडेट्स' (rank-1 updates) नामक एक तकनीक का उपयोग करता है। यह दृष्टिकोण परिवर्तन की सबसे महत्वपूर्ण दिशा पर ध्यान केंद्रित करके गणना को सरल बनाता है, जिससे कम्प्यूटेशनल लागत प्रभावी रूप से एक क्यूबिक संबंध से घटकर एक क्वाड्रेटिक संबंध में आ जाती है। व्यावहारिक शब्दों में, इसका अर्थ है कि जैसे-जैसे मॉडल बड़े होते जाते हैं, यह विधि बहुत बेहतर तरीके से स्केल करती है, उन बाधाओं से बचती है जिन्होंने पहले सेकंड-ऑर्डर विधियों को बड़े लैंग्वेज मॉडलों में उपयोग करने से रोका था।
शोधकर्ताओं ने इस नए ऑप्टिमाइज़र का परीक्षण BERT-Large-Uncased नामक एक बड़े लैंग्वेज मॉडल पर किया, जिसमें 64 हाई-परफॉर्मेंस ग्राफिक्स प्रोसेसर पर प्रयोग चलाए गए। उन्होंने MKOR की तुलना मौजूदा सर्वश्रेष्ठ फर्स्ट-ऑर्डर विधियों और उपलब्ध सबसे उन्नत सेकंड-ऑर्डर कार्यान्वयन से की। परिणाम चौंकाने वाले थे। प्रश्न उत्तर (question answering) से संबंधित एक कार्य में, मानक फर्स्ट-ऑर्डर विधि को सटीकता के एक विशिष्ट स्तर तक पहुँचने के लिए 1,536 चरणों की आवश्यकता थी। नए MKOR विधि ने केवल 600 चरणों में वही या उससे बेहतर सटीकता प्राप्त की। प्रशिक्षण पूरा करने के लिए आवश्यक कुल समय को मापने पर, MKOR ने कार्य को तीन घंटे से कुछ ही अधिक समय में पूरा किया, जबकि मानक विधि को लगभग आठ घंटे लगे। यह 2.57 गुना की स्पीडअप है, जो प्रभावी रूप से प्रशिक्षण के समय को आधे से अधिक कम कर देता है।
शुद्ध गति के अलावा, अध्ययन ने एक महत्वपूर्ण स्थिरता (stability) के मुद्दे को भी संबोधित किया जो अक्सर सेकंड-ऑर्डर विधियों को प्रभावित करता है। क्योंकि ये विधियाँ जटिल गणितीय कारकों के आधार पर सीखने की प्रक्रिया को समायोजित करती हैं, वे "एक्सप्लोडिंग ग्रेडिएंट्स" (exploding gradients) के प्रति संवेदनशील होती हैं, एक ऐसी घटना जहाँ समायोजन इतने बड़े हो जाते हैं कि प्रशिक्षण प्रक्रिया क्रैश हो जाती है या भटक जाती है। पिछले समाधानों में सुरक्षा बनाए रखने के लिए अक्सर लर्निंग रेट को काफी धीमा करने की आवश्यकता होती थी, जिससे गति का लाभ समाप्त हो जाता था। MKOR में एक इन-बिल्ट स्टेबलाइज़र शामिल है जो इन समायोजनों के आकार की निगरानी करता है। यदि मान बहुत बड़े हो जाते हैं, तो सिस्टम स्वचालित रूप से उन्हें रीस्केल करता है, जिससे सेकंड-ऑर्डर दृष्टिकोण की आक्रामक गति को बनाए रखते हुए प्रशिक्षण को बिगड़ने से रोका जा सके। यह ऑप्टिमाइज़र को अस्थिरता के जोखिम के बिना तेज़ी से आगे बढ़ने की अनुमति देता है।
शोधकर्ताओं ने यह भी देखा कि सेकंड-ऑर्डर विधियों का लाभ प्रशिक्षण के शुरुआती चरणों में सबसे अधिक स्पष्ट होता है, जब मॉडल डेटा के व्यापक स्वरूप को सीख रहा होता है। जैसे-जैसे मॉडल इष्टतम समाधान के करीब पहुँचता है, जटिल वक्रता गणनाओं के लाभ कम हो जाते हैं। इसे संबोधित करने के लिए, उन्होंने ऑप्टिमाइज़र का एक हाइब्रिड संस्करण पेश किया, जिसे MKOR-H कहा जाता है। यह संस्करण प्रारंभिक लर्निंग चरण को तेज़ करने के लिए शक्तिशाली सेकंड-ऑर्डर विधि के साथ शुरू होता है, लेकिन जैसे ही ट्रेनिंग लॉस तेजी से कम होना बंद हो जाता है, यह स्वचालित रूप से एक सरल, फर्स्ट-ऑर्डर विधि पर स्विच हो जाता है। इस हाइब्रिड दृष्टिकोण ने सिस्टम को और भी कम चरणों में अभिसरण (converge) करने की अनुमति दी, जिससे मानक विधि की तुलना में आधे से भी कम समय में वही अंतिम सटीकता प्राप्त की।
अध्ययन ने यह भी जांचा कि यह विशिष्ट गणितीय शॉर्टकट इतना अच्छा क्यों काम करता है। शोधकर्ताओं ने न्यूरल नेटवर्क के भीतर डेटा संरचनाओं का विश्लेषण किया और पाया कि कोवेरिएंस मैट्रिसेस (covariance matrices), जो यह बताते हैं कि नेटवर्क के विभिन्न हिस्से कैसे परस्पर क्रिया करते हैं, अक्सर लो-रैंक (low-rank) होते हैं। इसका अर्थ है कि डेटा की उच्च आयामीता (dimensionality) के बावजूद, जानकारी कुछ प्रमुख दिशाओं में केंद्रित होती है। रैंक-1 अपडेट्स का उपयोग करके इन मैट्रिसेस का अनुमान लगाकर, MKOR पूर्ण मैट्रिक्स गणना के ओवरहेड के बिना अनुकूलन के लिए आवश्यक आवश्यक जानकारी को कैप्चर करता है। टीम ने व्यापक परीक्षण के माध्यम से सत्यापित किया कि यह अनुमान बहुत कम त्रुटि लाता है, जिससे पुष्टि होती है कि सरलीकरण सटीकता की कीमत पर नहीं आता है।
गति और स्थिरता के अलावा, नई विधि प्रशिक्षण के दौरान विभिन्न प्रोसेसरों के बीच स्थानांतरित किए जाने वाले डेटा की मात्रा को भी काफी कम करती है। डिस्ट्रिब्यूटेड कंप्यूटिंग में, जहाँ हजारों प्रोसेसर एक साथ काम करते हैं, संचार एक प्रमुख बाधा बन सकता है। MKOR इस संचार जटिलता को एक क्वाड्रेटिक संबंध से घटाकर एक लीनियर (linear) संबंध में बदल देता है, जिसका अर्थ है कि जैसे-जैसे अधिक प्रोसेसर जोड़े जाते हैं, सिस्टम डेटा ट्रांसफर देरी से बाधित हुए बिना कुशलतापूर्वक स्केल करता है। यह दक्षता इस विधि को आधुनिक बड़े लैंग्वेज मॉडलों द्वारा आवश्यक विशाल बैच साइज को संभालने की अनुमति देती है, जो पिछले सेकंड-ऑर्डर दृष्टिकोणों के लिए एक सीमा थी।
इस कार्य के निहितार्थ केवल एक विशिष्ट मॉडल के प्रशिक्षण तक ही सीमित नहीं हैं। बड़े पैमाने की प्रणालियों के लिए सेकंड-ऑर्डर ऑप्टिमाइज़ेशन को व्यावहारिक बनाकर, MKOR आर्टिफिशियल इंटेलिजेंस के अधिक कुशल प्रशिक्षण की ओर एक मार्ग प्रदान करता है। शोधकर्ताओं ने उल्लेख किया कि उनकी विधि मशीन लर्निंग अभ्यासकर्ताओं के लिए ऊर्जा और समय की महत्वपूर्ण बचत करने में मदद कर सकती है। हालाँकि तकनीक स्वयं एक तटस्थ उपकरण है, लेकिन मेडिकल डायग्नोस्टिक्स से लेकर क्लाइमेट मॉडलिंग तक के क्षेत्रों में इसका अनुप्रयोग वैज्ञानिक खोज को गति दे सकता है। हालाँकि, लेखकों ने यह भी स्वीकार किया कि कुशल अनुकूलन एल्गोरिदम को किसी भी मॉडल पर लागू किया जा सकता है, जिसमें नकारात्मक सामाजिक प्रभाव वाले मॉडल भी शामिल हैं, और इस बात पर जोर दिया कि ऐसी तकनीक का जिम्मेदार उपयोग उन लोगों के चयन पर निर्भर करता है जो इसका उपयोग करते हैं।
अंततः, यह शोध पत्र डीप लर्निंग की एक पुरानी समस्या का एक ठोस समाधान प्रस्तुत करता है। मोमेंटम, रैंक-1 एप्रोक्सिमेशन और एक हाइब्रिड स्विचिंग मैकेनिज्म को जोड़कर, शोधकर्ताओं ने एक ऐसा ऑप्टिमाइज़र बनाया है जो अपने पूर्ववर्तियों की तुलना में अधिक तेज़, अधिक स्थिर और अधिक स्केलेबल है। प्रयोग प्रदर्शित करते हैं कि उन निषेधात्मक कम्प्यूटेशनल लागतों के बिना सेकंड-ऑर्डर विधियों की शक्ति का उपयोग करना संभव है जिन्होंने उन्हें हाशिए पर रखा था। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस का क्षेत्र बड़े और अधिक जटिल मॉडलों की ओर बढ़ता जा रहा है, MKOR जैसे उपकरण इन प्रणालियों को अधिक कुशलता से प्रशिक्षित करने का एक तरीका प्रदान करते हैं, जो एक समय के सैद्धांतिक लाभ को व्यावहारिक वास्तविकता में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।