Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
यह शोध पत्र प्रकट करता है कि ग्रेडिएंट विषमता (gradient heterogeneity), जो Post-LN आर्किटेक्चर द्वारा बढ़ाई जाती है, ट्रांसफॉर्मर्स में SGD अभिसरण (convergence) को खराब करती है, लेकिन इसे Adam और SignSGD जैसे समन्वय-वार अनुकूलन विधियों (coordinate-wise adaptive methods) द्वारा प्रभावी ढंग से कम किया जाता है, जो ग्रेडिएंट स्केल विविधताओं के प्रति कम संवेदनशील होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल और तेजी से विकसित होते परिदृश्य में, 'ट्रांसफॉर्मर' के रूप में ज्ञात एक विशिष्ट प्रकार का कंप्यूटर मॉडल अस्तित्व में सबसे शक्तिशाली भाषा और छवि प्रणालियों के पीछे का इंजन बन गया है। इन मॉडलों को 'ऑप्टिमाइज़ेशन' नामक एक प्रक्रिया द्वारा प्रशिक्षित किया जाता है, जहाँ कंप्यूटर त्रुटियों को कम करने के लिए अपने आंतरिक सेटिंग्स को बार-बार समायोजित करता है, ठीक वैसे ही जैसे एक हाइकर (पगडंडी पर चलने वाला) धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश करता है। दशकों तक, इस कार्य के लिए मानक उपकरण 'स्टोकेस्टिक ग्रेडिएंट डिसेंट' नामक एक विधि थी, जो इलाके के तात्कालिक ढलान के आधार पर छोटे, गणना किए गए कदम उठाती है। हालाँकि, जैसे-जैसे मॉडल बड़े और अधिक जटिल होते गए, शोधकर्ताओं ने पाया कि यह पारंपरिक उपकरण अक्सर संघर्ष करता था, या तो लड़खड़ा जाता था या व्यावहारिक होने के लिए बहुत धीमा चलता था। फलस्वरूप, क्षेत्र काफी हद तक 'एडम' (Adam) नामक एक अलग उपकरण की ओर स्थानांतरित हो गया, जो अपने कदम के आकार को गतिशील रूप से अनुकूलित करता है और इन विशाल प्रणालियों को प्रशिक्षित करने में कहीं अधिक प्रभावी साबित हुआ है। फिर भी, एक रहस्य बना रहा: एडम पुराने तरीके की तुलना में इतना बेहतर क्यों काम करता है, और मॉडल के भीतर वास्तव में क्या हो रहा है जो अंतर पैदा करता है?
टोक्यो विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब इस रहस्य की परतों को खोल दिया है, जो मॉडल के आंतरिक परिदृश्य के आकार से जुड़ी एक स्पष्ट व्याख्या प्रदान करती है। उन्होंने पाया कि इन मॉडलों को प्रशिक्षित करने की कठिनाई उस डेटा में एक विशिष्ट प्रकार की असमानता, या विषमता (heterogeneity) से आती है जिसे मॉडल संसाधित करता है। एक ऐसे परिदृश्य की कल्पना करें जहाँ कुछ पहाड़ अविश्वसनीय रूप से ऊंचे और संकीले हैं जबकि अन्य सौम्य और चौड़े हैं; पारंपरिक तरीका, जो हर दिशा को समान मानता है, इस मिश्रण से भ्रमित हो जाता है, और अक्सर ऐसे कदम उठाता है जो तीव्र हिस्सों के लिए बहुत बड़े और सौम्य हिस्सों के लिए बहुत छोटे होते हैं। शोधकर्ताओं ने पाया कि यह असमानता केवल एक यादृच्छिक विचित्रता नहीं है, बल्कि यह एक संरचनात्मक विशेषता है कि ये मॉडल कैसे बनाए जाते हैं, विशेष रूप से इस बात से प्रभावित होती है कि आर्किटेक्चर के भीतर कुछ स्थिर करने वाले घटकों को कहाँ रखा गया है।
अध्ययन प्रकट करता है कि अनुकूलन योग्य ऑप्टिमाइज़र (adaptive optimizer) का बेहतर प्रदर्शन शोर (noise) को संभालने की किसी जादुई क्षमता के कारण नहीं है, जैसा कि कुछ पिछले सिद्धांतों ने सुझाव दिया था, बल्कि इसलिए है क्योंकि यह कदमों के पैमाने (scale) को इस तरह से अनदेखा करता है जैसे पारंपरिक तरीका नहीं करता है। इन ऑप्टिमाइज़र्स के गणितीय व्यवहार का विश्लेषण करके, लेखकों ने दिखाया कि पारंपरिक तरीका मॉडल के विभिन्न हिस्सों में ग्रेडिएंट की ताकत के उतार-चढ़ाव के प्रति अत्यधिक संवेदनशील है। जब मॉडल के एक हिस्से को सूक्ष्म समायोजन की आवश्यकता होती है और दूसरे को भारी समायोजन की, तो पारंपरिक तरीका एक एकल, समान कदम का आकार लागू करने की कोशिश करता है, जिससे अक्षमता पैदा होती है। इसके विपरीत, अनुकूलन विधि, और इसका एक सरल संस्करण जिसे 'साइन-एसजीडी' (SignSGD) कहा जाता है, परिवर्तन के परिमाण के बजाय उसके दिशा पर ध्यान केंद्रित करके अपने दृष्टिकोण को समायोजित करती है, जिससे यह मॉडल के ऊबड़-खाबड़ परिदृश्य में बहुत अधिक आसानी से नेविगेट कर पाती है।
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक कठोर सैद्धांतिक विश्लेषण किया, जिससे गणितीय सीमाएं (bounds) प्राप्त हुईं जो वर्णन करती हैं कि प्रत्येक विधि को समाधान तक पहुँचने के लिए कितने चरणों की आवश्यकता होती है। उनका कार्य प्रदर्शित करता है कि जब मॉडल में ग्रेडिएंट की उच्च स्तर की असमानता होती है, तो पारंपरिक विधि की प्रगति काफी धीमी हो जाती है, जबकि अनुकूलन विधियाँ मजबूत बनी रहती हैं। उन्होंने इस असमानता के स्रोत का पता ट्रांसफॉर्मर के डिज़ाइन तक लगाया, विशेष रूप से 'लेयर नॉर्मलाइजेशन' (layer normalization) नामक घटक के स्थान तक। उन्होंने पाया कि जब यह घटक मुख्य प्रसंस्करण चरणों के बाद रखा जाता है, तो यह ग्रेडिएंट की ताकत के अंतर को बढ़ा देता है, जिससे परिदृश्य पारंपरिक ऑप्टिमाइज़र के लिए और भी अधिक कठिन हो जाता है। जब इसे चरणों से पहले रखा जाता है, तो परिदृश्य अधिक सुचारू होता है, और पारंपरिक विधि बेहतर प्रदर्शन करती है, हालांकि अनुकूलन विधि का लाभ फिर भी बना रहता है।
टीम ने वास्तविक दुनिया के प्रयोगों के साथ इन सैद्धांतिक अंतर्दृष्टि को सत्यापित किया, भाषा और दृष्टि (vision) दोनों कार्यों पर मॉडलों को फाइन-ट्यून किया। उन्होंने देखा कि जिन परिदृश्यों में ग्रेडिएंट की असमानता अधिक थी, वहां पारंपरिक ऑप्टिमाइज़र संघर्ष करता था, सीखने में बहुत अधिक समय लेता था, जबकि अनुकूलन विधियों और उनके साइन-आधारित समकक्षों ने कुशलतापूर्वक प्रशिक्षण लिया। इसने पुष्टि की कि प्रदर्शन अंतराल की कुंजी यह है कि ये ऑप्टिमाइज़र मॉडल की संरचनात्मक विषमता को कैसे संभालते हैं। निष्कर्ष बताते हैं कि आधुनिक एआई की सफलता केवल अधिक डेटा या कंप्यूटिंग शक्ति के बारे में नहीं है, बल्कि मॉडल के स्वयं के आर्किटेक्चर द्वारा निर्मित विशिष्ट, असमान टोपोग्राफी में नेविगेट करने के लिए सही गणितीय उपकरणों का उपयोग करने के बारे में है। इस गतिशीलता को समझकर, शोधकर्ता बेहतर प्रशिक्षण रणनीतियों को डिजाइन कर सकते हैं और संभावित रूप से अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस के लिए और भी प्रभावी नए ऑप्टिमाइज़र्स विकसित कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।