A Physical Response-and-Memory Model for Muon Optimization
यह शोध पत्र प्रशिक्षण गतिकी (training dynamics) के लिए एक भौतिक प्रतिक्रिया-और-स्मृति मॉडल प्रस्तावित करता है जो म्यूऑन (Muon) ऑप्टिमाइज़र की प्रभावकारिता की व्याख्या करता है और बाय-मैक्सवेल (Bi-Maxwell) ऑप्टिमाइज़र पेश करता है, जो बड़े भाषा मॉडल बेंचमार्क पर तेज़ अभिसरण (convergence) प्राप्त करने के लिए एक दोहरे-समयमान स्मृति कर्नेल (dual-timescale memory kernel) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता की विशाल, शांत वास्तुकला में, सबसे महंगी और समय लेने वाली कार्य प्रक्रिया मॉडल का डिज़ाइन बनाना नहीं है, बल्कि उसे सिखाना है। एक बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल) को प्रशिक्षित करने के लिए, इंजीनियर इसे अरबों शब्द खिलाते हैं और इसके आंतरिक सेटिंग्स को समायोजित करते हैं, जिन्हें 'वेट्स' (weights) कहा जाता है, ताकि त्रुटियों को कम किया जा सके। यह प्रक्रिया एक गणितीय उपकरण पर निर्भर करती है जिसे 'ऑप्टिमाइज़र' कहा जाता है, जो शिक्षक के हाथ के रूप में कार्य करता है, और हर एक पाठ के बाद यह तय करता है कि उन वेट्स को कितना बदलना है। वर्षों से, सबसे प्रभावी शिक्षकों का चयन परीक्षण और त्रुटि (ट्रायल एंड एरर) के माध्यम से किया गया है, जो इंजीनियरिंग अंतर्ज्ञान द्वारा निर्देशित थे न कि इस गहरी समझ से कि वे क्यों काम करते हैं। लक्ष्य सरल है: कंप्यूटिंग शक्ति की एक निश्चित मात्रा के साथ, त्रुटि दर कितनी कम हो सकती है, और यह वहां कितनी जल्दी पहुँच सकती है? उत्तर पूरी तरह से उन नियमों पर निर्भर करता है जिनका पालन ऑप्टिमाइज़र एक गलती को सुधार में बदलने के लिए करता है।
फ़ुदान यूनिवर्सिटी और टोंगजी यूनिवर्सिटी के शोधकर्ताओं द्वारा किए गए एक हालिया अध्ययन ने इस प्रक्रिया को देखने का एक नया तरीका पेश किया है। न्यूरल नेटवर्क के प्रशिक्षण को अमूर्त गणनाओं की एक श्रृंखला के रूप में देखने के बजाय, उन्होंने नेटवर्क के वेट मैट्रिक्स को स्मृति (मेमोरी) वाले एक भौतिक पिंड के रूप में माना, बिल्कुल धातु के एक टुकड़े या एक जेल की तरह जो बल के प्रति प्रतिक्रिया करता है। उन्होंने प्रस्तावित किया कि जब नेटवर्क कोई त्रुटि करता है, तो यह एक प्रकार का आंतरिक तनाव (स्ट्रेस) पैदा करता है, जो खिंचे हुए स्प्रिंग के तनाव के समान है। ऑप्टिमाइज़र का काम इस तनाव को कुशलतापूर्वक मुक्त करना है। इस डिजिटल माध्यम पर भौतिकी के नियमों को लागू करके, शोधकर्ताओं ने यह निर्धारित करने के लिए नियमों का एक नया सेट तैयार किया कि नेटवर्क को कैसे सीखना चाहिए। उन्होंने पाया कि वेट्स को अपडेट करने का सबसे प्रभावी तरीका उस दिशा में आगे बढ़ना है जो इस तनाव को यथाशीघ्र समाप्त कर दे, जबकि नेटवर्क के आउटपुट में एक बार में होने वाले परिवर्तन पर एक सुरक्षा सीमा का सम्मान भी करे। इस भौतिक परिप्रेक्ष्य ने समझाया कि हाल ही में लोकप्रिय हुआ एक विशिष्ट तरीका, जिसे 'म्यून' (Muon) कहा जाता है, इतना अच्छा क्यों काम करता है, और इसने उस पद्धति की एक खामी को भी उजागर किया कि वह पिछले पाठों को कैसे याद रखती है।
शोधकर्ताओं ने पाया कि इन ऑप्टिमाइज़र्स के अतीत को याद रखने का मानक तरीका बहुत सरल है। वे आमतौर पर हाल की गलतियों को एक एकल, समान टाइमस्केल (समय-पैमाने) का उपयोग करके औसत निकालते हैं, जैसे कि वे पदार्थ जिससे वे बने हैं, केवल एक ही गति से अपने तनाव को शिथिल करते हैं। हालाँकि, शोधकर्ताओं ने तर्क दिया कि वास्तविक पदार्थ, और विस्तार से कहें तो जटिल न्यूरल नेटवर्क, एक अधिक जटिल आंतरिक संरचना रखते हैं। उनके पास तेज़, स्थानीय प्रतिक्रियाएं और धीमी, गहरी संरचनात्मक परिवर्तन दोनों होते हैं। इसका परीक्षण करने के लिए, उन्होंने मानक ऑप्टिमाइज़र की एकल-गति वाली मेमोरी को एक नए संस्करण से बदल दिया जिसे उन्होंने 'बाय-मैक्सवेल' (Bi-Maxwell) नाम दिया, जो दो अलग-अलग गतियों का उपयोग करता है: एक तत्काल परिवर्तनों को पकड़ने के लिए तेज़ और दूसरा दीर्घकालिक पैटर्न को बनाए रखने के लिए धीमी। जब उन्होंने भाषा मॉडल के प्रशिक्षण के लिए एक सार्वजनिक बेंचमार्क पर इस नए दृष्टिकोण का परीक्षण किया, तो परिणाम तत्काल और मापने योग्य थे। नया ऑप्टिमाइज़र 2,635 स्टेप्स में लक्ष्य सटीकता तक पहुँच गया, जिसने पिछले रिकॉर्ड 2,690 स्टेप्स को पीछे छोड़ दिया। यह सुनने में एक छोटा सा अंतर लग सकता है, लेकिन उन विशाल मॉडलों के प्रशिक्षण की दुनिया में जहाँ हजारों कंप्यूटर हफ्तों तक चलते हैं, कुछ दर्जन स्टेप्स बचाना भी समय और ऊर्जा की महत्वपूर्ण बचत में बदल जाता है।
यह सुनिश्चित करने के लिए कि यह सुधार कोई इत्तेफाक नहीं था, टीम ने कठोर जांच की श्रृंखला आयोजित की। उन्होंने प्रशिक्षण प्रक्रिया के हर दूसरे हिस्से को बिल्कुल समान रखा, केवल 'मेमोरी कर्नेल' को बदला, जो पिछले ग्रेडिएंट्स को याद रखने के लिए जिम्मेदार है। उन्होंने विभिन्न प्रकार के कंप्यूटर हार्डवेयर पर और विभिन्न रैंडम शुरुआती बिंदुओं के साथ प्रयोग चलाया, और नया ऑप्टिमाइज़र पुराने की तुलना में लगातार बेहतर प्रदर्शन करता रहा। उन्होंने यह भी जांचा कि दो-गति वाली मेमोरी क्यों बेहतर काम करती है, इसके लिए उन्होंने नेटवर्क की जरूरतों को समय के साथ बदलते हुए मापा। उन्होंने पाया कि प्रशिक्षण के शुरुआती दौर में, नेटवर्क तेजी से सीखता है और उसे फुर्तीला रहने के लिए एक छोटी मेमोरी की आवश्यकता होती है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, सीखना धीमा हो जाता है, और नेटवर्क को मार्ग को सुचारू बनाने के लिए एक लंबी मेमोरी से लाभ होता है। एकल-गति वाला ऑप्टिमाइज़र इस बदलाव के अनुकूल नहीं हो पाता; वह पूरी यात्रा के लिए एक ही सेटिंग पर अटका रहता है। हालाँकि, दो-गति वाला संस्करण स्वाभाविक रूप से शुरुआत में आवश्यक तेज़ प्रतिक्रियाओं और बाद में आवश्यक गहरी, स्थिर स्मृति दोनों को समायोजित करता है।
अध्ययन ने यह भी स्पष्ट किया कि ऑप्टिमाइज़र वास्तव में क्या कर रहा है। इसने दिखाया कि सबसे कुशल अपडेट दिशा केवल एक रैंडम अनुमान नहीं है, बल्कि एक विशिष्ट ज्यामितीय पथ है जो नेटवर्क को अस्थिर किए बिना त्रुटि क्षमता के रिलीज को अधिकतम करता है। यही वह दिशा है जिसका उपयोग म्यून ऑप्टिमाइज़र करता है, लेकिन शोधकर्ताओं ने इसके काम करने के पीछे का भौतिक कारण प्रदान किया: यह एक सुरक्षा बाधा के तहत अधिकतम ऊर्जा अपव्यय (डिसिपेशन) का पथ है। इसके अलावा, उन्होंने प्रदर्शित किया कि इन प्रणालियों में "मेमोरी" केवल शोर को सुचारू करने के लिए एक गणितीय चाल नहीं है, बल्कि संचित आंतरिक तनाव का एक प्रतिनिधित्व है। जिस तरह एक भौतिक वस्तु को धकेले जाने के बाद स्थिर होने में समय लगता है, उसी तरह न्यूरल नेटवर्क को अपनी गलतियों से सबक लेने के लिए समय की आवश्यकता होती है। एक प्रतिक्रियाशील माध्यम के रूप में नेटवर्क को देखते हुए, शोधकर्ता एक ऐसा ऑप्टिमाइज़र डिजाइन करने में सक्षम हुए जो सीखने की प्राकृतिक लय का सम्मान करता है।
यह कार्य सुझाव देता है कि कृत्रिम बुद्धिमत्ता के प्रशिक्षण का भविष्य भौतिक विज्ञान से अधिक गहराई से उधार लेने में निहित हो सकता है। लर्निंग प्रक्रिया को पदार्थ विज्ञान और ऊष्मप्रवैगिकी (थर्मोडायनामिक्स) के लेंस से देखकर, शोधकर्ता परीक्षण और त्रुटि से आगे बढ़ने और ऐसे नियम निकालने में सक्षम हुए जो सिस्टम के मौलिक व्यवहार पर आधारित हैं। उन्होंने केवल मॉडल को प्रशिक्षित करने का एक तेज़ तरीका नहीं खोजा; उन्होंने यह समझने के लिए एक ढांचा प्रदान किया कि कुछ तरीके क्यों काम करते हैं और उन्हें कैसे सुधारा जा सकता है। बाय-मैक्सवेल ऑप्टिमाइज़र की सफलता, जिसने केवल मेमोरी में एक दूसरा टाइमस्केल जोड़ा, यह सिद्ध करती है कि भौतिक रूप से प्रेरित छोटे बदलाव भी महत्वपूर्ण लाभ दे सकते हैं। जैसे-जैसे भाषा मॉडल बड़े और अधिक जटिल होते जा रहे हैं, उनके प्रशिक्षण की दक्षता तेजी से महत्वपूर्ण होती जा रही है, और यह भौतिक दृष्टिकोण उस प्रशिक्षण को तेज़, अधिक स्थिर और अधिक कुशल बनाने के लिए एक आशाजनक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।