Exclusive Self-Attention Beyond AdamW: Stability and Generalization under Muon Optimization
यह शोध पत्र प्रदर्शित करता है कि एक्सक्लूसिव सेल्फ-अटेंशन (XSA), जो स्व-संदर्भित व्यवहार को कम करने के लिए डिज़ाइन किया गया एक तंत्र है, म्यून (Muon) ऑप्टिमाइज़ेशन के तहत स्थिर रहता है और भाषा मॉडल में मामूली सामान्यीकरण सुधार प्रदान करता है, जिसमें प्रदर्शन लाभ मॉडल के पैमाने के 12 से 24 परतों तक बढ़ने के साथ अधिक सुसंगत हो जाते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी पढ़ना सिखाने की कोशिश कर रहे हैं। रोबोट शब्दों को समझने के लिए "ट्रांसफॉर्मर" (Transformer) नामक एक विशेष उपकरण का उपयोग करता है। इस उपकरण को एक अत्यंत बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह समझें जो, जब भी वह कोई नया शब्द पढ़ता है, तो उस शब्द का अर्थ समझने के लिए अब तक देखे गए हर शब्द पर वापस जाकर विचार करता है। आमतौर पर, जब लाइब्रेरियन किसी शब्द को देखता है, तो वह उस शब्द को भी देखता है जो वह देख रहा है। यह कुछ ऐसा है जैसे "cat" शब्द को पढ़ना और तुरंत सोचना, "ओह, यह एक बिल्ली है, क्योंकि मैं 'cat' शब्द को देख रहा हूँ।"
यह तरीका अच्छा काम करता है, लेकिन यह शब्द के अपने आप पर बहुत अधिक निर्भर हो जाता है और इस बात पर कम ध्यान देता है कि वह शब्द कहानी के बाकी हिस्सों में कैसे फिट बैठता है। ज़हाई (Zhai) नामक एक शोधकर्ता ने यह गौर किया और "एक्सक्लूसिव सेल्फ-अटेंशन" (Exclusive Self-Attention - XSA) नामक एक नियम बनाया। यह नियम लाइब्रेरियन को यह बताने जैसा है कि: "जब आप किसी शब्द को देखते हैं, तो आपको उस शब्द की अपनी परिभाषा देखने से सख्ती से मना किया जाता है। आपको उसका अर्थ समझने के लिए केवल उसके आस-पास के अन्य शब्दों को ही देखना होगा।" यह रोबोट को संदर्भ (कहानी) पर अधिक ध्यान देने के लिए मजबूर करता है—केवल शब्द के स्वयं पर नहीं।
मूल अध्ययन ने दिखाया कि यह नियम तब बहुत अच्छा काम करता है जब रोबोट को "एडमडब्ल्यू" (AdamW) नामक एक विशिष्ट पद्धति का उपयोग करके प्रशिक्षित किया जाता है। लेकिन एक बड़ा प्रश्नचिह्न यह था: क्या यह नियम अभी भी काम करेगा यदि हम रोबोट के प्रशिक्षण के तरीके को बदलकर "म्यून" (Muon) जैसा कुछ नया और अधिक शक्तिशाली बना दें? म्यून एक अलग प्रकार का कोच है जो रोबोट को थोड़ा अलग तरीके से सिखाता है, विशेष रूप से उसके मस्तिष्क के भीतर मौजूद बड़े गणितीय तालिकाओं (math tables) के लिए। यदि XSA नियम इस नए कोच के साथ टूट जाता, तो यह आधुनिक रोबोटों के लिए बहुत उपयोगी नहीं होता। यही वह पहेली है जिसे चंदना दयापुले का शोध पत्र हल करने का प्रयास करता है।
प्रयोग: एक नया कोच, वही नियम
जॉर्जिया टेक के चंदना दयापुले ने यह परीक्षण करने का निर्णय लिया कि क्या "एक्सक्लूसिव सेल्फ-अटेंशन" नियम कोचिंग शैली में बदलाव के बाद भी जीवित रह सकता है। उन्होंने "नैनोचैट" (nanochat) नामक एक आधुनिक, संक्षिप्त प्रशिक्षण प्रणाली का उपयोग किया, जो भारी काम के लिए म्यून कोच का उपयोग करती है और बाकी के लिए पुराने एडमडब्ल्यू कोच का। उन्होंने दो संस्करणों वाला एक भाषा मॉडल बनाया: एक जो पुराने नियमों का पालन करता है (बेसलाइन) और एक जो नए XSA नियम का पालन करता है ("एक्सक्लूसिव" संस्करण)।
उन्होंने इन मॉडलों का परीक्षण दो अलग-अलग आकारों में किया: सोचने के 12 स्तरों वाला एक छोटा मॉडल (d12) और 24 स्तरों वाला एक बड़ा मॉडल (d24)। लक्ष्य यह देखना था कि क्या XSA नियम मॉडलों को भाषा समझने में बेहतर बनाता है या इससे प्रशिक्षण क्रैश होने या बहुत धीमा होने की समस्या होती है।
उन्हें क्या मिला: अच्छी खबरों और बारीकियों का मिश्रण
परिणाम सफलता और सूक्ष्मता का एक दिलचस्प मिश्रण थे। सबसे पहले, अच्छी खबर: XSA नियम ने प्रशिक्षण को नहीं तोड़ा। नए म्यून कोच के साथ भी, मॉडल बिना इस नियम वाले मॉडलों की तरह ही सुचारू रूप से और स्थिरता के साथ सीखे। इसने सिद्ध कर दिया कि यह नियम आधुनिक प्रशिक्षण विधियों के अनुकूल है।
जब बात भाषा समझने की क्षमता (जिसे "बिट्स-पर-बाइट" कहा जाता है, जो यह मापता है कि मॉडल कितनी कुशलता से जानकारी को संकुचित करता है) की आई, तो XSA मॉडल दोनों आकारों में जीत गया।
- छोटे आकार (d12) पर, XSA मॉडल ने अपने स्कोर को 0.8484 से सुधारकर 0.8457 कर दिया।
- बड़े आकार (d24) पर, इसने 0.7193 से सुधार कर 0.7171 कर दिया।
हालाँकि, कहानी तब और दिलचस्प हो जाती है जब हम देखते हैं कि मॉडल विशिष्ट कार्यों (downstream tasks) पर कैसा प्रदर्शन करते हैं, जिन्हें "बेस कोर" (Base CORE) और "चैटकोर" (ChatCORE) स्कोर द्वारा मापा जाता है।
- बड़े मॉडल (d24) के लिए, XSA नियम स्पष्ट विजेता था। इसने बेस कोर स्कोर को 0.2593 से बढ़ाकर 0.2606 और चैटकोर स्कोर को 0.3638 से बढ़ाकर 0.3682 कर दिया। यह सुझाव देता है कि बड़े, अधिक जटिल मॉडलों के लिए, रोबोट को उसकी अपनी परिभाषा को अनदेखा करने के लिए मजबूर करना वास्तव में उसे कहानी को बेहतर ढंग से समझने में मदद करता है।
- छोटे मॉडल (d12) के लिए, परिणाम थोड़ा निराशाजनक था। जबकि संपीड़न (compression) स्कोर बेहतर हुआ, बेस कोर स्कोर वास्तव में 0.1602 से गिरकर 0.1508 हो गया।
निष्कर्ष: यह आकार पर निर्भर करता है
शोध पत्र यह निष्कर्ष निकालता है कि "एक्सक्लूसिव सेल्फ-अटेंशन" नियम आधुनिक AI प्रशिक्षण में एक सुरक्षित और स्थिर जुड़ाव है, लेकिन यह हर जगह पूरी तरह से काम करने वाला जादुई समाधान नहीं है। ऐसा लगता है कि यह एक ऐसा उपकरण है जो बड़े, गहरे मॉडलों (जैसे d24 संस्करण) में सबसे अधिक चमकता है। छोटे मॉडलों में, इसका लाभ कम स्पष्ट है और यह कुछ कार्यों पर प्रदर्शन को नुकसान भी पहुँचा सकता है।
शोधकर्ताओं ने यह भी जाँच की कि क्या नया नियम रोबोट को धीमा बनाता है। उन्होंने पाया कि इसमें लगभग 5% की मामूली धीमी गति आई, लेकिन उन्होंने नोट किया कि यह अंतर कंप्यूटर के प्रदर्शन के सामान्य उतार-चढ़ाव के मुकाबले इतना छोटा था कि इसे सटीक रूप से मापना कठिन था।
संक्षेप में, अध्ययन दिखाता है कि आप इस "नो सेल्फ-अटेंशन" नियम का नए म्यून कोच के साथ उपयोग कर सकते हैं, और यह बड़े मॉडलों के लिए अच्छा काम करता है। लेकिन छोटे मॉडलों के लिए, आपको सावधान रहना होगा, क्योंकि लाभ शायद व्यापारिक नुकसान (trade-offs) के लायक न हों। यह एक याद दिलाता है कि AI की दुनिया में, जो चीज़ एक विशाल मस्तिष्क के लिए काम करती है, वह हमेशा एक छोटे मस्तिष्क के लिए काम नहीं करती है, और सबसे अच्छे उपकरण काम के आकार पर निर्भर करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।