← नवीनतम पेपर
📊 statistics

The Spectral Dynamics and Noise Geometry of Muon

यह शोध पत्र म्यूऑन (Muon) ऑप्टिमाइज़र के उस अनूठे तंत्र का विश्लेषण करता है जिसमें मैट्रिक्स ग्रेडिएंट्स को उनके पोलर फैक्टर्स (polar factors) से प्रतिस्थापित करके अपडेट स्पेक्ट्रम को सपाट किया जाता है, जो यह प्रदर्शित करता है कि यह एंट्रॉपी-अधिकतम बनाने वाला दृष्टिकोण नैनोगप्ट (NanoGPT) प्रीट्रेनिंग जैसे विशिष्ट रेगिम्स में स्थिर रैंक और बेहतर प्रदर्शन को बढ़ावा देता है, जबकि इसकी प्रभावशीलता रेगिम-निर्भर बनी रहती है और यह सरल ग्रेडिएंट रीस्केलिंग या लो-रैंक मिनिमाइजेशन से भिन्न है।

मूल लेखक: Pierfrancesco Beneventano, Mahmoud Abdelmoneum, Tomaso Poggio

प्रकाशित 2026-06-09
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Pierfrancesco Beneventano, Mahmoud Abdelmoneum, Tomaso Poggio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: पहाड़ को समतल करना

कल्पना कीजिए कि आप एक विशाल, धुंधले परिदृश्य (यह एक न्यूरल नेटवर्क का "लॉस लैंडस्केप" है) में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। वहां तक पहुँचने के लिए, आपको दो चीजें जानने की आवश्यकता है: किस दिशा में चलना है और उस दिशा में कितनी तेज़ी से चलना है।

  • मानक ऑप्टिमाइज़र (जैसे AdamW): ये एक ऐसे हाइकर (हाइकर) की तरह काम करते हैं जो ढलान को देखता है। यदि जमीन बाईं ओर तेजी से नीचे गिरती है, तो वे बाईं ओर एक बड़ा कदम उठाते हैं। यदि दाईं ओर ढलान हल्की है, तो वे दाईं ओर एक छोटा कदम उठाते हैं। वे अपनी गति तय करने के लिए ढलान की शक्ति का उपयोग करते हैं।
  • Muon (नया ऑप्टिमाइज़र): यह ऑप्टिमाइज़र उसी ढलान को देखता है लेकिन ढलान की तीव्रता को अनदेखा करने का निर्णय लेता है। यह कहता है, "ठीक है, जमीन इन विशिष्ट दिशाओं में नीचे गिर रही है। मैं उन सभी दिशाओं में समान आकार का कदम उठाऊंगा, चाहे वे कितनी भी तीव्र या हल्की क्यों न हों।"

गणितीय शब्दों में, यदि ग्रेडिएंट (ढलान) एक जटिल आकार है जिसमें कुछ ऊंचे शिखर और छोटी घाटियां हैं, तो Muon इसे "समतल" (flatten) कर देता है। यह शिखरों और घाटियों की दिशाओं को तो बनाए रखता है लेकिन हर कदम की ऊंचाई को बिल्कुल एक समान बना देता है।

मुख्य खोज: "समतलीकरण" क्या करता है?

पेपर पूछता है: क्या होता है जब आप हर कदम को एक ही आकार का बनाने के लिए मजबूर करते हैं?

लेखकों ने पाया कि यह "समतलीकरण" एक विशिष्ट पूर्वाग्रह (bias) पैदा करता है। यह कई अलग-अलग दिशाओं को एक ही समय में "सक्रिय" रखने की प्रवृत्ति रखता है, बजाय इसके कि सारी ऊर्जा केवल कुछ मजबूत दिशाओं पर केंद्रित हो जाए।

ऑर्केस्ट्रा का रूपक:

  • मानक ऑप्टिमाइज़र एक ऐसे कंडक्टर की तरह हैं जो सबसे तेज़ वाद्य यंत्रों (वायलिन) को जोर से बजाने और शांत वाद्य यंत्रों (बांसुरी) को धीरे बजाने के लिए कहते हैं। संगीत तेज़ वाद्य यंत्रों के प्रभुत्व में रहता है।
  • Muon एक ऐसे कंडक्टर की तरह है जो हर वाद्य यंत्र को बिल्कुल एक ही वॉल्यूम पर बजाने के लिए कहता है। भले ही बांसुरी स्वाभाविक रूप से शांत हो, Muon उसे वायलिन के बराबर लाने के लिए उसे बूस्ट करता है।
  • परिणाम: संगीत अधिक "सपाट" और संतुलित हो जाता है। कोई भी एकल वाद्य यंत्र हावी नहीं होता। AI के संदर्भ में, इसका अर्थ है कि मॉडल कई अलग-अलग "स्पेक्ट्रल दिशाओं" (सोचने के तरीकों) को सक्रिय रखता है, बजाय इसके कि वह कुछ संकीर्ण पैटर्न में सिमट जाए।

दो मुख्य प्रयोग ("रेजीम" की कहानी)

पेपर इस विचार का दो अलग-अलग परिदृश्यों में परीक्षण करता है, और परिणाम आश्चर्यजनक रूप से भिन्न हैं। यह इस पेपर का सबसे महत्वपूर्ण व्यावहारिक निष्कर्ष है: Muon हमेशा बेहतर नहीं होता; यह काम पर निर्भर करता है।

1. लैंग्वेज मॉडल टेस्ट (NanoGPT)

  • सेटअप: एक वाक्य में अगला शब्द बताने के लिए एक छोटा AI प्रशिक्षित करना (जैसे शेक्सपियर)।
  • परिणाम: Muon मानक ऑप्टिमाइज़र की तुलना में बेहतर रहा। इसने "स्थिर रैंक" (सक्रिय दिशाओं की संख्या) को उच्च बनाए रखा और मॉडल के प्रदर्शन में सुधार किया।
  • क्यों? भाषा संबंधी कार्यों में, आपको अक्सर कई अलग-अलग "दिशाओं" को सक्रिय रहने की आवश्यकता होती है ताकि मानवीय भाषा की बारीकियों को पकड़ा जा सके। Muon के "समान वॉल्यूम" वाले दृष्टिकोण ने उन सभी दिशाओं को जीवित रखने में मदद की।

2. विज़न टेस्ट (CIFAR-10 पर ViT)

  • सेटअप: छवियों (जैसे बिल्ली और कुत्ते) को पहचानने के लिए एक छोटा AI प्रशिक्षित करना।
  • परिणाम: मानक ऑप्टिमाइज़र (AdamW) वास्तव में जीत गया। Muon का प्रदर्शन खराब रहा।
  • क्यों? इमेज रिकग्निशन में, उपयोगी जानकारी पहले से ही कुछ मजबूत दिशाओं में केंद्रित हो सकती है। सब कुछ समान बनाने के लिए मजबूर करना (समतल करना) अनावश्यक था और वास्तव में प्रदर्शन को नुकसान पहुँचाया।

सबक: Muon एक विशेषज्ञ उपकरण है। यह तब चमकता है जब आपको कई विकल्पों को खुला रखने की आवश्यकता होती है (जैसे भाषा में), लेकिन यह तब बाधा बन सकता है जब किसी कार्य (जैसे कुछ इमेज टास्क) को केवल कुछ केंद्रित विकल्पों की आवश्यकता होती है।

पुराने मिथकों का खंडन

यह पेपर यह भी स्पष्ट करता है कि Muon के काम करने के बारे में दो सामान्य गलतफहमियां क्या हैं:

  1. मिथक: "Muon केवल ग्रेडिएंट को नॉर्मलाइज़ करने (कुल कदम के आकार को समान बनाने) का एक फैंसी तरीका है।"
    • सत्य: नहीं। यह केवल आकार को नहीं, बल्कि कदम के रूप (shape) को बदलता है। यह विशेष रूप से आंतरिक घटकों को समान बनाता है।
  2. मिथक: "Muon मॉडल को 'लो-रैंक' (मॉडल को उसके न्यूनतम रूप तक सरल बनाना) बनने के लिए मजबूर करता है।"
    • सत्य: वास्तव में, इसके विपरीत है। मानक तरीके अक्सर मॉडल को कम से कम संभव दिशाओं (लो-रैंक) तक सरल बनाने की कोशिश करते हैं। Muon इसके विपरीत करता है: यह एक "फ्लैट स्पेक्ट्रम" को प्रोत्साहित करता है, जिससे कई दिशाएं सक्रिय रहती हैं और मॉडल को एक बहुत छोटे, सरल आकार में सिमटने से रोका जा जाता है।

"मानवीय" खंड

पेपर में एक अनूठा खंड (सेक्शन 2) है जो पूरी तरह से मनुष्यों द्वारा लिखा गया है। लेखक स्वीकार करते हैं कि उन्होंने शेष पेपर लिखने के लिए एक AI सिस्टम का उपयोग किया है। उन्होंने AI को एक "रिसर्च असिस्टेंट" के रूप में इस्तेमाल किया जिसने ड्राफ्ट, प्रमेय (theorems) और प्रयोग तैयार किए, जिन्हें मनुष्यों ने बाद में समीक्षा, आलोचना और परिष्कृत किया। वे इस पेपर का उपयोग शोध करने के एक नए तरीके का परीक्षण करने के लिए कर रहे हैं जहाँ AI लेखन और सोचने का भारी काम करता है, जबकि मनुष्य संपादक और गुणवत्ता नियंत्रण के रूप में कार्य करते हैं।

सारांश

  • Muon क्या है? एक ऑप्टिमाइज़र जो सभी सक्रिय दिशाओं में समान आकार के कदम उठाता है, और यह अनदेखा करता है कि वे दिशाएं कितनी तीव्र हैं।
  • यह क्या करता है? यह एक "फ्लैट स्पेक्ट्रम" बनाता है, जिससे कई अलग-अलग सीखने के मार्ग एक साथ सक्रिय रहते हैं।
  • यह कब मदद करता है? जब किसी कार्य (जैसे भाषा मॉडलिंग) के लिए कई मार्गों को खुला रखना आवश्यक हो।
  • यह कब विफल होता है? जब किसी कार्य (जैसे कुछ इमेज रिकग्निशन) के लिए कुछ केंद्रित मार्गों की आवश्यकता होती है।
  • बड़ी तस्वीर: कोई भी "एक ही आकार का फिट होने वाला" (one-size-fits-all) ऑप्टिमाइज़र नहीं होता है। सबसे अच्छा उपकरण उस विशिष्ट "रेजीम" या समस्या की प्रकृति पर निर्भर करता है जिसे आप हल कर रहे हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →