🤖 machine learning

Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization

यह शोध पत्र Hyperball को पेश करता है, जो एक सरल ऑप्टिमाइज़र रैपर है जो वेट मैट्रिसेस (weight matrices) और उनके अपडेट्स के फ्रोबेनियस नॉर्म्स (Frobenius norms) को स्थिर मानों पर फिक्स करता है, जिससे Muon जैसे मैट्रिक्स-आधारित ऑप्टिमाइज़र्स की प्रदर्शन स्केलिंग सीमाओं को संबोधित किया जा सके और मानक डिकपल्ड वेट डिके (decoupled weight decay) की तुलना में लार्ज लैंग्वेज मॉडल्स पर महत्वपूर्ण टोकन-इक्विवेलेंट स्पीडअप और बेहतर लर्निंग रेट ट्रांसफर प्राप्त किया जा सके।

मूल लेखक: Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक लार्ज लैंग्वेज मॉडल) को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप एक "शिक्षक" (एक ऑप्टिमाइज़र) का उपयोग करते हैं जो अपनी गलतियों के आधार पर रोबोट की आंतरिक सेटिंग्स (वेट्स) को चरण-दर-चरण समायोजित करता है।

लंबे समय तक, सबसे अच्छा शिक्षक AdamW था। हाल ही में, Muon नामक एक नया, तेज़ शिक्षक खोजा गया। Muon, AdamW के सेडान की तुलना में एक स्पोर्ट्स कार की तरह है; यह आमतौर पर रोबोट को बहुत तेज़ी से सीखने में मदद करता है।

हालाँकि, इस शोध पत्र के लेखकों ने एक समस्या पाई: जैसे-जैसे रेस लंबी होती जाती है, स्पोर्ट्स कार धीमी हो जाती है। जब उन्होंने रोबोट को बड़ा किया और उसे सीखने के लिए अधिक डेटा दिया, तो AdamW की तुलना में Muon की गति का भारी बढ़त वाला अंतर, एक विशाल 30% की बढ़त से घटकर एक मामूली 10% की बढ़त रह गया।

लेखकों ने पूछा: क्या हम स्पोर्ट्स कार को तब भी तेज़ रख सकते हैं जब रेस बहुत बड़ी हो?

उनका उत्तर है Hyperball नामक एक नया टूल।

समस्या: "सॉफ्ट" ब्रेक (The "Soft" Brake)

मानक प्रशिक्षण पद्धति में, शिक्षक एक तकनीक का उपयोग करता है जिसे "वेट डिके" (weight decay) कहा जाता है। इसे एक सॉफ्ट, अदृश्य ब्रेक के रूप में समझें जो हर चरण में रोबोट की सेटिंग्स को शून्य की ओर धीरे से दबाता है।

लक्ष्य: इस ब्रेक का उद्देश्य रोबोट की सेटिंग्स को बहुत अधिक अनियंत्रित होने से रोकना है।
समस्या: जैसे-जैसे रोबोट बड़ा होता जाता है, यह सॉफ्ट ब्रेक अप्रत्याशित होता जाता है। यह केवल सेटिंग्स के आकार को ही नियंत्रित नहीं करता; यह गलती से उस गति को भी बदल देता है जिस पर रोबोट नए दिशाओं में सीखता है। यह एक कार चलाने जैसा है जहाँ ब्रेक लगातार यह बदल रहे हैं कि वे कितनी ज़ोर से दब रहे हैं, जिससे तेज़ और सीधा गाड़ी चलाना कठिन हो जाता है।

समाधान: "हाइपरबॉल" (The "Hyperball")

Hyperball एक ऐसा रैपर (wrapper) है जो किसी भी शिक्षक (जैसे Muon या Adam) के चारों ओर जाता है और खेल के नियम बदल देता है। "सॉफ्ट ब्रेक" का उपयोग करने के बजाय, यह रोबोट की सेटिंग्स को एक विशाल, कठोर, अदृश्य गोले (एक "हाइपरबॉल") के भीतर रखता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:

गोला (The Sphere): कल्पना कीजिए कि रोबोट की सेटिंग्स एक विशाल बीच बॉल (beach ball) की सतह पर तैरते हुए एक बिंदु की तरह हैं। बीच बॉल का आकार निश्चित है। बिंदु सतह पर कहीं भी जा सकता है, लेकिन वह केंद्र के करीब या केंद्र से दूर नहीं जा सकता। केंद्र से दूरी हमेशा बिल्कुल एक समान रहती है।
चरण (The Step): जब शिक्षक बदलाव करना चाहता है, तो वह रोबोट को बताता है, "इस दिशा में चलो।"
बाउंस (The Bounce): रोबोट उस दिशा में एक कदम उठाता है। यदि वह कदम उसे बीच बॉल से बाहर धकेलने की कोशिश करता है, तो Hyperball तुरंत उसे वापस सतह पर उछाल (bounce) देता है, जिससे केंद्र से दूरी स्थिर बनी रहती है।

यह बेहतर क्यों है?

सेटिंग्स को इस गोले की सतह पर रखने से, Hyperball दो चीजों को अलग कर देता है जो पहले आपस में मिली हुई थीं:

आकार (Size): सेटिंग्स का आकार अब निश्चित और स्थिर है (जैसे बीच बॉल की त्रिज्या)।
दिशा (Direction): रोबrobot अब पूरी तरह से इस बात पर ध्यान केंद्रित करने के लिए स्वतंत्र है कि किस दिशा में मुड़ना है।

शोध पत्र का तर्क है कि पुराना "सॉफ्ट ब्रेक" (वेट डिके) वास्तव में यही काम अप्रत्यक्ष रूप से करने की कोशिश कर रहा था, लेकिन वह अव्यवस्थित था। Hyperball इसे सीधे तौर पर करता है।

परिणाम

लेखकों ने 1.2 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया:

गति (Speed): Muon के साथ Hyperball का उपयोग करके, रोबोट मानक पद्धति की तुलना में 20-30% तेज़ी से सीखा। यह एक बहुत बड़ा सुधार है, विशेष रूप से पुराने Muon की तुलना में जिसकी इस पैमाने पर केवल 10% की बढ़त थी।
स्थिरता (Stability): विभिन्न मॉडल आकारों के लिए लर्निंग रेट (सीखने की गति) को ट्यून करना बहुत आसान था। पुराने तरीके के साथ, मॉडल का आकार बदलने पर सेटिंग्स को पूरी तरह से फिर से ट्यून करने की आवश्यकता होती थी। Hyperball के साथ, वही सेटिंग्स विभिन्न आकारों के लिए अच्छी तरह से काम करती हैं, जैसे कि एक यूनिवर्सल कुंजी।

इसके पीछे का सिद्धांत

यह शोध पत्र समझाता है कि इस प्रकार के AI मॉडल्स के लिए, सेटिंग्स जिस दिशा में इशारा करती हैं वह मायने रखती है, न कि शून्य से उनकी दूरी।

पुराना तरीका: शिक्षक ने दूरी को बिल्कुल सही रखने के लिए एक सॉफ्ट ब्रेक का उपयोग किया, इस उम्मीद में कि इससे सीखने की गति सुसंगत बनी रहेगी।
हाइपरबॉल तरीका: शिक्षक बस दूरी को शुरुआत से ही एक आदर्श, निश्चित आकार पर लॉक कर देता है। यह शिक्षक को रोबोट को सही दिशा में मोड़ने पर पूरी तरह ध्यान केंद्रित करने की अनुमति देता है।

सारांश

Hyperball एक सरल तकनीक है जो AI की आंतरिक सेटिंग्स को एक निश्चित आकार पर रहने के लिए मजबूर करती है, जैसे कि एक गोले की सतह पर घूमता हुआ एक बिंदु। यह पारंपरिक "ब्रेकिंग" विधियों के कारण होने वाले भ्रम को दूर करता है, जिससे उन्नत ऑप्टिमाइज़र्स जैसे कि Muon, AI मॉडल्स के विशाल आकार तक भी तेज़ और कुशल बने रहते हैं। यह एक अव्यवस्थित, अप्रत्यक्ष प्रक्रिया को एक स्वच्छ, प्रत्यक्ष प्रक्रिया में बदल देता है।

तकनीकी सारांश: हाइपरबॉल ऑप्टिमाइज़ेशन (Hyperball Optimization)

समस्या विवरण (Problem Statement)

मैट्रिक्स-आधारित ऑप्टिमाइज़र, जैसे कि Muon, ने लैंग्वेज मॉडल प्रीट्रेनिंग के दौरान AdamW की तुलना में पर्याप्त गति (speedups) प्रदर्शित की है। हालांकि, अनुभवजन्य अवलोकन (empirical observations) संकेत देते हैं कि जैसे-जैसे मॉडल का आकार और डेटा का पैमाना बढ़ता है, विशेष रूप से मानक कॉन्स्टेंट डिकपल्ड वेट डिके (constant decoupled weight decay) का उपयोग करने पर, ये लाभ कम होते जाते हैं। बड़े पैमाने की सेटिंग्स (जैसे, 1.2B पैरामीटर वाले मॉडल) में, AdamW की तुलना में Muon की स्पीडअप लगभग 30% से घटकर लगभग 10% रह जाती है। यह गिरावट एक ऐसी अनुकूलन रणनीति (optimization strategy) की खोज को प्रेरित करती है जो उच्च कंप्यूट स्केल पर उच्च दक्षता बनाए रख सके।

मुख्य मुद्दा डिकपल्ड वेट डिके (decoupled weight decay) के तंत्र में निहित है। स्केल-इनवेरिएंट लेयर्स (जो आधुनिक ट्रांसफॉर्मर्स में सामान्य हैं) में, वेट डिके केवल एक रेगुलराइज़र के रूप में कार्य नहीं करता है, बल्कि "एंगुलर लर्निंग रेट" (angular learning rate)—यानी वेट मैट्रिक्स की दिशा बदलने की गति—के एक अप्रत्यक्ष नियंत्रक के रूप में कार्य करता है। सैद्धांतिक विश्लेषण बताता है कि वेट डिके वेट नॉर्म (weight norm) को हाइपरपैरामीटर्स ( $\eta$ और $\lambda$ ) द्वारा निर्धारित एक इक्विलिब्रियम स्टेट (equilibrium state) की ओर ले जाता है। यह इक्विलिब्रियम नॉर्म, बदले में, प्रभावी एंगुलर स्टेप साइज (angular step size) को निर्धारित करता है। हालांकि, यह अप्रत्यक्ष अंशांकन (calibration) पैमानों के बदलने पर उप-इष्टतम (suboptimal) हो सकता है, जिससे प्रदर्शन में देखी गई गिरावट आती है।

कार्यप्रणाली: हाइपरबॉल (Methodology: Hyperball)

लेखक हाइपरबॉल (Hyperball) का प्रस्ताव करते हैं, जो एक सरल ऑप्टिमाइज़र रैपर है जिसे वेट डिके की स्केलिंग सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। हाइपरबॉल वेट डिके के माध्यम से वेट नॉर्म्स के अप्रत्यक्ष, सॉफ्ट कंट्रोल को वेट मैट्रिसेस और उनके अपडेट्स के फ्रोबेनियस नॉर्म्स (Frobenius norms) पर एक स्पष्ट प्रतिबंध (explicit constraint) से बदल देता है।

मुख्य तंत्र (Core Mechanism)

एक बेस ऑप्टिमाइज़र (जैसे Adam या Muon) को देखते हुए जो पैरामीटर मैट्रिक्स $W_t$ के लिए अपडेट $u_t$ उत्पन्न करता है, हाइपरबॉल दो शर्तों को लागू करता है:

वेट मैट्रिक्स का फ्रोबेनियस नॉर्म $\|W_t\|_F$ एक स्थिर त्रिज्या (constant radius) $R$ पर स्थिर रहता है (जिसे प्रारंभिक वेट्स के नॉर्म के रूप में इनिशियलाइज़ किया गया है)।
अपडेट की दिशा को नॉर्मलाइज़ किया जाता है, और स्टेप साइज को स्पष्ट रूप से स्केल किया जाता है।

अपडेट नियम को इस प्रकार परिभाषित किया गया है:
$W_{t+1} = R \cdot \text{Normalize}\left( W_t - \eta_t R \cdot \text{Normalize}(u_t) \right)$
जहाँ $\text{Normalize}(X) = X / \|X\|_F$ है।

ज्यामितीय रूप से, यह ऑप्टिमाइज़ेशन ट्राजेक्टरी को त्रिज्या $R$ वाले हाइपरस्फीयर (hypersphere) की सतह पर सीमित करता है। प्रत्येक स्टेप नॉर्मलाइज़्ड अपडेट दिशा में $\eta_t R$ के अनुपात में दूरी तय करता है और तुरंत वापस स्फीयर पर प्रोजेक्ट (project) हो जाता है। यह वेट के परिमाण (magnitude) को अपडेट की दिशा से अलग करता है, जिससे ऑप्टिमाइज़र मुख्य रूप से वेट दिशाओं के माध्यम से नेविगेट करने की अनुमति देता है।

कार्यान्वयन विवरण (Implementation Details)

स्कोप (Scope): हाइपरबॉल को प्रिनॉर्म (prenorm) ट्रांसफॉर्मर्स में अटेंशन और MLP वेट मैट्रिसेस पर लागू किया जाता है।
अपवाद (Exclusions): एम्बेडिंग्स, नॉर्मलाइज़ेशन गेन्स और स्केलर पैरामीटर्स को मानक ऑप्टिमाइज़र्स (जैसे Adam) का उपयोग करके अपडेट किया जाता है क्योंकि उनके नॉर्म्स अर्थपूर्ण जानकारी (semantic information) रखते हैं।
जटिलता (Complexity): फ्रोबेनियस स्फीयर पर प्रोजेक्शन प्रत्येक मैट्रिक्स के लिए $O(N^2)$ है, जो स्पेक्ट्रल नॉर्म प्रोजेक्शन ( $O(N^3)$ ) की तुलना में कम्प्यूटेशनल रूप से सस्ता है जिसके लिए SVD की आवश्यकता होती है। लेखक नोट करते हैं कि उच्च स्टेबल-रैंक व्यवस्था (जो LLMs में विशिष्ट है) में, फ्रोबेनियस बाधाएं स्पेक्ट्रल बाधाओं के समान व्यवहार करती हैं।

मुख्य योगदान (Key Contributions)

हाइपरबॉल रैपर (Hyperball Wrapper): एक सामान्य-उद्देश्य वाला रैपर जो किसी भी बेस ऑप्टिमाइज़र को फिक्स्ड वेट और अपडेट नॉर्म्स वाले वेरिएंट में बदल देता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): पेपर एक सैद्धांतिक ढांचा प्रदान करता है जो दिखाता है कि स्केल-इनवेरिएंट लॉस के लिए, डिकपल्ड वेट डिके अप्रत्यक्ष रूप से एक इक्विलिब्रियम रेडियस और एक एंगुलर स्टेप साइज सेट करता है। हाइपरबॉल इस तंत्र को स्पष्ट बनाता है, रेडियस को फिक्स करके और नॉर्मलाइज़्ड अपडेट लेंथ को सीधे नियंत्रित करके, न कि वेट डिके की इक्विलिब्रियम डायनेमिक्स पर निर्भर रहकर।
बेहतर स्केलिंग (Improved Scaling): यह दिखाया गया है कि हाइपरबॉल उन बड़े पैमानों पर भी ऑप्टिमाइज़र स्पीडअप को बनाए रखता है जहाँ मानक वेट डिके बेसलाइन विफल हो जाते हैं।
लर्निंग रेट ट्रांसफर (Learning Rate Transfer): हाइपरबॉल, वेट डिके बेसलाइन्स की तुलना में विभिन्न मॉडल विड्थ और डेप्थ के बीच लर्निंग रेट की ट्रांसफर क्षमता को महत्वपूर्ण रूप से सुधारता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न बेंचमार्क का उपयोग करके Qwen3-शैली के मॉडल्स (1.2B पैरामीटर्स तक) और बड़े पैमानों (8B पैरामीटर्स तक) पर हाइपरबॉल का मूल्यांकन किया।

टोकन इक्विवेलेंट स्पीडअप (Token Equivalent Speedup): 1.2B पैरामीटर वाले मॉडल्स पर, Muon Hyperball (MuonH) ने AdamW बेसलाइन्स पर 20–30% टोकन इक्विवेलेंट स्पीडअप हासिल किया। इसके विपरीत, मानक Muon विद वेट डिके (MuonW) ने इस स्केल पर केवल लगभग 10% स्पीडअप प्राप्त किया। लंबी ट्रेनिंग अवधि के साथ MuonH और MuonW के बीच का अंतर बढ़ता गया।
बेंचमार्क प्रदर्शन (Benchmark Performance):
- Marin speedrun बेंचमार्क पर, AdamH और MuonH ने उन वेट डिके बेसलाइन्स के बराबर प्रदर्शन किया जो लगभग 10% बड़े थे।
- सार्वजनिक modded-nanogpt ट्रैक 3 ऑप्टिमाइज़ेशन बेंचमार्क पर, हाइपरबॉल वेरिएंट्स (KL-SOAP-H सहित) अपने वेट डिके समकक्षों की तुलना में कम वैलिडेशन लॉस तेजी से प्राप्त करते हैं। उदाहरण के लिए, KL-SOAP-H ने 3125 स्टेप्स में 3.2780 का वैलिडेशन लॉस प्राप्त किया, जो ट्यून्ड MuonW बेसलाइन से बेहतर था।
हाइपरपैरामीटर ट्रांसफर (Hyperparameter Transfer):
- डेप्थ स्केलिंग (Depth Scaling): जब डेप्थ को 4 से 512 तक स्वीप किया गया, तो हाइपरबॉल वेरिएंट्स के लिए ऑप्टिमल लर्निंग रेट ड्रिफ्ट लगभग 1.4× था, जबकि AdamW और MuonW के लिए यह 2–4× था।
- विड्थ स्केलिंग (Width Scaling): इसी तरह, 128 से 2048 की विड्थ के बीच, हाइपरबॉल ने केवल 1.4× ड्रिफ्ट के साथ एक स्थिर लर्निंग रेट विंडो बनाए रखी।
ओवरट्रेन सेटिंग (Overtrained Setting): डेटा स्केलिंग प्रयोगों (130M पैरामीटर मॉडल, 1B–128B टोकन) में, MuonH ने MuonW ( $L_\infty = 3.079$ ) की तुलना में कम एसिम्प्टोटिक वैलिडेशन लॉस ( $L_\infty = 3.065$ ) प्राप्त किया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि हाइपरबॉल, विशेष रूप से मैट्रिक्स-आधारित ऑप्टिमाइज़र्स का उपयोग करते समय, बड़े भाषा मॉडलों को प्रशिक्षित करने के लिए एक अधिक मजबूत और कुशल विकल्प प्रदान करता है।

स्पष्ट नियंत्रण (Explicit Control): वेट और अपडेट नॉर्म को स्पष्ट रूप से फिक्स करके, हाइपरबॉल एंगुलर लर्निंग रेट को अप्रत्यक्ष रूप से विनियमित करने के लिए वेट डिके पर निर्भरता को समाप्त करता है। इससे अधिक अनुमानित (predictable) ऑप्टिमाइज़ेशन डायनेमिक्स मिलता है।
स्केलेबिलिटी (Scalability): विधि सफलतापूर्वक मॉडल और डेटा स्केल बढ़ने पर मैट्रिक्स-आधारित ऑप्टिमाइज़र्स (जैसे Muon) के दक्षता लाभ को सुरक्षित रखती है, जो वर्तमान प्रीट्रेनिंग प्रथाओं में एक महत्वपूर्ण बाधा को संबोधित करती है।
डिज़ाइन चॉइस (Design Choice): लेखक हाइपरबॉल को एक डिज़ाइन चॉइस के रूप में पेश करते हैं जो वेट डिके स्केलिंग (जो ट्रांसफरैबिलिटी को प्रभावित करती है) की निर्भरता को एक स्पष्ट पैरामीटर (त्रिज्या $R$ ) में बदल देता है, जिससे विभिन्न मॉडल आर्किटेक्चर के बीच लर्निंग रेट ट्रांसफर में सुधार होता है।
प्रूफ ऑफ कॉन्सेप्ट (Proof of Concept): यह कार्य एक प्रूफ ऑफ कॉन्सेप्ट के रूप में कार्य करता है कि यह संभव है कि वेट डिके को पूरी तरह से हटा दिया जाए, यदि ऐसे ऑप्टिमाइज़र डिज़ाइन किए जाएं जो स्पष्ट रूप से वेट नॉर्म्स को नियंत्रित करते हैं, जो नॉर्मलाइज्ड नेटवर्क में ऑप्टिमाइज़र डिज़ाइन के लिए एक नया दिशा-निर्देश सुझाते हैं।

लेखक विशिष्ट बाधा (constraint) के चुनाव के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि फ्रोबेनियस नॉर्म कम्प्यूटेशनल रूप से कुशल और सैद्धांतिक रूप से प्रेरित है, अन्य बाधाएं (स्पेक्ट्रल, रो-वाइज, कॉलम-वाइज) विशिष्ट मॉडल्स या ऑप्टिमाइज़र्स के लिए बेहतर हो सकती हैं। वे वेट-नॉर्मलाइज्ड ट्रेनिंग ट्रेजेक्टरीज पर अधिक सटीक सिद्धांतों की आवश्यकता को भी रेखांकित करते हैं।