🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

यह शोध पत्र Pion को प्रस्तुत करता है, जो एक हाई-पास स्पेक्ट्रल ऑप्टिमाइज़र है जो शोर वाले ग्रेडिएंट घटकों को दबाकर और प्रति-हेड विशेषज्ञता को संरक्षित करके Muon में सुधार करता है, जिससे विज़न-लैंग्वेज-एक्शन प्रशिक्षण और सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (reinforcement learning) में बेहतर प्रदर्शन और स्थिरता प्राप्त होती है जहाँ Muon और AdamW संघर्ष करते हैं।

मूल लेखक: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Rethinkng Muon Beyond Pretraining" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: रोबोट्स और तर्क (Reasoning) के लिए एक नया ऑप्टिमाइज़र

कल्पना कीजिए कि एक AI को प्रशिक्षित करना एक छात्र को पढ़ाने जैसा है। लंबे समय से, बड़े लैंग्वेज मॉडल्स (LLMs) के लिए सबसे अच्छा शिक्षक (ऑप्टिमाइज़र) AdamW रहा है। हाल ही में, Muon नामक एक नया, अधिक उन्नत शिक्षक आया है। Muon "प्रीट्रेनिंग" चरण के लिए बहुत अच्छा है—जहाँ AI सामान्य ज्ञान सीखने के लिए पूरे इंटरनेट को पढ़ता है। Muon AI के मस्तिष्क को एक वाद्य यंत्र की तरह मानकर काम करता है, यह सुनिश्चित करता है कि हर नोट (गणितीय दिशा) समान वॉल्यूम के साथ बजाया जाए ताकि साहसिक अन्वेषण (exploration) को बढ़ावा मिल सके।

हालाँकि, इस पेपर के लेखकों ने पाया कि जब आप इसे दो विशिष्ट, उन्नत कार्यों के लिए उपयोग करने की कोशिश करते हैं, तो Muon में एक बड़ी खामी होती है:

रोबोट को सिखाना (VLA): एक स्मार्ट लैंग्वेज मॉडल को एक ऐसे रोबोट में बदलना जो देख सके, बोल सके और हिल-डुल सके।
गणित/तर्क सिखाना (RLVR): कठिन समस्याओं जैसे गणितीय पहेलियों को हल करने के लिए AI को रिवॉर्ड्स (पुरस्कारों) का उपयोग करके सिखाना।

इन नए परिदृश्यों में, Muon अक्सर विफल हो जाता है, जिससे रोबोट अनाड़ी तरीके से चलता है या गणित हल करने वाला AI वह सब कुछ भूल जाता है जो उसने सीखा था। लेखक Pion नामक एक नया शिक्षक प्रस्तावित करते हैं जो इन समस्याओं को ठीक करता है।

समस्या: क्यों Muon नई स्थितियों में विफल होता है

समस्या को समझने के लिए, AI की सीखने की प्रक्रिया को कई स्पीकर्स (गणितीय दिशाओं) वाले एक साउंड सिस्टम के रूप में कल्पना करें।

1. रोबोट की समस्या ("लो-रैंक" का मुद्दा)

जब एक रोबोट को प्रशिक्षित किया जाता है, तो मस्तिष्क का वह हिस्सा जो हाथों को नियंत्रित करता है (एक्शन मॉड्यूल), बहुत सरल होता है। उसे केवल कुछ विशिष्ट दिशाओं में हिलने की आवश्यकता होती है।

उदाहरण: कल्पना कीजिए कि एक गायक मंडली (choir) है जहाँ केवल 3 गायकों के पास सही बोल हैं, लेकिन बाकी 97 बस बेमतलब का शोर (humming) कर रहे हैं।
Muon क्या करता है: Muon एक ऑडियो इंजीनियर की तरह है जो हर गायक की आवाज़ को बिल्कुल एक ही स्तर पर तेज़ कर देता है। यह उन 3 अच्छे गायकों को तो तेज़ करता ही है, लेकिन उन 97 शोर करने वाले गायकों को भी उसी वॉल्यूम पर तेज़ कर देता है। परिणाम? रोबोट शोर से भ्रमित हो जाता है और अनियंत्रित रूप से हिलने लगता है।
समाधान: आपको एक ऐसी प्रणाली की आवश्यकता है जो अच्छे गायकों को तेज़ रखे लेकिन शोर करने वालों को शांत रखे।

2. गणित की समस्या ("लो सिग्नल-टू-नॉइज़" का मुद्दा)

जब आप रिवॉर्ड्स का उपयोग करके AI को गणित की समस्याएँ सुलझाने के लिए सिखाते हैं (RLVR), तो फीडबैक बहुत "शोर भरा" (noisy) होता है। AI अनुमान लगाता है, रिवॉर्ड प्राप्त करता है, और फिर से प्रयास करता है। सिग्नल (वास्तविक गणित का पाठ) कमजोर है, और शोर (रैंडम अनुमान) बहुत अधिक है।

उदाहरण: कल्पना कीजिए कि एक तूफान के बीच किसी की फुसफुसाहट सुनने की कोशिश करना।
Muon क्या करता है: Muon फुसफुसाहट और तूफान की हवा को समान रूप से तेज़ करने की कोशिश करता है। यह फुसफुसाहट को पूरी तरह से दबा देता है, जिससे AI "कोलैप्स" (collapse) हो जाता है और सीखना बंद कर देता है।
समाधान: आपको एक ऐसे फिल्टर की आवश्यकता है जो फुसफुसाहट को बढ़ाता है लेकिन तूफान की हवा को रोकता है।

समाधान: पेश है Pion

लेखकों ने Pion (sPectral hIgh-pass Optimization on momeNtum) बनाया है। Pion को एक स्मार्ट ऑडियो इक्वलाइज़र के रूप में समझें जिसे Muon लगाना भूल गया था।

सभी वॉल्यूम को समान रूप से बढ़ाने के बजाय, Pion दो चरणों वाली प्रक्रिया का उपयोग करता है:

प्रमोशन (Promotion): यह महत्वपूर्ण, स्पष्ट संकेतों (ध्वनि के "हेड") को बढ़ावा देता है।
सप्रेशन (Suppression): यह सक्रिय रूप से शोर वाले, कमजोर संकेतों (ध्वनि की "टेल") को शांत करता है।

इसे "हाई-पास" (High-Pass) फ़िल्टर कहा जाता है। ठीक वैसे ही जैसे संगीत में एक हाई-पास फ़िल्टर कम बेस शोर को काट देता है ताकि स्पष्ट आवाज चमक सके, Pion गणितीय शोर को काट देता है ताकि उपयोगी सीखने की दिशाएं चमक सकें।

Pion की मुख्य विशेषताएं:

ड्रॉप-इन रिप्लेसमेंट: यह मौजूदा ट्रेनिंग कोड में ठीक उसी जगह फिट बैठता है जहाँ Muon जाता है। इसके लिए अधिक कंप्यूटर पावर या समय की आवश्यकता नहीं है; यह उतना ही तेज़ है।
पर-हेड मोड (Per-Head Mode): गणित की समस्याओं के लिए, Pion AI के मस्तिष्क के विभिन्न हिस्सों (जिन्हें "अटेंशन हेड्स" कहा जाता है) को व्यक्तिगत रूप से देख सकता है। यह ऐसा है जैसे यह महसूस करना कि कक्षा के कुछ छात्र ज्यामिति में अच्छे हैं जबकि अन्य बीजगणित में अच्छे हैं, और पूरी कक्षा को एक ही समूह मानने के बजाय उन्हें अलग-अलग होमवर्क देना।

परिणाम: रोबोट और गणित स्मार्ट हो गए

पत्रकारों ने Pion का परीक्षण दो मुख्य क्षेत्रों में किया:

1. वास्तविक रोबोट (VLA)

परीक्षण: उन्होंने रोबोट को वस्तुओं (जैसे खीरा या क्यूब) को उठाने और उन्हें कटोरे या प्लेट में रखने के लिए प्रशिक्षित किया।
परिणाम:
- AdamW: रोबोट संघर्ष करता रहा, अक्सर चीजें गिरा देता या लक्ष्य से चूक जाता।
- Muon: रोबोट बेहतर था लेकिन अभी भी झटके ले रहा था और कभी-कभी चीजों से टकरा जाता था क्योंकि वह बहुत अधिक शोर "सुन" रहा था।
- Pion: रोबोट सुचारू और सटीक था। एक परीक्षण में, Pion ने 1,500 स्टेप्स के बाद 100% सफलता दर हासिल की, जबकि Muon को 97% और AdamW को केवल 32% मिला।
- वास्तविक दुनिया: उन्होंने इसे एक वास्तविक भौतिक रोबोट आर्म (Franka Research 3) पर भी परखा, और Pion अभी भी जीत गया, अन्य की तुलना में बहुत अधिक विश्वसनीयता के साथ वस्तुओं को उठाने और रखने में सफल रहा।

2. गणितीय तर्क (RLVR)

परीक्षण: उन्होंने AI मॉडल्स (Qwen3) को रिइन्फोर्समेंट लर्निंग का उपयोग करके गणित की समस्याएं (MATH और GSM8K डेटासेट) हल करने के लिए सिखाया।
परिणाम:
- Muon: मॉडल कोलैप्स (collapse) हो गया। इसकी सटीकता लगभग शून्य तक गिर गई क्योंकि शोर ने सीखने के सिग्नल को दबा दिया।
- AdamW: मॉडल धीरे-धीरे लेकिन लगातार सीख रहा था।
- Pion: मॉडल ने AdamW की तुलना में तेज़ी से सीखा और उच्च सटीकता प्राप्त की, और शोर भरे गणितीय वातावरण में सफलतापूर्वक काम किया।

सारांश

यह पेपर तर्क देता है कि जबकि Muon AI ट्रेनिंग के शुरुआती "पढ़ने" (pretraining) चरण के लिए एक शानदार उपकरण है, यह रोबोट को नियंत्रित करने या गणित की समस्याओं को हल करने जैसे नाजुक कार्यों के लिए बहुत "तेज़" और बिना सोचे-समझे काम करने वाला है। Pion वह नया उपकरण है जो AI ट्रेनिंग के लिए 'नॉइज़-कैंसलिंग हेडफ़ोन' की तरह काम करता है: यह महत्वपूर्ण सीखने के संकेतों को स्पष्ट और तेज़ रखता है जबकि ध्यान भटकाने वाले शोर को शांत कर देता है, जिससे बिना किसी देरी के स्मार्ट रोबोट और बेहतर गणित हल करने वाले मॉडल मिलते हैं।

तकनीकी सारांश: प्रीट्रेनिंग से परे मून (Muon) पर पुनर्विचार

समस्या विवरण

यह शोध पत्र Muon (Newton–Schulz द्वारा संचालित MomentUm Orthogonalized) की मौलिक सीमाओं की पहचान करता है, जो एक मैट्रिक्स-अवेयर ऑप्टिमाइज़र है और जिसने LLM प्रीट्रेनिंग में सफलता प्राप्त की है, लेकिन जब इसे दो उभरते हुए प्रशिक्षण परिदृश्यों: विज़न-लैंग्वेज-एक्शन (VLA) प्रशिक्षण और वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) पर लागू किया जाता है, तो यह विफल हो जाता है।

Muon, Newton–Schulz (NS) इटरेशन के माध्यम से मोमेंटम मैट्रिक्स के सभी सिंगुलर वैल्यूज को 1 की ओर ले जाकर कार्य करता है, जो प्रभावी रूप से यूनिफॉर्म स्पेक्ट्रल व्हाइटनिंग (uniform spectral whitening) करता है। जबकि यह प्रीट्रेनिंग में एक्सप्लोरेशन को बढ़ावा देता है, लेखक तर्क देते हैं कि यह डाउनस्ट्रीम कार्यों में एक "स्पेक्ट्रल मिसमैच" (spectral mismatch) उत्पन्न करता है:

VLA प्रशिक्षण में: एक्शन-मॉड्यूल ग्रेडिएंट्स स्वाभाविक रूप से लो-रैंक (कम प्रभावी रैंक, या erank) होते हैं। Muon की यूनिफॉर्म व्हाइटनिंग शोर वाले टेल डायरेक्शंस (tail directions) को सूचनात्मक लीडिंग सिंगुलर वैल्यूज के समान ही परिमाण तक बढ़ा देती है, जिससे अपडेट दूषित हो जाता है।
RLVR पोस्ट-ट्रेनिंग में: पॉलिसी ग्रेडिएंट्स, ट्राजेक्टरी-लेवल रिवॉर्ड्स और स्टेबिलाइजेशन मैकेनिज्म (जैसे क्लिपिंग, इम्पोर्टेंस सैंपलिंग) के कारण लो सिग्नल-टू-नॉइज़ रेशियो (SNR) प्रदर्शित करते हैं। Muon की यूनिफॉर्म व्हाइटनिंग इस स्टोकेस्टिक शोर को बढ़ा देती है, जिससे पॉलिसी कोलैप्स (policy collapse) हो जाता है। इसके अतिरिक्त, Muon अटेंशन प्रोजेक्शन्स को एक सिंगल ब्लॉक के रूप में मानता है, जिससे प्रीट्रेनिंग से विरासत में मिली पर-हेड हेटेरोजेनिटी (per-head heterogeneity या विशिष्ट अपडेट स्केल) की अनदेखी होती है।

मौजूदा वेरिएंट जैसे लो-रैंक Muon (LRMuon) रैंक संबंधी समस्याओं को हल करते हैं लेकिन वे महंगे SVD या स्केचिंग पर निर्भर हैं, जो Muon की स्केलेबिलिटी का मुकाबला करने में विफल रहते हैं।

कार्यप्रणाली: पायोन (Pion)

लेखक Pion (momeNtum पर sPectral hIgh-pass Optimization) का प्रस्ताव करते हैं, जो Muon के लिए एक ड्रॉप-इन रिप्लेसमेंट है। यह अपनी कम्प्यूटेशनल दक्षता (प्रति-स्टेप लागत Muon के समान) को बनाए रखता है, लेकिन यूनिफॉर्म व्हाइटनिंग को एक स्पेक्ट्रल हाई-पास फ़िल्टर (spectral high-pass filter) से बदल देता है।

मुख्य तंत्र: हाई-पास NS इटरेशन

Pion, NS इटरेशन को नॉर्मलाइज्ड सिंगुलर वैल्यूज $\sigma \in [0, 1]$ पर कार्य करने वाले एक स्केलर पॉलिनोमियल मैप $f(\sigma)$ के रूप में पुनर्कल्पित करता है। एक एकल पॉलिनोमियल के बजाय जो सभी $\sigma \to 1$ को संचालित करता है, Pion $k=5$ NS स्टेप्स को एक दो-चरणीय प्रमोशन + सप्रेशन (Promotion + Suppression) अनुक्रम में विभाजित करता है:

प्रमोशन स्टेज ( $f_p$ ): इसे $k_p$ स्टेप्स के लिए लागू किया जाता है। यह पॉलिनोमियल सिंगुलर वैल्यूज को बढ़ाने (amplify करने) के लिए डिज़ाइन किया गया है, ताकि सूचनात्मक दिशाओं को सप्रेशन थ्रेशोल्ड से ऊपर उठाया जा सके और उनका सापेक्ष क्रम सुरक्षित रहे। इसके गुणांक (coefficients) ओरिजिन पर ढलान (slope) को अधिकतम करने ( $a_p = 1.875$ ) और $\sigma=1$ को एंकर करने के लिए व्युत्पन्न किए गए हैं।
सप्रेशन स्टेज ( $f_s$ ): इसे $k_s = k - k_p$ स्टेप्स के लिए लागू किया जाता है। यह अग्रणी सिंगुलर वैल्यूज को 1 पर एंकर करता है जबकि छोटे, शोर वाले सिंगुलर वैल्यूज को 0 की ओर ले जाता है। यह ओरिजिन पर शून्य डेरिवेटिव ( $f'_s(0)=0$ ) सुनिश्चित करता है ताकि शोर के लीनियर एम्प्लीफिकेशन को समाप्त किया जा सके।

परिणामी कंपोजिट मैप एक शार्प हाई-पास फ़िल्टर बनाता है: प्रभावी सिंगुलर वैल्यूज संरक्षित रहती हैं (1 के करीब एंकर होती हैं), जबकि शोर वाला टेल (tail) दबा दिया जाता है (0 की ओर संकुचित होता है)। कटऑफ स्ट्रेंथ को हाइपरपैरामीटर $k_p$ (प्रमोशन स्टेप्स की संख्या) द्वारा नियंत्रित किया जाता है।

पर-हेड मोड (Per-Head Mode)

अटेंशन हेड स्पेशलाइजेशन की सीमा को संबोधित करने के लिए, Pion एक पर-हेड मोड पेश करता है। पूरे वेट मैट्रिक्स पर NS इटरेशन लागू करने के बजाय, यह अटेंशन प्रोजेक्शन्स को हेड डायमेंशन के साथ रीशेप करता है और प्रत्येक हेड पर स्वतंत्र रूप से हाई-पास NS लागू करता है। यह एक साधारण रीशेप के अलावा अतिरिक्त कम्प्यूटेशनल लागत के बिना आवश्यक हेटेरोजेनियस अपडेट स्केल को सुरक्षित रखता है।

मुख्य योगदान

स्पेक्ट्रल विफलताओं की पहचान: यह पेपर पहला है जो व्यवस्थित रूप से प्रदर्शित करता है कि Muon की यूनिफॉर्म स्पेक्ट्रल व्हाइटनिंग VLA (लो-रैंक एक्शन ग्रेडिएंट्स के कारण) और RLVR (लो-SNR ग्रेडिएंट्स के कारण) में हानिकारक है, जिससे सब-ऑप्टिमल प्रदर्शन या मॉडल कोलैप्स होता है।
Pion ऑप्टिमाइज़र: Pion का प्रस्ताव, जो NS इटरेशन को दो-चरणीय प्रमोशन+सप्रेशन मैकेनिज्म में पुनर्गठित करता है। यह महंगे SVD ऑपरेशंस के बिना, समान कम्प्यूटेशनल लागत पर स्पेक्ट्रल हाई-पास प्रभाव प्राप्त करता है।
पर-हेड अनुकूलन: पर-हेड एप्लीकेशन मोड का परिचय जो प्रीट्रेन्ड अटेंशन हेड्स की हेटेरोजेनिटी का सम्मान करता है, जो स्थिर RLVR पोस्ट-ट्रेनिंग के लिए महत्वपूर्ण है।
व्यापक अनुभवजन्य सत्यापन: विस्तृत प्रयोग जो दिखाते हैं कि Pion विभिन्न सेटिंग्स, जिसमें सिमुलेशन और वास्तविक रोबोट डिप्लॉयमेंट शामिल हैं, में AdamW और Muon दोनों को लगातार पछाड़ता है।

प्रयोगात्मक परिणाम

VLA प्रशिक्षण (LIBERO और LIBERO-Plus)

सेटअप: LIBERO सूट्स पर VLA-Adapter ( $\ell_1$ -regression) और VLANeXt (flow-matching) को प्रशिक्षित करना।
निष्कर्ष:
- Pion लगातार Muon और AdamW से बेहतर प्रदर्शन करता है। LIBERO ऑब्जेक्ट टास्क पर, Pion 1,500 स्टेप्स के बाद 100% सफलता दर तक पहुँच जाता है, जबकि Muon के लिए यह 97.0% और AdamW के लिए 32.2% है।
- LIBERO-Plus बेंचमार्क में, Pion वितरण बदलावों (जैसे शोर, रोबोट गड़बड़ी) के तहत तेज़ अभिसरण (convergence) और उच्च मजबूती प्रदर्शित करता है।
- रियल-रोबोट मूल्यांकन: $\pi0.5$ बैकबोन वाले फ्रैंका रिसर्च 3 रोबोट पर, Pion ने ग्रैस्प-एंड-प्लेस कार्यों पर औसतन 85.6% सफलता दर हासिल की, जो Muon (38.9%) और AdamW (31.1%) से काफी अधिक है।

RLVR पोस्ट-ट्रेनिंग (Qwen3-1.7B/4B)

सेटअप: GRPO और GMPO एल्गोरिदम का उपयोग करके MATH और GSM8K पर Qwen मॉडल्स को फाइन-ट्यून करना।
निष्कर्ष:
- Muon कोलैप्स: Muon RLVR सेटिंग्स में पूरी तरह विफल हो जाता है, जहाँ शोर के बढ़ने के कारण सटीकता शून्य के करीब गिर जाती है।
- Pion की सफलता: Pion एक सार्थक प्रशिक्षण सिग्नल को रिकवर करता है, जो सभी मॉडल साइज और बेंचमार्क में AdamW से बेहतर प्रदर्शन करता है। उदाहरण के लिए, MATH पर GRPO के साथ Qwen3-1.7B पर, Pion स्थिर सटीकता वृद्धि प्राप्त करता है जबकि Muon कोलैप्स हो जाता है।
- एब्लेशन: एक "लो-पास Muon" (LPMuon) वेरिएंट, जो विपरीत दिशा में फ़िल्टर करता है (छोटे मानों को रखता है, बड़े मानों को हटाता है), प्रशिक्षण में विफल रहता है, जो यह पुष्टि करता है कि Pion की हाई-पास प्रकृति ही सफलता के लिए महत्वपूर्ण कारक है।

महत्व और दावे

पेपर का दावा है कि Pion, उन स्पेक्ट्रल मिसमैच समस्याओं के लिए एक ड्रॉप-इन, कम्प्यूटेशनल रूप से कुशल समाधान प्रदान करता है जो गैर-प्रीट्रेनिंग रेजिम्स में Muon को लागू करने के साथ आती हैं। यूनिफॉर्म व्हाइटनिंग को एक नियंत्रणीय हाई-पास फ़िल्टर से बदलकर, यह उन शोर वाले (RLVR) और लो-रैंक (VLA) वातावरणों में प्रशिक्षण को स्थिर करता है जहाँ Muon विफल हो जाता है।

लेखक इस बात पर जोर देते हैं कि Pion के लाभ केवल आर्किटेक्चरल नहीं हैं, बल्कि एक मौलिक सुधार से आते हैं जो ऑप्टिमाइज़र के स्पेक्ट्रल इंडक्टिव बायस (inductive bias) को ठीक करता है। उनका कार्य सुझाव देता है कि जबकि यूनिफॉर्म स्पेक्ट्रल एक्सप्लोरेशन प्रीट्रेनिंग के लिए फायदेमंद है, स्पेक्ट्रल चयनात्मकता (सिग्नल को संरक्षित करना, शोर को दबाना) प्रभावी डाउनस्ट्रीम एडैप्टेशन और रीजनिंग के लिए आवश्यक है। वास्तविक-रोबोट हार्डवेयर पर परिणाम इस बात को प्रमाणित करते हैं कि ये एल्गोरिथमिक सुधार भौतिक कार्य प्रदर्शन में मूर्त लाभों में अनुवादित होते हैं।