🤖 machine learning

Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

यह शोध पत्र Muon-OGD का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) के लिए एक निरंतर सीखने (continual learning) का ढांचा है जो Muon-शैली के स्पेक्ट्रल-नॉर्म ज्योमेट्री को ऑर्थोगोनल ग्रेडिएंट प्रोजेक्शन के साथ एकीकृत करके कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करता है, जिससे स्थिरता-प्लास्टिसिटी ट्रेड-ऑफ (stability-plasticity trade-off) में सुधार होता है और विविध बेंचमार्क पर मौजूदा यूक्लिडियन-नॉर्म-आधारित (Euclidean-norm-based) विधियों से बेहतर प्रदर्शन होता है।

मूल लेखक: Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Muon-OGD" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "स्पंज" प्रभाव (The "Sponge" Effect)

कल्पना कीजिए कि एक छात्र (एक Large Language Model, या LLM) है जो अविश्वसनीय रूप से बुद्धिमान है। वह फ्रेंच बोलना सीखता है, फिर वह स्पेनिश सीखना शुरू करता है। लेकिन यहाँ एक पेंच है: जैसे ही वह स्पेनिश सीखना शुरू करता है, वह फ्रेंच भूलने लगता है। इसे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) कहा जाता है।

AI की दुनिया में, जब एक मॉडल कोई नया कार्य सीखता है, तो वह अक्सर उन "न्यूरल पाथवेज़" (neural pathways) को ओवरराइट कर देता है जिनका उपयोग उसने पुराने कार्य के लिए किया था। मॉडल एक स्पंज की तरह बन जाता है जो नई जानकारी को सोख लेता है लेकिन पुरानी चीज़ों को बाहर निकाल देता है।

पुराना समाधान: "ट्रैफिक पुलिस" (The "Traffic Cop")

वैज्ञानिकों ने इसे ऑर्थोगोनल ग्रेडिएंट डिसेंट (Orthogonal Gradient Descent - OGD) नामक विधि का उपयोग करके ठीक करने की कोशिश की है।

मॉडल के ज्ञान को एक विशाल, बहु-आयामी मानचित्र (map) के रूप में सोचें:

पुराने कार्य: "फ्रेंच" का ज्ञान इस मानचित्र पर एक विशिष्ट लेन (lane) को घेरता है।
नया कार्य: "स्पेनिश" सीखना एक कार (अपडेट) को मानचित्र पर चलाना चाहता है।

पुरानी विधि एक ट्रैफिक पुलिस की तरह काम करती है। वह कहती है, "आप स्पेनिश सीखने के लिए कहीं भी गाड़ी चला सकते हैं, लेकिन आपको 'फ्रेंच' वाली लेन में जाने से सख्ती से रोका जाता है।" यह नए सीखने के पथ को इस तरह प्रोजेक्ट (project) करता है कि वह पुराने पथ के बिल्कुल लंबवत (90-डिग्री के कोण पर) रहे।

दोष: यह ट्रैफिक पुलिस मान लेती है कि मानचित्र सपाट और एकसमान है, जैसे कि एक मानक ग्रिड (यूक्लिडियन ज्यामिति)। यह दूरी को "फ्रोबोनियस नॉर्म" (Frobenius norm) का उपयोग करके मापता है, जो एक मानक रूलर (पैमाने) से दूरी मापने जैसा है। हालाँकि, पेपर का तर्क है कि इन AI मॉडलों की आंतरिक संरचना एक सपाट ग्रिड नहीं है; यह एक जटिल, घुमावदार परिदृश्य (landscape) की तरह है जहाँ कुछ दिशाएँ "भारी" या अधिक महत्वपूर्ण होती हैं।

नया विचार: "माउंटेन गाइड" (Muon-OGD)

लेखकों ने देखा कि Muon नामक एक नया ऑप्टिमाइज़र अलग तरह से काम करता है। एक मानक रूलर के बजाय, Muon एक स्पेक्ट्रल नॉर्म (spectral norm) का उपयोग करता है।

उपमा (Analogy):
कल्पना कीजिए कि आप एक पहाड़ पर चढ़ रहे हैं।

पुराना तरीका (Frobenius): आप जमीन पर रखे एक फ्लैट टेप मेजर से अपने कदम मापते हैं। आपको लगता है कि आप कुशलता से आगे बढ़ रहे हैं, लेकिन आप एक खड़ी चट्टान पर चढ़ रहे हो सकते हैं क्योंकि आपने इलाके के आकार पर ध्यान नहीं दिया।
Muon का तरीका (Spectral Norm): आपके पास एक माउंटेन गाइड है जो इलाके के 3D आकार को समझता है। गाइड जानता है कि कुछ रास्ते "तीव्र" (उच्च प्रभाव वाले) हैं और कुछ "सौम्य" (कम प्रभाव वाले) हैं। गाइड आपको ऐसे कदम उठाने के लिए कहता है जो पहाड़ के आकार का सम्मान करते हों, न कि केवल सपाट दूरी का। यह आपको स्थिर रखता है और गलत दिशा में फिसलने से बचाता है।

Muon-OGD इन दोनों विचारों को जोड़ता है:

यह ट्रैफिक पुलिस को बनाए रखता है (पुराने फ्रेंच ज्ञान की रक्षा के लिए)।
लेकिन यह तय करने के लिए कि कदम कैसे उठाए जाएं, यह माउंटेन गाइड (Muon) को काम पर रखता है।

केवल यह कहने के बजाय कि "फ्रेंच लेन में मत जाओ," नया तरीका कहता है, "फ्रेंच लेन में मत जाओ, और साथ ही, ऐसे कदम उठाओ जो पहाड़ के 3D आकार का सम्मान करें ताकि आप फिसल न जाएं।"

यह कैसे काम करता है (The "Dual" Dance)

पेपर इस प्रक्रिया को कुशलतापूर्वक करने के लिए एक गणितीय विवरण देता है:

सेटअप: मॉडल उन "संरक्षित लेन" (फ्रेंच ज्ञान) की पहचान करता है जिन्हें छुआ नहीं जाना चाहिए।
सुधार (Correction): एक कदम उठाने से पहले, मॉडल एक "सुधारित पथ" (corrected path) की गणना करता है। वह पूछता है: "यदि मैं यह कदम उठाता हूँ, तो क्या मैं गलती से फ्रेंच लेन से टकरा जाऊँगा?"
पुनरावृत्ति (Iteration): यह केवल एक बार अनुमान नहीं लगाता। यह एक त्वरित, आंतरिक लूप (जिसे डुअल इटरेशन कहा जाता है) चलाता है ताकि कदम को और बेहतर बनाया जा सके। यह एक डांसर की तरह है जो अपने पैर रखने की जगह को बार-बार सूक्ष्म रूप से एडजस्ट करता है ताकि वह सबसे कुशल दिशा में चलते हुए भी अपने पार्टनर के पैरों पर न पड़ जाए।
साइन (The Sign): अंत में, यह कदम को सटीक "ऑर्थोगोनल" आकार में लाने के लिए एक गणितीय ट्रिक (न्यूटन-शुलज़ इटरेशन) का उपयोग करता है, जिससे यह सुनिश्चित होता है कि यह बिना नियमों को तोड़े सबसे कुशल चाल है।

परिणाम: एक बेहतर छात्र

लेखकों ने विभिन्न "स्कूली विषयों" (बेंचमार्क) पर इस नई विधि (Muon-OGD) का पुराने तरीकों के मुकाबले परीक्षण किया:

मानक परीक्षण: टेक्स्ट क्लासिफिकेशन (जैसे समाचार लेखों को छाँटना)।
कठिन परीक्षण: एक 15-कार्य स्ट्रीम (क्रमवार 15 अलग-अलग विषय सीखना)।
विशेषज्ञता वाले परीक्षण: कोडिंग, गणित और मेडिकल रीजनिंग।

परिणाम:
हर परीक्षण में, Muon-OGD वाला छात्र बेहतर प्रदर्शन करता है।

उन्होंने नए विषयों को (प्लास्टिसिटी/plasticity) अन्य की तरह ही अच्छी तरह सीखा।
लेकिन वे पुराने विषयों को बहुत कम भूले (स्थिरता/stability)।
वे विशेष रूप से कोडिंग, गणित और चिकित्सा जैसे विषयों में अपने कौशल को बरकरार रखने में बहुत अच्छे रहे, जबकि पुराने तरीके नए चीजें सीखते समय उनके पिछले कौशल खोने लगे थे।

सारांश

पेपर का दावा है कि AI के मस्तिष्क में "दूरी" को मापने के तरीके को बदलकर—एक फ्लैट रूलर से एक 3D माउंटेन गाइड में—और पुराने ज्ञान की रक्षा के लिए सख्त नियमों के साथ जोड़कर, हम AI को नई चीजें सिखा सकते हैं बिना यह भुलाए कि वह पहले से क्या जानता है। यह सीखने की प्रक्रिया को निरंतर बनाए रखने का एक अधिक स्थिर और कुशल तरीका है।

तकनीकी सारांश: Muon-OGD

समस्या विवरण
इस कार्य में संबोधित केंद्रीय चुनौती निरंतर शिक्षण (continual learning) के दौरान लार्ज लैंग्वेज मॉडल्स (LLMs) में होने वाला कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) है। जब LLMs को नए कार्यों पर क्रमिक रूप से फाइन-ट्यून किया जाता है, तो पिछले सीखे गए कार्यों पर उनका प्रदर्शन अक्सर तेजी से गिर जाता है। मौजूदा प्रोजेक्शन-आधारित निरंतर शिक्षण विधियाँ (जैसे OGD, GEM, O-LoRA) पिछले कार्यों से जुड़े दिशाओं के लंबवत (orthogonal) सबस्पेस में पैरामीटर अपडेट को प्रतिबंधित करके इसे कम करती हैं। हालाँकि, ये विधियाँ आमतौर पर यूक्लिडियन पैरामीटर ज्योमेट्री (Euclidean parameter geometry) के तहत तैयार की जाती हैं, जहाँ अपडेट का परिमाण और ऑर्थोगोनैलिटी फ्रोबेनियस नॉर्म (Frobenius norm) द्वारा नियंत्रित होती है।

लेखक एक मौलिक बेमेल (mismatch) की पहचान करते हैं: मैट्रिक्स-मूल्य वाले पैरामीटर्स के लिए आधुनिक ऑप्टिमाइज़र, जैसे कि हाल ही में प्रस्तावित Muon ऑप्टिमाइज़र, स्पेक्ट्रल-नॉर्म (ऑपरेटर-नॉर्म) ज्योमेट्री के तहत कार्य करते हैं। Muon ऑर्थोगोनलाइज्ड मैट्रिक्स अपडेट (जो न्यूटन-शुलज़ इटरेशन के माध्यम से अनुमानित होते हैं) लागू करता है और इसे स्पेक्ट्रल-नॉर्म बाधा के तहत स्टीपस्ट डिसेंट (steepest descent) करने के रूप में व्याख्यायित किया जा सकता है। पेपर तर्क देता है कि निरंतर शिक्षण बाधाओं के लिए फ्रोबेनियस-नॉर्म ज्योमेट्री पर निर्भर रहना मैट्रिक्स-मूल्य वाले LLM पैरामीटर्स के लिए उप-इष्टतम (suboptimal) है, क्योंकि यह अंतर्निहित अनुकूलन गतिकी (optimization dynamics) की ज्योमेट्री के साथ मेल नहीं खाता है।

कार्यप्रणाली: Muon-OGD
पेपर Muon-OGD (Muon-आधारित स्पेक्ट्रल ऑर्थोगोनल ग्रेडिएंट प्रोजेक्शन) प्रस्तावित करता है, जो स्पेक्ट्रल-नॉर्म-जागरूक अनुकूलन को प्रोजेक्शन-आधारित निरंतर शिक्षण बाधाओं के साथ एकीकृत करता है।

फॉर्मूलेशन: मानक फ्रोबेनियस-नॉर्म बाधित समस्या के बजाय, Muon-OGD अपडेट $\Delta$ को एक स्पेक्ट्रल-नॉर्म-प्रतिबंधित अनुकूलन समस्या के रूप में तैयार करता है:
$\min_{\Delta \in \mathbb{R}^{m \times n}} \langle G, \Delta \rangle \quad \text{s.t.} \quad \|\Delta\|_2 \leq \eta, \quad \langle C_i, \Delta \rangle = 0, \forall i=1,\dots,k$
यहाँ, $G$ ग्रेडिएंट (या मोमेंटम) मैट्रिक्स है, $\|\cdot\|_2$ स्पेक्ट्रल नॉर्म है, $\eta$ स्टेप साइज है, और $\{C_i\}$ बाधा दिशाएँ (जैसे, पिछले कार्यों के ग्रेडिएंट) हैं जो अपडेट के लंबवत रहनी चाहिए।
ड्यूल ऑप्टिमाइज़ेशन (Dual Optimization): चूँकि इस समस्या में क्लोज्ड-फॉर्म समाधान का अभाव है, लेखक एक ड्यूल फॉर्मूलेशन निकालते हैं। ड्यूल ऑब्जेक्टिव में एक शिफ्टेड मैट्रिक्स $H = G + \sum \lambda_i C_i$ का न्यूक्लियर नॉर्म को मिनिमाइज करना शामिल है। इष्टतम अपडेट को मैट्रिक्स साइन फंक्शन के माध्यम से प्राप्त किया जाता है: $\Delta^* = -\eta \cdot \text{msgn}(H)$ ।
एल्गोरिदम: विधि ड्यूल वेरिएबल्स $\lambda$ पर सबग्रेडिएंट डिसेंट का उपयोग करके ड्यूल समस्या को पुनरावृत्ति (iteratively) से हल करती है।
- इनर लूप (Inner Loop): ऑर्थोगोनैलिटी बाधाओं को लागू करने के लिए $\lambda$ को पुनरावृत्ति से अपडेट करता है।
- मैट्रिक्स साइन एप्रोक्सिमेशन: मैट्रिक्स साइन फंक्शन $\text{msgn}(H)$ को कुशलतापूर्वक न्यूटन-शुलज़ इटरेशन (विशेष रूप से 5 इटरेशन, जिसे $NS_5$ कहा जाता है) का उपयोग करके अनुमानित किया जाता है, जिससे स्पष्ट SVD की कम्प्यूटेशनल लागत बचती है।
- लो-रैंक इंस्टेंशिएशन (Low-Rank Instantiation): दक्षता के लिए, लेखक एक विशिष्ट इंस्टेंशिएशन प्रस्तावित करते हैं जहाँ बाधाएँ पिछले कार्यों के टॉप- $k$ सिंगुलर वेक्टर्स से प्राप्त होती हैं, जिससे ड्यूल वेरिएबल्स को एक लो-रैंक मैट्रिक्स $\Lambda$ में व्यवस्थित किया जा सकता है, जिससे ड्यूल समस्या की डाइमेंशनलिटी कम हो जाती है।

मुख्य योगदान

CL के लिए स्पेक्ट्रल-नॉर्म ज्योमेट्री: पेपर स्पेक्ट्रल-नॉर्म ज्योमेट्री के तहत प्रोजेक्शन-आधारित निरंतर शिक्षण को फॉर्मुलेट करता है, जो Muon जैसे आधुनिक ऑप्टिमाइज़र्स की ऑपरेटर-नॉर्म ज्योमेट्री के साथ निरंतर शिक्षण की स्थिरता बाधाओं को संरेखित करता है।
व्यावहारिक अपडेट नियम: यह एक व्यावहारिक एल्गोरिदम (Muon-OGD) व्युत्पन्न करता है जो पिछले-कार्य ऑर्थोगोनैलिटी बाधाओं को Muon-शैली के मैट्रिक्स-साइन अपडेट के साथ जोड़ता है, और ड्यूल फॉर्मूलेशन एवं न्यूटन-शुलज़ एप्रोक्सिमेशन के माध्यम से इस बाधित समस्या को कुशलतापूर्वक हल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस फ्रेमवर्क को LLM निरंतर फाइन-ट्यूनिंग के लिए इंस्टेंशिएट किया गया है और विविध बेंचमार्क पर मूल्यांकित किया गया है, जो फ्रोबेनियस-नॉर्म आधारित समकक्षों की तुलना में निरंतर सुधार प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखक Muon-OGD का मूल्यांकन निम्नलिखित पर करते हैं:

मानक बेंचमार्क: T5-Large का उपयोग करके 5-टास्क और 15-टास्क निरंतर शिक्षण बेंचमार्क।
TRACE बेंचमार्क: कोडिंग, गणित और बहुभाषी समझ जैसे विविध कौशल को कवर करने वाला एक बेंचमार्क (LLaMA-2-7B-Chat का उपयोग करके)।
डोमेन-विशिष्ट करिकुलम: Qwen2.5 और LLaMA3.2 मॉडल्स का उपयोग करके कोडिंग (BigCodeBench) $\to$ गणित (GSM8K) $\to$ मेडिकल (HuatuoGPT-o1) पर अनुक्रमिक शिक्षण।

निष्कर्ष:

प्रदर्शन: Muon-OGD औसत सटीकता (Average Accuracy - AA) और बैकवर्ड ट्रांसफर (Backward Transfer - BT) के मामले में अनुक्रमिक फाइन-ट्यूनिंग (SeqFT) और प्रतिस्पर्धी ऑर्थोगोनल-ग्रेडिएंट बेसलाइन्स (जैसे O-LoRA, Sculpting Subspaces, OSFT) से लगातार बेहतर प्रदर्शन करता है।
- T5-Large 15-टास्क बेंचमार्क पर, Muon-OGD ने 72.0% औसत सटीकता प्राप्त की, जो O-LoRA (69.6%) और OSFT (71.3%) से अधिक है।
- TRACE बेंचमार्क पर, Muon-OGD ने उच्चतम AA (49.4%) और सबसे कम फॉरगेटिंग रेट (-4.7%) प्राप्त किया।
स्केलेबिलिटी: विधि कम्प्यूटेशनल रूप से स्केलेबल बनी रहती है, जो न्यूटन-शुलज़ इटरेशन और लो-रैंक बाधा प्रतिनिधित्व की दक्षता का लाभ उठाती है।
आर्किटेक्चर एग्नोस्टिसिज्म (Architecture Agnosticism): यह दृष्टिकोण एनकोडर-डिकोडर (T5) और डिकोडर-ओनली (LLaMA, Qwen) दोनों आर्किटेक्चर पर प्रभावी है।

महत्व और दावे
पेपर का दावा है कि स्पेक्ट्रल-नॉर्म-जागरूक अपडेट ज्योमेट्री LLMs के निरंतर शिक्षण के लिए फ्रोबेनियस-नॉर्म प्रोजेक्शन के एक व्यावहारिक और प्रभावी विकल्प के रूप में कार्य करती है। आधुनिक ऑप्टिमाइज़र्स (जैसे Muon) की ज्योमेट्री और निरंतर शिक्षण की स्थिरता आवश्यकताओं के बीच के अंतर को पाटकर, Muon-OGD स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ में सुधार करता है। लेखक सुझाव देते हैं कि मौजूदा प्रोजेक्शन-आधारित विधियों को स्पेक्ट्रल-नॉर्म ज्योमेट्री के तहत संचालित होने के लिए व्यवस्थित रूप से अपग्रेड किया जा सकता है ताकि निरंतर शिक्षण के दौरान देखे गए Muon के कंडीशनिंग और स्थिरता लाभों को बनाए रखते हुए कैटास्ट्रोफिक फॉरगेटिंग को रोका जा सके। यह कार्य सभी निरंतर शिक्षण चुनौतियों को हल करने का दावा नहीं करता है, बल्कि एक सिद्धांत-आधारित ज्यामितीय विकल्प प्रदान करता है जो विभिन्न डोमेन और मॉडल स्केल में रिटेंशन और अडैप्टेशन में अनुभवजन्य लाभ प्रदान करता है।