🤖 machine learning

CacheMuon: Using Temporal Preconditioning To Approximate Polar Factor

यह शोध पत्र CacheMuon प्रस्तुत करता है, जो एक टेम्पोरल प्रीकंडीशनिंग विधि है जो पिछले चरणों से कैश किए गए सूचना का पुन: उपयोग करके पोलर फैक्टर को अनुमानित करती है, जिससे प्रशिक्षण की गुणवत्ता को नियंत्रित रखते हुए कंप्यूटेशनल लागत को काफी कम किया जा सकता है और Muon ऑप्टिमाइज़र को त्वरित किया जा सकता है।

मूल लेखक: Bishnu Dev (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Sushil Bohara (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Martin Takáč (Mohamed bin

प्रकाशित 2026-06-16

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Bishnu Dev (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Sushil Bohara (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Martin Takáč (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE), Samuel Horváth (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नया कौशल सिखा रहे हैं, जैसे कविता लिखना या तस्वीरों में बिल्लियों को पहचानना। ऐसा करने के लिए, रोबोट हर सेकंड उसके "मस्तिष्क" (उसके आंतरिक सेटिंग्स) में हजारों सूक्ष्म समायोजन करता है।

इन समायोजनों को करने का सबसे लोकप्रिय तरीकों में से एक विधि है जिसे Muon कहा जाता है। Muon को एक बहुत ही सावधानीपूर्वक, उच्च-सटीक दिशा-सूचक यंत्र (कंपास) के रूप में समझें। रोबोट द्वारा कदम उठाने से पहले, Muon यह जांचता है कि उसे किस दिशा में जाना चाहिए और उस दिशा को पूरी तरह से सीधा और कुशल बनाने के लिए घुमाता है। इस "परफेक्ट रोटेशन" को पोलर फैक्टर (polar factor) खोजना कहा जाता है।

समस्या: महंगा कंपास

समस्या यह है कि इस परफेक्ट रोटेशन की गणना करना हर बार एक जटिल गणितीय पहेली को शून्य से हल करने जैसा है। भले ही यह पुराने तरीके से तेज़ है, फिर भी यह हर कदम पर बहुत अधिक कंप्यूटर ऊर्जा (FLOPs) खर्च करता है। यह एक मास्टर शेफ से हर एक निवाले के लिए हर बार सब्जियों को हाथ से काटने के लिए कहने जैसा है, भले ही वे सब्जियां एक सेकंड पहले कटी हुई सब्जियों के लगभग समान ही हों।

समाधान: CacheMuon (एक "स्मृति" वाला कंपास)

इस शोध पत्र के लेखकों ने कुछ महत्वपूर्ण गौर किया: रोबोट का मस्तिष्क एक कदम से दूसरे कदम के बीच नाटकीय रूप से नहीं बदलता है। जिस दिशा में उसे जाना है, वह आमतौर पर वैसी ही होती है जैसी वह एक क्षण पहले जा रहा था।

इसलिए, उन्होंने पूछा: हर बार शून्य से पहेली को क्यों हल करें? क्यों न पिछले कदम के समाधान को ही पुन: उपयोग किया जाए यदि वह पर्याप्त रूप से अच्छा है?

उन्होंने CacheMuon बनाया, जो एक स्मार्ट मेमोरी सिस्टम की तरह काम करता है:

द कैश (The Cache): यह हाल के किसी कदम से प्राप्त परफेक्ट रोटेशन (कंपास दिशा) का एक "कैश्ड" संस्करण रखता है।
द चेक (The Check): कैश्ड दिशा का उपयोग करने से पहले, यह देखने के लिए एक त्वरित, सस्ता परीक्षण करता है कि क्या कैश्ड दिशा अभी भी पर्याप्त रूप से सटीक है।
द डिसीजन (The Decision):
- यदि परीक्षण पास हो जाता है: तो यह पुराने कैश्ड दिशा का पुन: उपयोग करता है। यह बहुत तेज़ है और बहुत ऊर्जा बचाता है।
- यदि परीक्षण विफल हो जाता है: तो इसे एहसास होता है कि रोबोट का मस्तिष्क बहुत अधिक बदल गया है, इसलिए यह रुक जाता है, पहेली को नए सिरे से हल करता है (मूल Muon की तरह), और कैश को अपडेट करता है।

उपमा: GPS ड्राइवर

कल्पना कीजिए कि आप एक कार चला रहे हैं जिसमें GPS लगा है।

स्टैंडर्ड Muon एक ऐसे GPS की तरह है जो हर बार आपके स्टीयरिंग व्हील घुमाने पर पूरे रूट की गणना शून्य से करने के लिए कहता है, भले ही आप केवल एक सीधे हाईवे पर गाड़ी चला रहे हों। यह सटीक है, लेकिन यह बैटरी और समय बर्बाद करता है।
CacheMuon एक स्मार्ट GPS की तरह है जो कहता है, "आप अभी भी उसी सड़क पर हैं, और ट्रैफिक में कोई बदलाव नहीं हुआ है। मैं आपके लिए 10 सेकंड पहले निकाली गई रूट का ही उपयोग करूँगा।" यह केवल तभी पूरा रूट फिर से कैलकुलेट करता है जब आप अचानक कोई तीखा मोड़ लेते हैं या किसी बाधा से टकराते हैं।

उन्होंने क्या पाया

शोधकर्ताओं ने दो प्रकार के कार्यों पर इस विचार का परीक्षण किया: एक भाषा मॉडल (जैसे चैटबॉट) को सिखाना और एक विज़न मॉडल (छवियों को पहचानने के लिए) को सिखाना।

कंजर्वेटिव मोड (कठोर जांच): यदि वे नियमों को बहुत सख्त रखते हैं, तो सिस्टम लगभग हमेशा पुरानी दिशा का पुन: उपयोग करता है। परिणाम? रोबोट मूल, महंगे तरीके की तरह ही अच्छी तरह सीखता है, लेकिन यह कंप्यूटर की ऊर्जा में लगभग 13% से 30% की बचत करता है।
अग्रेसिव मोड (ढीली जांच): यदि वे सिस्टम को पुरानी दिशा का अधिक बार पुन: उपयोग करने की अनुमति देते हैं (भले ही वह थोड़ी कम सटीक हो), तो वे 72% तक ऊर्जा बचा सकते हैं। ट्रेड-ऑफ यह है कि रोबोट थोड़ा धीमा सीखता है या कुछ अधिक गलतियाँ करता है, लेकिन बचत बहुत बड़ी है।

मुख्य निष्कर्ष

यह शोध पत्र सिद्ध करता है कि आपको हर बार भारी गणितीय कार्य करने की आवश्यकता नहीं है। पिछले काम को याद रखकर और यह जांचकर कि क्या वह अभी भी मान्य है, आप सीखने की प्रक्रिया को बाधित किए बिना AI मॉडल को प्रशिक्षित करना बहुत अधिक कुशल बना सकते हैं। यह कम "पसीने" के साथ समान परिणाम प्राप्त करने का एक तरीका है।

तकनीकी सारांश: CacheMuon

समस्या विवरण

Muon एक ज्योमेट्री-अवेयर (geometry-aware) ऑप्टिमाइज़र है जिसे डीप लर्निंग में मैट्रिक्स-वैल्यूड हिडन-लेयर पैरामीटर्स के लिए डिज़ाइन किया गया है। कोर्डिनेट-वाइज ऑप्टिमाइज़र्स (जैसे Adam) के विपरीत, Muon मानक मोमेंटम अपडेट के स्थान पर मोमेंटम मैट्रिक्स के पोलर फैक्टर (polar factor) से प्राप्त एक ऑर्थोगोनलाइज्ड दिशा (orthogonalized direction) का उपयोग करता है। हालांकि Muon ने बड़े लैंग्वेज मॉडल्स के लिए मजबूत अनुभवजन्य प्रदर्शन और स्केलेबिलिटी प्रदर्शित की है, लेकिन इसकी व्यावहारिक दक्षता इसके ऑर्थोगोनलाइजेशन स्टेप (orthogonalization step) के कारण बाधित होती है।

वर्तमान कार्यान्वयन सटीक सिंगुलर वैल्यू डीकंपोजिशन (SVD) की उच्च लागत से बचने के लिए न्यूटन-शुल्ज़ इटरेशन (विशेष रूप से ग्राम न्यूटन-शुल्ज़) का उपयोग करके पोलर फैक्टर का अनुमान लगाते हैं। हालाँकि, यह सन्निकटन (approximation) अभी भी प्रत्येक ऑप्टिमाइज़ेशन स्टेप पर कई मैट्रिक्स गुणनों की आवश्यकता रखता है। फलस्वरूप, Muon की गणना लागत का एक महत्वपूर्ण हिस्सा बार-बार संबंधित मैट्रिक्स ऑर्थोगोनलाइजेशन समस्याओं को हल करने में खर्च होता है। जबकि हाल के कार्यों ने एक एकल ऑर्थोगोनलाइजेशन कॉल की दक्षता को अनुकूलित किया है (जैसे PolarExpress, Gram Newton–Schulz), ये विधियाँ अभी भी हर स्टेप पर स्क्रैच से ऑर्थोगोनलाइजिंग ट्रांसफॉर्म को फिर से कंप्यूट करती हैं, जिससे प्रशिक्षण प्रक्रिया में निहित टेम्पोरल कोरिलेशन (temporal correlation) की अनदेखी होती है।

कार्यप्रणाली: CacheMuon

लेखक CacheMuon का प्रस्ताव करते हैं, जो एक टेम्पोरल प्रीकंडीशनिंग (temporal preconditioning) विधि है जो प्रशिक्षण के दौरान मोमेंटम मैट्रिक्स के सुचारू विकास का लाभ उठाती है। मुख्य परिकल्पना यह है कि यदि मोमेंटम मैट्रिक्स धीरे-धीरे बदलता है, तो पिछले स्टेप में कंप्यूट किया गया ऑर्थोगोनलाइजिंग ट्रांसफॉर्म वर्तमान स्टेप के लिए भी सूचनात्मक बना रहता है।

मुख्य तंत्र (Core Mechanism)

CacheMuon एक कैशिंग मैकेनिज्म पेश करके Muon के ऑर्थोगोनलाइजेशन रूटीन को संशोधित करता है:

फ्रेश सॉल्व (Refresh Step): विशिष्ट "रिफ्रेश" स्टेप्स पर (जो एक ट्रिगर द्वारा निर्धारित होते हैं), यह विधि एक पूर्ण Fresh Gram Newton–Schulz (FreshGNS) सॉल्वर चलाती है। यह अनुमानित पोलर फैक्टर $\tilde{D}_t$ और, महत्वपूर्ण रूप से, एक कैश किया गया लेफ्ट ट्रांसफॉर्म मैट्रिक्स $Q_t$ उत्पन्न करता है।
कैश्ड रीयूज (Intermediate Steps): नॉन-रिफ्रेश स्टेप्स पर, पूर्ण सॉल्वर चलाने के बजाय, विधि पोलर फैक्टर का अनुमान लगाने के लिए कैश किए गए ट्रांसफॉर्म $Q_{a_t}$ (जहाँ $a_t$ सबसे हालिया रिफ्रेश का इंडेक्स है) का पुन: उपयोग करती है: $\hat{D}_t = Q_{a_t} X_t$ , जहाँ $X_t$ नॉर्मलाइज्ड मोमेंटम मैट्रिक्स है।
रेसिड्यूल-आधारित ट्रिगर (Residual-Based Trigger): यह निर्धारित करने के लिए कि कैश किया गया ट्रांसफॉर्म कब सटीक नहीं रह जाता है, लेखक एक हल्का, रेसिड्यूल-आधारित रीयूज ट्रिगर पेश करते हैं। कैश को पुनः उपयोग करने से पहले, एल्गोरिदम कैंडिडेट अपडेट का ऑर्थोगोनलिटी रेसिड्यूल (orthogonality residual) कंप्यूट करता है:
$\text{err}_t = \frac{\| \hat{D}^{\text{cand}}_t (\hat{D}^{\text{cand}}_t)^\top - I \|_F}{\|I\|_F}$
यदि $\text{err}_t \leq \gamma$ (एक निर्धारित थ्रेसहोल्ड) है, तो कैश किए गए ट्रांसफॉर्म को स्वीकार कर लिया जाता है। अन्यथा, कैश को अपडेट करने के लिए एक फ्रेश सॉल्व ट्रिगर किया जाता है।

सैद्धांतिक विश्लेषण

पेपर CacheMuon का एक इनएक्सैक्ट (inexact) Muon अपडेट के रूप में विश्लेषण करता है। कैश किए गए दिशा $\hat{D}_t$ और सटीक Muon दिशा $D_t$ के बीच का विचलन एक एडिटिव एरर टर्म $\delta_t$ द्वारा सीमित है:
$\| \hat{D}_t - D_t \|_{\text{sp}} \leq \delta_t = L_Q \tau_t + \varepsilon_{\text{ref}}$
जहाँ:

$\varepsilon_{\text{ref}}$ फ्रेश सॉल्वर की त्रुटि है (फाइनाइट न्यूटन-शुल्ज़ इटरेशन के कारण)।
$\tau_t$ वर्तमान मैट्रिक्स के सापेक्ष कैश किए गए ग्राम मैट्रिक्स की "स्टेलेनेस" (staleness) है।
$L_Q$ सॉल्वर द्वारा प्रेरित बहुपद मानचित्र (polynomial map) से प्राप्त लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) है।

मानक धारणाओं (स्मूथनेस, बाउंडेड वेरिएंस, बाउंडेड स्टेलेनेस) के तहत, लेखक नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के लिए एक स्टोकेस्टिक कन्वर्जेंस गारंटी सिद्ध करते हैं। कन्वर्जेंस रेट एग्रीगेट इनएक्सैक्टनेस पैरामीटर $\bar{\delta} = L_Q \bar{\tau} + \varepsilon_{\text{ref}}$ पर निर्भर करता है। जब तक $\bar{\delta} < 1$ है, विधि अभिसरण (converge) करती है, जिसका रेट $O((1-\bar{\delta})^{-1} N^{-1/4})$ के रूप में स्केल करता है।

मुख्य योगदान

CacheMuon एल्गोरिदम: एक Muon वेरिएंट जो प्रशिक्षण के दौरान टेम्पोरल स्मूथनेस का लाभ उठाकर, ऑर्थोगोनलाइजेशन के पोलर-फैक्टर कंप्यूटेशन की लागत को कम (amortize) करता है।
कन्वर्जेंस थ्योरी: एक इनएक्सेक्ट ऑप्टिमाइज़र के रूप में CacheMuon को देखते हुए एक सैद्धांतिक ढांचा, जो फ्रेश-सॉल्वर एरर और कैश स्टेलेनेस द्वारा नियंत्रित स्टोकेस्टिक कन्वर्जेंस गारंटी प्रदान करता है।
रेसिड्यूल-आधारित ट्रिगर: एक व्यावहारिक, कम लागत वाला ह्यूरिस्टिक जो अपडेट की फिडेलिटी (fidelity) के प्रॉक्सी के रूप में, अपडेट की ऑर्थोगोनलिटी के आधार पर कैश को कब रिफ्रेश करना है, इसका गतिशील निर्णय लेता है।
अनुभवजन्य सत्यापन (Empirical Validation): लैंग्वेज मॉडल (GPT-2) और विजन (ResNet-18) वर्कलोड पर एक नियंत्रणीय क्वालिटी-एफिशिएंसी फ्रंटियर का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने GPT-2 Large/Small (OpenWebText) और ResNet-18 (CIFAR-10) पर CacheMuon का मूल्यांकन किया।

क्वालिटी-एफिशिएंसी ट्रेडऑफ: $\gamma$ $γ$ के रेसिड्यूल थ्रेसहोल्ड को बदलकर, लेखक एक सुचारू फ्रंटियर प्रदर्शित करते हैं।
- कंजर्वेटिव रीयूज ( $\gamma=2$ ): फ्रेश Muon (GramMuon और PolarExpMuon) के प्रदर्शन को करीब से ट्रैक करता है, जबकि GPT-2 Large पर ऑर्थोगोनलाइजेशन FLOPs को 13.6% (GramMuon के मुकाबले) और 30.9% (PolarExpMuon के मुकाबले) कम करता है।
- अग्रेसिव रीयूज ( $\gamma=15$ ): फ्रेश Gram-Muon की तुलना में 65.0% तक ऑर्थोगोनलाइजेशन FLOPs में कमी लाता है, जिसमें केवल मामूली वैलिडेशन लॉस डिग्रेडेशन (जैसे GPT-2 Large के लिए 3.096 बनाम 3.037) होता है।
डायग्नोस्टिक इनसाइट्स: प्रयोग दिखाते हैं कि रेसिड्यूल ट्रिगर, कैश किए गए और फ्रेश अपडेट के बीच संरेखण (alignment) के साथ प्रभावी ढंग से सह-संबंधित (correlate) होता है। प्रशिक्षण की शुरुआत में, रेसिड्यूल्स अधिक होते हैं, जिससे बार-बार रिफ्रेश होता है; जैसे-जैसे प्रशिक्षण स्थिर होता है, रेसिड्यूल्स कम हो जाते हैं, जिससे उच्च कैश हिट रेट और अधिक दक्षता मिलती है।
स्केलेबिलिटी: विधि विभिन्न मॉडल स्केल्स (GPT-2 Small बनाम Large) और मोडैलिटीज (विजन बनाम लैंग्वेज) में प्रतिस्पर्धी प्रदर्शन बनाए रखती है।

महत्व और दावे

पेपर का दावा है कि CacheMuon अपने अंतर्निहित ज्योमेट्रिक अपडेट नियम को बदले बिना, Muon के कम्प्यूटेशनल ओवरहेड को कम करने का एक व्यावहारिक दृष्टिकोण प्रदान करता है। ऑर्थोगोनलाइजेशन को विशुद्ध रूप से स्थानिक (spatial) समस्या के बजाय एक टेम्पोरल समस्या के रूप में मानकर, यह विधि अनावश्यक गणना को कम करती है।

लेखक इस बात पर जोर देते हैं कि हालांकि यह विधि ऑर्थोगोनलाइजेशन FLOPs को काफी कम करती है, लेकिन उनके वर्तमान हाई-लेवल इम्प्लीमेंटेशन में वास्तविक वॉल-क्लॉक स्पीडअप (wall-clock speedup) मामूली है, जो सिस्टम-लेवल ओवरहेड्स (जैसे रेसिड्यूल चेक के लिए होस्ट-डिवाइस सिंक्रोनाइज़ेशन) के कारण है। वे तर्क देते हैं कि एक अधिक अनुकूलित लो-लेवल इम्प्लीमेंटेशन (जैसे प्रोब्स को डिवाइस कर्नेल में फ्यूज करना) इन अंकगणितीय बचत के एक बड़े हिस्से को वास्तविक रनटाइम गेन्स में बदल सकता है।

अंततः, यह कार्य सुझाव देता है कि टेम्पोरल रीयूज ज्योमेट्री-अवेयर ऑप्टिमाइज़र्स को अनुकूलित करने के लिए एक आशाजनक दिशा है, जो कम्प्यूटेशनल दक्षता और प्रशिक्षण गुणवत्ता के बीच संतुलन बनाने के लिए एक ट्यूनेबल नॉब (tunable knob) प्रदान करता है।