🤖 machine learning

Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer

यह शोध पत्र नोरा (Nora) को प्रस्तुत करता है, जो एक स्केलेबल मैट्रिक्स ऑप्टिमाइज़र है जो वेट नॉर्म्स (weight norms) और एंगुलर वेलोसिटीज़ (angular velocities) को स्थिर करने के लिए रो-वाइज़ मोमेंटम प्रोजेक्शन (row-wise momentum projection) का उपयोग करके और इष्टतम $\mathcal{O}(mn)$ कम्प्यूटेशनल कॉम्प्लेक्सिटी के साथ स्ट्रक्चर्ड प्रीकंडीशनिंग (structured preconditioning) का अनुमान लगाकर दक्षता, स्थिरता और गति को एकीकृत करता है।

मूल लेखक: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक विशाल मस्तिष्क को सिखाना

कल्पना कीजिए कि आप एक विशाल आर्टिफिशियल इंटेलिजेंस (AI) मस्तिष्क को प्रशिक्षित कर रहे हैं, जैसे कि एक लार्ज लैंग्वेज मॉडल (LLM)। यह मस्तिष्क अरबों छोटे-छोटे नॉब्स और स्विचों (पैरामीटर्स) से बना है जिन्हें मानव भाषा बोलना सीखने के लिए एडजस्ट करने की आवश्यकता होती है।

इन नॉब्स को एडजस्ट करने की प्रक्रिया को ऑप्टिमाइज़ेशन (Optimization) कहा जाता है। "ऑप्टिमाइज़र" वह शिक्षक है जो बताता है कि नॉब्स को कितना और किस दिशा में घुमाना है।

लंबे समय से, सबसे लोकप्रिय शिक्षक Adam रहा है। लेकिन Adam इन नॉब्स के साथ एक ढेर में पड़े मैरबल्स (कंचों) जैसा व्यवहार करता है। इसे यह समझ नहीं आता कि ये नॉब्स वास्तव में व्यवस्थित ग्रिडों (मैट्रिक्स) में व्यवस्थित हैं।

हाल ही में, Muon नामक एक नया शिक्षक आया। Muon ग्रिड संरचना को समझने में बहुत बुद्धिमान है, लेकिन यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है—जैसे कि एक ऐसा शिक्षक जो हर एक नॉब घुमाने के लिए एक जटिल गणितीय समीकरण हल करने के लिए रुक जाता है। दूसरा शिक्षक, RMNP, तेज़ है लेकिन कभी-कभी यह नॉब्स को गलत दिशा में डगमगा देता है, जिससे प्रशिक्षण अस्थिर हो जाता है।

Nora वह नया शिक्षक है जिसे इस पेपर में पेश किया गया है। यह दावा करता है कि यह "गोल्डिलॉक्स" (Goldilocks) ऑप्टिमाइज़र है: यह RMNP की तरह तेज़ है, Muon की तरह स्मार्ट है, और इतना स्थिर है कि प्रशिक्षण को पटरी से उतरने या क्रैश होने से बचा सके।

एक अच्छे शिक्षक के तीन नियम

लेखकों का तर्क है कि एक आदर्श ऑप्टिमाइज़र को तीन नियमों को पूरा करना चाहिए:

दक्षता (Efficiency): इसे तेज़ी से सीखने के लिए स्मार्ट "ग्रिड संरचना" का उपयोग करने की आवश्यकता है।
स्थिरता (Stability): इसे सिस्टम को हिलाना नहीं चाहिए। यदि नॉब्स बहुत अधिक हिलते हैं, तो AI वह सब भूल जाता है जो उसने सीखा था।
गति (Speed): इसे गणनात्मक रूप से सस्ता होना चाहिए ताकि इसे चलाने में बहुत अधिक समय न लगे।

मौजूदा अधिकांश शिक्षक इनमें से किसी एक में विफल रहते हैं। Muon बहुत धीमा है। RMNP बहुत अस्थिर है। Nora इन तीनों को ठीक करने का लक्ष्य रखता है।

Nora कैसे काम करता है: "डांस फ्लोर" का उदाहरण

Nora को समझने के लिए, कल्पना कीजिए कि AI के वेट्स (नॉब्स) एक डांस फ्लोर पर डांसर हैं।

1. समस्या: "रेडियल" डगमगाहट (The Radial Wobble)

आधुनिक AI में, डांसर का आकार उतना महत्वपूर्ण नहीं है जितना कि उनकी दिशा। इसे स्केल इनवेरिएंस (Scale Invariance) कहा जाता है।

गलती: पुराने ऑप्टिमाइज़र कभी-कभी डांसरों को सीधे कमरे के केंद्र की ओर या उससे दूर धकेलते हैं (रेडियल मूवमेंट)। यह एक डांसर के एक ही जगह पर घूमते हुए दीवार की ओर बढ़ने जैसा है। इससे वे डांस स्टेप्स नहीं सीखते; यह केवल ऊर्जा बर्बाद करता है और उन्हें चक्कर आने जैसा महसूस कराता है (अस्थिरता)।
लक्ष्य: हम केवल चाहते हैं कि डांसर तिरछे/बगल की ओर (tangentially) चलें, यानी अपनी वर्तमान स्थिति से लंबवत (perpendicular) होकर अपनी दिशा बदलें, बिना केंद्र से अपनी दूरी बदले।

2. समाधान: "रो-दर-रो" प्रोजेक्शन (The Row-by-Row Projection)

Nora एक चतुर तकनीक का उपयोग करता है जिसे रो-वाइज़ ऑर्थोगोनल प्रोजेक्शन (Row-wise Orthogonal Projection) कहा जाता है।

कल्पना कीजिए कि वेट मैट्रिक्स डांसरों की एक ग्रिड है, पंक्ति-दर-पंक्ति (row by row)।
डांसरों की एक पंक्ति को हिलने के लिए कहने से पहले, Nora चेक करता है: "क्या आप केंद्र की ओर बढ़ने की कोशिश कर रहे हैं?"
यदि हाँ, तो Nora उस गति के उस हिस्से को काट देता है। यह गति को इस तरह प्रोजेक्ट करता है कि डांसर केवल बगल की ओर चलें, जो उनकी वर्तमान स्थिति के लंबवत हो।
परिणाम: डांसर अपने "डांस सर्कल" पर बने रहते हैं, जिससे यह सुनिश्चित होता है कि सिस्टम स्थिर रहे और चक्कर न आए।

3. स्पीड ट्रिक: "डायगोनल शॉर्टकट" (The Diagonal Shortcut)

"स्मार्ट" शिक्षक (Muon) पूरे ग्रिड के लिए एक साथ सही रास्ता खोजने की कोशिश करता है। इसके लिए भारी गणित (न्यूटन-शुलज़ इटरेशन) की आवश्यकता होती है जो बहुत समय लेता है।

Nora का शॉर्टकट: लेखकों ने देखा कि इन AI ग्रिडों में, "रोज़" (rows) काफी हद तक स्वतंत्र रूप से कार्य करती हैं। उन्होंने महसूस किया कि वे केवल गणित की समस्या के विकर्ण (diagonal) को देखकर स्मार्ट पथ का अनुमान लगा सकते हैं।
पूरे ग्रिड के लिए एक विशाल, जटिल गणना करने के बजाय, Nora बस प्रत्येक पंक्ति को व्यक्तिगत रूप से नॉर्मलाइज़ (rescale) करता है।
उदाहरण: एक ट्रैफिक कंट्रोलर द्वारा शहर की हर कार के लिए एक साथ सही रूट कैलकुलेट करने के बजाय (जो धीमा है), Nora बस हर कार को सीधा चलने और अपने आगे वाली कार से सुरक्षित दूरी बनाए रखने के लिए कहता है (जो तेज़ है)।

Nora बेहतर क्यों है? (परिणाम)

पेपर में Nora का परीक्षण अलग-अलग आकार के AI मॉडल्स (LLaMA) पर किया गया (60 मिलियन और 135 मिलियन पैरामीटर्स)।

बेहतर प्रदर्शन: Nora ने अन्य ऑप्टिमाइज़र्स की तुलना में सबसे कम एरर रेट (लॉस) और सबसे अच्छा "परप्लेक्सिटी" (एक माप कि AI कितना भ्रमित है) प्राप्त किया। इसने भाषा को बेहतर ढंग से सीखा।
तेज़ प्रशिक्षण: क्योंकि Nora भारी गणित को छोड़ देता है और केवल सरल रो-नॉर्मलाइजेशन करता है, यह काफी तेज़ है।
- छोटे मॉडल्स के लिए, यह भारी गणित वाले तरीके से लगभग 10 गुना तेज़ था।
- विशाल मॉडल्स (1 बिलियन पैरामीटर्स) के लिए, यह 70 गुना से भी अधिक तेज़ था।
स्थिरता: "रेडियल वबल" को काटकर, Nora ने प्रशिक्षण को सुचारू रखा, जबकि अन्य तरीकों में कभी-कभी उतार-चढ़ाव या फंसने की समस्या देखी गई।

"दो लाइन का कोड" का दावा

इस पेपर का एक रोमांचक दावा यह है कि इतनी गणितीय जटिलता के बावजूद, Nora का मूल तर्क अविश्वसनीय रूप से सरल है। लेखक कहते हैं कि ऑप्टिमाइज़र का पूरा "मस्तिष्क" केवल दो लाइनों के कोड में लिखा जा सकता है। यह अन्य डेवलपर्स के लिए इसे अपने मौजूदा सिस्टम में जोड़ना बहुत आसान बनाता है क्योंकि उन्हें सब कुछ फिर से लिखने की आवश्यकता नहीं है।

सारांश

Nora AI मस्तिष्क को प्रशिक्षित करने का एक नया तरीका है। यह तेज़ ऑप्टिमाइज़र्स की अस्थिरता और स्मार्ट ऑप्टिमाइज़र्स की सुस्ती को ठीक करता है। यह ऐसा करता है:

बेकार की गतिविधियों को काटकर (AI को स्थिर रखकर)।
एक स्मार्ट शॉर्टकट लेकर (AI को तेज़ रखकर)।
बेहतर सीखकर (सर्वश्रेष्ठ परिणाम देकर)।

पेपर गणितीय रूप से सिद्ध करता है कि यह काम करता है और प्रयोगों के माध्यम से दिखाता है कि यह वर्तमान में इन विशाल मॉडल्स को प्रशिक्षित करने का सबसे कुशल तरीका है।

तकनीकी सारांश: नोरा (Nora - नॉर्मलाइज्ड ऑर्थोगोनल रो अलाइनमेंट)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का प्रशिक्षण एडम (Adam) जैसे एडेप्टिव ऑप्टिमाइजर्स पर बहुत अधिक निर्भर करता है, जो पैरामीटर्स को फ्लैट वेक्टर्स के रूप में देखते हैं, जिससे लॉस लैंडस्केप के भीतर समृद्ध संरचनात्मक अंतःक्रियाओं (structural interactions) की अनदेखी होती है। जबकि Muon जैसे मैट्रिक्स-आधारित ऑप्टिमाइजर्स ने ऑर्थोगोनल अपडेट और न्यूटन-शुलज़ इटérations लागू करके इसे संबोधित करने का प्रयास किया है, लेकिन वे अत्यधिक कम्प्यूटेशनल लागत ( $O(m^2n)$ ) उत्पन्न करते हैं, जो स्केलेबिलिटी को सीमित करती है।

इसके विपरीत, RMNP (रो-वाइज़ मोमेंटम नॉर्मलाइज्ड प्रीकंडीशनिंग) जैसे सरलीकृत दृष्टिकोण, ट्रांसफॉर्मर हेसियन (Hessian) की रो-ब्लॉक डायगोनल डोमिनेंस का लाभ उठाकर जटिलता को $O(mn)$ तक कम कर देते हैं। हालाँकि, RMNP आधुनिक न्यूरल नेटवर्क में निहित स्केल-इनवेरिएंस (scale-invariance) को समझने में विफल रहता है (जो BatchNorm, RMSNorm, LayerNorm के कारण होता है)। यह "रेडियल अपडेट्स" (वेट वेक्टर के साथ संरेखित अपडेट) की अनुमति देता है जो कार्यात्मक आउटपुट को नहीं बदलते हैं, लेकिन शोर (noise) उत्पन्न करते हैं, प्रभावी लर्निंग रेट को अस्थिर करते हैं, और वेट नॉर्म्स में अराजक दोलन (chaotic oscillations) पैदा करते हैं।

मौजूदा विधियाँ आम तौर पर तीन मुख्य लक्ष्यों को एक साथ पूरा करने में विफल रहती हैं: दक्षता (Muon जैसी प्रीकंडीशनिंग), स्थिरता (स्केल-इनवेरिएंस का पालन), और गति (न्यूनतम कम्प्यूटेशनल ओवरहेड)।

कार्यप्रणाली: नोरा (Nora) ऑप्टिमाइज़र

लेखक Nora (नॉर्मलाइज्ड ऑर्थोगोनल रो अलाइनमेंट) का प्रस्ताव करते हैं, जिसे इन तीनों लक्ष्यों को एक साथ पूरा करने के लिए डिज़ाइन किया गया है। इसका मूल डिजाइन दर्शन इस ज्यामितीय अवलोकन पर आधारित है कि स्केल-इनवेरिएंट पैरामीटर्स के लिए, प्रभावी शिक्षण रेडियल दिशाओं के बजाय कोणीय (tangential) दिशाओं के साथ होता है।

एल्गोरिदम चरण

एक वेट मैट्रिक्स $w \in \mathbb{R}^{m \times n}$ और मोमेंटम $v_t$ के लिए:

रो-वाइज़ ऑर्थोगोनल प्रोजेक्शन: नोरा स्पष्ट रूप से मोमेंटम $v_t$ को वेट्स $w$ के रो-वाइज़ ऑर्थोगोनल कॉम्प्लीमेंट पर प्रोजेक्ट करता है। प्रत्येक रो $i$ के लिए, वेट रो के समानांतर घटक को हटा दिया जाता है:
$v_{t,i:}^{\perp} = v_{t,i:} - \frac{\langle v_{t,i:}, w_{t,i:} \rangle}{\|w_{t,i:}\|^2} w_{t,i:}$
यह सुनिश्चित करता है कि $\langle v_{t,i:}^{\perp}, w_{t,i:} \rangle = 0$ , जो रेडियल शोर को पूरी तरह से फ़िल्टर करता है और वेट नॉर्म्स को स्थिर करता है।
रो-वाइज़ नॉर्मलाइजेशन (प्रीकंडीशनिंग): ट्रांसफॉर्मर हेसियन की रो-ब्लॉक डायगोनल डोमिनेंस का लाभ उठाते हुए, नोरा Muon की स्ट्रक्चर्ड प्रीकंडीशनिंग का अनुमान लगाता है। न्यूटन-शुलज़ इटérations के महंगे होने के बजाय, यह प्रोजेक्टेड मोमेंटम पर एक डायगोनल प्रीक कंडीशनर लागू करता है। बीजगणितीय रूप से, यह सरल रो-वाइज़ $\ell_2$ नॉर्मलाइजेशन में बदल जाता है:
$d_t = \text{RN}(v_t^{\perp}) \implies d_{t,i:} = \frac{v_{t,i:}^{\perp}}{\|v_{t,i:}^{\perp}\|_2}$
यह चरण Muon जैसी प्रीकंडीशनिंग दक्षता प्राप्त करता है और साथ ही प्रोजेक्शन स्टेप द्वारा स्थापित ऑर्थोगोनैलिटी को बनाए रखता है।
अपडेट: वेट्स को लर्निंग रेट $\eta_t$ के साथ नॉर्मलाइज्ड दिशा $d_t$ का उपयोग करके अपडेट किया जाता है।

सैद्धांतिक आधार

स्केलेबिलिटी: मैक्सिमल अपडेट पैरामीट्राइजेशन ( $\mu$ P) फ्रेमवर्क का उपयोग करते हुए, लेखक सिद्ध करते हैं कि नोरा के लिए स्थिर फीचर लर्निंग प्राप्त करने हेतु, लर्निंग रेट को $n \to \infty$ के साथ $\eta_t \propto 1/\sqrt{n}$ के रूप में स्केल होना चाहिए।
अभिसरण (Convergence): पेपर नॉन-कॉन्वेक्स ऑप्टिमाइजेशन लैंडस्केप के लिए कठोर अभिसरण गारंटी प्रदान करता है। यह स्थापित करता है कि नोरा मैचड $(\infty, 2)$ -स्मूथनेस धारणाओं के तहत $O(m L \sigma^2 \Delta \epsilon^{-4})$ की जटिलता के साथ एक $\epsilon$ -स्टेशनरी पॉइंट तक पहुँचता है।
कार्यान्वयन: इसके मुख्य लॉजिक के लिए केवल दो लाइनों के मैट्रिक्स-आधारित कोड की आवश्यकता होती है, जिससे यह मौजूदा फ्रेमवर्क्स के साथ एक प्लग-एंड-प्ले मॉड्यूल के रूप में संगत हो जाता है।

मुख्य योगदान

नवीन ऑप्टिमाइज़र डिज़ाइन: नोरा का परिचय, जो कुशल प्रीकंडीशनिंग अनुमान, स्केल-इनवेरिएंस के माध्यम से स्थिरता और उच्च कम्प्यूटेशनल गति को एकीकृत करता है।
सैद्धांतिक कठोरता: यह प्रमाण कि नोरा एक स्केलेबल ऑप्टिमाइज़र है जिसके लिए व्युत्पन्न स्केलिंग लॉ ( $\eta \propto 1/\sqrt{n}$ ) और नॉन-कॉन्वेक्स अभिसरण गारंटी है।
अनुभवजन्य सत्यापन (Empirical Validation): LLaMA-शैली के मॉडल्स (60M और 135M पैरामीटर्स) को प्रशिक्षित करने वाले व्यापक प्रयोगों से पता चलता है कि नोरा कन्वर्जेंस स्पीड और वॉल-क्लॉक निष्पादन समय दोनों में Muon, Mano और RMNP से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न लर्निंग रेट्स और मॉडल स्केल्स पर ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग कार्यों पर नोरा का मूल्यांकन किया:

प्रदर्शन: 135M मॉडल पर, नोरा ने सभी तुलना किए गए ऑप्टिमाइजर्स (Muon: 3.142/23.17; Mano: 3.097/22.13; RMNP: 3.112/22.46) में सबसे कम वैलिडेशन लॉस (3.079) और पर्प्लेक्सिटी (21.74) प्राप्त की।
ट्रेनिंग डायनेमिक्स: जबकि RMNP ने शुरुआती चरण में मजबूत प्रदर्शन दिखाया, वह एक स्तर पर आकर रुक गया (plateaued)। नोरा ने उच्च प्रारंभिक लॉस के साथ शुरुआत की लेकिन ट्रेनिंग के अंत में सुधार करना जारी रखा, जिससे वह अन्य विधियों को पछाड़कर सर्वश्रेष्ठ अंतिम मेट्रिक्स तक पहुँच गया।
दक्षता: प्रतिनिधि मैट्रिक्स शेप्स (जैसे 1B-स्केल MLP मैट्रिसेस) पर रनटाइम बेंचमार्क ने दिखाया कि नोरा का रो नॉर्मलाइजेशन Muon द्वारा उपयोग किए जाने वाले 5-स्टेप न्यूटन-शुलज़ ऑर्थोगोनलाइजेशन की तुलना में लगभग 70 गुना तेज़ है।
एब्लेशन (Ablation): Mano (एक समान रो/कॉलम प्रोजेक्शन विधि) के साथ तुलना ने पुष्टि की कि नोरा की श्रेष्ठता उसके विशिष्ट रो-ब्लॉक डायगोनल डोमिनेंस और इसकी सुव्यवस्थित आर्किटेक्चर पर निर्भरता से आती है, न कि हाइपरपैरामीटर ट्यूनिंग या वेट डिके सेटिंग्स से।

महत्व और दावे

पेपर का दावा है कि नोरा यह प्रदर्शित करता है कि एक सरल रो-वाइज़ ज्यामितीय सिद्धांत के माध्यम से दक्षता, स्थिरता और गति को एकीकृत किया जा सकता है। अपने वेट नॉर्म्स और कोणीय वेगों को कड़ाई से स्थिर करके और स्ट्रक्चर्ड प्रीकंडीशनिंग का अनुमान लगाकर, नोरा एक "व्यावहारिक और सिद्धांत आधारित दिशा" प्रदान करता है। लेखक इस बात पर जोर देते हैं कि नोरा पूर्ण मैट्रिक्स ऑर्थोगोनलाइजेशन की अत्यधिक कम्प्यूटेशनल लागत के बिना स्टेट-ऑफ-द-आर्ट डेटा दक्षता प्राप्त करता है, जो इसे बड़े पैमाने पर LLM प्रशिक्षण के लिए एक अत्यधिक आशाजनक उम्मीदवार बनाता है।