🤖 machine learning

Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization

यह शोध पत्र पहचानता है कि Dion ऑप्टिमाइज़र का धीमा अभिसरण (convergence) कॉलम नॉर्मलाइजेशन के कारण उत्पन्न ज्यामितीय बेमेल (geometric mismatch) से उपजा है, और Orth-Dion का प्रस्ताव करता है, जो इस बेमेल को समाप्त करने और संचार लागत बढ़ाए बिना फुल-रैंक स्पेक्ट्रल विधियों के समान अभिसरण दर प्राप्त करने के लिए QR ऑर्थोगोनलाइजेशन का उपयोग करने वाली एक विधि है।

मूल लेखक: Tatsuhiro Nakamori, Laura Gomezjurado Gonzalez, Ganesh Talluri, Ansh Tiwari, Hideyuki Kawashima, Ioannis Mitliagkas, Guillaume Rabusseau, Hiroki Naganuma

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tatsuhiro Nakamori, Laura Gomezjurado Gonzalez, Ganesh Talluri, Ansh Tiwari, Hideyuki Kawashima, Ioannis Mitliagkas, Guillaume Rabusseau, Hiroki Naganuma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।

मुख्य चित्र: एक "लापरवाह" डिलीवरी सिस्टम को ठीक करना

कल्पना कीजिए कि आप एक विशाल रोबोट (एक लार्ज लैंग्वेज मॉडल) को बोलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको उसे हर सेकंड लाखों छोटे निर्देश (अपडेट्स) भेजने होंगे। क्योंकि रोबट बहुत बड़ा है, आप सभी निर्देश एक साथ नहीं भेज सकते; आपको उन्हें छोटे, प्रबंधनीय टुकड़ों में तोड़ना होगा और उन्हें अलग-अलग श्रमिकों (कंप्यूटरों) को भेजना होगा जो मिलकर काम करते हैं।

यह पेपर इन निर्देशों को पैक करने का एक नया तरीका पेश करता है जिसे Orth-Dion कहा जाता है। यह Dion नामक एक पिछले तरीके में मौजूद एक विशिष्ट "लापरवाहपन" को ठीक करता है, जिससे रोबोट बिना अधिक बैंडविड्थ या पैसे खर्च किए तेज़ी से सीख पाता है।

समस्या: "कॉलम नॉर्मलाइजेशन" का ग्लिच

इस सुधार को समझने के लिए, हमें पहले पुराने तरीके (Dion) को समझना होगा और यह देखना होगा कि वह कहाँ गलत हुआ।

उपमा: आर्किटेक्ट्स की टीम
कल्पना कीजिए कि आर्किटेक्ट्स की एक टीम एक गगनचुंबी इमारत को फिर से डिजाइन करने की कोशिश कर रही है। उनके पास एक विशाल ब्लूप्रिंट (ग्रेडिएंट) है जो ठीक से बताता है कि कहाँ बदलाव करने हैं। हालाँकि, ब्लूप्रिंट बहुत बड़ा है जिसे निर्माण स्थल पर भेजा जा सके, इसलिए वे केवल एक सरलीकृत, लो-रिज़ॉल्यूशन स्केच (एक "लो-रैंक" सन्निकटन) भेजते हैं जो सबसे महत्वपूर्ण हिस्सों को कैप्चर करता है।

लक्ष्य: वे चाहते हैं कि स्केच परिवर्तन की दिशा के साथ पूरी तरह मेल खाए।
पुराना तरीका (Dion): स्केच को फिट करने के लिए, आर्किटेक्ट्स ने "कॉलम नॉर्मलाइजेशन" नामक एक नियम का उपयोग किया। इसे इस तरह समझें जैसे आप कागज़ों का एक ढेर लेते हैं और हर एक कॉलम के टेक्स्ट को बिल्कुल एक ही ऊंचाई का बनाने के लिए मजबूर करते हैं।
- दोष: हालांकि इसने कॉलम को व्यवस्थित बना दिया, लेकिन इसने ड्राइंग के आकार को विकृत (distort) कर दिया। यह एक फोटो को फ्रेम में फिट करने के लिए वर्टिकल रूप से खींचने जैसा था। तस्वीर अभी भी इमारत जैसी दिख रही थी, लेकिन कोण (angles) थोड़े गलत थे।
- परिणाम: निर्माण दल (ऑप्टिमाइज़र) लगातार सही दिशा में निर्माण करने की कोशिश कर रहा था, लेकिन क्योंकि कोण थोड़े गलत थे, उन्हें खुद को सुधारने के लिए अतिरिक्त कदम उठाने पड़े। इसने पूरी प्रक्रिया को धीमा कर दिया। पेपर इसे "ज्यामितीय बेमेल" (geometric mismatch) कहता है।

समाधान: Orth-Dion (एक "परफेक्ट फिट" सुधार)

लेखकों ने महसूस किया कि विकृति इसलिए नहीं थी क्योंकि वे बहुत कम जानकारी भेज रहे थे; बल्कि इसलिए थी क्योंकि वे उस जानकारी को गलत तरीके से लपेट (wrap) रहे थे।

सुधार: QR ऑर्थोगोनलाइजेशन (QR Orthogonalization)
केवल कॉलम को एक ही ऊंचाई का बनाने के (कॉलम नॉर्मलाइजेशन) के बजाय, नया तरीका (Orth-Dion) QR ऑर्थोगोनलाइजेशन नामक एक तकनीक का उपयोग करता है।

उपमा: कल्पना कीजिए कि केवल कागज को आकार में काटने के बजाय, आर्किटेक्ट्स एक विशेष फोल्डिंग तकनीक का उपयोग करते हैं जो यह सुनिश्चित करती है कि कागज बिना इमेज को खींचे या पिचकाए फ्रेम में पूरी तरह फिट हो जाए। हर कोण मूल ब्लूप्रिंट के प्रति सच्चा रहता है।
परिणाम: निर्माण दल को अब ऐसे निर्देश मिलते हैं जो इच्छित दिशा के साथ पूरी तरह संरेखित (aligned) होते हैं। उन्हें विकृति को ठीक करने के लिए ऊर्जा बर्बाद नहीं करनी पड़ती। वे फिनिश लाइन तक तेज़ी से पहुँचते हैं।

यह क्यों मायने रखता है: "स्क्वायर रूट" पेनल्टी

पेपर यह साबित करने के लिए कुछ गणित का उपयोग करता है कि पुराना तरीका वास्तव में कितना धीमा था।

पुरानी पेनल्टी: पुराने तरीके में उसकी गति पर एक छिपा हुआ "टैक्स" था। कार्य जितना जटिल होता (उच्च "रैंक" या विवरण स्तर), वह उतना ही धीमा होता जाता। विशेष रूप रूप से, यदि आप विवरण को $r$ $r$ के कारक से बढ़ाते हैं, तो गति की पेनल्टी $r$ $r$ के वर्गमूल ( $\sqrt{r}$ $r$ ) के साथ बढ़ती है।
- उदाहरण: यदि आप 4 गुना अधिक विवरण चाहते थे, तो पुराना तरीका उम्मीद से 2 गुना धीमा हो गया था।
नई वास्तविकता: नया तरीका (Orth-Dion) इस टैक्स को पूरी तरह से हटा देता है। यह विवरण जोड़ने के बावजूद गति को सुसंगत रखता है। यह "परफेक्ट" (लेकिन बहुत महंगे) फुल-रैंक तरीकों की समान सैद्धांतिक गति प्राप्त करता है, लेकिन सरलीकृत तरीके की कम लागत पर।

"एडैप्टिव" बोनस: Ada-Orth-Dion

लेखकों ने एक स्मार्ट फीचर भी जोड़ा है जिसे Ada-Orth-Dion कहा जाता है।

उपमा: कल्पना कीजिए कि निर्माण दल को एहसास होता है कि इमारत के कुछ हिस्से सरल हैं (जैसे एक गलियारा) और उन्हें विस्तृत ब्लूप्रिंट की आवश्यकता नहीं है, जबकि अन्य हिस्से (जैसे लॉबी) को उच्च विवरण की आवश्यकता है।
यह कैसे काम करता है: हर हिस्से के लिए समान मात्रा में विवरण का उपयोग करने के बजाय, सिस्टम स्वचालित रूप से सरल क्षेत्रों के लिए ब्लूप्रिंट का आकार छोटा कर देता है और जटिल क्षेत्रों के लिए इसे बड़ा रखता है।
लाभ: यह और भी अधिक समय और कंप्यूटिंग पावर बचाता है। एक विशाल मॉडल (17.1 बिलियन पैरामीटर्स) पर, यह एडैप्टिव वर्जन पुराने तरीके जितना ही तेज़ चला लेकिन बहुत बेहतर परिणाम (कम त्रुटि) दिया।

परिणामों का सारांश

इस पेपर का परीक्षण वास्तविक दुनिया के AI मॉडल्स (Llama 3 और GPT-2) पर किया गया:

तेज़ सीखना: समान स्तर के विवरण पर, नया तरीका पुराने तरीके की तुलना में लगभग 12–18% तेज़ी से लक्ष्य प्रदर्शन तक पहुँच गया।
कोई अतिरिक्त लागत नहीं: इसके लिए कंप्यूटरों के बीच अधिक संचार (communication) की आवश्यकता नहीं थी। इसने बस कंप्यूटर के अंदर के गणित को ठीक किया।
प्रूफ ऑफ कॉन्सेप्ट: उन्होंने प्रशिक्षण के दौरान "विकृति" (जिसे $\nu_t$ कहा जाता है) को मापा। पुराने तरीके में उच्च विकृति देखी गई जो जटिलता के साथ बढ़ती गई। नए तरीके ने शून्य विकृति दिखाई, जैसा कि गणित ने भविष्यवाणी की थी।

संक्षेप में

पेपर ने पाया कि बड़े AI मॉडल्स को प्रशिक्षित करने के लिए एक लोकप्रिय तरीका एक साधारण गणितीय शॉर्टकट के कारण थोड़ा "गलत संरेखण" (out of alignment) में था। उस शॉर्टकट को एक अधिक सटीक ज्यामितीय उपकरण (QR orthogonalization) से बदलकर, उन्होंने संरेखण को ठीक कर दिया। यह AI को तेज़ी से और अधिक कुशलता से सीखने की अनुमति देता है, जिससे "सस्ता, तेज़" प्रशिक्षण और "महंगा, परफेक्ट" प्रशिक्षण के बीच का अंतर कम हो जाता है।

तकनीकी सारांश: Orth-Dion

समस्या विवरण

फुली शेर्ड डेटा पैरेललिज्म (FSDP) का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) के डिस्ट्रिब्यूटेड ट्रेनिंग में, कम्युनिकेशन कॉस्ट एक प्राथमिक बाधा है। स्पेक्ट्रल ऑप्टिमाइज़र्स जैसे कि Muon, मोमेंटम को ऑर्थोगोनलाइज़ (orthogonalize) करके और स्पेक्ट्रली नॉर्मलाइज़्ड दिशा में स्टेप लेकर बेहतर कन्वर्जेंस प्रदान करते हैं, लेकिन उन्हें फुल-रैंक मैट्रिक्स ऑपरेशंस ($O(mn)$ कम्युनिकेशन) की आवश्यकता होती है, जो FSDP शेर्डिंग के साथ असंगत है।

Dion (Ahn et al., 2025b) ने एक सिंगल पावर इटरेशन स्टेप के माध्यम से कंप्यूट किए गए लो-रैंक फैक्टर्स ( $r \ll \min(m,n)$ ) का उपयोग करके Muon को एप्रोक्सिमेट करके इस समस्या को हल किया। जबकि Dion कम्युनिकेशन को $O((m+n)r)$ तक कम करता है, यह फुल-रैंक स्पेक्ट्रल मेथड्स की तुलना में काफी धीमा कन्वर्जेंस दिखाता है। प्रचलित धारणा यह थी कि यह अंतर केवल चुने गए रैंक- $r$ सबस्पेस के बाहर ग्रेडिएंट जानकारी के नुकसान के कारण है।

यह पेपर पहचानता है कि कन्वर्जेंस गैप केवल लो-रैंक एप्रोक्सिमेशन की सांख्यिकीय सीमा नहीं है, बल्कि एक जियोमेट्रिक मिसमैच (geometric mismatch) है। विशेष रूप से, Dion का अंतिम नॉर्मलाइजेशन स्टेप (कॉलम नॉर्मलाइजेशन) सही रैंक- $r$ पोलर फैक्टर उत्पन्न करने में विफल रहता है जो स्पेक्ट्रल ज्योमेट्री के लिए आवश्यक है। इसके परिणामस्वरूप एक अपडेट दिशा प्राप्त होती है जो Ky Fan $r$ -norm के ड्यूल-नॉर्म कंस्ट्रेंट का उल्लंघन करती है, जिससे रैंक-डिपेंडेंट पेनल्टी फैक्टर के रूप में कन्वर्जेंस रेट में $\sqrt{r}$ तक की वृद्धि होती है, भले ही लो-रैंक सबस्पेस स्वयं सटीक रूप से पहचाना गया हो।

कार्यप्रणाली (Methodology)

ज्यामितीय अंतर्दृष्टि (The Geometric Insight)

लेखक अपडेट दिशा $\hat{D}_t$ को Ky Fan ड्यूल नॉर्म फैक्टर $\nu_t = \|\hat{D}_t\|_{(r)}$ के संदर्भ में औपचारिक रूप देते हैं।

आदर्श स्थिति (Ideal Case): एक रैंक- $r$ स्पेक्ट्रल अपडेट के लिए, इष्टतम दिशा रैंक- $r$ पोलर फैक्टर है, जहाँ $\nu_t = 1$ है।
Dion की त्रुटि: Dion पावर इटरेशन के माध्यम से राइट फैक्टर $W_t$ को कंप्यूट करता है और फिर कॉलम नॉर्मलाइजेशन (प्रत्येक कॉलम को यूनिट लेंथ तक स्केल करना) लागू करता है। हालांकि यह कॉलम स्पैन को सुरक्षित रखता है, लेकिन यह कॉलम के बीच ऑर्थोगोनैलिटी (orthogonality) की गारंटी नहीं देता है। फलस्वरूप, परिणामी मैट्रिक्स का ऑपरेटर नॉर्म $\sqrt{r}$ तक पहुँच सकता है, जिससे $\nu_t \in [1, \sqrt{r}]$ हो जाता है।
परिणाम: नॉन-यूक्लिडियन स्मूथनेस के लिए कन्वर्जेंस रेट बाउंड में $L_r \nu_t^2$ के समानुपाती एक टर्म शामिल होता है। कॉलम नॉर्मलाइजेशन के साथ, यह दर को $O(\sqrt{L_r r / T})$ तक बढ़ा देता है, जबकि इष्टतम दर $O(\sqrt{L_r / T})$ है।

Orth-Dion

प्रस्तावित विधि, Orth-Dion, राइट फैक्टर के QR ऑर्थोगोनलाइजेशन के साथ कॉलम नॉर्मलाइजेशन स्टेप को बदल देती है।

एल्गोरिदम: यह Dion के पावर इटरेशन, रेसिडुअल बफर और लो-रैंक कम्युनिकेशन पैटर्न को बनाए रखता है। एकमात्र संशोधन अपडेट स्टेप में है: ColNorm(Wt) के बजाय, यह orth(Wt) (QR डिकंपोजिशन) को कंप्यूट करता है।
ज्यामितीय गारंटी: राइट फैक्टर पर ऑर्थोनॉर्मल कॉलम्स को लागू करके, Orth-Dion यह सुनिश्चित करता है कि अपडेट दिशा एक 'पार्शियल आइसोमेट्री' (partial isometry) है, जो निर्माण द्वारा $\nu_t = 1$ की गारंटी देती है। यह अपडेट को ठीक उसी रैंक- $r$ पोलर दिशा के साथ संरेखित करता है जिसे स्पेक्ट्रल मेथड्स लक्षित करते हैं।

Ada-Orth-Dion

QR स्टेप के कम्प्यूटेशनल ओवरहेड (जो प्रति स्टेप $O(nr^2)$ जोड़ता है) को संबोधित करने के लिए, लेखक Ada-Orth-Dion पेश करते हैं। यह वेरिएंट ज्योमेट्रिक फिक्स को एक प्रति-लेयर एडेप्टिव रैंक (adaptive rank) मैकेनिज्म के साथ जोड़ता है।

मैकेनिज्म: यह पावर इटरेशन फैक्टर्स से प्राप्त एक हल्के एंट्रॉपी-आधारित एस्टिमेटर का उपयोग करके प्रत्येक लेयर के ग्रेडिएंट स्पेक्ट्रम की "इंट्रिन्सिक डाइमेंशनैलिटी" (intrinsic dimensionality) का अनुमान लगाता है।
लक्ष्य: वर्किंग रैंक $r$ को लेयर के सिग्नल-टू-नॉइज़ ट्रांजिशन पॉइंट से मेल खाने के लिए डायनेमिक रूप से एडजस्ट किया जाता है, जिससे QR स्टेप की कम्प्यूटेशनल लागत कम होती है और ज्यामितीय लाभ बना रहता है।

सैद्धांतिक योगदान (Theoretical Contributions)

यह पेपर नॉन-यूक्लिडियन स्मूथनेस धारणाओं के तहत Orth-Dion के लिए एक कन्वर्जेंस प्रूफ प्रदान करता है। प्रमुख सैद्धांतिक नवाचारों में शामिल हैं:

सेल्फ-कंसिस्टेंट ड्रिफ्ट एलिमिनेशन (Self-Consistent Drift Elimination): यह प्रमाण पूर्ववर्ती एरर-फीडबैक विश्लेषणों में सामान्य "बाउंडेड बफर ड्रिफ्ट" धारणा को हटा देता है। इसके बजाय, यह ट्रैकिंग एरर और रेसिडुअल रेशियो के युग्मित सिस्टम पर एक सेल्फ-कंसिस्टेंट फिक्स्ड-पॉइंट तर्क का उपयोग करता है।
एमोर्टाइज्ड कॉन्ट्रैक्शन (Amortized Contraction): हर स्टेप पर कॉन्ट्रैक्शन की आवश्यकता होने के बजाय (जो वार्मअप के दौरान विफल हो सकता है), यह प्रमाण एक टाइम-एवरेज्ड कॉन्ट्रैक्शन कंडीशन स्थापित करता है, जो विंडोज़ के ऊपर ज्यामितीय कन्वर्जेंस सुनिश्चित करते हुए क्षणिक विस्तार (transient expansion) की अनुमति देता है।
एरर फीडबैक विश्लेषण: यह पेपर आउट-ऑफ-सबस्पेस ग्रेडिएंट्स के क्रॉस-स्टेप कोरिलेशन के आधार पर तीन एरर फीडबैक डायनेमिक्स के रेजीम (regimes) को स्पष्ट करता है, जो दिखाता है कि एरर फीडबैक कोएफिशिएंट $\beta$ को 1 से नीचे कम करना स्टोकेस्टिक सेटिंग्स में इंप्लिसिट हेवी-बॉल मोमेंटम के रूप में कार्य कर सकता है।

मुख्य परिणाम

अनुभवजन्य सत्यापन (Empirical Validation)

प्रयोग Llama 3 मॉडल्स (320M और 17.1B पैरामीटर्स) और GPT-2 45M पर किए गए।

जियोमेट्रिक करेक्शन: Llama 3 320M प्रीट्रेनिंग के दौरान $\nu_t$ के प्रत्यक्ष मापन ने सिद्धांत की पुष्टि की। Dion का $\nu_t$ रैंक के साथ मोनोटोनिक रूप से बढ़ता गया ( $r=384$ पर $\approx 2.9$ तक पहुँचा), जबकि Orth-Dion ने सभी रैंकों और लेयर्स में $\nu_t \approx 1.0$ बनाए रखा।
कन्वर्जेंस में सुधार: मैच किए गए रैंक पर, Orth-Dion ने लगातार Dion को पीछे छोड़ दिया।
- Llama 3 320M पर, Orth-Dion ने Dion के सर्वश्रेष्ठ वैलिडेशन लॉस को 12–13% कम स्टेप्स (लगभग 10% वॉल-क्लॉक कमी) में प्राप्त किया।
- यह सुधार सभी परीक्षण किए गए रैंकों ( $r \in \{96, 192, 384\}$ ) में देखा गया, जो पुष्टि करता है कि यह लाभ ज्यामितीय है, न कि बढ़ी हुई रैंक क्षमता के कारण।
वॉल-क्लॉक एफिशिएंसी: 17.1B मॉडल पर, फिक्स्ड-रैंक Orth-Dion QR ओवरहेड के कारण Dion की तुलना में थोड़ा धीमा था। हालांकि, Ada-Orth-Dion ने औसत वर्किंग रैंक को फिक्स्ड रैंक के $\approx 93\%$ तक कम करके Dion के प्रति-स्टेप समय को सफलतापूर्वक रिकवर कर लिया, जबकि अभी भी कम वैलिडेशन लॉस प्राप्त किया।
एरर फीडबैक ट्यूनिंग: GPT-2 45M पर एक स्वीप ने दिखाया कि एरर फीडबैक कोएफिशिएंट $\beta$ को 1.0 से घटाकर $\approx 0.1$ करने से बिना अतिरिक्त कंप्यूट के वैलिडेशन लॉस में 0.315 नैट्स (nats) का सुधार हुआ, जो स्टोकेस्टिक रेजीम्स में इंप्लिसिट मोमेंटम संचय के सैद्धांतिक पूर्वानुमान को प्रमाणित करता है।

महत्व

यह पेपर दावा करता है कि Orth-Dion लो-रैंक स्पेक्ट्रल ऑप्टिमाइज़ेशन में एक मौलिक ज्यामितीय अक्षमता को हल करता है। कॉलम नॉर्मलाइजेशन को QR ऑर्थोगोनलाइजेशन से बदलकर, यह समान कम्युनिकेशन कॉस्ट पर Dion के समान फुल-रैंक स्पेक्ट्रल मेथड्स (Muon) की सटीक कन्वर्जेंस दर को पुनः प्राप्त करता है। इस ज्यामितीय फिक्स को एडेप्टिव रैंक (Ada-Orth-Dion) के साथ जोड़ने से एक डिस्ट्रिब्यूटेड स्पेक्ट्रल ऑप्टिमाइज़र मिलता है जो मौजूदा लो-रैंक मेथड्स की तुलना में बेहतर कन्वर्जेंस-कम्युनिकेशन ट्रेड-ऑफ प्रदान करता है, और फुल-रैंक स्पेक्ट्रल ऑप्टिमाइज़र्स के कम्युनिकेशन ओवरहेड के बिना उनके करीब पहुँच जाता है।