🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

यह शोध पत्र यह प्रदर्शित करता है कि GaLore जैसे मेमोरी-कुशल ऑप्टिमाइज़र द्वारा ट्रैक करने योग्य माना जाने वाला लो-रैंक ग्रेडिएंट सबस्पेस (low-rank gradient subspace) उच्च एस्टिमेटर शोर (estimator noise) के कारण मौलिक रूप से गैर-पहचान योग्य (non-identifiable) है, जो यह प्रकट करता है कि प्रदर्शन में लाभ वास्तव में सबस्पेस की स्थिरता के बजाय सबस्पेस रिफ्रेश के दौरान ऑप्टिमाइज़र स्टेट को सही ढंग से ट्रांसपोर्ट करने से उत्पन्न होता है।

मूल लेखक: Noel Thomas

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Noel Thomas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "No Subspace to Track" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।

मुख्य विचार: एक साये का पीछा करना

कल्पना कीजिए कि आप एक विशाल रोबोट (एक लार्ज लैंग्वेज मॉडल) को बोलना सिखाने की कोशिश कर रहे हैं। इसे कुशलता से करने के लिए, रोबोट एक विशेष तकनीक का उपयोग करता है जिसे GaLore कहा जाता है।

यह तकनीक इस तरह काम करती है: हर कुछ मिनटों में, रोबोट अपनी हालिया "गलतियों" (gradients) को देखता है और उन शीर्ष 128 दिशाओं (directions) को खोजने की कोशिश करता है जहाँ ये गलतियाँ हो रही हैं। इसके बाद वह बाकी सब कुछ अनदेखा कर देता है और केवल उन्हीं 128 दिशाओं में सीखता है। धारणा यह है कि ये 128 दिशाएँ एक धीमी गति से बहने वाली नदी की तरह हैं; वे थोड़ा बहुत भटकती हैं, लेकिन वे काफी हद तक एक जैसी रहती हैं, जिससे रोबोट उन्हें "ट्रैक" कर सकता है।

पेपर की मुख्य खोज चौंकाने वाली है: नदी धीरे-धीरे नहीं बह रही है। यह नदी भी नहीं है। यह एक झरना है जो हर बार देखने पर अपना आकार पूरी तरह बदल लेता है।

लेखक यह सिद्ध करते हैं कि लगभग 39 दिशाओं के एक छोटे से कोर (core) के परे, वे "शीर्ष 128 दिशाएँ" जिन्हें रोबोट चुनता है, वे मूल रूप से रैंडम शोर (random noise) हैं। यदि रोबोट अभी दिशाओं का एक सेट चुनता है, और 10 सेकंड बाद दूसरा सेट चुनता है, तो वे दोनों सेट लगभग पूरी तरह से अलग होंगे (जैसे दो लोग टोपी में से 128 रैंडम नंबर चुनें और उन्हें आपस में कोई मेल न मिले)।

फिर GaLore कैसे काम करता है?

आप पूछ सकते हैं, "यदि दिशाएँ लगातार रैंडम तरीके से बदल रही हैं, तो रोबोट फिर भी कैसे सीख रहा है?"

पेपर बताता है कि GaLore इसलिए काम नहीं करता क्योंकि वह किसी विशिष्ट पथ (path) को ट्रैक कर रहा है, बल्कि इसलिए करता है क्योंकि वह ऊर्जा (energy) को पकड़ रहा है।

उदाहरण: कल्पना कीजिए कि आप एक बाल्टी में बारिश पकड़ने की कोशिश कर रहे हैं। आपको यह जानने की ज़रूरत नहीं है कि हर एक बूंद कहाँ गिरेगी। आपको बस बाल्टी को उस सामान्य क्षेत्र में रखना है जहाँ बारिश गिर रही है।
भले ही "शीर्ष 128 दिशाएँ" हर बार पूरी तरह बदल जाती हैं, फिर भी वे गलतियों की कुल "ऊर्जा" (उपयोगी जानकारी) का लगभग 67-73% हिस्सा पकड़ लेती हैं। इसलिए, रोबोट सीखता रहता है, भले ही वह लगातार अपना नक्शा बदल रहा हो।

औसत (Averaging) से मदद क्यों नहीं मिलती?

"बदलते हुए नक्शे" की समस्या को ठीक करने के लिए एक स्वाभाविक विचार यह है: "चलिए पिछले 10,000 नक्शों को देखते हैं और उनका औसत निकाल लेते हैं ताकि एक स्थिर नक्शा मिल सके।"

लेखकों ने इसका परीक्षण किया और पाया कि यह काम नहीं करता।

उदाहरण: कल्पना कीजिए कि बारिश केवल रैंडम शोर नहीं है; यह हवा और बादलों का एक विशिष्ट पैटर्न (एक सिग्नल) है। यदि आप समय के साथ बारिश का औसत निकालने की कोशिश करते हैं, तो आपको यह स्पष्ट चित्र नहीं मिलता कि बारिश कहाँ हो रही है; आपको केवल एक धुंधला सा मिश्रण मिलता है।
रोबोट की गलतियों में मौजूद "शोर" केवल रैंडम स्टेटिक नहीं है; यह एक जटिल सिग्नल है जो औसत निकालने पर बहुत धीरे-धीरे सिकुड़ता है। आप चाहे कितना भी औसत निकाल लें, आप कभी भी एक स्थिर "शीर्ष 128" सूची नहीं बना पाएंगे क्योंकि वह सूची वास्तव में एक स्थिर रूप में मौजूद ही नहीं है।

असली समस्या: रोबोट की याददाश्त (Memory)

असली मुद्दा नक्शा नहीं है, बल्कि रोबोट की याददाश्त है।
रोबोट एक ऑप्टिमाइज़र का उपयोग करता है जिसे Adam कहा जाता है, जिसकी लंबी अवधि की याददाश्त होती है (यह पिछले 1,000 स्टेप्स की गलतियों को याद रखता है)।

समस्या: हर बार जब रोबोट अपना नक्शा रिफ्रेश करता है (हर 160 स्टेप्स में), तो नक्शा 90 डिग्री घूम जाता है। लेकिन रोबोट की याददाश्त अभी भी पुराने नक्शे की ओर इशारा कर रही होती है। यह ऐसी कार चलाने जैसा है जहाँ स्टीयरिंग व्हील अचानक 90 डिग्री घूम जाता है, लेकिन आपके हाथ अभी भी पुराने स्थान पर पहिए को पकड़े हुए हैं। रोबोट उस नक्शे के आधार पर गाड़ी चलाने की कोशिश कर रहा है जो अब अस्तित्व में ही नहीं है।

पेपर में मिले समाधान

लेखकों ने इस "स्टीयरिंग व्हील" की समस्या को ठीक करने के दो तरीकों का परीक्षण किया:

याददाश्त को घुमाना (Transport): याददाश्त को पुराने स्थान पर छोड़ने के बजाय, रोबोट को अपने नए नक्शे से मेल खाने के लिए अपनी याददाश्त को भौतिक रूप से घुमाना चाहिए।
- परिणाम: यह बहुत अच्छी तरह काम करता है। यह यह समझने जैसा है कि स्टीयरिंग व्हील घूम गया है और तुरंत अपने हाथों को उससे मिलाने के लिए मोड़ लेना।
याददाश्त को छोटा करना: रोबोट की याददाश्त बहुत लंबी है (1,000 स्टेप्स तक याद रखना)। चूंकि नक्शा हर 160 स्टेप्स में बदल जाता है, इसलिए 1,000 स्टेप्स तक याद रखना बेकार है क्योंकि वे पुराने स्टेप्स एक पूरी तरह से अलग दुनिया के हैं।
- परिणाम: रोबोट को केवल पिछले 100 स्टेप्स को याद रखने के लिए कहकर, वह पुराने नक्शों के आधार पर दिशा बदलने की कोशिश करना बंद कर देता है। यह भी अच्छी तरह काम करता है।

बिल्डर्स के लिए मुख्य सीख (Takeaway)

यदि आप इन लो-रैंक ट्रिक्स का उपयोग करने वाला सिस्टम बना रहे हैं, तो यहाँ पेपर से दी गई सलाह है:

सबस्पेस (Subspace) को ट्रैक करने की कोशिश न करें। यह एक साया है। यह ट्रैक करने के लिए बहुत तेज़ी से बदलता है।
अपने "Reproducible Rank" ( $k^*$ ) की जाँच करें। 128 के रैंक पर भरोसा करने से पहले, यह देखें कि वास्तव में कितनी दिशाएँ वास्तविक हैं। पेपर में पाया गया कि केवल लगभग 39 ही वास्तविक हैं; बाकी शोर है।
यदि आप वास्तविक संख्या से अधिक रैंक का उपयोग करते हैं:
- अपनी याददाश्त को घुमाएँ (Rotate your memory): सुनिश्चित करें कि आपका ऑप्टिमाइज़र की मेमोरी नए नक्शे के साथ चलती है।
- अपनी याददाश्त को छोटा करें (Shorten your memory): रोबोट को बहुत पीछे तक याद रखने न दें।
- औसत निकालना बंद करें (Stop averaging): नक्शों को स्थिर बनाने के लिए उन्हें औसत निकालने में समय बर्बाद न करें; यह काम नहीं करेगा।

संक्षेप में: "लो-रैंक सबस्पेस" कोई स्थिर वस्तु नहीं है जिसका आप पीछा कर सकें। यह तेजी से बदलने वाला एक बादल है। इन सिस्टमों को सफल बनाने का तरीका बादल का बेहतर पीछा करना नहीं है; बल्कि यह है कि पीछा करना छोड़ दें और निरंतर बदलावों को संभालने के लिए अपनी याददाश्त को एडजस्ट करें।

तकनीकी सारांश: "ट्रैक करने के लिए कोई सबस्पेस नहीं: लो-रैंक ट्रेनिंग में नॉन-आइडेंटिफिएबिलिटी और ऑप्टिमाइज़र स्टेट"

समस्या विवरण (Problem Statement)

GaLore (Zhao et al., 2024) जैसे मेमोरी-एफिशिएंट ऑप्टिमाइज़र, ग्रेडिएंट्स को समय-समय पर पुनर्गणना किए गए लो-रैंक सबस्पेस (रैंक $r$ ) पर प्रोजेक्ट करके और उसी सबस्पेस के भीतर Adam चलाकर बड़े लैंग्वेज मॉडल्स के ट्रेनिंग फुटप्रिंट को कम करते हैं। इस दृष्टिकोण का अंतर्निहित ज्यामितीय आधार यह है कि टॉप- $r$ ग्रेडिएंट सबस्पेस एक सार्थक, धीरे-धीरे बदलने वाली वस्तु है जिसे रिफ्रेश अंतराल ( $T$ स्टेप्स) के दौरान ट्रैक किया जा सकता है। यदि यह आधार सत्य होता, तो सबस्पेस के क्रमिक अनुमान समान होते, और रिफ्रेश के दौरान ऑप्टिमाइज़र स्टेट (मोमेंट्स) को ले जाने के लिए केवल मामूली सुधारों की आवश्यकता होती।

यह शोध पत्र उस आधार को चुनौती देता है, और तर्क देता है कि एक छोटे पुनरुत्पादक कोर (reproducible core) के अलावा, टॉप- $r$ सबस्पेस एक स्थिर वस्तु नहीं है बल्कि सांख्यिकीय रूप से नॉन-आइडेंटिफिएबल (non-identifiable) है। फलस्वरूप, प्रत्येक रिफ्रेश पर सबस्पेस का स्पष्ट "घूर्णन" (rotation) वास्तविक गति के बजाय एस्टिमेटर नॉइज़ (estimator noise) द्वारा संचालित होता है।

कार्यप्रणाली (Methodology)

लेखक सबस्पेस स्थिरता और नॉन-आइडेंटिफिएबिलिटी के ऑप्टिमाइज़र प्रदर्शन पर प्रभाव को मापने के लिए एक कठोर मापन ढांचा नियोजित करते हैं:

सबस्पेस रोटेशन मापन: पेपर पुराने आधार ( $U_{old}$ ) और नए आधार ( $U_{new}$ ) के बीच घूर्णन को मापने के लिए एक साइन-करेक्टेड कॉर्डल डिस्टेंस मेट्रिक ( $\|\Delta U\|_F$ ) पेश करता है। यह मेट्रिक 0 (समान) से $\sqrt{2r}$ (ऑर्थोगोनल) तक होता है।
सेम-स्टेप कंट्रोल (द "नो टाइम" टेस्ट): वास्तविक टेम्पोरल ड्रिफ्ट और एस्टिमेटर नॉइज़ के बीच अंतर करने के लिए, लेखक एक ही ट्रेनिंग स्टेप के सिंगल मिनी-बैच को दो अलग-अलग हिस्सों में विभाजित करते हैं। वे प्रत्येक हिस्से के लिए टॉप- $r$ सबस्पेस की गणना करते हैं और उनके बीच के अंतर को मापते हैं। यदि सबस्पेस ग्रेडिएंट का एक स्थिर गुण होता, तो सेम-स्टेप अनुमान सहमत होते। यदि वे $T$ स्टेप्स दूर के अनुमानों की तरह ही असहमत होते हैं, तो रोटेशन नॉइज़ है।
स्पेक्ट्रल विश्लेषण: लेखक ग्रेडिएंट्स के सिंगुलर वैल्यू स्पेक्ट्रम का विश्लेषण करते हैं ताकि यह निर्धारित किया जा सके कि क्या रैंक $r$ पर कोई स्पेक्ट्रल गैप मौजूद है जो एक स्थिर सबस्पेस को न्यायसंगत ठहरा सके।
एवरेजिंग प्रयोग: पेपर परीक्षण करता है कि क्या $N$ स्टेप्स के ऊपर ग्रेडिएंट्स का औसत निकालना (या समय के साथ आधार का औसत निकालना) एक स्पेक्ट्रल गैप खोलकर आइडेंटिफिएबिलिटी को "बचा" सकता है।
रेमेडी इवैल्यूएशन (उपचार मूल्यांकन): लेखक सबस्पेस रीडड्रॉ के खर्चों को कम करने के लिए तीन रणनीतियों का परीक्षण करते हैं:
- बेसिस एवरेजिंग: कोवेरियेंस मैट्रिक्स के एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करके आधार को स्थिर करना।
- स्टेट ट्रांसपोर्ट: रोटेशन मैट्रिक्स $R = U_{new}^\top U_{old}$ के माध्यम से ऑप्टिमाइज़र मोमेंट्स (प्रथम और द्वितीय) को स्पष्ट रूप से ट्रांसपोर्ट करना (जैसा कि LDAdam में किया जाता है)।
- मेमोरी शॉर्टनिंग: दूसरे मोमेंट के मेमोरी को छोटा करने के लिए एडम डिके पैरामीटर $\beta_2$ को कम करना, जिससे पिछले सबस्पेस से पुराने सांख्यिकी (statistics) के एकीकरण को रोका जा सके।

प्रयोग चार मॉडल परिवारों (Pythia, GPT-2, Qwen2.5, Llama-3) में किए गए, जिनकी रेंज 70M से 6.9B पैरामीटर्स तक है, और एक विजन ट्रांसफॉर्मर (ViT-B) भी शामिल है।

मुख्य निष्कर्ष (Key Findings)

1. सबस्पेस नॉन-आइडेंटिफिएबल है

मैक्सिमल रोटेशन: प्रत्येक रिफ्रेश पर, मापा गया रोटेशन $\|\Delta U\|_F$ ज्यामितीय अधिकतम $\sqrt{2r}$ के 96.7–99.6% पर संतृप्त (saturate) हो जाता है। नया आधार पुराने आधार के लगभग ऑर्थोगोनल है।
नॉइज़ डोमिनेंस: सेम-स्टेप कंट्रोल प्रकट करता है कि एक ही बैच के दो अलग-अलग हिस्सों से प्राप्त अनुमान $0.725\sqrt{2r}$ के अंतर से असहमत हैं, जो कि $T$ स्टेप्स के अंतराल वाले रोटेशन के $0.742\sqrt{2r}$ के लगभग समान है। "घूर्णन" गति नहीं है; यह एस्टिमेटर नॉइज़ है।
पुनरुत्पादक कोर ( $k^\star$ ): केवल दिशाओं का एक छोटा हिस्सा ही पुनरुत्पादक है। $r=128$ के लिए, केवल $k^\star \approx 39$ दिशाएं मिनी-बैचेस के बीच सुसंगत हैं। शेष $r - k^\star$ दिशाएं प्रभावी रूप से गैपलेस स्पेक्ट्रल टेल से यादृच्छिक (random) ड्रॉ हैं।

2. स्पेक्ट्रल कारण और एवरेजिंग की विफलता

गैपलेस स्पेक्ट्रम: ग्रेडिएंट स्पेक्ट्रम में एक छोटा प्रमुख स्पाइक (कुछ से ~20 दिशाएं) है, जिसके बाद एक स्मूथ, लगभग आइसोट्रोपिक टेल है जिसमें रैंक $r$ पर कोई गैप नहीं है। $r=128$ पर आसन्न सिंगुलर-वैल्यू अनुपात $\approx 1.005$ है।
सिग्नल, नॉइज़ नहीं: डीप स्पेक्ट्रल टेल केवल सैंपलिंग नॉइज़ नहीं है; यह पावर-लॉ स्पेक्ट्रम के साथ सिग्नल है। $N$ -फोल्ड एवरेजिंग के तहत, यह टेल शुद्ध नॉइज़ की अपेक्षित $N^{-1/2}$ दर के बजाय केवल $N^{-1/4}$ के रूप में घटती है। इसलिए, कोई भी सीमित एवरेजिंग बजट गैप नहीं खोल सकता या सबस्पेस को स्थिर नहीं कर सकता।
एवरेजिंग विफल होती है: 10,000 स्टेप्स के ऊपर बेसिस का औसत निकालने से प्रति-रिफ्रेश रोटेशन केवल थोड़ा कम होता है (97% से 84% तक) और अंतिम पर्प्लेक्सिटी (perplexity) पर इसका कोई मापने योग्य प्रभाव नहीं पड़ता (केवल 0.36 का अंतर)।

3. GaLore क्यों काम करता है

स्थिर सबस्पेस के अभाव के बावजूद, GaLore इसलिए काम करता है क्योंकि प्रोजेक्शन का प्राथमिक कार्य एनर्जी कैप्चर करना है, न कि ट्रैकिंग करना। चूंकि ग्रेडिएंट टेल लगभग आइसोट्रोपिक है, इसलिए कोई भी रैंडम $r$ -डायमेंशनल फ्रेम, जिसमें प्रमुख स्पाइक शामिल है, ग्रेडिएंट एनर्जी का एक लगभग स्थिर अंश ( $\gamma_g \approx 0.67–0.73$ ) कैप्चर करता है। जब तक ऊर्जा अंश संरक्षित रहता है, तब तक दिशाओं का विशिष्ट चयन डिसेंट डायरेक्शन (descent direction) के लिए बहुत मायने नहीं रखता।

4. प्रभावी उपचार (Effective Remedies)

रीड्रॉ की लागत कैरी किए गए ऑप्टिमाइज़र स्टेट, विशेष रूप से दूसरे मोमेंट (वेरिएंस) का पुराना होना (staleness) है।

स्टेट ट्रांसपोर्ट: $R$ के माध्यम से प्रथम मोमेंट और $R$ के स्क्वेयर्ड एंट्रियों के माध्यम से दूसरे मोमेंट को ट्रांसपोर्ट करना इष्टतम है। ब्लाइंडली दूसरे मोमेंट को ले जाना $\approx (r - k^\star)/2$ के कारक से स्पष्ट रूप से उप-इष्टतम (suboptimal) है। नियंत्रित परीक्षणों में, डिफ़ॉल्ट $\beta_2=0.999$ पर स्टेट ट्रांसपोर्ट करने से 18.73 पर्प्लेक्सिटी प्राप्त हुई, जो अनट्रांसपोर्टेड GaLore (19.28) से बेहतर थी।
मेमोरी शॉर्टनिंग: दूसरे मोमेंट की मेमोरी को कम करने के लिए $\beta_2$ को 0.999 से घटाकर 0.99 करना, रिफ्रेशिंग ऑप्टिमाइज़र के लिए मददगार है ताकि यह पिछले, अब अमान्य सबस्पेस से पुराने सांख्यिकी को एकीकृत करने से बच सके। इसने ऑप्टिमाइज़र और रेसिपी के आधार पर पर्प्लेक्सिटी में 1.8 से 26 अंकों का सुधार किया।
बेसिस एवरेजिंग की अप्रभावीता: जैसा कि उल्लेख किया गया है, एवरेजिंग के माध्यम से बेसिस को स्थिर करना काम नहीं करता है क्योंकि सबस्पेस मौलिक रूप रूप से नॉन-आइडेंटिफिएबल है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह लो-रैंक ग्रेडिएंट ऑप्टिमाइज़र के अंतर्निहित ज्यामितीय आधार का पहला सीधा मापन प्रदान करता है, जो पाता है कि उपयोग किए जाने वाले रैंकों पर यह आधार गलत है।

तंत्र का स्पष्टीकरण: पेपर स्पष्ट करता है कि GaLore इसलिए काम नहीं करता क्योंकि वह एक स्थिर संरचना को ट्रैक करता है, बल्कि इसलिए क्योंकि वह एक फ्रेम में ग्रेडिएंट ऊर्जा के एक स्थिर अंश को कैप्चर करता है जो प्रभावी रूप से फिर से खींचा (re-drawn) गया है।
डायग्नोस्टिक टूल: लेखक एक व्यावहारिक प्रोब प्रस्तावित करते हैं: एक बैच को विभाजित करके पुनरुत्पादक रैंक $k^\star$ को मापें। यदि चुना गया रैंक $r > k^\star$ है, तो अतिरिक्त दिशाएं नॉइज़ हैं।
इंजीनियरिंग प्रिस्क्रिप्शन: पेपर लो-रैंक ट्रेनिंग के लिए दो कार्रवाई योग्य समाधान देता है:
1. रोटेशन के माध्यम से स्टेट को ट्रांसपोर्ट करें (जैसा कि LDAdam में किया जाता है) बजाय इसके कि इसे बिना सोचे-समझे ले जाया जाए।
2. दूसरे मोमेंट की मेमोरी को कम करने के लिए $\beta_2$ को 0.99 तक कम करें, जिससे आवधिक रीड्रॉ के कारण होने वाली स्टेलनेस (staleness) को कम किया जा सके।
दायरा: निष्कर्ष विशेष रूप से उन ऑप्टिमाइज़र पर लागू होते हैं जो स्पष्ट रूप से एक ग्रेडिएंट सबस्पेस की गणना और रिफ्रेश करते हैं (GaLore परिवार)। वे LoRA जैसे पैरामीटराइजेशन पर लागू नहीं होते हैं जो ग्रेडिएंट सबस्पेस की गणना नहीं करते हैं।

लेखक निष्कर्ष निकालते हैं कि "वस्तु" (स्थिर लो-रैंक सबस्पेस) एक छोटे कोर के परे अस्तित्व में नहीं है, और उसे ट्रैक करने के प्रयास एक भ्रम का पीछा करने के समान हैं। आगे का रास्ता यह स्वीकार करने में है कि रीड्रॉ हो रहा है और उसके अनुसार ऑप्टिमाइज़र स्टेट को अनुकूलित किया जाए।