🤖 machine learning

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning

यह शोध पत्र AR1-ZO को प्रस्तुत करता है, जो एक टोपोलॉजी-जागरूक ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन विधि है जो एक सुधारात्मक स्केलिंग फैक्टर के साथ व्यक्तिगत रैंक-1 परमाणुओं (atoms) को क्वेरी करके उच्च-रैंक LoRA फाइन-ट्यूनिंग में रैंक विरोधाभास (rank paradox) को हल करता है, जिससे सिग्नल की शक्ति बहाल होती है और सहायक आधारों (auxiliary bases) या अतिरिक्त फॉरवर्ड पास के बिना प्रभावी मेमोरी-कुशल प्रशिक्षण सक्षम होता है।

मूल लेखक: Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: बिना तार देखे एक विशाल रेडियो को ट्यून करना

कल्पना कीजिए कि आपके पास एक बहुत बड़ा, जटिल रेडियो (एक लार्ज लैंग्वेज मॉडल) है जिसे आप एक विशिष्ट स्टेशन पर ट्यून करना चाहते हैं। आमतौर पर, इसे ट्यून करने के लिए, आपको इसके आंतरिक वायरिंग को देखने और एक साथ हर एक नॉब (knob) को एडजस्ट करने की आवश्यकता होती है। लेकिन इस स्थिति में, आपकी आँखों पर पट्टी बंधी हुई है। आप तारों को नहीं देख सकते, और आपके पास पूरे मशीन को एक साथ देखने के लिए पर्याप्त मेमोरी भी नहीं है।

आपके पास केवल दो उपकरण हैं:

LoRA (Low-Rank Adaptation): पूरे रेडियो को फिर से बनाने के बजाय, आप आवाज़ को थोड़ा बदलने के लिए कुछ नॉब्स वाला एक छोटा, कॉम्पैक्ट "एडैप्टर" जोड़ते हैं।
Zeroth-Order (ZO) Optimization: चूँकि आप वायरिंग नहीं देख सकते, इसलिए आप केवल यह अनुमान लगा सकते हैं कि नॉब्स को कैसे घुमाना है—उन्हें घुमाकर आज़माकर, परिणाम सुनकर, और यह देखकर कि आवाज़ बेहतर हुई या खराब।

समस्या: "रैंक विरोधाभास" (The Rank Paradox)

शोधकर्ताओं ने इन दोनों उपकरणों को मिलाते समय एक पेचीदा समस्या की खोज की।

उदाहरण: कल्पना कीजिए कि आपके एडैप्टर में 64 नॉब्स हैं (यह "रैंक" है)।

लक्ष्य: आप चाहते हैं कि सभी 64 नॉब्स मिलकर रेडियो की आवाज़ को बेहतरीन बनाएँ।
पट्टी बंधी हुई विधि (The Blindfolded Method): यह पता लगाने के लिए कि नॉब्स को किस दिशा में घुमाना है, आप आमतौर पर उन सभी को एक साथ हिलाते (wiggle) हैं, सुनते हैं, फिर उन्हें दूसरी दिशा में हिलाते हैं, और फिर सुनते हैं।
पेंच: यदि आप एक साथ सभी 64 नॉब्स को हिलाते हैं, तो जो सिग्नल आपको वापस मिलता है वह अविश्वसनीय रूप से कमजोर होता है और शोर (static/noise) में दब जाता है। यह एक तूफान में फुसफुसाहट सुनने की कोशिश करने जैसा है। जितने अधिक नॉब्स आप जोड़ेंगे (उच्च रैंक), आपका सिग्नल उतना ही धीमा होता जाएगा, जब तक कि आप यह भी नहीं समझ पाएंगे कि किस दिशा में मुड़ना है।

शोध पत्र इसे "डायरेक्शनल कोलैप्स" (Directional Collapse) कहते हैं। आपका एडैप्टर जितना अधिक शक्तिशाली होगा (अधिक नॉब्स), आपके अंधे अनुमान उतने ही बेकार होते जाएंगे क्योंकि "सिग्नल" शोर के ऊपर इतना छोटा हो जाता है कि उसे सुना ही नहीं जा सकता।

समाधान: AR1-ZO (एक-बार-में-एक-नॉब वाली रणनीति)

लेखकों, ज़ीये चेन और सहयोगियों ने महसूस किया कि समस्या यह नहीं थी कि उन्हें रेडियो को देखने का नया तरीका चाहिए था। समस्या यह थी कि वे सवाल कैसे पूछ रहे थे।

उन्होंने एक नई विधि प्रस्तावित की जिसे AR1-ZO कहा जाता है। यह यहाँ बताया गया है कि यह कैसे काम करता है, जिसे दो सरल चरणों में विभाजित किया गया है:

1. "एटम" रणनीति (एक बार में एक नॉब)

सभी 64 नॉब्स को एक साथ हिलाने के बजाय, AR1-ZO एक एकल जोड़ी नॉब्स (जिसे "एटम" कहा जाता है) चुनता है और केवल उन्हीं को हिलाता है।

यह क्यों मदद करता है: यह एक गिटार को ट्यून करने जैसा है। एक साथ सभी 6ets को बजाने के बजाय कि आप एक कॉर्ड सुनने के लिए, आप बस एक ही तार को छेड़ते हैं। आप स्पष्ट रूप से सुन सकते हैं कि वह विशिष्ट तार कैसे कंपन कर रहा है।
परिणाम: आप 64-नॉब वाले एडैप्टर की पूरी शक्ति बनाए रखते हैं, लेकिन आप केवल एक समय में एक नॉब को टेस्ट करने की लागत चुकाते हैं। इससे आपका सिग्नल स्पष्ट रहता है।

2. "वॉल्यूम नॉब" फिक्स (Topology-Aware Scaling)

यहाँ चतुराई भरा हिस्सा है। जब आप केवल एक नॉब का परीक्षण करते हैं, तो वॉल्यूम को एडजस्ट करने के लिए उपयोग किया जाने वाला मानक गणित (scaling) सिग्नल को बहुत धीमा कर देता है। यह ऐसा है जैसे अगर आप केवल एक तार सुन रहे हैं, तो आपने रेडियो का वॉल्यूम उसके सामान्य स्तर के 1/64वें हिस्से तक कम कर दिया हो।

गलती: पुरानी विधि वॉल्यूम को कम रखती थी, जिससे एक नॉब के साथ भी, आप "अच्छा" और "बुरा" के बीच का अंतर नहीं पहचान पाते थे।
सुधार: AR1-ZO वॉल्यूम को वापस ऊपर करता है। यह सिग्नल की ताकत को नॉब्स की संख्या (64) से गुणा करता है।
उदाहरण: यदि आप 64 लोगों के कमरे में एक व्यक्ति को सुन रहे हैं, तो आप माइक्रोफ़ोन को कम नहीं करते; बल्कि आप उसे ऊपर करते हैं ताकि आप बैकग्राउंड शोर के ऊपर उन्हें स्पष्ट रूप से सुन सकें।

उन्होंने क्या साबित किया

शोध पत्र गणित के माध्यम से दो मुख्य बातें सिद्ध करता है:

सिग्नल सुरक्षित है: वॉल्यूम बढ़ाकर (एक विशिष्ट स्केलिंग फैक्टर $\gamma = \alpha r$ का उपयोग करके), "सिग्नल-टू-नॉइज़ रेशियो" मजबूत बना रहता है, चाहे आपके पास कितने भी नॉब्स (रैंक) हों। आप उस दिशा को सुनने की अपनी क्षमता नहीं खोते जहाँ आपको जाना है।
यह कुशल है: आपको पूरी मशीन को देखने या अतिरिक्त मेमोरी का उपयोग करने की आवश्यकता नहीं है। आप बस एक-एक करके नॉब्स के माध्यम से चक्रित (cycle) होते हैं, और सही वॉल्यूम के साथ उन्हें टेस्ट करते हैं।

परिणाम

उन्होंने वास्तविक AI मॉडल्स (जैसे OPT और Qwen3) पर इनका परीक्षण किया और पाया:

पुरानी विधि (Naive): जब उन्होंने पुराने अंधे तरीके के साथ उच्च संख्या में नॉब्स (उच्च रैंक) का उपयोग करने की कोशिश की, तो AI ने सीखना बंद कर दिया। यह एक ऐसे जहाज को चलाने की कोशिश करने जैसा था जिसका दिशा-सूचक यंत्र (compass) टूट गया हो।
नई विधि (AR1-ZO): उनके सुधार के साथ, AI उच्च संख्या में नॉब्स (उच्च रैंक) का उपयोग कर सका और प्रभावी ढंग से सीख सका। इसने पिछले अंधे तरीकों की तुलना में बहुत बेहतर प्रदर्शन किया और उन तरीकों के प्रदर्शन के करीब पहुँच गया जो वायरिंग को देख सकते थे (मानक ट्रेनिंग), लेकिन बिना अतिरिक्त मेमोरी के।

एक वाक्य में सारांश

AR1-ZO एक टूटी हुई पट्टी बंधी हुई ट्यूनिंग विधि को ठीक करता है, जो एक बार में AI के एक छोटे हिस्से का परीक्षण करता है और वॉल्यूम को ऊपर बढ़ाता है ताकि AI वास्तव में यह समझ सके कि वह क्या कर रहा है, जिससे यह शोर में खोए बिना शक्तिशाली, जटिल सेटिंग्स का उपयोग कर पाता है।

तकनीकी सारांश: AR1-ZO

समस्या विवरण (Problem Statement)

यह शोध पत्र एक मौलिक "रैंक विरोधाभास" (rank paradox) को संबोधित करता है जो सख्त मेमोरी सीमाओं के तहत लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए ज़ीरोथ-ऑर्डर (Zero-Order - ZO) ऑप्टिमाइज़ेशन और लो-रैंक एडेप्टेशन (Low-Rank Adaptation - LoRA) को संयोजित करने पर उत्पन्न होता है।

जबकि LoRA वेट्स को फ्रीज करके और लो-रैंक अपडेट्स ( $\Delta W = \frac{\gamma}{r} BA$ ) सीखकर पैरामीटर्स को कम करता है, और ZO ऑप्टिमाइज़ेशन (जैसे MeZO) फॉरवर्ड-पास स्केलर डिफरेंस के माध्यम से ग्रेडिएंट्स का अनुमान लगाकर बैकप्रोपैगेशन एक्टिवेशन्स को स्टोर करने से बचता है, इनका संयोजन एक मेजरमेंट बॉटलनेक (मापन बाधा) पैदा करता है। मानक दो-पॉइंट ZO क्वेरीज़ आमतौर पर सभी $r(d_{out} + d_{in})$ LoRA फैक्टर कोऑर्डिनेट्स को एक साथ विक्षेपित (perturb) करती हैं। इससे जैसे-जैसे LoRA रैंक $r$ बढ़ता है, दो गंभीर विफलताएं होती हैं:

वैरिएंस विस्फोट (Variance Explosion): विक्षेपण आयाम (perturbation dimension) $r$ के साथ बढ़ता है, जिससे एस्टीमेटर का वैरिएंस बढ़ जाता है।
दिशात्मक पतन (Directional Collapse): मानक LoRA स्केलिंग गुणांक $\gamma = \alpha$ (जिसका अर्थ है प्रति एटम प्रभावी गुणांक $\alpha/r$ ) फाइनाइट-डिफरेंस सिग्नल को दबा देता है। जब केवल एक सिंगल रैंक-1 एटम को विक्षेपित किया जाता है (जैसा कि नेटिव एटमवाइज़ अपडेट्स में होता है), तो सक्रिय सिग्नल $1/r$ के रूप में स्केल होता है, जबकि रेसिडुअल इवैल्यूएशन नॉइज़ स्थिर रहती है। फलस्वरूप, फाइनाइट-डिफरेंस सिग्नल-टू-नॉइज़ रेशियो (FD-SNR) $1/r^2$ के रूप में घटता है। उच्च रैंकों पर, दिशात्मक जानकारी किसी भी लर्निंग रेट एडजस्टमेंट से पहले ही शोर (noise) में डूब जाती है, जिससे उच्च-रैंक LoRA एक निश्चित दो-फॉरवर्ड-पास बजट के तहत अप्रभावी हो जाता है।

मौजूदा उपचार अक्सर बाहरी सबस्पेस, एक्टिवेशन हुक्स, कर्वेचर अनुमानों, या जटिल मैनिफोल्ड ज्योमेट्री पर निर्भर करते हैं, जो अतिरिक्त कंप्यूटेशनल ओवरहेड या धारणाएं पेश करते हैं।

कार्यप्रणाली: AR1-ZO (Methodology: AR1-ZO)

लेखक AR1-ZO (Alternating Rank-1 Zeroth-Order) प्रस्तावित करते हैं, जो बिना किसी सहायक बेसिस या अतिरिक्त फॉरवर्ड पास के, क्वेरी टोपोलॉजी को पुनर्परिभाषित करके और स्केलिंग लॉ को पुन: कैलिब्रेट करके इस बॉटलनेक को हल करता है।

1. टोपोलॉजी-अवेयर क्वेरीइंग (Topology-Aware Querying)

पूरे एडेप्टर या रैंडम सबस्पेस को विक्षेपित करने के बजाय, AR1-ZO मैच्ड रैंक-1 एटम $(b_k, a_k)$ को न्यूनतम पूर्ण क्वेरी ब्लॉक के रूप में प्रस्तुत करता है।

तंत्र (Mechanism): प्रत्येक चरण पर, ऑप्टिमाइज़र एक एटम इंडेक्स $k(t)$ चुनता है, केवल संबंधित कॉलम $b_k$ और रो $a_k$ को विक्षेपित करता है, और अन्य $r-1$ एटम्स को फ्रीज रखता है।
डायमेंशनलिटी (Dimensionality): यह इंस्टेंटेनियस विक्षेपण आयाम को $r(d_{out} + d_{in})$ से घटाकर $q = d_{out} + d_{in}$ कर देता है, जिससे सिंगल-क्वेरी डायमेंशन स्टोर किए गए रैंक $r$ से स्वतंत्र हो जाता है। रैंक $r$ एक एमॉर्टाइज्ड कवरेज कॉस्ट (सभी एटम्स पर जाने के चरणों की संख्या) बन जाता है, न कि प्रति-चरण वैरिएंस मल्टीप्लायर।

2. टोपोलॉजी-अवेयर स्केलिंग ( $\gamma = \alpha r$ )

शोध पत्र पहचानता है कि मानक LoRA स्केलिंग $\gamma = \alpha$ (जो प्रति एटम $\alpha/r$ देती है) जॉइंट अपडेट्स के लिए कैलिब्रेटेड है जहाँ सभी एटम्स एक साथ योगदान देते हैं। अनुक्रमिक (sequential) रैंक-1 क्वेरीज़ के तहत, इस स्केलिंग को विरासत में लेने से सक्रिय सिग्नल दब जाता है।

सुधार (Correction): AR1-ZO एक टोपोलॉजी-अवेयर कैलिब्रेशन पेश करता है जहाँ ग्लोबल कोएफिशिएंट को $\gamma = \alpha r$ पर सेट किया जाता है।
प्रभाव: यह सुनिश्चित करता है कि सक्रिय एटम के लिए प्रभावी कोएफिशिएंट $\frac{\gamma}{r} = \alpha$ है। फलस्वरूप, सक्रिय फाइनाइट-डिफरेंस न्यूमेरेटर रैंक-इनवेरिएंट ( $\Theta(1)$ ) रहता है, जिससे FD-SNR को एक स्थिर स्तर पर बहाल किया जाता है। यह डायरेक्शनल कोलैप्स को रोकता है।

3. एल्गोरिदम (Algorithm)

अपडेट साइकिल एटम्स $k=1 \dots r$ के माध्यम से बारी-बारी से चलता है। प्रत्येक चरण के लिए:

सक्रिय एटम के फैक्टर्स के लिए विक्षेपण $z_b, z_a$ सैंपल करें।
पेयर्ड मिनी-बैच पर फॉरवर्ड पासेस $L(\theta + \mu P_t z)$ और $L(\theta - \mu P_t z)$ का मूल्यांकन करें।
सही स्केल $\gamma = \alpha r$ का उपयोग करके ग्रेडिएंट एस्टीमेटर की गणना करें।
केवल सक्रिय वेक्टर्स $b_k, a_k$ को अपडेट करें।

मुख्य योगदान (Key Contributions)

क्वेरी ब्लॉक के रूप में रैंक-1 एटम का औपचारिकीकरण: शोध पत्र सिद्ध करता है कि मैच्ड पेयर $(b_k, a_k)$ न्यूनतम पूर्ण LoRA-नेटिव ब्लॉक है। केवल एक तरफ को विक्षेपित करना अधूरा है, जबकि एटम्स को ग्रुप करने से रैंक-डिपेंडेंट डायमेंशन फिर से आ जाता है। AR1-ZO इसे स्टोरेज रैंक को क्वेरी डायमेंशन से अलग करने के लिए उपयोग करता है।
डायरेक्शनल कोलैप्स का निदान: लेखक सैद्धांतिक रूप से सिद्ध करते हैं कि मानक स्केलिंग के साथ नेटिव एटमवाइज़ ZO के कारण सक्रिय FD-SNR $O(1/r^2)$ के रूप में घटता है, जिससे उच्च रैंक के साथ दिशात्मक निष्ठा (कोसाइन सिमिलरिटी वास्तविक ग्रेडिएंट के करीब पहुंचना) का नुकसान होता है।
टोपोलॉजी-अवेयर स्केलिंग के माध्यम से सिग्नल की बहाली: शोध पत्र $\gamma = \alpha r$ स्केलिंग नियम को व्युत्पन्न और मान्य करता है। सैद्धांतिक विश्लेषण दिखाता है कि यह रैंक-इनवेरिएंट सक्रिय सिग्नल और FD-SNR को बहाल करता है, जिससे यह सुनिश्चित होता है कि एस्टीमेटर उच्च रैंकों पर भी सूचनात्मक बना रहे।
परिचालन दक्षता (Operational Efficiency): AR1-ZO बिना किसी सहायक बेसिस, एक्टिवेशन हुक, या कर्वेचर एस्टीमेशन के शुद्ध ब्लैक-बॉक्स बजट (प्रति चरण दो फॉरवर्ड पास) के तहत ये लाभ प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि को OPT (2.7B, 13B) और Qwen3 (1.7B, 32B) मॉडल्स पर विभिन्न कार्यों जैसे BoolQ, CB, COPA, WIC, SQuAD, और DROP पर मान्य किया गया।

सिग्नल रिस्टोरेशन: रैंक $r \in \{1, \dots, 64\}$ के लिए स्वीप किए गए प्रयोगों ने पुष्टि की कि नेटिव स्केलिंग उच्च रैंक (जैसे $r=64$ ) पर FD-SNR और दिशात्मक निष्ठा को कोलैप्स कर देती है, जबकि AR1-ZO पूरे रेंज में स्थिर मेट्रिक्स बनाए रखता है।
अभिसरण (Convergence): ट्रेनिंग लॉस ट्रेजेक्टरीज पर, AR1-ZO ने स्मूथ कन्वर्जेंस दिखाया, जो नेटिव एटमवाइज़ ZO और स्टैंडर्ड MeZO-LoRA से बेहतर प्रदर्शन करता है, और फुल फर्स्ट-ऑर्डर फाइन-ट्यूनिंग (FT/Adam) के अंतर को कम करता है।
डाउनस्ट्रीम परफॉरमेंस: $r=64$ के फिक्स्ड रैंक और मैचड टू-फॉरवर्ड-पास बजट के साथ, AR1-ZO ने सभी कार्यों में बेसलाइन्स (MeZO-LoRA, LOZO, ZO-Alt-naive) को लगातार पछाड़ दिया। उदाहरण के लिए, OPT-2.7B पर, इसने MeZO-LoRA की तुलना में SQuAD F1 में +13.2 का सुधार किया।
दक्षता: AR1-ZO ने MeZO+LoRA के स्टेप टाइम और पीक VRAM को मैच किया, जिससे पुष्टि हुई कि अल्टरनेटिंग शेड्यूल और स्केलिंग करेक्शन कोई अतिरिक्त सिस्टम ओवरहेड नहीं डालते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह ब्लैक-बॉक्स LoRA फाइन-ट्यूनिंग में एक विशिष्ट टोपोलॉजी-स्केलिंग मिसमैच को हल करता है। इसका तर्क है कि उच्च-रैंक LoRA स्वाभाविक रूप से ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के साथ असंगत नहीं है; बल्कि विफलता तब होती है जब जॉइंट-अपडेट स्केलिंग नियमों को अनुक्रमिक, एटम-लेवल मेजरमेंट्स पर लागू किया जाता है।

रैंक-1 एटम को मौलिक मापन इकाई के रूप में मानकर और $\gamma = \alpha r$ के साथ स्केलिंग को पुन: कैलिब्रेट करके, AR1-ZO उच्च-रैंक एडेप्टर्स (जो अधिक क्षमता प्रदान करते हैं) का उपयोग करने में सक्षम बनाता है, बिना उन वैरिएंस या सिग्नल लॉस पेनल्टी के जो आमतौर पर उनके साथ जुड़ी होती हैं। लेखक इसे ब्लैक-बॉक्स LoRA-ZO के लिए "मेजरमेंट यूनिट" के आवश्यक सुधार के रूप में प्रस्तुत करते हैं, यह स्थापित करते हुए कि यदि क्वेरी टोपोलॉजी और स्केलिंग संरेखित हों, तो रैंक को "सिंगल-क्वेरी डायमेंशन टैक्स" होने की आवश्यकता नहीं है। यह कार्य एक सैद्धांतिक आधार प्रदान करता है कि पिछले उच्च-रैंक प्रयास क्यों विफल रहे और उनके प्रभावकारिता को बहाल करने के लिए एक सरल, पैरामीटर-फ्री तंत्र प्रदान करता है।