🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

यह शोध पत्र 'रिनफोर्समेंट लर्निंग विद वेरीफिएबल रिवार्ड्स' (RLVR) में 'लो-रैंक अडैप्टेशन' (LoRA) के लिए 'जियोमेट्री-प्रिजर्विंग ऑर्थोनॉर्मल इनिशियलाइजेशन' का प्रस्ताव करता है, जो सैद्धांतिक रूप से यह प्रदर्शित करता है कि यह दृष्टिकोण 'फुल फाइन-ट्यूनिंग' के अंतर को न्यूनतम करता है, प्रशिक्षण को स्थिर करता है, और गणितीय तर्क संबंधी बेंचमार्क पर PiSSA और MiLoRA जैसे मौजूदा वेरिएंट्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसने दुनिया की लगभग सब कुछ पढ़ ली है। आप इसे एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे जटिल गणित की समस्याओं को हल करना।

इसे करने के दो तरीके हैं:

फुल फाइन-ट्यूनिंग (Full Fine-Tuning): आप पुस्तकालय की पूरी सूची को फिर से लिखते हैं और हर एक किताब को पुनर्गठित करते हैं। यह शक्तिशाली है लेकिन इसके लिए भारी मात्रा में ऊर्जा और स्टोरेज की आवश्यकता होती है (जैसे कि एक नए गोदाम की आवश्यकता होना)।
लोरा (LoRA - Low-Rank Adaptation): पुस्तकालय को फिर से लिखने के बजाय, आप बस पुस्तकालय के सामने एक छोटा सा, चिपका हुआ 'स्टिकी-नोट इंडेक्स कार्ड' जोड़ देते हैं। इस कार्ड में नए निर्देश होते हैं। यह सस्ता, तेज़ है, और इसके लिए नए गोदाम की आवश्यकता नहीं है।

समस्या: "RLVR" वर्कआउट

हाल ही में, इन मॉडल्स को सिखाने का एक नया तरीका जिसे RLVR (Reinforcement Learning with Verifiable Rewards) कहा जाता है, लोकप्रिय हुआ है। इसे एक क्लासरूम लेक्चर के रूप में नहीं, बल्कि एक हाई-इंटेंसिटी जिम वर्कआउट के रूप में समझें।

एक क्लासरूम में (Supervised Fine-Tuning), शिक्षक केवल आपके होमवर्क को ठीक करता है।
जिम में (RLVR), मॉडल कई अलग-अलग उत्तरों को आज़माता है, और यदि वह सही या गलत है तो उसे एक स्कोर (रिवॉर्ड) मिलता है, और वह अनुभव से सीखता है।

समस्या यह है कि जो "स्टिकी-नोट इंडेक्स कार्ड" (LoRA) क्लासरूम में पूरी तरह से काम करते थे, वे जिम में विफल होने लगे। इनके कुछ उन्नत संस्करण (जिन्हें PiSSA और MiLoRA कहा जाता है) ने मॉडल को क्रैश कर दिया, जैसे कि कोई वेटलिफ्टर शुरुआत में ही बहुत भारी बारबेल उठाने की कोशिश कर रहा हो। ट्रेनिंग अस्थिर हो गई, और मॉडल ने सीखना बंद कर दिया।

जांच: कार्ड क्यों टूटे?

शोधकर्ताओं ने इस बात की जांच की कि ये उन्नत कार्ड क्यों विफल हुए। उन्होंने दो मुख्य कारणों का पता लगाया:

"भारी" शुरुआत: उन्नत कार्डों ने पुस्तकालय के मौजूदा ज्ञान के "सबसे महत्वपूर्ण" हिस्सों (भारी, लोकप्रिय किताबों) को पकड़ने और उन्हें तुरंत बढ़ाने की कोशिश की। जिम के माहौल में, यह वार्म-अप (स्ट्रेचिंग) किए बिना स्प्रिंट करने की कोशिश करने जैसा था। इसने मॉडल को बहुत तेज़ी से और बहुत दूर तक धकेल दिया, जिससे वर्कआउट के नियम टूट गए।
गलत दिशा: जिम (RLVR) को मॉडल द्वारा नए रास्तों को खोजने की आवश्यकता है, न कि केवल वही सुदृढ़ करने की जो वह पहले से जानता है। पुराने कार्ड मौजूदा मुख्य रास्तों पर बहुत अधिक केंद्रित थे, जिससे मॉडल या तो फंस गया या नियंत्रण से बाहर हो गया।

समाधान: "ज्यामिति-संरक्षण" वाला इंडेक्स कार्ड (The "Geometry-Preserving" Index Card)

शोधकर्ताओं को एहसास हुआ कि जिम में जीवित रहने के लिए, इंडेक्स कार्ड का ऑर्थोनॉर्मल (orthonormal) होना आवश्यक है।

उपमा:
कल्पना कीजिए कि पुस्तकालय का ज्ञान एक 3D स्पेस है।

स्टैंडर्ड LoRA एक कागज़ पर खींची गई एक रैंडम रेखा की तरह है। यह काम करता है, लेकिन यह थोड़ा अव्यवस्थित है।
PiSSA/MiLoRA एक ऐसी रेखा की तरह हैं जो शेल्फ पर रखी सबसे भारी किताबों से चिपकने की कोशिश करती है। जिम में, यह रेखा बहुत "कठोर" है और टूट जाती है।
नया तरीका (LoRA-RLPO/RLMO): शोधकर्ताओं ने एक नया इंडेक्स कार्ड डिज़ाइन किया जो पूरी तरह से कठोर और संरचित (orthonormal) है। यह भारी किताबों को बढ़ाने की कोशिश नहीं करता; इसके बजाय, यह पुस्तकालय की मौजूदा ज्यामिति के साथ पूरी तरह से संरेखित होता है बिना अतिरिक्त भार डाले।

इसे एक डांस पार्टनर की तरह समझें।

पुराने उन्नत कार्डों ने बहुत अधिक बल के साथ डांस को लीड करने की कोशिश की, जिससे पार्टनर (मॉडल) लड़खड़ा गया।
नया तरीका एक ऐसा पार्टनर है जो संगीत (पुस्तकालय की मौजूदा संरचना) के साथ पूरी तरह से तालमेल बिठाकर चलता है, लेकिन बहुत ज़ोर नहीं लगाता। यह डांस फ्लोर के आकार को सुरक्षित रखता है ताकि मॉडल बिना गिरे स्वतंत्र रूप से घूम सके।

उन्होंने क्या किया

उन्होंने दो नए प्रकार के इंडेक्स कार्ड बनाए:

LoRA-RLPO: यह "मुख्य" रास्तों के साथ संरेखित होता है लेकिन संरचना को हल्का और संतुलित रखता है।
LoRA-RLMO: यह "माइनर" रास्तों (कम स्पष्ट रास्तों) के साथ संरेखित होता है, लेकिन यह भी संरचना को हल्का और संतुलित रखता है।

परिणाम

जब उन्होंने इन नए कार्डों का "जिम" (गणित तर्क बेंचमार्क) में परीक्षण किया:

स्थिरता (Stability): ट्रेनिंग क्रैश नहीं हुई। मॉडल शांत और स्थिर रहा।
प्रदर्शन (Performance): मॉडल ने मानक विधि की तुलना में तेज़ी से सीखा और बेहतर स्कोर प्राप्त किया।
"क्यों": उन्होंने गणितीय रूप से सिद्ध किया कि इंडेक्स कार्ड को "ऑर्थोनॉर्मल" (पूरी तरह से संरचित) रखकर और मौजूदा ज्ञान के भार को न बढ़ाकर, मॉडल बिना भारी ऊर्जा लागत के "फुल रीराइट" प्रदर्शन के करीब बना रहता है।

सारांश

पेपर कहता है: "यदि आप नए 'जिम' तरीके (RLVR) का उपयोग करके एक स्मार्ट AI को प्रशिक्षित करना चाहते हैं, तो उन फैंसी, भारी इंडेक्स कार्डों का उपयोग न करें जो क्लासरूम में काम करते थे। इसके बजाय, हमारे नए, पूरी तरह से संरचित, हल्के कार्डों का उपयोग करें। वे मॉडल को स्थिर रखते हैं, उसे टूटने से बचाते हैं, और इसे गणित की समस्याओं को बहुत बेहतर तरीके से सीखने में मदद करते हैं।"

उन्होंने यह भी नोट किया कि यह विभिन्न आकारों के मॉडल्स और यहाँ तक कि कोडिंग कार्यों के लिए भी काम करता है, लेकिन मुख्य खोज यह है कि ट्रेनिंग को कैसे शुरू किया जाए ताकि वह अनियंत्रित होकर विफल न हो।

तकनीकी सारांश: RLVR में लो-रैंक अडैप्टेशन के लिए ज्योमेट्री-प्रिजर्विंग ऑर्थोनॉर्मल इनिशियलाइज़ेशन

समस्या विवरण

जबकि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) प्रतिमान के तहत पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग के लिए लो-रैंक अडैप्टेशन (LoRA) और इसके वेरिएंट मानक बन गए हैं, रिइन्फोर्समेंट लर्निंग विद वरीफिएबल रिवॉर्ड्स (RLVR) के तहत उनका व्यवहार अभी भी अज्ञात है। हालिया अवलोकन संकेत देते हैं कि SVD-आधारित इनिशियलाइज़ेशन रणनीतियाँ, विशेष रूप से PiSSA (प्रिंसिपल सिंगुलर वैल्यूज एंड सिंगुलर वेक्टर्स अडैप्टेशन) और MiLoRA (माइनर LoRA), जो SFT में उत्कृष्ट हैं, अक्सर मानक LoRA से कम प्रदर्शन करती हैं और RLVR सेटिंग्स में प्रशिक्षण अस्थिरता प्रदर्शित करती हैं। ये विधियाँ प्रीट्रेन भार (pretrained weights) के टॉप- $r$ (PiSSA) या बॉटम- $r$ (MiLoRA) सिंगुलर घटकों का उपयोग करके एडेप्टर को इनिशियलाइज़ करती हैं, जिसमें अक्सर सिंगुलर वैल्यू स्केलिंग शामिल होती है। शोध पत्र यह तर्क देता है कि RLVR की विशिष्ट अनुकूलन गतिशीलता (optimization dynamics)—जो इम्पलिसिट KL-डाइवर्जेंस बाधाओं द्वारा संचालित होती है जो पॉलिसी ड्रिफ्ट को सीमित करती है—SFT-अनुकूलित इनिशियलाइज़ेशन सिद्धांतों को अप्रभावी या हानिकारक बना देती है। मुख्य चुनौती एक ऐसी इनिशियलाइज़ेशन रणनीति की पहचान करना है जो RLVR प्रशिक्षण को स्थिर करते हुए लो-रैंक अडैप्टेशन की दक्षता बनाए रख सके।

कार्यप्रणाली

लेखक एक सिद्धांत-आधारित इनिशियलाइज़ेशन रणनीति प्राप्त करने के लिए RLVR में LoRA अनुकूलन गतिशीलता के सैद्धांतिक विश्लेषण का प्रस्ताव करते हैं।

सैद्धांतिक विश्लेषण

यह शोध पत्र स्थापित करता है कि LoRA और फुल फाइन-ट्यूनिंग के बीच अप्रोक्सिमेशन गैप तब न्यूनतम होता है जब लो-रैंक मैट्रिक्स $A$ को ऑर्थोनॉर्मल रोज़ (orthonormal rows) के साथ इनिशियलाइज़ किया जाता है और $B$ को शून्य के साथ इनिशियलाइज़ किया जाता है।

अनुकूलन गतिशीलता (Optimization Dynamics): $L$ -स्मूथ लॉस और बाउंडेड ग्रेडिएंट्स की धारणा के तहत, शोध पत्र सिद्ध करता है (थ्योरम 5.2) कि LoRA प्रक्षेपवक्र (trajectory) और फुल फाइन-ट्यूनिंग प्रक्षेपवक्र के बीच त्रुटि टर्म $\|I_n - A_0^\top A_0\|_2$ द्वारा नियंत्रित होती है। यह टर्म अपने न्यूनतम मान 1 को तब प्राप्त करती है जब $A_0$ की रोज़ ऑर्थोनॉर्मल होती हैं ( $A_0 A_0^\top = I_r$ )।
स्थिरता सीमाएँ (Stability Bounds): इसके अलावा, प्रपोजिशन 5.3 दर्शाता है कि $B_0=0$ के साथ ऑर्थोनॉर्मल इनिशियलाइज़ेशन यह गारंटी देता है कि प्रथम-चरण का वेट अपडेट परिमाण फुल फाइन-ट्यूनिंग से अधिक नहीं होगा। यह बाउंडेड अपडेट इम्पलिसिट KL-डाइवर्जेंस बाधाओं को संतुष्ट करने के लिए महत्वपूर्ण है, जो प्रशिक्षण पतन (training collapse) की ओर ले जाने वाले आक्रामक पॉलिसी बदलावों को रोकता है।

प्रस्तावित इनिशियलाइज़ेशन रणनीतियाँ

इन सैद्धांतिक अंतर्दृष्टियों द्वारा निर्देशित, लेखक दो "ज्योमेट्री-प्रिजर्विंग ऑर्थोनॉर्मल" इनिशियलाइज़ेशन विधियों का प्रस्ताव करते हैं जो PiSSA और MiLoRA में पाए जाने वाले अस्थिर सिंगुलर वैल्यू स्केलिंग के बिना प्रीट्रेन भार की स्पेक्ट्रल जानकारी को बनाए रखते हैं:

LoRA-RLPO (प्रिंसिपल): प्रीट्रेन वेट मैट्रिक्स $W_0$ के टॉप- $r$ राइट सिंगुलर वेक्टर्स ( $V_r^\top$ ) का उपयोग करके $A_0$ को इनिशियलाइज़ करता है, जहाँ $B_0 = 0$ है। यह एडेप्टर को प्रीट्रेन मॉडल की प्रिंसिपल दिशाओं के साथ संरेखित करता है जबकि ऑर्थोनॉर्मलिटी बनाए रखता है।
LoRA-RLMO (माइनर): $W_0$ के बॉटम- $r$ राइट सिंगुलर वेक्टर्स ( $V_{-r}^\top$ ) का उपयोग करके $A_0$ को इनिशियलाइज़ करता है, जहाँ $B_0 = 0$ है। यह माइनर सबस्पेस को लक्षित करता है, लेकिन MiLoRA के विपरीत, सिंगुलर वैल्यू स्केलिंग ( $\Sigma^{1/2}$ ) और नॉन-जीरो $B_0$ से बचता है।

दोनों विधियाँ $B_0=0$ सेट करके और बिना स्केलिंग के ऑर्थोनॉर्मल $A_0$ का उपयोग करके PiSSA और MiLoRA से भिन्न हैं।

मुख्य परिणाम

गणितीय तर्क बेंचमार्क (GSM8K, MATH500, AIME 2022/2023/2024) पर DeepSeek-R1-Distill-Qwen-1.5B और Qwen2.5-7B मॉडल्स का उपयोग करके DAPO एल्गोरिदम पर प्रयोग किए गए।

प्रदर्शन: LoRA-RLPO ने बेंचमार्क में उच्चतम औसत सटीकता (65.03%) प्राप्त की, जिसने मानक LoRA (62.40%), LoRA-RLMO (63.76%) को पीछे छोड़ दिया, और PiSSA (4.57%) तथा MiLoRA (51.71%) को काफी पीछे छोड़ दिया।
प्रशिक्षण स्थिरता: KL डाइवर्जेंस और ग्रेडिएंट नॉर्म्स की निगरानी से पता चला कि PiSSA और MiLoRA तीव्र KL ग्रोथ और ग्रेडिएंट एक्सप्लोजन (gradient explosion) से जूझते हैं, जिससे रिवॉर्ड कोलैप्स होता है। इसके विपरीत, LoRA-RLPO और LoRA-RLMO ने मानक LoRA के समान या उससे भी कम KL डाइवर्जेंस प्रक्षेपवक्र बनाए रखा, जो स्थिर अनुकूलन का संकेत देता है।
एब्लेशन अध्ययन (Ablation Studies):
- ऑर्थोनॉर्मैलिटी बनाम ज्योमेट्री: मॉडल-एग्नोस्टिक ऑर्थोनॉर्मल बेसलाइन्स (DCT-LoRA, Wavelet-LoRA) ने मानक LoRA से बेहतर प्रदर्शन किया, जो केवल ऑर्थोनॉर्मैलिटी के लाभ की पुष्टि करता है। हालांकि, LoRA-RLPO ने इन मॉडल-एग्नोस्टिक विधियों से काफी बेहतर प्रदर्शन किया, जो यह दर्शाता है कि प्रीट्रेन भार की ज्यामितीय संरचना (SVD के माध्यम से) को संरक्षित करना अतिरिक्त लाभ प्रदान करता है।
- विफलता विश्लेषण: शोध पत्र इस परिकल्पना का खंडन करता है कि MiLoRA की विफलता लगभग शून्य इनिशियलाइज़ेशन मैग्नीट्यूड के कारण हुई है, यह दिखाते हुए कि इसका प्रारंभिक एडेप्टर नॉर्म नगण्य नहीं है। इसके बजाय, अस्थिरता को सबस्पेस ज्योमेट्री और सिंगुलर वैल्यू स्केलिंग के संयोजन के लिए जिम्मेदार ठहराया गया है, जो अपडेट को KL बजट से परे बढ़ाता है।
- सामान्यीकरण (Generalization): प्रस्तावित विधियों ने SFT कार्यों (GLUE, GSM8K) में भी बेहतर अभिसरण (convergence) और प्रदर्शन प्रदर्शित किया, जिससे पता चलता है कि लाभ RLVR से परे भी विस्तृत हैं।

महत्व और दावे

शोध पत्र यह दावा करता है कि यह पहली बार SVD-आधारित LoRA वेरिएंट्स (PiSSA, MiLoR) के RLVR में विफल होने और SFT में सफल होने के कारणों की सैद्धांतिक व्याख्या प्रदान करता है। लेखक दो जुड़े हुए कारकों की पहचान करते हैं जो इस विफलता को संचालित करते हैं:

सबस्पेस ज्योमेट्री: चुना गया सिंगुलर सबस्पेस अनुकूलन प्रक्षेपवक्र को निर्धारित करता है।
सिंगुलर वैल्यू स्केलिंग: PiSSA/MiLoRA में स्केलिंग फैक्टर अपडेट मैग्नीट्यूड को बढ़ाता है, जिससे स्थिर RLVR प्रशिक्षण के लिए आवश्यक इम्पलिसिट KL-डाइवर्जेंस नियमों का तेजी से उल्लंघन होता है।

इस कार्य का महत्व यह स्थापित करने में है कि ऑर्थोनॉर्मल इनिशियलाइज़ेशन, मानक $B_0=0$ के चयन के साथ, RLVR में लो-रैंक अडैप्टेशन के लिए एक सिद्धांत-आधारित समाधान है। फुल फाइन-ट्यूनिंग के अप्रोक्सिमेशन गैप को कम करके और अपडेट मैग्नीट्यूड को सीमित करके, ज्योमेट्री-प्रिजर्विंग ऑर्थोनॉर्मल इनिशियलाइज़ेशन (LoRA-RLPO/RLMO), पूर्ववर्ती SVD-आधारित विधियों में देखी गई अस्थिरता को हल करते हुए, पैरामीटर-एफिशिएंट RL के लिए एक मजबूत आधार प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका विश्लेषण मौजूदा वेरिएंट्स की विफलता और उनके प्रस्तावित दृष्टिकोण की सफलता दोनों को समझाने के लिए एक एकीकृत ढांचा प्रदान करता है।