You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

तकनीकी सारांश: आपको केवल न्यूनतम RLVR प्रशिक्षण की आवश्यकता है: Rank-1 प्रक्षेप पथों के माध्यम से LLMs का विस्तार (Extrapolating)

समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) बड़े भाषा मॉडलों (LLMs), विशेष रूप से गणित जैसे डोमेन में, तर्क क्षमताओं को बढ़ाने के लिए एक प्रमुख प्रतिमान (paradigm) के रूप में उभरा है। हालाँकि, मानक RLVR पाइपलाइन अत्यधिक गणनात्मक रूप से महंगी है, जिसमें प्रदर्शन पठार (performance plateaus) तक पहुँचने के लिए अक्सर घंटों के GPU समय की आवश्यकता होती है। इस प्रक्रिया में सैकड़ों अनुकूलन चरणों (optimization steps) पर चेकपॉइंट्स का एक प्रक्षेप पथ (trajectory) उत्पन्न करना शामिल है, जिसकी लागत चरणों की संख्या के साथ रैखिक रूप से बढ़ती है। जबकि पूर्व कार्य यह सुझाव देते हैं कि RLVR पूरी तरह से नई क्षमताओं को सिखाने के बजाय अंतर्निहित व्यवहारों को बढ़ाता है, इन पैरामीटर प्रक्षेप पथों की अंतर्निहित ज्यामितीय संरचना अभी भी अनोखली है। यहाँ संबोधित केंद्रीय प्रश्न यह है कि क्या भविष्य के RLVR चेकपॉइंट्स को प्रशिक्षण गतिकी (training dynamics) के एक छोटे प्रीफिक्स से अनुमानित किया जा सकता है, जिससे आगे के व्यापक प्रशिक्षण की आवश्यकता को समाप्त किया जा सके।

कार्यप्रणाली: RELEX

लेखक RELEX (REinforcement Learning EXtrapolation) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री विधि है जो भविष्य के चेकपॉइंट्स का अनुमान लगाने के लिए RLVR वेट अपडेट की ज्यामितीय नियमितता का लाभ उठाती है। यह विधि इस पर आधारित है कि RLVR प्रक्षेप पथ अत्यंत लो-रैंक (low-rank) और लगभग रैखिक (near-linear) होते हैं।

RELEX पाइपलाइन तीन चरणों से मिलकर बनी है, जो पहले देखे गए $T_{cut}$ चेकपॉइंट्स (उदाहरण के लिए, प्रशिक्षण चरणों के पहले 15-20%) पर लागू होती है:

1. रैंक-1 सबस्पेस अनुमान (Rank-1 Subspace Estimation):
   प्रत्येक वेट टेंसर $W^{(\ell)}$ के लिए, विधि बेस मॉडल के सापेक्ष पैरामीटर डेल्टा $\Delta \theta_t = \theta_t - \theta_0$ की गणना करती है। इन डेल्टा को फ्लैटन (flatten) और स्टैक करके एक प्रक्षेप पथ मैट्रिक्स $M^{(\ell)}$ बनाया जाता है। $M^{(\ell)}$ पर एक सिंगुलर वैल्यू डीकंपोजिशन (SVD) किया जाता है, और शीर्ष-दाएँ सिंगुलर वेक्टर $v_1^{(\ell)}$ निकाला जाता है। यह वेक्टर अवलोकन विंडो के दौरान पैरामीटर परिवर्तन की प्रमुख दिशा को परिभाषित करता है।

2. रैखिक गुणांक प्रक्षेप (Linear Coefficient Extrapolation):
   देखे गए डेल्टा को प्रमुख सिंगुलर वेक्टर पर प्रोजेक्ट किया जाता है ताकि एक स्केलर गुणांक प्रक्षेप $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$ प्राप्त हो सके। अनुभवजन्य विश्लेषण (Empirical analysis) दिखाता है कि ये गुणांक प्रशिक्षण चरण के साथ लगभग रैखिक रूप से विकसित होते हैं ($R^2 > 0.98$)। देखे गए प्रीफिक्स का उपयोग करके इन गुणांकों पर एक सरल लीनियर रिग्रेशन ($c(t) = at + b$) फिट किया जाता है।

3. भविष्य के वेट का अनुमान (Future Weight Prediction):
   एक लक्ष्य चरण $T$ पर चेकपइंट का अनुमान लगाने के लिए, विधि गुणांक $\hat{c}_T = aT + b$ का प्रक्षेप करती है और वेट टेंसर को $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ के रूप में पुनर्गठित करती है। पूर्ण $\hat{\theta}_T$ को असेंबल करने के लिए इस प्रक्रिया को सभी टेंसरों के लिए दोहराया जाता है।

महत्वपूर्ण रूप से, RELEX के लिए किसी सीखे हुए प्रेडिक्टर (learned predictor), अतिरिक्त RLVR प्रशिक्षण, या केवल क्लोज्ड-फॉर्म ऑपरेशंस (ट्रंकेटेड SVD और लीस्ट-स्क्वायर फिटिंग) की आवश्यकता होती है।

मुख्य योगदान (Key Contributions)

1. लो-रैंक रैखिकता की अनुभवजन्य खोज: लेखक प्रदर्शित करते हैं कि RLVR वेट अपडेट प्रक्षेप पथ अत्यंत लो-रंक और अनुमानित होते हैं। विशेष रूप से, एक रैंक-1 SVD सन्निकटन (approximation) अधिकांश डाउनस्ट्रीम-प्रासंगिक पैरामीटर परिवर्तनों को कैप्चर करता है, और संगत स्केलर गुणांक कई मॉडल परिवारों (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base) में प्रशिक्षण चरणों के साथ लगभग रैखिक रूप से विकसित होते हैं।
2. RELEX फ्रेमवर्क: एक सरल, कंप्यूट-कुशल प्रक्षेप पद्धति का परिचय जो केवल शुरुआती प्रशिक्षण प्रीफिक्स का उपयोग करके भविष्य के चेकपॉइंट्स का अनुमान लगाती है।
3. स्पेक्ट्रल डीनॉइजिंग तंत्र (Spectral Denoising Mechanism): पेपर पहचानता है कि रैंक-1 प्रोजेक्शन एक "स्पेक्ट्रल डीनॉइज़र" के रूप में कार्य करता है। प्रमुख सबस्पेस पर अपडेट को प्रोजेक्ट करके, विधि स्टोकेस्टिक ऑप्टिमाइज़ेशन शोर (जो उच्च-रैंक घटकों द्वारा कैप्चर किया जाता है) को हटा देती है, जो अन्यथा प्रक्षेप के दौरान प्रदर्शन को खराब कर सकता है।
4. न्यूनतम पर्याप्तता (Minimalist Sufficiency): एब्लेशन अध्ययन पुष्टि करते हैं कि सबस्पेस रैंक बढ़ाना (जैसे, रैंक-5 या रैंक-10) या गैर-रैखिक मॉडलिंग (पॉलीनोमियल्स, न्यूरल नेटवर्क) का उपयोग करना कोई अतिरिक्त लाभ नहीं देता है और अक्सर प्रदर्शन को कम कर देता है, जो रैंक-1 लीनियर दृष्टिकोण की पर्याप्तता को प्रमाणित करता है।

प्रायोगिक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन Qwen-आधारित मॉडलों पर इन-डोमेन (MATH) और पांच आउट-ऑफ-डोमेन (OOD) बेंचमार्क (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023) पर किया गया।

• प्रदर्शन बनाम लागत: केवल पूर्ण RLVR प्रशिक्षण लागत के 15-20% का उपयोग करके (पहले 75-125 चरणों को देखते हुए), RELEX ऐसे चेकपॉइंट्स बनाता है जो पूरी तरह से प्रशिक्षित RLVR मॉडलों के बराबर या उनसे बेहतर होते हैं।
  • Qwen2.5-Math-1.5B: RELEX ने MATH पर 71.6% प्राप्त किया (पूर्ण RLVR के 71.5% के मुकाबले) और 5 में से 4 OOD बेंचमार्क पर RLVR से बेहतर प्रदर्शन किया।
  • Qwen3-4B-Base: RELEX ने MATH पर 85.6% प्राप्त किया (पूर्ण RLVR के 85.5% के मुकाबले)।
  • Qwen3-8B-Base: RELEX ने MATH पर 87.4% प्राप्त किया (पूर्ण RLVR के 88.5% के मुकाबले), जो पूर्ण प्रशिक्षण प्रदर्शन के 1.1% के भीतर रहा।
• लॉन्ग-होरिज़न एक्सट्रपलेशन (Long-Horizon Extrapolation): RELEX सफलतापूर्वक ऑब्जर्वेशन विंडो से बहुत आगे तक प्रक्षेप करता है। उदाहरण के लिए, केवल पहले 50 चरणों को देखने से 1000 चरणों (ऑब्जर्वेशन विंडो का 20 गुना) तक स्थिर भविष्यवाणियां करने में मदद मिली, जिसमें निरंतर प्रदर्शन सुधार देखा गया।
• बेसलाइन्स के साथ तुलना: RELEX ने अन्य एक्सट्रपलेशन बेसलाइन्स को समान रूप से पछाड़ दिया, जिनमें वेट एक्सट्रपलेशन (रॉ वेट स्पेस में लीनियर इंटरपोलेशन), लॉजिट्स एक्सट्रपलेशन, ExPO और AlphaRL शामिल हैं। वेट एक्सट्रपलेशन पर श्रेष्ठता SVD चरण के महत्व को उजागर करती है जो शोर को फ़िल्टर करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RL प्रशिक्षण, अपने स्टोकेस्टिक और नॉन-कॉन्वेक्स स्वभाव के बावजूद, लो-रैंक पैरामीटर स्पेस में आश्चर्यजनक रूप से सरल पथ बनाता है। इस कार्य का महत्व निम्नलिखित में निहित है:

• दक्षता (Efficiency): यह पूर्ण प्रशिक्षण के बिना, गणना के एक अंश के साथ लगभग इष्टतम RLVR प्रदर्शन प्राप्त करने का एक तरीका प्रदान करता है।
• सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह प्रमाण प्रदान करता है कि RLVR लर्निंग का "सिग्नल" एक एकल प्रमुख दिशा में केंद्रित है, जबकि उच्च-रैंक घटक मुख्य रूप से ऑप्टिमाइज़ेशन शोर का प्रतिनिधित्व करते हैं।
• सामान्यीकरण (Generalization): विधि दर्शाती है कि प्रक्षेपित (extrapolated) चेकपॉइंट्स हस्तांतरणीय तर्क लाभ (transferable reasoning gains) कैप्चर करते हैं, जैसा कि मजबूत OOD बेंचमार्क प्रदर्शन से सिद्ध होता है, जो बताता है कि मॉडल केवल प्रशिक्षण वितरण पर ओवरफिट नहीं हो रहा है।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि वर्तमान अध्ययन Qwen मॉडलों के साथ गणितीय तर्क कार्यों पर GRPO तक सीमित है। वे सुझाव देते हैं कि इष्टतम अवलोकन विंडो ($T_{cut}$) मॉडल-निर्भर है और अन्य एल्गोरिदम (जैसे, PPO) या मॉडल परिवारों के लिए व्यापक सामान्यीकरण हेतु अनुकूलित (adaptive) रैंक चयन आवश्यक हो सकता है।