💬 NLP

Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling

यह शोध पत्र एक हल्के, सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) आधारित नियंत्रक का प्रस्ताव करता है जो बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए उत्तर की शुद्धता, विलंबता (लेटेंसी) और गणना लागत के बीच गतिशील रूप से संतुलन बनाने हेतु एडेप्टिव सैंपलिंग को एक मार्कोव निर्णय प्रक्रिया के रूप में तैयार करता है, जिससे मौजूदा ह्यूरिस्टिक विधियों की तुलना में बेहतर ट्रेड-ऑफ प्राप्त होता है।

मूल लेखक: Runpeng Dai, Tong Zheng, Rui Liu, Chengsong Huang, Hongtu Zhu

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Runpeng Dai, Tong Zheng, Rui Liu, Chengsong Huang, Hongtu Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन गणित की समस्या हल करने की कोशिश कर रहे हैं। आपके पास एक शानदार लेकिन महंगा AI सहायक (लार्ज लैंग्वेज मॉडल) है जो आपको उत्तर दे सकता है।

समस्या: "बहुत अधिक अनुमान लगाने" की दुविधा
आमतौर पर, सही उत्तर पाने के लिए, आप AI को 32 अलग-अलग अनुमान लगाने के लिए कहते हैं और फिर उस एक को चुनते हैं जो सबसे अधिक बार आता है। यह अच्छी तरह से काम करता है, लेकिन यह ऐसा है जैसे एक स्लाइस खाने के लिए 32 पिज्जा ऑर्डर करना। यह धीमा (उच्च लेटेंसी) है और इसमें बहुत पैसा (उच्च गणना लागत) खर्च होता है।

कुछ मौजूदा तरीके अधिक स्मार्ट होने की कोशिश करते हैं। वे कहते हैं, "ठीक है, एक अनुमान मांगें, देखें कि क्या हम आश्वस्त हैं, और शायद एक और मांगें।" लेकिन ये तरीके एक कठोर नियम पुस्तिका की तरह हैं: "यदि आत्मविश्वास 95% है, तो रुकें।" वे वास्तव में स्थिति को समझते नहीं हैं; वे बस एक चेकलिस्ट का पालन करते हैं। कभी-कभी वे बहुत जल्दी रुक जाते हैं (गलत उत्तर देते हैं), और कभी-कभी वे बहुत लंबे समय तक चलते रहते हैं (पैसा बर्बाद करते हैं)।

समाधान: "स्मार्ट मैनेजर" (RL-निर्देशित सैंपलिंग)
यह पेपर RL-गाइडेड सैंपलिंग नामक एक नई प्रणाली पेश करता है। इसे एक छोटे, सुपर-फास्ट मैनेजर (एक छोटा AI कंट्रोलर) को अनुमान लगाने की प्रक्रिया की देखरेख करने के लिए काम पर रखने के रूप में समझें।

यह मैनेजर कैसे काम करता है:

कार्य योजना (The MDP): लेखक एक खेल सेट करते हैं जहाँ मैनेजर राउंड-दर-राउंड निर्णय लेता है।
- स्थिति (The State): मैनेजर उन उत्तरों के ढेर को देखता है जो AI ने पहले ही बना लिए हैं। उसे यह जानने की ज़रूरत नहीं है कि गणित की समस्या क्या है, या AI कितना आश्वस्त महसूस कर रहा है। वह केवल सांख्यिकी (stats) को देखता है: "कितने लोगों ने '10' कहा? कितने लोगों ने '20' कहा? क्या उत्तर चारों ओर बिखरे हुए हैं, या वे अब सहमत होने लगे हैं?"
- कार्रवाई (The Action): उन सांख्यिकी के आधार पर, मैनेजर के पास दो विकल्प हैं:
  - रुकें (Stop): "ठीक है, हमारे पास पर्याप्त सहमति है। आइए विजेता को चुनें और घर चलें।"
  - जारी रखें (Continue): "हम अभी भी भ्रमित हैं। आइए AI से अभी 2, 4, या शायद और अधिक अनुमान मांगें।"
- पुरस्कार (The Reward): मैनेजर को एक अच्छा बॉस बनने के लिए प्रशिक्षित किया जाता है। उसे तब "हाई फाइव" (पुरस्कार) मिलता है जब अंतिम उत्तर सही होता है। लेकिन उसे हर अतिरिक्त सेकंड के इंतजार (लेटेंसी) और हर अतिरिक्त अनुमान के ऑर्डर के लिए "फ्रंट" (दंड) मिलता है।
करके सीखना (Reinforcement Learning): मैनेजर जन्म से नियम नहीं जानता। वह खेल को हजारों बार खेलता है। शुरू में, वह बहुत सारे अनुमान बर्बाद कर सकता है। लेकिन धीरे-धीरे वह सही संतुलन सीख जाता है: "इस प्रकार के उलझन भरे सवाल के लिए, मुझे 10 अनुमान चाहिए। इस आसान वाले के लिए, 4 काफी हैं।"

यह विशेष क्यों है?

यह हल्का है (Lightweight): मैनेजर बहुत छोटा है। यह इतना छोटा है कि यह एक सामान्य कंप्यूटर प्रोसेसर (CPU) पर चल सकता है, न कि केवल एक महंगे ग्राफिक्स कार्ड पर।
यह गैर-हस्तक्षेपकारी है (Non-Invasive): इसे AI के दिमाग के अंदर झांकने की ज़रूरत नहीं है (जैसे कि छिपे हुए आत्मविश्वास स्कोर को देखना)। यह केवल अंतिम उत्तरों को देखता है, जैसे कि वोटों की गिनती करने वाला एक जज।
यह अनुकूलन करता है (Adapts): कठोर नियम पुस्तिकाओं के विपरीत, यह मैनेजर एक लचीली रणनीति सीखता है। वह जानता है कि कब आक्रामक होना है और कब रूढ़िवादी।

परिणाम
जब शोधकर्ताओं ने इस "स्मार्ट मैनेजर" का पुराने तरीकों के खिलाफ परीक्षण किया:

इसने आवश्यक अनुमानों की कुल संख्या में लगभग 30% से 65% की बचत की।
इसने सिस्टम को रुकने और जांच करने (राउंड्स) के समय को 3 से 4 गुना कम कर दिया।
इसने यह सब बिना अंतिम उत्तरों की सटीकता को कम किए किया; वास्तव में, इसने अक्सर अधिक सही उत्तर प्राप्त किए क्योंकि इसने बहुत जल्दी रुकना नहीं सीखा।

बड़ी तस्वीर
पुराने तरीकों को एक ऐसे ड्राइवर के रूप में सोचें जो या तो एक स्थिर धीमी गति से गाड़ी चलाता है या ट्रैफ़िक की परवाह किए बिना हर रेड लाइट पर रुक जाता है। यह नया तरीका एक स्मार्ट GPS की तरह है जो ट्रैफ़िक, समय, और मंजिल को देखता है, और ड्राइवर को बताता है कि उसे ठीक कब तेज़ होना है और कब रुकना है, जिससे ईंधन और समय दोनों की बचत होती है जबकि वह आपको सही जगह तक पहुँचा देता है।

पेपर का दावा है कि यह तरीका विभिन्न प्रकार की गणितीय समस्याओं के लिए अच्छी तरह काम करता है और यह भी काम करता है यदि आप मैनेजर को एक प्रकार के AI पर प्रशिक्षित करते हैं और उसका उपयोग दूसरे, अधिक शक्तिशाली AI को प्रबंधित करने के लिए करते हैं। यह महंगे AI मॉडल का सर्वोत्तम उपयोग करने के लिए एक सरल, कुशल तरीका है।

तकनीकी सारांश: टेस्ट-टाइम स्केलिंग के लिए RL-निर्देशित अनुकूली सैंपलिंग (RL-Guided Adaptive Sampling)

समस्या विवरण (Problem Statement)
टेस्ट-टाइम स्केलिंग, अतिरिक्त प्रशिक्षण के बिना लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमताओं को बढ़ाने के लिए एक महत्वपूर्ण तकनीक के रूप में उभरी है। सेल्फ-कंसिस्टेंसी (SC), ट्री-ऑफ-थॉट्स (Tree-of-Thoughts), और बेस्ट-ऑफ-एन (Best-of-N) सैंपलिंग जैसी विधियाँ अधिक इन्फरेंस-टाइम कंप्यूटेशन आवंटित करके उत्तर की गुणवत्ता में सुधार करती हैं। हालाँकि, ये लाभ कुल कंप्यूटेशन और लेटेंसी (latency) दोनों में भारी लागत का कारण बनते हैं। मौजूदा अनुकूली सैंपलिंग विधियाँ, जैसे कि एडेप्टिव सेल्फ-कंसिस्टेंसी (ASC) और अर्ली-स्टॉपिंग सेल्फ-कंसिस्टेंसी (ESC), इन लागतों को कम करने का प्रयास करती हैं, यह तय करके कि सैंपलिंग कब रोक दी जाए। फिर भी, ये दृष्टिकोण महत्वपूर्ण सीमाओं से ग्रस्त हैं: वे अक्सर मानव-निर्मित ह्यूरिस्टिक्स (heuristics) या वितरण संबंधी धारणाओं पर निर्भर करते हैं, उन्हें सहायक संकेतों (जैसे आंतरिक मॉडल कॉन्फिडेंस, हिडन स्टेट्स, या प्रश्न की कठिनाई) की आवश्यकता होती है जो उपलब्ध नहीं हो सकते हैं, और वे मानक इन्फरेंस पाइपलाइनों के लिए दखल देने वाले (invasive) हो सकते हैं। एक हल्के (lightweight), सिद्धांत-आधारित तरीके की आवश्यकता है जो बिना किसी सहायक फीचर या मॉडल हस्तक्षेप के उत्तर की शुद्धता, लेटेंसी और कम्प्यूटेशनल लागत के बीच संतुलन बना सके।

कार्यप्रणाली (Methodology)
लेखक RL-गाइडेड सैंपलिंग (RL-Guided Sampling) का प्रस्ताव करते हैं, जो अनुकूली सैंपलिंग को एक परिमित-क्षित (finite-horizon) मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार करता है।

MDP फॉर्मूलेशन:
- स्टेट ( $s_t$ ): स्टेट का निर्माण केवल वर्तमान सैंपल किए गए उत्तरों के पूल ( $D_t$ ) के सांख्यिकी (statistics) से किया जाता है। इसमें टॉप- $K$ सबसे अधिक बार आने वाले उत्तर वर्गों (answer classes) की संख्या, जनरेट किए गए कुल सैंपल, और इन गणनाओं की एंट्रॉपी (entropy) शामिल है। महत्वपूर्ण रूप से, स्टेट क्वेरी-विशिष्ट जानकारी या आंतरिक मॉडल संकेतों पर निर्भर नहीं है।
- एक्शन ( $a_t$ ): प्रत्येक राउंड में, कंट्रोलर एक डिस्क्रीट सेट से एक एक्शन चुनता है: या तो सैंपलिंग रोक दें (एक्शन 0) या समानांतर में अतिरिक्त कैंडिडेट उत्तरों की एक विशिष्ट संख्या जनरेट करें (एक्शन्स $k_1, k_2, \dots$ )।
- रिवॉर्ड फंक्शन (Reward Function): रिवॉर्ड अंतिम उत्तर की गुणवत्ता बनाम इन्फरेंस लागत के बीच संतुलन बनाता है।
  - स्टेप-वाइज पेनल्टी: प्रत्येक अतिरिक्त सैंपलिंग राउंड के लिए ( $\lambda_{lat}$ ) और प्रत्येक नए सैंपल जनरेट करने के लिए ( $\lambda_{comp}$ ) एक पेनल्टी लगाई जाती है।
  - टर्मिनल रिवॉर्ड: समाप्ति पर (या तो कंट्रोलर द्वारा रुकने या अधिकतम बजट तक पहुँचने पर), मॉडल को बहुमत-मत (majority-vote) उत्तर की शुद्धता के आधार पर रिवॉर्ड मिलता है। लक्षित शुद्धता ( $y^\star$ ) उस बहुमत मत को परिभाषित करती है जो तब प्राप्त होता यदि सैंपलिंग अधिकतम बजट $N$ तक जारी रहती, जिससे रिवॉर्ड को ग्राउंड-ट्रुथ लेबल्स से अलग किया जा सके।
- ऑप्टिमाइज़ेशन: कंट्रोलर को अपेक्षित संचयी रिवॉर्ड (expected cumulative reward) को मैक्सिमाइज करने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है। लेखक नोट करते हैं कि इस ऑब्जेक्टिव को एक बाधा-युक्त अनुकूलन समस्या (constrained optimization problem) के लैग्रेंजियन रिलैक्सेशन (Lagrangian relaxation) के रूप में व्याख्यायित किया जा सकता है, जहाँ लक्ष्य लेटेंसी और कंप्यूटेशन बजट के अधीन सटीकता को अधिकतम करना है।
आर्किटेक्चर और परिनियोजन (Architecture and Deployment):
कंट्रोलर एक हल्का चार-परत वाला मल्टी-लेयर पर्सेप्ट्रॉन (MLP) है। इसे कार्य करने के लिए केवल जनरेट किए गए अंतिम उत्तरों की आवश्यकता होती है, जिससे यह गैर-आक्रामक (non-invasive) बनता है और CPU पर तैनात किया जा सकता है। इसके लिए अंतर्निहित LLM को फाइन-ट्यून करने की आवश्यकता नहीं है।

प्रमुख योगदान (Key Contributions)

अनुकूली सैंपलिंग के लिए MDP फॉर्मूलेशन: यह पेपर अनुकूली सैंपलिंग के लिए एक नवीन MDP फॉर्मूलेशन पेश करता है, जो ह्यूरिस्टिक नियमों से हटकर एक सीखे हुए पॉलिसी की ओर बढ़ता है जो प्रदर्शन-लागत ट्रेड-ऑफ को स्पष्ट रूप से नेविगेट करता है।
हल्का और गैर-आक्रामक डिज़ाइन: यह विधि पूरी तरह से सैंपल किए गए उत्तर पूल के सांख्यिकी पर निर्भर है, जिसमें किसी भी सहायक सिग्नल (जैसे कॉन्फिडेंस स्कोर) की आवश्यकता नहीं है और न ही LLM की रीजनिंग प्रक्रिया में कोई संशोधन की आवश्यकता है। कंट्रोलर इतना छोटा है कि इसे CPU पर प्रशिक्षित और तैनात किया जा सकता है।
सैद्धांतिक व्याख्या: लेखक अपने RL ऑब्जेक्टिव और कंस्ट्रेंड ऑप्टिमाइज़ेशन के बीच एक सैद्धांतिक संबंध प्रदान करते हैं, यह दिखाते हुए कि भारित (weighted) रिवॉर्ड फंक्शन सख्त संसाधन बाधाओं के तहत सटीकता को अधिकतम करने के लिए एक लैग्रेंजियन रिलैक्सेशन के रूप में कार्य करता है।
सामान्यीकरण (Generalization): फ्रेमवर्क मजबूत सामान्यीकरण प्रदर्शित करता है, जहाँ एक डेटासेट या मॉडल (जैसे Qwen-3-0.6B) पर प्रशिक्षित पॉलिसियों को न्यूनतम प्रदर्शन गिरावट के साथ विभिन्न बेंचमार्क और यहाँ तक कि विभिन्न, अधिक सक्षम मॉडल्स (जैसे GPT-4.1-nano) पर लागू किया जा सकता है।

प्रायोगिक परिणाम (Experimental Results)
इस विधि का मूल्यांकन विभिन्न LLM सैंपलर्स (Qwen-3 फैमिली और GPT-4.1-nano) का उपयोग करके तीन गणितीय तर्क बेंचमार्क (AIME24, AIME25, HMMT 2025) पर किया गया।

बेसलाइन्स के विरुद्ध प्रदर्शन (Performance vs. Baselines): मजबूत बेसलाइन्स जैसे ASC और ESC की तुलना में, RL-गाइडेड सैंपलिंग बेहतर ट्रेड-ऑफ प्राप्त करती है:
- vs. ASC: तुलनीय सटीकता बनाए रखते हुए सैंपलिंग राउंड को लगभग 3–4 $\times$ कम करती है और कुल सैंपल को ~30% कम करती है। यह ASC की उच्च लेटेंसी बाधा को संबोधित करता है।
- vs. ESC: कुल सैंपल आवश्यकताओं को ~33% और सैंपलिंग राउंड को ~10% कम करती है, और अत्यधिक आक्रामक अर्ली-स्टॉपिंग से बचकर उच्च सटीकता प्राप्त करती है।
- vs. SC: जबकि सभी अनुकूली विधियाँ फिक्स्ड-बजट SC की तुलना में कुल सैंपल काउंट को कम करती हैं, RL-गाइडेड सैंपलिंग ASC की तुलना में काफी कम राउंड और ESC की तुलना में बेहतर दक्षता के साथ यह उपलब्धि हासिल करती है।
स्केलिंग व्यवहार (Scaling Behavior): स्केलिंग कर्व्स दर्शाते हैं कि RL-गाइडेड सैंपलिंग विभिन्न पैरामीटर सेटिंग्स में लगातार बेसलाइन्स से बेहतर प्रदर्शन करती है, जो समान या कम सैंपल/राउंड के लिए बेहतर सटीकता प्रदान करती है।
संसाधन आवंटन (Resource Allocation): विश्लेषण से पता चलता है कि सीखा हुआ पॉलिसी सहजता से उन क्वेरीज को अधिक सैंपल आवंटित करता है जिनमें उच्च उत्तर एंट्रॉपी (विविधता) होती है, जो एक विश्वसनीय बहुमत तक पहुँचने के लिए अधिक सैंपल की आवश्यकता के अनुरूप है।
एब्लेशन स्टडीज (Ablation Studies): "रनिंग मेजॉरिटी" (मैक्सिमम बजट $N$ पर बहुमत मत) टारगेट, ग्राउंड-ट्रुथ लेबल्स (रियल लेबल) की तुलना में बेहतर पाया गया, जिसने शोर (noise) पेश किया और यूनिवर्सल स्टॉपिंग क्राइटेरिया सीखने में बाधा डाली।

महत्ता और दावे (Significance and Claims)
यह पेपर दावा करता है कि RL-गाइडेड सैंपलिंग मौजूदा अनुकूली सैंपलिंग विधियों के लिए एक सिद्धांत-आधारित, हल्का विकल्प प्रदान करती है। समस्या को MDP के रूप में फ्रेम करके और एक छोटे कंट्रोलर को RL के माध्यम से प्रशिक्षित करके, यह विधि LLM या उसके आंतरिक स्टेट्स तक पहुँच के बिना उत्तर की शुद्धता, लेटेंसी और कंप्यूटेशन लागत के बीच प्रभावी ढंग से संतुलन बनाती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण विशेष रूप से व्यावहारिक परिनियोजन के लिए मूल्यवान है, क्योंकि इसे सस्ते ओपन-सोर्स मॉडल्स पर प्रशिक्षित किया जा सकता है और मजबूत, प्रोप्रायटरी या क्लोज्ड-सोर्स सिस्टम्स की इन्फरेंस लागत को कम करने के लिए ट्रांसफर किया जा सकता है। यह कार्य RL-आधारित अनुकूली सैंपलिंग की दिशा में एक प्रारंभिक कदम है, जिसमें समृद्ध स्टेट सिग्नल्स और वास्तविक दुनिया के लागत मेट्रिक्स को शामिल करने के भविष्य के दिशा-निर्देश सुझाए गए हैं।

इसी तरह के और पेपर