💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

यह शोध पत्र PACED-RL प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो GFlowNet पार्टीशन फंक्शन को प्रति-प्रॉम्ट सटीकता सिग्नल के रूप में पुनर्व्याख्या करता है ताकि सूचनात्मक प्रॉम्ट्स को प्राथमिकता दी जा सके और रिप्ले को अनुकूलित किया जा सके, जिससे बिना किसी अतिरिक्त कम्प्यूटेशनल ओवरहेड के LLMs में सैंपल दक्षता और रीजनिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत ही शाब्दिक (literal) छात्र (AI) को जटिल पहेलियाँ, जैसे गणित की समस्याएँ या कोडिंग चुनौतियाँ हल करना सिखा रहे हैं। आप चाहते हैं कि वह तर्क करने में बेहतर बने, लेकिन आप यह भी चाहते हैं कि वह अपनी रचनात्मकता बनाए रखे और केवल एक ही तरीके को रटकर न रह जाए।

यह शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे PACED-RL कहा जाता है। इसे समझने के लिए, आइए देखते हैं कि वर्तमान पद्धतियों में क्या समस्याएँ हैं और यह नया दृष्टिकोण एक चतुर ट्रिक का उपयोग करके उन्हें कैसे ठीक करता है।

समस्या: "अति-आत्मविश्वासी" छात्र

वर्तमान शिक्षण पद्धतियाँ (जैसे PPO या GRPO) एक सख्त ड्रिल सार्जेंट की तरह हैं। वे छात्र से कहती हैं: "अगर तुम्हें उत्तर सही मिला, तो बहुत अच्छा! अगर गलत मिला, तो अगली बार और अधिक प्रयास करना।"

परिणाम: छात्र सही उत्तर पाने में तो बहुत कुशल हो जाता है, लेकिन वह जड़ (rigid) हो जाता है। वह अलग-अलग दृष्टिकोण आज़माना बंद कर देता है और केवल वही एक चीज़ आउटपुट करता है जो उसे "सुरक्षित" लगती है। वह अपने विचारों की विविधता खो देता है।

पिछला समाधान: "फ्लो" (Flow) पद्धति

हाल ही में, शोधकर्ताओं ने GFlowNets नामक एक पद्धति का परीक्षण किया। केवल उच्चतम स्कोर के पीछे भागने के बजाय, यह पद्धति छात्र को उत्तरों के एक विशिष्ट "आदर्श वितरण" (ideal distribution) से मेल खाने के लिए सिखाने की कोशिश करती है। यह कुछ ऐसा है जैसे कहना: "केवल एक सही उत्तर मत ढूँढो; सभी संभावित सही उत्तरों को सही अनुपात में ढूँढो।"

कमी: इसे काम करने के लिए, सिस्टम को एक जटिल संख्या की गणना करनी पड़ती है जिसे पार्टीशन फंक्शन (Partition Function) कहा जाता है। अब तक, सभी ने इस संख्या को एक उबाऊ कैलकुलेटर बटन की तरह माना है—कुछ ऐसा जिसे गणित को चलाने के लिए दबाना ही पड़ता है, लेकिन फिर आप परिणाम को तुरंत फेंक देते हैं।

बड़ा विचार: पार्टीशन फंक्शन एक "कठिनाई मीटर" है

लेखकों को एक "यूरेका!" क्षण मिला। उन्होंने महसूस किया कि यह "उबाऊ" संख्या (पार्टीशन फंक्शन) वास्तव में एक रहस्य छिपाए हुए है: यह आपको बताता है कि वर्तमान में छात्र के लिए एक विशिष्ट प्रश्न कितना कठिन है।

पार्टीशन फंक्शन को एक कैलकुलेटर के रूप में नहीं, बल्कि एक डिफिकल्टी शेड्यूलर (Difficulty Scheduler) के रूप में सोचें।

यदि संख्या उच्च है, तो प्रश्न छात्र के लिए आसान है।
यदि संख्या कम है, तो प्रश्न बहुत कठिन है।
यदि संख्या बीच में है, तो वह "बिल्कुल सही" (सीखने के लिए सबसे अच्छा बिंदु) है।

PACED-RL कैसे काम करता है: स्मार्ट ट्यूटर

इस "डिफिकल्टी मीटर" को फेंकने के बजाय, PACED-RL इसका उपयोग एक सुपर-स्मार्ट ट्यूटरिंग सत्र चलाने के लिए करता है। यह दो मुख्य चीजें करता है:

1. "गोल्डिलॉक्स" प्रश्नों का चयन (Adaptive Prompt Selection)
कल्पना कीजिए कि एक शिक्षक के पास 10,000 अभ्यास प्रश्नों का ढेर है।

पुराना तरीका: शिक्षक यादृच्छिक (randomly) रूप से प्रश्न चुनता है। कुछ बहुत आसान हैं (छात्र ऊब जाता है), और कुछ बहुत कठिन हैं (छात्र हार मान लेता है)।
PACED-RL का तरीका: शिक्षक हर प्रश्न के लिए "डिफिकल्टी मीटर" को देखता है। वे केवल उन्हीं को चुनते हैं जिनके सही होने की संभावना 50% है।
- क्यों? यह "गोल्डिलॉक्स ज़ोन" है। यह न तो बहुत आसान है, न ही बहुत कठिन। यह वह आदर्श चुनौती है जहाँ छात्र सबसे अधिक सीखता है।
- जादू: शिक्षक को यह जानकारी मुफ्त में मिलती है! उन्हें यह जानने के लिए पहले छात्र को समस्या हल करने के लिए नहीं कहना पड़ा कि कठिनाई क्या है; "मीटर" (पार्टीशन फंक्शन) ने प्रशिक्षण के दौरान पहले ही कठिनाई बता दी थी।

2. "गलती समीक्षा" सत्र (Prioritized Replay)
जब छात्र कोई अनुमान लगाता है, तो सिस्टम जाँचता है: "क्या हमारे डिफिकल्टी मीटर ने इसकी सही भविष्यवाणी की थी?"

यदि मीटर ने कहा "यह आसान है" लेकिन छात्र गलत निकला, तो यह एक बड़ा आश्चर्य है।
यदि मीटर ने कहा "यह कठिन है" लेकिन छात्र सही निकला, तो यह भी एक आश्चर्य है।
PACED-RL इन "आश्चर्यजनक" क्षणों को एक विशेष नोटबुक (Replay Buffer) में सहेज लेता है। बाद में, यह इन विशिष्ट मामलों की फिर से समीक्षा करता है क्योंकि छात्र की समझ को सुधारने के लिए ये सबसे मूल्यवान हैं।

परिणाम: तेज़ और स्मार्ट

इस शोध पत्र का परीक्षण गणित और कोडिंग कार्यों पर किया गया। यहाँ क्या हुआ:

गति: क्योंकि PACED-RL केवल सबसे उपयोगी प्रश्नों पर ध्यान केंद्रित करता है, इसने बहुत तेज़ी से सीखा। कुछ परीक्षणों में, इसने अन्य पद्धतियों की तुलना में आधे से भी कम समय में समान प्रदर्शन स्तर प्राप्त कर लिया।
रचनात्मकता: "ड्रिल सार्जेंट" पद्धतियों के विपरीत, जिन्होंने छात्र को जड़ बना दिया था, PACED-RL ने छात्र की विविध समाधान खोजने की क्षमता को बनाए रखा। इसने केवल एक समस्या को हल करने का एक तरीका नहीं सीखा; इसने कई तरीके सीखे।
दक्षता (Efficiency): इसे यह पता लगाने के लिए अतिरिक्त कंप्यूटर या अतिरिक्त समय की आवश्यकता नहीं पड़ी कि कौन से प्रश्न चुनने हैं। इसने उस जानकारी का उपयोग किया जो यह पहले से ही उत्पन्न कर रहा था।

सारांश उपमा (Analogy)

मैराथन के लिए प्रशिक्षण लेने की कल्पना करें।

पुराना तरीका: आप हर दिन 10 मील दौड़ते हैं, इस बात की परवाह किए बिना कि आप कैसा महसूस कर रहे हैं।
GFlowNets (पिछला): आप पहाड़ियों और समतल रास्तों का एक विशिष्ट मिश्रण आज़माने की कोशिश करते हैं, लेकिन आपको नहीं पता कि आज के लिए सबसे अच्छा मिश्रण क्या है।
PACED-RL: आपके पास एक स्मार्ट कोच है जो वास्तविक समय में आपकी हृदय गति और थकान के स्तर (पार्टीशन फंक्शन) को देखता है। कोच कहता है, "आज, आसान समतल सड़क (बोरियत) या खड़ी पहाड़ी (बहुत कठिन) मत दौड़ो। चलो उस पहाड़ी पर चलते हैं जो तुम्हें मजबूत बनाने के लिए पर्याप्त चुनौतीपूर्ण है।"

इस "डिफिकल्टी मीटर" का उपयोग करके जो पहले से ही मौजूद था, PACED-RL AI को बिना किसी समय या ऊर्जा को बर्बाद किए स्मार्ट, तेज़ और अधिक रचनात्मक बनाता है।

तकनीकी सारांश: सामान्यीकरण से परे: RLVR के लिए डिफिकल्टी शेड्यूलर के रूप में पार्टीशन फंक्शन का पुनर्मूल्यांकन

समस्या विवरण
वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) ने लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को बढ़ाने के लिए प्रभावशीलता सिद्ध की है। हालांकि, PPO और GRPO जैसी मानक रिवॉर्ड-मैक्सिमाइजिंग विधियाँ अक्सर अत्यधिक शार्प्ड आउटपुट डिस्ट्रीब्यूशन की ओर ले जाती हैं, जिससे जनरेशन डाइवर्सिटी (विविधता) कम हो जाती है। हालिया दृष्टिकोण जो GFlowNets का उपयोग करते हैं, वे इसे एक रिवॉर्ड-प्रेरित टारगेट डिस्ट्रीब्यूशन से पॉलिसी को मैच करने के लिए प्रशिक्षित करके इस समस्या को हल करते हैं, लेकिन वे आमतौर पर सीखे गए पार्टीशन फंक्शन ( $Z$ ) को केवल ट्रेनिंग स्थिरता के लिए आवश्यक एक नॉर्मलाइजेशन कांस्टेंट के रूप में देखते हैं। यह शोध पत्र तर्क देता है कि यह परिप्रेक्ष्य $Z$ के भीतर समाहित सूचना का कम उपयोग करता है, जिससे अतिरिक्त कम्प्यूटेशनल लागत के बिना सैंपल एफिशिएंसी (नमूना दक्षता) में सुधार करने का एक अवसर हाथ से निकल जाता है।

कार्यप्रणाली: PACED-RL
लेखक पार्टीशन फंक्शन-गाइडेड RL (PACED-RL) का प्रस्ताव करते हैं, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो GFlowNet पार्टीशन फंक्शन को न केवल एक नॉर्मलाइज़र के रूप में, बल्कि प्रति-प्रॉम्ट ऑनलाइन एक्यूरेसी (सटीकता) के संकेत के रूप में पुनर्व्याख्या करता है। कार्यप्रणाली के तीन मुख्य घटक हैं:

पार्टीशन फंक्शन की सैद्धांतिक पुनर्व्याख्या:
शोध पत्र अनुकूल पार्टीशन फंक्शन $Z^*(x)$ और प्री-अपडेट पॉलिसी के तहत एक प्रश्न प्रॉम्ट $x$ की ऑनलाइन एक्यूरेसी $p_{old}(x)$ के बीच एक सैद्धांतिक संबंध स्थापित करता है। ट्रेजेक्टरी बैलेंस (TB) लॉस को एक फिक्स्ड रेफरेंस मॉडल के बजाय वर्तमान पॉलिसी ( $\pi_{old}$ ) पर KL डाइवर्जेंस को एंकर करने के लिए संशोधित करके, लेखक व्युत्पन्न करते हैं कि $Z^*(x)$ सीधे एक्यूरेसी जानकारी को एनकोड करता है। विशेष रूप से, $p_{old}(x) \approx \beta \log Z^*(x)$ , जहाँ दिखाया गया है कि मानक ट्रेनिंग डायनेमिक्स के दौरान KL डाइवर्जेंस टर्म नगण्य होता है। यह पार्टीशन फंक्शन, जो पहले से ही नॉर्मलाइजेशन के लिए सीखा जा रहा है, को एक फ्री, ऑनलाइन एक्यूरेसी एस्टिमेटर के रूप में कार्य करने की अनुमति देता है।
अनुकूली प्रॉम्ट चयन (Adaptive Prompt Selection):
$Z_\phi(x)$ से प्राप्त एक्यूरेसी अनुमानों का लाभ उठाते हुए, PACED-RL एक कठिनाई-जागरूक प्रॉम्ट चयन रणनीति लागू करता है। प्रॉम्ट्स को समान रूप से (uniformly) सैंपल करने के बजाय, यह विधि उन टॉप- $m$ प्रॉम्ट्स को लालचपूर्वक (greedily) चुनती है जिनकी अनुमानित एक्यूरेसी एक लक्षित मान $\tau$ (आमतौर पर 0.5) के सबसे करीब है। यह प्रशिक्षण को "इंटरमीडिएट डिफिकल्टी" वाले नमूनों पर केंद्रित करता है, जो पिछले कार्यों में अधिक सूचनात्मक लर्निंग सिग्नल प्रदान करते हुए दिखाया गया है, जिससे सैंपल एफिशिएंसी अधिकतम होती है।
एक्यूरेसी एस्टिमेशन एरर-प्रायोरिटाइज्ड रिप्ले:
पार्टीशन फंक्शन को और अधिक बेहतर बनाने और कैलिब्रेट करने के लिए, यह फ्रेमवर्क एक रिप्ले मैकेनिज्म पेश करता है। एक बफर सही रिवॉर्ड्स ( $r=1$ ) वाले प्रॉम्ट-आउटपुट पेयर्स को स्टोर करता है। इस बफर के भीतर, नमूनों को उनके एक्यूरेसी एस्टिमेशन एरर के परिमाण के आधार पर प्राथमिकता दी जाती है: $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ । यह सुनिश्चित करता है कि मॉडल उन नमूनों पर फिर से विचार करे जहाँ पार्टीशन फंक्शन का अनुमान वास्तविक अवलोकन से सबसे अधिक विचलित होता है, जिससे एक्यूरेसी अनुमान और टारगेट डिस्ट्रीब्यूशन नॉर्मलाइजेशन को और अधिक सटीक बनाया जा सके।

महत्वपूर्ण रूप से, प्रॉम्ट चयन और रिप्ले प्रायोरिटाइजेशन दोनों ही मानक GFlowNet ट्रेनिंग के दौरान उत्पन्न सूचना का पुन: उपयोग करते हैं, जिससे अतिरिक्त कम्प्यूटेशनल ओवरहेड मौजूदा ऑप्टिमाइजेशन प्रक्रिया में ही समाहित हो जाता है।

मुख्य योगदान

सैद्धांतिक अंतर्दृष्टि: शोध पत्र प्रदर्शित करता है कि LLM पोस्ट-ट्रेनिंग के लिए GFlowNet पार्टीशन फंक्शन स्वाभाविक रूप से ऑनलाइन एक्यूरेसी से जुड़ा हुआ है, जो इसे किसी भी सहायक तंत्र के बिना एक डायरेक्ट एक्यूरेसी एस्टिमेटर के रूप में उपयोग करने में सक्षम बनाता है।
PACED-RL फ्रेमवर्क: एक नवीन प्रशिक्षण ढांचे का परिचय जो अनुकूल प्रॉम्ट चयन और एरर-प्रायोरिटाइज्ड रिप्ले के लिए इन एक्यूरेसी अनुमानों का उपयोग करता है, जो GFlowNets की विविधता संबंधी लाभों को बनाए रखते हुए सैंपल एफिशिएंसी में सुधार करता है।
अनुभवजन्य सत्यापन (Empirical Validation): गणितीय तर्क और कोड जनरेशन बेंचमार्क पर व्यापक मूल्यांकन दिखाते हैं कि PACED-RL, मजबूत बेसलाइन्स (GRPO, FlowRL) और एडैप्टिव सैंपलिंग विधियों (DS, LILO, MoPPS) की तुलना में, बिना किसी अतिरिक्त कम्प्यूटेशनल ओवरहेड के महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है।

प्रायोगिक परिणाम
प्रयोग कोड जनरेशन (DeepCoder डेटासेट, DeepSeek-R1-Distill-Qwen-1.5B) और गणितीय तर्क (DeepScaleR डेटासेट, Qwen2.5-Math-1.5B/7B) पर किए गए।

प्रदर्शन लाभ: AIME 24 बेंचमार्क पर, PACED-RL ने Qwen2.5-Math-7B मॉडल का उपयोग करके GRPO की तुलना में औसत pass@1 प्रदर्शन में 29.1% और FlowRL की तुलना में 40.0% का सुधार किया।
सैंपल एफिशिएंसी: PACED-RL ने GRPO और FlowRL की तुलना में काफी कम समय में सर्वश्रेष्ठ प्रदर्शन हासिल किया (उदाहरण के लिए, LiveCodeBench पर 0.42× प्रशिक्षण समय)। ओवर-सैंपलिंग (DS, LILO) की आवश्यकता वाले तरीकों के विपरीत, PACED-RL ने मानक ट्रेनिंग के सापेक्ष 1.0× रोलआउट अनुपात बनाए रखा, जिससे एक्यूरेसी एस्थातिमेट के लिए अतिरिक्त सैंपल जेनरेट करने से जुड़ी लेटेंसी पेनल्टी से बचा जा सका।
विविधता (Diversity): pass@k मेट्रिक्स के माध्यम से मापा गया, PACED-RL ने बेसलाइन्स को लगातार पीछे छोड़ दिया, जो GRPO पर 14.2% और FlowRL पर 9.1% तक का सुधार दिखाता है, जो पुष्टि करता है कि यह विधि आउटपुट विविधता और एक्सप्लोरेशन क्षमता को बनाए रखती है।
एब्लेशन स्टडीज: लेखकों ने सत्यापित किया कि एक्यूरेसी एस्टिमेटर में KL डाइवर्जेंस टर्म को हटाने से सैंपलिंग डायनेमिक्स पर नगण्य प्रभाव पड़ता है जबकि महत्वपूर्ण गणना बचती है। उन्होंने यह भी दिखाया कि यह विधि मॉडल में सुधार के साथ कठिन प्रश्नों की ओर स्वाभाविक रूप से शिफ्ट होती है, जिससे डेटासेट के संकीर्ण हिस्से में कोलैप्स होने से बचाव होता है।

महत्व और दावे
शोध पत्र का दावा है कि PACED-RL LLMs के लिए डिस्ट्रीब्यूशन-मैचिंग ट्रेनिंग को बढ़ाने का एक "सिद्धांतिक और व्यावहारिक तरीका" प्रदान करता है। पार्टीशन फंक्शन को एक ऑनलाइन एक्यूरेसी सिग्नल के रूप में पुनर्व्याख्या करके, यह विधि सहायक एक्यूरेसी एस्टिमेटर्स या अत्यधिक रोलआउट जनरेशन के कम्प्यूटेशनल बोझ के बिना अधिक सैंपल-एफिशिएंट ट्रेनिंग को सक्षम बनाती है। लेखक इस कार्य को अधिक कुशल RLVR पोस्ट-ट्रेनिंग की दिशा में एक कदम के रूप में देखते हैं, यह सुझाव देते हुए कि पार्टीशन फंक्शन की भूमिका केवल नॉर्मलाइजेशन से आगे बढ़कर एक डायनेमिक डिफिकल्टी शेड्यूलर के रूप में कार्य करने तक विस्तृत है। भविष्य के कार्य के रूप में इन्फरेंस-टाइम रणनीतियों (जैसे, एडैप्टिव सेल्फ-कंसिस्टेंसी) और एसिंक्रोनस GFlowNet सेटिंग्स में इस फ्रेमवर्क के विस्तार की संभावना तलाशी जा सकती है।