🤖 machine learning

Learning-Zone Energy: Online Data Selection for Efficient RL Post-Training

यह शोध पत्र लर्निंग-ज़ोन एनर्जी (LZE) का परिचय देता है, जो एक ऑनलाइन डेटा चयन ढांचा है जो बड़े भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) पोस्ट-ट्रेनिंग को अनुकूलित करता है, और मॉडल के सक्रिय शिक्षण सीमा (एक्टिव लर्निंग फ्रंटियर) के भीतर के प्रॉम्प्ट्स पर गतिशील रूप से गणनात्मक संसाधनों को केंद्रित करके, काफी कम डेटा उपयोग और प्रशिक्षण लागत के साथ बेहतर गणितीय तर्क प्रदर्शन प्राप्त करता है।

मूल लेखक: Peng Cui, Boyao Yang, Jun Zhu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peng Cui, Boyao Yang, Jun Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो कक्षा के छात्रों को गणित की समस्याओं को हल करना सिखाने में मदद करने की कोशिश कर रहे हैं। अतीत में, मानक तरीका (जो GRPO और DAPO जैसे AI मॉडल द्वारा उपयोग किया जाता था) यह था कि हर एक छात्र को ध्यान और अभ्यास का बिल्कुल समान समय और मात्रा दी जाए, चाहे वे पहले से ही विशेषज्ञ हों या पूरी तरह से परेशान हों।

समस्या: शिक्षक उन छात्रों की मदद करने में समय बर्बाद करता है जो पहले से ही उत्तर को पूरी तरह से जानते हैं (उन्हें मदद की ज़रूरत नहीं है) और उन छात्रों को सिखाने में भी समय बर्बाद करता है जो इतने पीछे छूट गए हैं कि वे अभी तक पाठ को समझ ही नहीं पा रहे हैं। "मध्यम" स्तर के छात्र—वे जो संघर्ष कर रहे हैं लेकिन बस समझने की कगार पर हैं—वही लोग हैं जो वास्तव में सबसे अधिक सीखते हैं, लेकिन उन्हें एक ही सामान्य उपचार मिल रहा था।
समाधान (LZE): इस शोध पत्र के लेखक, "लर्निंग-ज़ोन एनर्जी" (LZ E), एक स्मार्ट तरीके से क्लास चलाने का प्रस्ताव देते हैं। उन्होंने एक ऐसा सिस्टम बनाया है जो एक डायनेमिक स्पॉटलाइट (गतिशील प्रकाश) की तरह काम करता है, जो लगातार कमरे का स्कैन करता है ताकि "लर्निंग ज़ोन" (सीखने के क्षेत्र) में मौजूद छात्रों को खोजा जा सके।

"स्पॉटलाइट" कैसे काम करती है

सिस्टम प्रत्येक गणित की समस्या के लिए एक "लर्निंग-ज़ोन एनर्जी स्कोर" की गणना करता है जिसे AI प्रयास करने की कोशिश करता है। यह तय करने के लिए कि किसे स्पॉटलाइट मिले, यह तीन सरल संकेतों का उपयोग करता है:

द डिफिकल्टी एंकर (द "हार्ड" फ़िल्टर):
कल्पना कीजिए कि एक छात्र हमेशा से गणित का जीनियस रहा है। भले ही वह आज किसी समस्या पर लड़खड़ा जाए, सिस्टम याद रखता है कि वह आमतौर पर अच्छा है। यह उसे शुरुआती स्तर का व्यवहार करने में ऊर्जा बर्बाद नहीं करता है। इसके विपरीत, इसे याद रहता है कि कौन सी समस्याएं हमेशा असंभव रही हैं। यह सिस्टम को अस्थायी उतार-चढ़ाव से भ्रमित होने से रोकता है।
द अनसर्टेन्टी मीटर (द "50/50" स्वीट स्पॉट):
यह सबसे महत्वपूर्ण हिस्सा है। सिस्टम उन समस्याओं को देखता है जहाँ AI अनुमान लगा रहा है।
- यदि AI इसे 100% बार सही करता है? इसे अनदेखा करें। (बहुत आसान)।
- यदि AI इसे 100% बार गलत करता है? इसे अनदेखा करें। (बहुत कठिन)।
- यदि AI इसे लगभग आधे समय सही करता है? यहाँ ध्यान केंद्रित करें! यह "लर्निंग ज़ोन" है। यह वह सटीक क्षण है जहाँ मस्तिष्क विस्तार कर रहा है और सीख रहा है। सिस्टम इन समस्याओं को उच्चतम ऊर्जा स्कोर देता है।
द मोमेंटम ट्रैकर (द "इम्प्रूवमेंट" सिग्नल):
कभी-कभी एक छात्र बीच में फंसा होता है लेकिन वास्तव में बेहतर नहीं हो रहा होता; वह बस अटका हुआ होता है। सिस्टम जाँचता है: "क्या यह छात्र कल की तुलना में वास्तव में सुधार कर रहा है?" यदि वे बेहतर हो रहे हैं, तो सिस्टम उन्हें अतिरिक्त ध्यान देता है। यदि वे केवल एक ही जगह घूम रहे हैं, तो सिस्टम आगे बढ़ जाता है।

दो-चरणीय रणनीति

शोध पत्र समय और पैसे (कंप्यूटिंग पावर) बचाने के लिए एक चतुर दो-चरणीय प्रक्रिया का वर्णन करता है:

द बैकवर्ड फ़िल्टर (होमवर्क चुनना):
प्रशिक्षण के हर चरण में, सिस्टम स्कोर की जाँच करने के लिए सभी समस्याओं के उत्तर उत्पन्न करता है। फिर, यह केवल शीर्ष 40% समस्याओं को चुनता है (जो लर्निंग ज़ोन में हैं) जिनका उपयोग वास्तव में AI के मस्तिष्क को अपडेट करने के लिए किया जाएगा। यह उस विशिष्ट पाठ के लिए बाकी के "होमवर्क" को हटा देता है।
द फॉरवर्ड प्रूनर (आसान चीज़ों को छोड़ना):
यदि किसी समस्या को कई दिनों तक लगातार पूरी तरह से हल कर लिया गया है, तो सिस्टम उसे "स्किप लिस्ट" में डाल देता है। यह समय बचाने के लिए उसके लिए उत्तर उत्पन्न करना पूरी तरह से बंद कर देता है। हालाँकि, यह कभी-कभी वापस आकर ("रीप्ले") यह सुनिश्चित करता है कि AI उसे हल करना भूल तो नहीं गया है।

परिणाम

लेखकों ने विभिन्न AI मॉडलों (1.5 बिलियन पैरामीटर वाले छोटे मॉडल से लेकर 8 बिलियन वाले बड़े मॉडल तक) पर GSM8K और MATH जैसे गणितीय डेटासेट का उपयोग करके इनका परीक्षण किया।

दक्षता (Efficiency): केवल उन 40% समस्याओं पर ध्यान केंद्रित करके जो मायने रखती हैं, उन्होंने कुल कंप्यूटिंग कार्य (FLOPs) को लगभग 36% कम कर दिया।
गति (Speed): AI तेजी से सीखा। कुछ मामलों में, इसने मानक पद्धति की तुलना में 1.6 गुना कम समय में समान प्रदर्शन स्तर प्राप्त कर लिया।
स्मार्टर AI: AI केवल तेज़ नहीं हुआ; यह देखे हुए नए प्रकार के (आउट-ऑफ-डिस्ट्रीब्यूशन) समस्याओं को हल करने में भी बेहतर हो गया। उदाहरण के लिए, बहुत कठिन गणित प्रतियोगिताओं (AIME25) पर, सुधार जबरदस्त था (+45.9%)।

निचोड़

LZE को एक स्मार्ट कोच के रूप में सोचें जो पेशेवरों के लिए वार्म-अप या शुरुआती लोगों के लिए व्याख्यान देने में समय बर्बाद करना बंद कर देता है। इसके बजाय, वे अपनी 100% ऊर्जा उस "ज़ोन" पर केंद्रित करते हैं जहाँ एथलीट थोड़ा संघर्ष कर रहा है ताकि वह और मजबूत बन सके। यह प्रशिक्षण प्रक्रिया को तेज़, सस्ता और परिणाम स्वरूप एक बहुत अधिक स्मार्ट AI बनाता है।

तकनीकी सारांश: कुशल RL पोस्ट-ट्रेनिंग के लिए लर्निंग-ज़ोन एनर्जी (LZE)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में गणितीय तर्क (mathematical reasoning) को विकसित करने के लिए रीइन्फोर्समेंट लर्निंग (RL) पोस्ट-ट्रेनिंग एक प्रमुख प्रतिमान (paradigm) बन गई है, जिसमें ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) और DAPO जैसे एल्गोरिदम का उपयोग किया जाता है। हालाँकि, प्रचलित तकनीकें रोलआउट और ग्रेडिएंट बजट को सभी प्रॉम्प्ट्स के बीच लगभग समान रूप से वितरित करती हैं। यह दृष्टिकोण एक मौलिक अक्षमता से ग्रस्त है:

मास्टर किए गए प्रॉम्प्ट्स (Mastered Prompts): वे नमूने जिन्हें मॉडल पहले से ही विश्वसनीय रूप से हल कर लेता है, नगण्य लर्निंग सिग्नल प्रदान करते हैं क्योंकि एडवांटेज टर्म शून्य हो जाते हैं।
पहुंच से बाहर के प्रॉम्प्ट्स (Out-of-Reach Prompts): मॉडल की वर्तमान क्षमता से बहुत दूर के नमूने लगभग कोई कार्रवाई योग्य ग्रेडिएंट जानकारी उत्पन्न नहीं करते हैं।
अक्षमता (Inefficiency): कंप्यूटेशनल बजट का एक महत्वपूर्ण हिस्सा इन "गैर-सूचनात्मक" (uninformative) समूहों पर बर्बाद होता है, जबकि मॉडल का "लर्निंग ज़ोन"—जहाँ परिणाम मिश्रित होते हैं और ग्रेडिएंट सबसे अधिक सूचनात्मक होते हैं—अल्प-उपयोगित रह जाता है।

मौजूदा समाधान, जैसे कि स्टैटिक करिकुलम लर्निंग या बाइनरी ऑनलाइन रिजेक्शन (सभी सही या सभी गलत परिणामों के आधार पर रखना/छोड़ना), या तो बहुत कठोर हैं, या पॉलिसी के विकास के साथ अनुकूलित होने में विफल रहते हैं, या महंगे सहायक मॉडल्स (जैसे कि हिडन मार्कोव मॉडल्स) पर निर्भर करते हैं।

2. कार्यप्रणाली: लर्निंग-ज़ोन एनर्जी (LZE)

लेखक लर्निंग-ज़ोन एनर्जी (LZE) का प्रस्ताव करते हैं, जो एक पूर्णतः ऑनलाइन, हल्का डेटा चयन ढांचा है जो गणना को मॉडल के सक्रिय लर्निंग फ्रंटियर पर केंद्रित करता है। LZE का मूल प्रत्येक प्रशिक्षण चरण में प्रत्येक प्रॉम्प्ट समूह के लिए गणना की जाने वाली एक क्लोज्ड-फॉर्म लर्निंग-ज़ोन एनर्जी स्कोर ( $E_i^{(t)}$ ) है।

एनर्जी स्कोर (The Energy Score)

स्कोर तीन पूरक संकेतों को एक एकल स्केलर में फ्यूज करता है:
$E_i^{(t)} = \underbrace{D_i^{(0)}}_{\text{डिफिकल्टी एंकर}} \cdot \underbrace{4p_i^{(t)}(1 - p_i^{(t)})}_{\text{आउटकम अनसर्टेन्टी}} \cdot \underbrace{(1 + \alpha m_i^{(t)})}_{\text{मोमेंटम}}$

आउटकम अनसर्टेन्टी ( $4p(1-p)$ ): वर्तमान ग्रुप पास रेट $p_i^{(t)}$ पर आधारित। यह टर्म $p=0.5$ पर चरम पर होता है और $p=0$ या $p=1$ पर शून्य हो जाता है। यह सीधे तौर पर उस "लर्निंग ज़ोन" को लक्षित करता है जहाँ मॉडल न तो लगातार विफल हो रहा है और न ही सफल हो रहा है। सैद्धांतिक रूप से, यह टर्म GRPO ग्रेडिएंट एस्टिमेटर के वेरिएंस के साथ संरेखित होता है।
डिफिकल्टी एंकर ( $D_i^{(0)}$ ): एक फिक्स्ड प्रायर जिसे $1 - p_i^{(0)}$ के रूप में परिभाषित किया गया है, जहाँ $p_i^{(0)}$ प्रारंभिक पास रेट है। यह सुनिश्चित करने के लिए कि करिकुलम उन प्रॉम्प्ट्स पर केंद्रित न हो जाए जो शुरू में आसान थे लेकिन पॉलिसी नॉइज़ के कारण क्षणिक रूप से $p=0.5$ के करीब आ गए, यह एक डिफिकल्टी एंकर के रूप में कार्य करता है, जिससे मॉडल ऐतिहासिक रूप से चुनौतीपूर्ण समस्याओं पर ध्यान केंद्रित करता है।
पास-रेट मोमेंटम ( $m_i^{(t)}$ ): इसे $p_i^{(t)} - \mu_i^{(t-1)}$ के रूप में परिभाषित किया गया है, जहाँ $\mu$ पिछले पास रेट का एक्सपोनेंशियल मूविंग एवरेज (EMA) है। यह टर्म एक कॉज़ल हाई-पास फ़िल्टर के रूप में कार्य करता है, जो उन प्रॉम्प्ट्स को बढ़ाता है जहाँ पॉलिसी सक्रिय रूप से सुधार रही है और उन्हें दबा देता है जहाँ सीखना स्थिर (stagnate) हो गया है।

प्रशिक्षण एल्गोरिदम (Training Algorithm)

LZE एक दो-चरणीय चयन प्रक्रिया का उपयोग करता है:

बैकवर्ड सिलेक्शन (Top-K): प्रत्येक चरण में, सिस्टम सभी सक्रिय प्रॉम्प्ट्स के लिए एनर्जी स्कोर की गणना करता है। यह पॉलिसी ग्रेडिएंट अपडेट के लिए शीर्ष- $\kappa$ अंश (जैसे, 40%) को बनाए रखता है। एक्सप्लोरेशन को संतुलित करने के लिए, रैंकिंग से पहले गम्बेल नॉइज़ (Gumbel noise) जोड़ा जाता है।
फॉरवर्ड प्रूनिंग विद रिप्ले (Forward Pruning with Replay): एपोक स्तर पर, जो प्रॉम्प्ट्स लगातार $T_{prune}$ एपोच के लिए 100% शुद्धता प्राप्त करते हैं, उन्हें "प्रून पूल" में स्थानांतरित कर दिया जाता है और रोलआउट जनरेशन के दौरान छोड़ दिया जाता है। भूलने (forgetting) का पता लगाने और उससे उबरने के लिए, इन प्रून किए गए प्रॉम्प्ट्स के एक अंश का समय-समय पर पुनर्मूल्यांकन (re-evaluate) किया जाता है।

3. सैद्धांतिक योगदान (Theoretical Contributions)

पेपर डिजाइन विकल्पों के लिए सैद्धांतिक आधार प्रदान करता है:

ग्रेडिएंट इन्फॉर्मेटिवनेस (Gradient Informativeness): लेखक सिद्ध करते हैं (थ्योरम 1) कि एक मानक फिक्स्ड-बेसलाइन सन्निकटन के तहत, एक प्रॉम्प्ट के लिए GRPO ग्रेडिएंट एस्टिमेटर का वेरिएंस लगभग बर्नौली वेरिएंस $p(1-p)$ के समानुपाती होता है। यह पुष्टि करता है कि एनर्जी स्कोर में अनसर्टेन्टी टर्म ग्रेडिएंट इन्फॉर्मेटिवनेस का प्राथमिक चालक है।
सिग्नल प्रोसेसिंग व्याख्या (Signal Processing Interpretation): दिखाया गया है (प्रपोजिशन 2) कि मोमेंटम टर्म पास-रेट सीक्वेंस पर लागू किए गए कॉज़ल हाई-पास फ़िल्टर के आउटपुट के समान है, जो तेजी से बदलते पॉलिसी परिवर्तनों को कैप्चर करने में इसकी भूमिका को गणितीय रूप से न्यायसंगत बनाता है।
अटेंशन एनालॉजी (Attention Analogy): एनर्जी स्कोर को एक सैंपल-लेवल अटेंशन मैकेनिज्म के रूप में व्याख्यायित किया गया है, जहाँ डिफिकल्टी एंकर एक 'की' (key) के रूप में कार्य करता है, वर्तमान स्थिति एक 'क्वेरी' (query) के रूप में, और स्कोर 'अटेंशन वेट' (attention weight) के रूप में।

4. प्रयोगात्मक परिणाम (Experimental Results)

LZE का मूल्यांकन GSM8K, MATH, और DAPO-MATH डेटासेट्स पर Qwen-फैमिली मॉडल्स (1.5B से 8B) पर किया गया था, जिसमें AMC23 और AIME25 पर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) टेस्टिंग भी शामिल थी।

प्रदर्शन (Performance): केवल 40% ट्रेनिंग डेटा का उपयोग करने के बावजूद, LZE सभी कॉन्फ़िगरेशन में फुल-डेटा बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है।
OOD सामान्यीकरण (OOD Generalization): यह विधि OOD बेंचमार्क्स पर स्पष्ट लाभ देती है, जिसमें विशिष्ट मॉडल/डेटासेट संयोजनों के लिए AIME25 पर +45.9% और AMC23 पर +18.2% का सुधार देखा गया है।
दक्षता (Efficiency): बैकप्रोपैगेशन को शीर्ष 40% प्रॉम्प्ट्स तक सीमित करके, जबकि स्कोर अपडेट के लिए पूर्ण रोलआउट कवरेज बनाए रखते हुए, LZE अनुमानित 36% कम ट्रेनिंग FLOPs प्राप्त करता है।
वॉल-क्लॉक टाइम (Wall-Clock Time): यह विधि प्रशिक्षण समय को काफी कम करती है, बेसलाइन्स की तुलना में 1.40x से 1.65x तेजी से अभिसरण (convergence) प्राप्त करती है, और जब फॉरवर्ड प्रनर सक्रिय होता है, तो और भी अधिक स्पीडअप (1.91x तक) मिलता है।
एब्लेशन स्टडीज (Ablation Studies): अनसर्टेन्टी टर्म को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप होता है, जो लर्निंग ज़ोन हाइपोथेसिस को मान्य करता है। मोमेंटम टर्म OOD सामान्यीकरण के लिए महत्वपूर्ण है, और डिफिकल्टी एंकर चयन को शुरू में आसान प्रॉम्प्ट्स पर ढहने से रोकता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि LZE, RL पोस्ट-ट्रेनिंग की अक्षमता का एक सिद्धांतिक, हल्का और पूर्णतः ऑनलाइन समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सहायक ओवरहेड को समाप्त करना: पिछले तरीकों के विपरीत जिनमें जेनरेटिव स्टेट मॉडल्स या ऑफलाइन प्री-प्रोसेसिंग की आवश्यकता होती है, Lize एक क्लोज्ड-फॉर्म स्कोर का उपयोग करता है जिसके लिए किसी अतिरिक्त मॉडल की आवश्यकता नहीं है।
गतिशील अनुकूलन (Dynamic Adaptation): यह स्टैटिक करिकुलम विधियों के विपरीत, विकसित होती पॉलिसी के अनुकूल लगातार बदलता रहता है।
सैद्धांतिक संरेखण (Theoretical Alignment): चयन मानदंड पॉलिसी ग्रेडिएंट अपडेट के अपेक्षित परिमाण के साथ गणितीय रूप से संरेखित है, यह सुनिश्चित करता है कि कंप्यूटेशनल संसाधन वहीं खर्च हों जहाँ वे उच्चतम लर्निंग सिग्नल देते हैं।
स्केलेबिलिटी (Scalability): यह दृष्टिकोण किसी भी ग्रुप-आधारित RL एल्गोरिदम (जैसे GRPO, DAPO) के साथ संगत है और इसके लिए अंडरलाइंग ऑप्टिमाइज़र में किसी संशोधन की आवश्यकता नहीं है, जो इसे व्यापक रूप से लागू करने योग्य बनाता है।

लेखक नोट करते हैं कि उनके प्रयोग वर्तमान में बाइनरी वेरीफिएबल रिवार्ड्स वाले गणितीय तर्क कार्यों तक सीमित हैं, और ओपन-एंडेड या नॉइज़ी-रिवॉर्ड सेटिंग्स में इसकी अंतर-स्थानांतरणीयता (transferability) भविष्य के कार्य के लिए एक खुला विषय है।