Not only where, But when: Temporal Scheduling for RLVR
यह शोध पत्र 'वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (RLVR) के लिए "टेम्पोरल शेड्यूलिंग" पेश करता है, जो एक ऐसी विधि है जो सामान्य अनुकूलन (optimization) में संक्रमण करने से पहले विशिष्ट नीति व्यवहारों को प्राथमिकता देने के लिए प्रशिक्षण के दौरान क्रेडिट आवंटन मानदंडों को गतिशील रूप से समायोजित करती है, जिससे नीति एंट्रॉपी को संरक्षित करते हुए अधिक स्थिर और कुशल शिक्षण गतिकी प्राप्त की जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (AI) को जटिल गणित की समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। पुराने तरीके में (जिसे RLVR कहा जाता है), आप छात्र को उनके निबंध के बिल्कुल अंत में एक एकल ग्रेड देते हैं। यदि उन्हें "A" मिलता है, तो आप उनसे कहते हैं, "बहुत बढ़िया!" और वे यह सुनिश्चित करने के लिए अपने द्वारा लिखे गए हर एक शब्द को याद रखने की कोशिश करते हैं कि अगली बार भी उन्हें "A" मिले।
समस्या यह है कि छात्र ने हजारों शब्द लिखे हैं। उनमें से कुछ महत्वपूर्ण "अहा!" क्षण थे जहाँ उन्होंने तर्क को समझा। अन्य केवल भरने वाले शब्द थे जैसे "और फिर," "इसलिए," या "निष्कर्षतः।" पुराना तरीका हर शब्द को समान रूप से महत्वपूर्ण मानता है, जो ऐसा है जैसे आप छात्र को "the" लिखने के लिए भी उतना ही स्वर्ण पदक दे रहे हैं जितना कि वास्तविक समीकरण को हल करने के लिए।
पुराना तरीका: एक स्थिर स्पॉटलाइट (Static Spotlight)
पिछले शोधकर्ताओं ने एक "स्पॉटलाइट" का उपयोग करके इसे ठीक करने का प्रयास किया। उन्होंने ऐसे उपकरण बनाए जो यह पता लगा सकें कि कौन से शब्द महत्वपूर्ण हैं (जैसे तर्क के चरण) और प्रशिक्षण के दौरान उन पर तेज़ रोशनी डाली। इसे क्रेडिट एलोकेशन (Credit Allocation) कहा जाता है।
हालाँकि, पेपर तर्क देता है कि इस दृष्टिकोण में एक दोष है: स्पॉटलाइट कभी हिलती नहीं है। एक बार जब टूल यह तय कर लेता है कि "शब्द #500 महत्वपूर्ण है," तो वह पूरे प्रशिक्षण के दौरान, पहले दिन से लेकर अंतिम दिन तक, शब्द #500 पर ही रोशनी चमकाता रहता है। यह एक कोच की तरह है जो केवल क्वार्टरबैक पर चिल्लाता रहता है, बाकी टीम को अनदेखा करता है, भले ही क्वार्टरबैक पहले ही अपना काम सीख चुका हो और उसे अब किसी और चीज़ पर ध्यान देने की आवश्यकता हो। यह कठोर फोकस अंततः छात्र को आगे बढ़ने से रोक देता है।
नया विचार: एक गतिशील शेड्यूल (Temporal Scheduling)
लेखक एक नया विचार प्रस्तावित करते हैं: यह केवल यह नहीं है कि आप रोशनी कहाँ चमकाते हैं, बल्कि यह भी है कि कब।
वे प्रशिक्षण प्रक्रिया को एक स्थिर फोटो के बजाय एक फिल्म की स्क्रिप्ट की तरह मानने का सुझाव देते हैं।
- फिल्म की शुरुआत में (प्रशिक्षण के दौरान): छात्र अभी शुरुआत कर रहा है। उन्हें दृश्य कैसे सेट करना है (यानी "रीजनिंग स्कैफोल्डिंग") यह सीखने की आवश्यकता है। पेपर सुझाव देता है कि पहले छात्र के उत्तरों के अंत पर प्रशिक्षण केंद्रित करें, क्योंकि वे सबसे विश्वसनीय भाग होते हैं (अंतिम उत्तर)।
- फिल्म के बाद के हिस्से में (प्रशिक्षण के दौरान): एक बार जब छात्र उत्तर पूरा करने में कुशल हो जाता है, तो आप धीरे-धीरे पीछे की ओर, निबंध की शुरुआत की ओर ध्यान केंद्रित करते हैं। अब आप उन्हें शुरुआत से बेहतर तर्क और लॉजिक बनाना सिखाते हैं।
इसे टेम्पोरल शेड्यूलिंग (Temporal Scheduling) कहा जाता है। एक स्थिर स्पॉटलाइट के बजाय, आपके पास एक निर्देशक है जो दृश्य के आगे बढ़ने के साथ कैमरे का फोकस बदलता है।
"ट्रैजेक्टरी पर्सेंटाइल" (Trajectory Percentile) का कमाल
उन्हें कैसे पता चलता है कि निबंध के किस हिस्से पर ध्यान केंद्रित करना है? वे एक सरल तकनीक का उपयोग करते हैं जिसे ट्रैजेक्टरी पर्सेंटाइल कहा जाता है।
कल्पना कीजिए कि छात्र का उत्तर 100 मीटर की दौड़ का ट्रैक है।
- 95वां पर्सेंटाइल फिनिश लाइन (अंतिम उत्तर) है।
- 50वां पर्सेंटाइल दौड़ का मध्य भाग (तर्क/रीजनिंग) है।
- 5वां पर्सेंटाइल शुरुआती ब्लॉक (परिचय) है।
पेपर में पाया गया कि यदि आप पहले छात्र के उत्तरों के "फिनिश लाइन" वाले हिस्सों पर प्रशिक्षण देकर शुरू करते हैं, और फिर धीरे-धीरे अपने प्रशिक्षण का विस्तार "मध्य" और अंत में "शुरुआत" तक करते हैं, तो छात्र बहुत तेज़ी से और स्थिरता से सीखता है। यह ड्राइविंग सीखने जैसा है: आप पहले पार्किंग (अंतिम लक्ष्य) में महारत हासिल करते हैं, फिर सीधी सड़क पर गाड़ी चलाना, और अंत में जटिल चौराहों (सोच की प्रक्रिया की शुरुआत) को नेविगेट करना सीखते हैं।
प्रयोगों में क्या हुआ?
शोधकर्ताओं ने गणितीय और तार्किक पहेलियों का उपयोग करके बड़े AI मॉडल (जैसे Qwen) पर इसका परीक्षण किया।
- बेहतर स्कोर: "शेड्यूल" विधि का उपयोग करने वाले मॉडलों ने मानक मॉडलों की तुलना में गणित परीक्षणों (जैसे AIME और HMMT) और सामान्य तर्क परीक्षणों में उच्च स्कोर प्राप्त किया।
- स्वस्थ सीखना: उन्होंने पाया कि पुराने, कठोर तरीकों ने AI को "घबराहट" (panic) में डाल दिया और उसकी रचनात्मकता (जिसे एन्ट्रॉपी कहा जाता है) को कम कर दिया। AI बहुत अधिक कठोर हो गया और नए तरीकों से समस्याओं को हल करना बंद कर दिया। नया "शेडड्यूल" विधि AI की सीखने की प्रक्रिया को स्वस्थ और लचीला बनाए रखती है, जिससे वह बिना अटके सुधार करना जारी रख पाता है।
- पुराने टूल्स के साथ काम करता है: यह नया शेड्यूलिंग तरीका तब भी काम करता है जब आप इसे पुराने "स्पॉटलाइट" टूल्स के साथ मिलाते हैं। यह मौजूदा कोचिंग पर एक नया स्तर जोड़ने जैसा है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर का दावा है कि AI को स्मार्ट बनाने के लिए, हमें केवल यह तय नहीं करना चाहिए कि किन शब्दों पर प्रशिक्षण देना है; हमें यह भी तय करना होगा कि उन पर कब प्रशिक्षण देना है। उत्तर के सबसे विश्वसनीय हिस्सों से शुरू करके और धीरे-धीरे जटिल तर्क वाले हिस्सों की ओर पीछे की ओर बढ़कर, AI अधिक कुशलता से सीखता है, अधिक रचनात्मक रहता है, और बेहतर परिणाम प्राप्त करता है। यह एक कठोर, एक-समान प्रशिक्षण सत्र को एक गतिशील, सही समय पर दी जाने वाली कोचिंग सत्र में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।