The Invisible Leash: Why RLVR May or May Not Escape Its Origin
यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि जबकि सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (RLVR) एलएलएम (LLM) की सटीकता में महत्वपूर्ण सुधार करता है, यह अंततः तर्क की सीमाओं को विस्तार देने में विफल रहता है क्योंकि इसका समर्थन-सीमित अनुकूलन मॉडल के समाधान स्थान को संकुचित कर देता है, जिससे अक्सर यह उन सही उत्तरों की अनदेखी कर देता है जो पहले मूल मॉडल के लिए सुलभ थे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "The Invisible Leash? Why RLVR May or May Not Escape Its Origin" नामक शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी तस्वीर: "अदृश्य पट्टा" (The Invisible Leash)
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली छात्र (Base Model) है जिसने किताबों की एक पूरी लाइब्रेरी पढ़ रखी है और उसे बहुत सी जानकारियाँ पता हैं। वह गणित के सवाल हल कर सकता है, लेकिन कभी-कभी वह अटक जाता है या थोड़ा अस्त-व्यस्त उत्तर देता है।
उसे बेहतर बनाने के लिए, आप एक सख्त कोच (RLVR सिस्टम) को नियुक्त करते हैं। यह कोच छात्र को शून्य से नए विषय नहीं सिखाता। इसके बजाय, कोच छात्र को समस्या हल करते हुए देखता है, और हर बार जब छात्र बिल्कुल सही उत्तर देता है, तो कोच उसे एक 'हाई-फाइव' (पुरस्कार) देता है। यदि उत्तर गलत है, तो कोच धीरे से कहता है, "फिर से कोशिश करो।"
यह शोध एक महत्वपूर्ण प्रश्न पूछता है: क्या यह कोचिंग वास्तव में छात्र को सोचने के नए तरीके सिखा रही है, या यह केवल उसे उन विशिष्ट उत्तरों को अधिक आत्मविश्वास के साथ दोहराने के लिए प्रशिक्षित कर रही है जिन्हें वह पहले से ही जानता था?
लेखक इसे "अदृश्य पट्टा" (Invisible Leash) कहते हैं। उन्होंने पाया कि हालांकि छात्र पहला उत्तर सही देने में बहुत बेहतर हो जाता है, लेकिन वह वास्तव में अपने शुरुआती सीमित विचारों से ही बंधा रहता है। वह उन बिल्कुल नए समाधानों की खोज करने के लिए आसानी से बाड़ के ऊपर से कूद नहीं सकता जिन्हें खोजने का उसे पहले से कोई संकेत नहीं था।
मुख्य निष्कर्षों की व्याख्या
1. "सपोर्ट" का जाल: पुराना नक्शा बनाए रखना
छात्र के ज्ञान को एक शहर के नक्शे के रूप में सोचें। "Base Model" के पास एक नक्शा है जो गंतव्य तक पहुँचने के कई संभावित रास्तों को दिखाता है, जिसमें कुछ अज्ञात और घुमावदार रास्ते भी शामिल हैं।
- RLVR क्या करता है: यह नक्शे को देखता है और कहता है, "हे, यह एक रास्ता एकदम सही काम करता है! चलिए इसे सोने से पक्का कर देते हैं और इसे एकमात्र सड़क बना देते हैं जिस पर हम चलेंगे।"
- परिणाम: छात्र उस एक पक्की सड़क पर अविश्वसनीय रूप से तेज़ और सटीक हो जाता है। हालाँकि, वह उन अन्य वैध, घुमावदार रास्तों को भूलने लगता है जो मूल नक्शे पर मौजूद थे।
- शोध का निष्कर्ष: लगभग हर परीक्षण (गणित, तर्क, कोडिंग) में, RLVR-प्रशिक्षित मॉडल उन "अच्छे" उत्तरों को बनाए रखते हैं जो वे पहले से जानते थे (लगभग 93-99%), लेकिन वे अन्य सही उत्तरों तक पहुँच खो देते जो मूल मॉडल खोज सकता था। उन्होंने नक्शे में नई सड़कें नहीं जोड़ीं; उन्होंने बस ट्रैफ़िक को एक ही लेन तक सीमित कर दिया।
2. "परिशुद्धता बनाम विविधता" का संतुलन (Precision vs. Diversity Trade-off)
कल्पना कीजिए कि आप एक झील में मछली पकड़ रहे हैं।
- Base Model एक बड़ा जाल फेंकता है। वह कुछ बड़ी मछलियाँ पकड़ता है, लेकिन कुछ छोटी, अलग तरह की मछलियाँ भी पकड़ लेता है। यह थोड़ा अस्त-व्यस्त है, लेकिन यह सब कुछ ढूँढ लेता है जो वहाँ मौजूद है।
- RLRL Model एक भाले (Spear) का उपयोग करता है। यह अविश्वसनीय रूप से सटीक है। यदि उसे मछली दिखती है, तो वह हर बार सटीक निशाना लगाता है। लेकिन क्योंकि वह लक्ष्य पर प्रहार करने में इतना केंद्रित है, वह जाल फैलाना बंद कर देता है।
पकड़: यदि आपको केवल एक मछली (एक सही उत्तर) चाहिए, तो भाला (RLVR) बेहतर है। लेकिन यदि आपको एक बड़ी बाल्टी में कोई भी मछली पकड़नी है (समाधान खोजने के लिए कई बार प्रयास करना), तो बड़ा जाल (Base Model) वास्तव में बेहतर है क्योंकि यह अधिक क्षेत्र को कवर करता है। शोध ने पाया कि हालांकि RLVR पहली कोशिश में सही होने के लिए बेहतरीन है, लेकिन यदि आप इसे कई बार प्रयास करने के अवसर देते हैं, तो मूल मॉडल अक्सर जीत जाता है।
3. "भ्रमित करने वाला शोर" (Confusing Noise Illusion)
कभी-कभी, RLVR-प्रशिक्षित छात्र ऐसा लगता है जैसे वह अधिक गहराई से सोच रहा है। वह अधिक समय ले सकता है, अधिक शब्द बोल सकता है, या बोलते समय अधिक "अनिश्चित" लग सकता है (इसे Token-Level Entropy कहा जाता है)।
- उपमा: कल्पना कीजिए कि एक शेफ बहुत ज़ोर से और अराजक तरीके से सब्जियाँ काट रहा है। ऐसा लगता है जैसे वह नई तकनीकों के साथ प्रयोग कर रहा है।
- वास्तविकता: शोर के बावजूद, वह अभी भी वही तीन व्यंजन बना रहा है जो वह हमेशा बनाता था। वह कोई नई रेसिपी का आविष्कार नहीं कर रहा है; वह बस पुराने व्यंजनों को अधिक नाटकीय अंदाज़ में बना रहा है।
- शोध का निष्कर्ष: भले ही मॉडल चरण-दर-चरण अधिक "अनिश्चित" सुनाई दे, वे वास्तव में उत्तरों के एक बहुत छोटे सेट पर ही सिमट जाते हैं। अंत में वे कम विविध होते हैं।
4. यह वास्तव में नया कब सीखता है?
शोध ने कुछ दुर्लभ अपवाद भी पाए जहाँ RLVR मॉडल ने एक नया समाधान ढूँढा। यह केवल दो विशिष्ट परिदृश्यों में हुआ:
- पहेली के टुकड़ों को फिर से जोड़ना (Reassembling Puzzle Pieces): छात्र पहले से ही व्यक्तिगत पहेली के टुकड़े (उप-कौशल) जानता था लेकिन उन्हें सही ढंग से जोड़ नहीं पा रहा था। कोच ने उन्हें उन टुकड़ों को सही ढंग से जोड़ने में मदद की।
- फॉर्मेट को ठीक करना (Fixing the Format): छात्र उत्तर जानता था लेकिन उसे नहीं पता था कि कोच द्वारा मांगे गए विशिष्ट फॉर्मेट में उसे कैसे लिखा जाए। कोच ने फॉर्मेटिंग के नियम सिखाए, जिससे वह उत्तर अनलॉक हो गया जो पहले से ही वहीं मौजूद था।
इन मामलों में, मॉडल विचारों के एक नए ब्रह्मांड की खोज नहीं कर रहा था; वह केवल अपने मूल ज्ञान की छाया में छिपे हुए हिस्से को पॉलिश कर रहा था।
निष्कर्ष: पट्टे को तोड़ना
शोध यह निष्कर्ष निकालता है कि वर्तमान RLVR विधियाँ एक परिशुद्ध उपकरण (Precision Tool) की तरह हैं, न कि रचनात्मकता इंजन (Creativity Engine) की तरह। वे मॉडल जो पहले से जानते हैं उसे परिष्कृत करने और पूर्ण बनाने के लिए उत्कृष्ट हैं, लेकिन वे बेस मॉडल के शुरुआती वितरण से "बंधे" (Leashed) हुए हैं। वे उन समाधानों की खोज नहीं कर सकते जिन्हें खोजने की संभावना बेस मॉडल में शून्य थी।
वास्तव में मॉडल की तर्क क्षमता का विस्तार करने के लिए—ताकि वह ऐसी चीजें खोज सके जो उसने पहले कभी नहीं देखीं—हमें इसमें कुछ नया जोड़ना होगा: स्पष्ट अन्वेषण (Explicit Exploration)। हमें समाधान के स्थान के "अंधेरे कोनों" में जानबूझकर संभाव्यता (Probability Mass) डालनी होगी, न कि केवल उन चमकीले स्थानों पर ध्यान केंद्रित करना होगा जिन्हें हम पहले से जानते हैं।
संक्षेप में: RLVR मॉडल को ज्ञात विचारों का एक बेहतर निष्पादक (Executor) बनाता है, लेकिन यह आवश्यक रूप से उसे नए विचारों का बेहतर विचारक (Thinker) नहीं बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।