Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities
यह शोध पत्र ProGRPO का प्रस्ताव करता है, जो एक नवीन सुदृढीकरण शिक्षण (Reinforcement Learning) दृष्टिकोण है जो विविध सही समाधानों के बीच आत्मविश्वास को संतुलित करने के लिए रिवॉर्ड संकेतों को गतिशील रूप से नया आकार देकर मोड कोलैप्स (mode collapse) को कम करने और LLM तर्क क्षमता में अन्वेषण (exploration) को बढ़ाने के लिए एक एडवांटेज री-वेटिंग मैकेनिज्म (Advantage Re-weighting Mechanism) का उपयोग करता है, जिससे गणितीय और कोडिंग बेंचमार्क पर सटीकता और जनरेटिव विविधता दोनों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: "अति-आत्मविश्वासी" छात्र
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (AI) को कठिन गणित के सवाल हल करने या कोड लिखने के लिए प्रशिक्षित कर रहे हैं। आप Verifiable Rewards के साथ Reinforcement Learning (RLVR) नामक एक प्रणाली का उपयोग करते हैं। इसे एक सख्त शिक्षक के रूप में समझें जो केवल तभी 'गोल्ड स्टार' देता है जब छात्र बिल्कुल सही उत्तर देता है।
समस्या:
वर्तमान तरीका (जिसे GRPO कहा जाता है) एक ऐसे शिक्षक की तरह काम करता है जो केवल छात्र के सबसे आत्मविश्वासी अनुमान की प्रशंसा करता है।
- यदि छात्र कहता है, "उत्तर 42 है," और वह 99% सुनिश्चित है, तो उसे गोल्ड स्टार मिलता है।
- यदि छात्र कहता है, "उत्तर 42 है," लेकिन वह केवल 60% सुनिश्चित है, तो उसे कुछ नहीं मिलता।
समय के साथ, छात्र केवल अधिकतम आत्मविश्वास के साथ "42" कहना सीख जाता है। वह समस्या को हल करने के अन्य तरीकों को आज़माना बंद कर देता है। यदि "42" गलत है, तो छात्र के पास कोई बैकअप प्लान नहीं होता। AI की भाषा में, इसे एन्ट्रॉपी कोलैप्स (entropy collapse) या मोड कोलैप्स (mode collapse) कहा जाता है। AI एक उबाऊ रोबोट बन जाता है जो केवल उन्हीं कुछ उत्तरों को दोहराता रहता है, भले ही वे उत्तर गलत हों या उन समस्याओं को हल करने के कई अन्य वैध तरीके मौजूद हों।
समाधान: ProGRPO (एक "निष्पक्ष" शिक्षक)
लेखक ProGRPO नामक एक नई विधि प्रस्तावित करते हैं। केवल सबसे तेज़ आवाज़ को पुरस्कृत करने के बजाय, यह नया शिक्षक इस बात पर भी नज़र रखता है कि छात्र कैसे सोचता है।
वे Advantage Re-weighting (ARM) नामक एक तंत्र पेश करते हैं। यह एक सरल उपमा का उपयोग करके कैसे काम करता है, यहाँ बताया गया है:
1. "आत्मविश्वास की जाँच" (Confidence Check)
कल्पना कीजिए कि छात्र एक पहेली सुलझा रहा है।
- परिदृश्य A: छात्र एक बहुत ही आसान पहेली देखता है और तुरंत 100% आत्मविश्वास के साथ उत्तर चिल्लाता है।
- परिदृश्य B: छात्र एक कठिन पहेली देखता है, काफी देर तक सोचता है, और सही उत्तर तक पहुँचता है, लेकिन वह इसे लेकर थोड़ा घबराया हुआ है (कम आत्मविश्वास)।
पुराना शिक्षक (GRPO) परिदृश्य A को बहुत अधिक पुरस्कृत करेगा और परिदृश्य B को अनदेखा कर देगा।
नया शिक्षक (ProGRPO) कहता है: "रुको, परिदृश्य B वास्तव में अधिक प्रभावशाली है क्योंकि यह कठिन था! आइए उस छात्र को उनके प्रयास के लिए थोड़ा अतिरिक्त क्रेडिट दें, भले ही वे 100% सुनिश्चित न हों।"
यह छात्र को केवल "आसान, आत्मविश्वासी" उत्तरों तक चिपके रहने से रोकता है और उन्हें समस्या को हल करने के विभिन्न, वैध तरीकों को खोजने के लिए प्रोत्साहित करता है।
2. "उबाऊ" हिस्सों को अनदेखा करना
जब छात्र एक लंबा स्पष्टीकरण (एक "Chain of Thought") लिखता है, तो उसके अधिकांश शब्द बहुत ही स्पष्ट होते हैं।
- उदाहरण: "पहले, मैं 2 और 2 जोड़ता हूँ। फिर, मैं 2 से गुणा करता हूँ..."
- "पहले," "फिर," और "गुणा" जैसे शब्द उबाऊ हैं; छात्र इन्हें पूरी तरह जानता है।
पेपर का तर्क है कि इन उबाऊ, उच्च-आत्मविश्वास वाले शब्दों को गिनने से पुरस्कार का महत्व कम हो जाता है। यह एक टेस्ट ग्रेड करने जैसा है लेकिन लिखने के लिए अंक देना कि आपने "The" शब्द सही लिखा है।
ProGRPO Low-Probability Token Length Normalization का उपयोग करता है। यह उत्तर के उबाऊ, आसान हिस्सों को अनदेखा करता है और केवल उन कठिन हिस्सों पर ध्यान केंद्रित करता है जहाँ छात्र को वास्तव में सोचना पड़ा और निर्णय लेना पड़ा। यह इस बारे में बहुत स्पष्ट संकेत देता है कि तर्क (reasoning) वास्तव में कितना अच्छा है।
परिणाम: विविधता, वही सटीकता
लेखकों ने Qwen और DeepSeek जैसे मॉडलों का उपयोग करके गणित और कोडिंग कार्यों पर इस नई विधि का परीक्षण किया।
- पुराना तरीका (GRPO): AI पहली बार में 37.6% बार सही उत्तर प्राप्त करता है। लेकिन यदि आप इसे 32 बार प्रयास करने के लिए कहते हैं, तो यह ज्यादातर उन्हीं 3 या 4 उत्तरों को दोहराता रहता है।
- नया तरीका (ProGRPO):
- सटीकता (Accuracy): यह पहली बार में 43.3% बार सही उत्तर प्राप्त करता है (एक बड़ा सुधार)।
- विविधता (Diversity): जब इसे 32 बार प्रयास करने के लिए कहा गया, तो इसने 68.5% बार सही उत्तर पाए। महत्वपूर्ण बात यह है कि ये उत्तर एक-दूसरे से अलग थे।
उपमा:
यदि पुराना AI एक ऐसा शेफ था जो केवल एक ही प्रकार का पास्ता बनाता था क्योंकि वह सबसे सुरक्षित दांव था, तो नया AI एक ऐसा शेफ है जो पास्ता, रिसोट्टो और सूप बना सकता है, और उन सभी का स्वाद लाजवाब है। उसने केवल किस्मत का सहारा नहीं लिया; उसने रसोई में अधिक प्रभावी ढंग से अन्वेषण करना सीखा।
दावों का सारांश
पेपर का दावा है कि AI कैसे अपनी "आत्मविश्वास" की गणना करता है और अपने विचारों के उबाऊ हिस्सों को अनदेखा करके, ProGRPO:
- AI को एक ही कुछ उत्तरों को दोहराने के लूप में फंसने से रोकता है।
- कठिन गणित और कोडिंग समस्याओं पर सटीकता में सुधार करता है।
- सही समाधानों की एक व्यापक विविधता उत्पन्न करता है (जो जटिल कार्यों के लिए महत्वपूर्ण है जहाँ एक से अधिक सही तरीके हो सकते हैं)।
लेखक निष्कर्ष निकालते हैं कि यह अन्वेषण (Exploration) (नई चीजें आज़माना) और उपयोग (Exploitation) (जो आप जानते हैं कि काम करता है उसका उपयोग करना) के बीच एक बेहतर संतुलन है, जिससे AI का तर्क अधिक मजबूत और विश्वसनीय बनता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।